مجموعة أنتي وvLLM تطلقان Humming كود مفتوح للاستدلال الكمي

أطلقت مجموعة أنتي بالتعاون مع مجتمع vLLM Humming، وهي مكتبة عالية الأداء لمشغلات الاستدلال الكمي. تدعم Humming مجموعة واسعة من الأجهزة، بما في ذلك أنواع متعددة من وحدات معالجة الرسوميات (GPU) والأجهزة المتوافقة مع برمجة CUDA. توفر هذه المكتبة دعمًا غنيًا للتكميم، من خلال بنية موحدة تدعم مجموعة متنوعة من تنسيقات الأوزان والتفعيل في Dense وMoE، تغطي أنواعًا متعددة من الأعداد الصحيحة والعائمة، وأحجام البت وطرق التعديل. تظهر Humming أداءً ملحوظًا يتفوق بشكل كبير على الحلول الحالية في مجموعة متنوعة من الأحمال النموذجية، مثل vLLM Marlin وFlashInfer وDeepGEMM.

يُقدَّم هذا المحتوى لأغراض معلوماتية عامة فقط، ولا يُشكل مشورة مالية أو استثمارية أو قانونية أو ضريبية. ولا ينبغي اعتبار أي فعاليات أو مكافآت أو عروض ترويجية عبر الإنترنت أو أي معلومات ذات صلة واردة فيه توصيةً أو طلبًا أو دعوةً لشراء الأصول المشفرة أو بيعها أو تداولها أو إجراء أي معاملات أخرى عليها. تتميز الأصول المشفرة بتقلبات سعرية مرتفعة وقد تؤدي إلى خسائر. وقد يختلف مدى توفر خدمات WEEX ومنتجاتها والفعاليات المرتبطة بها حسب المنطقة. وتقع على عاتقك مسؤولية التأكد من أن مشاركتك تتوافق مع القوانين واللوائح المحلية المعمول بها.