Kog, adi GPU ilə saniyədə 3000 token emal edə bilir

Fransız startapı Kog, adi məlumat mərkəzi GPU-larında AI çıxarış sürətini artırmaq strategiyasını təqdim etdi. Kog, NVIDIA və AMD GPU-larının istifadəsini artırmaq üçün proqram təminatı və model strukturlarını birgə dizayn etmə yanaşmasını qəbul etdi. Kog, AI agentlərinin sorğularına cavab sürətini artırmaq üçün runtime, GPU kernel və model arxitekturasını optimallaşdırılmış boru kəməri ilə birləşdirdiyini açıqladı. 28 mayda təqdim olunan Kog çıxarış mühərriki texnologiyası önizləməsinə görə, 8 ədəd AMD MI300X GPU-da sorğu başına saniyədə 3000 çıxış tokeni emal edilə bilər, eyni şərtlərdə 8 ədəd NVIDIA H200 GPU isə saniyədə 2100 çıxış tokeni qeyd etdi. Kog, AI kodlaşdırma agentləri və agent tipli iş axınlarını əsas tətbiq sahəsi kimi hədəfləyir. 24 iyunda Hugging Face-də təqdim olunan Laneformer 2B modeli 2.3 milyard parametrə malikdir və HumanEval+ 45.1%, MBPP+ 51.6% performansını göstərdi. Kog, avqustda LinkedIn paylaşımında real demo zamanı saniyədə 2857 token qeyd etdiyini açıqladı. Lakin sürət göstəricilərinin şərhi ilə bağlı mübahisələr var və model ölçüsü və avadanlığa görə müqayisənin çətin olduğu da vurğulanır. Kog-un məqsədi mövcud GPU infrastrukturunda aşağı gecikmə müddətini təmin etməkdir.

Bu məzmun yalnız ümumi məlumat məqsədilə təqdim olunur və maliyyə, investisiya, hüquqi və ya vergi məsləhəti hesab edilməməlidir. Burada qeyd olunan hər hansı tədbir, mükafat, onlayn kampaniya və ya əlaqəli məlumat hər hansı kriptoaktivin alınması, satılması, treydinqi və ya digər əməliyyatların aparılması üçün tövsiyə, təşviq və ya dəvət kimi qiymətləndirilməməlidir. Kriptoaktivlər yüksək dəyişkənliyə malikdir və maliyyə itkisinə səbəb ola bilər. WEEX-in xidmətləri, məhsulları və əlaqəli tədbirlərinin əlçatanlığı regiondan asılı olaraq dəyişə bilər. İştirakınızın yerli qanunvericilik və tənzimləyici tələblərə uyğun olmasını təmin etmək sizin məsuliyyətinizdir.