Ant Group и vLLM совместно открывают исходный код Humming для количественного вывода

By: mp.weixin.qq.com|21.10.2026 12:33:55
0
Поделиться
copy
Оценить в GoogleОценить в Google

Ant Group и сообщество vLLM совместно открыли исходный код Humming, высокопроизводительной библиотеки операторов для количественного вывода. Humming поддерживает широкий спектр устройств, включая различные GPU и устройства, совместимые с CUDA. Эта библиотека предлагает богатую поддержку количественного вывода, поддерживая множество комбинаций форматов весов и активаций в Dense и MoE через единую архитектуру, охватывающую различные целые и плавающие типы, ширину битов и способы масштабирования. Humming демонстрирует значительно лучшие показатели производительности в различных типичных нагрузках по сравнению с существующими реализациями, такими как vLLM Marlin, FlashInfer и DeepGEMM.

Цена --

--
--
--

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.

Вам также может понравиться

HTX Research: Анализ промежуточных выборов и крипторынка: выборы меняют ожидания политики, макроэкономика и капитал определяют верхнюю границу рынка

Управление перед капиталом: необходимость специализированных аккаунтов для агентов

Для повышения безопасности AI-торговых агентов полезно четко определить границы полномочий перед передачей капитала, следуя принципу "управление перед капиталом" и рассматривая специализированные аккаунты.

Anthropic готовится к IPO, рынок криптовалют оценил его в 1,9 триллиона долларов?

Нужны ли агентам платежи на основе блокчейна?

Предложение Pancake столкнулось с 98% противостоянием: кому должны идти сборы DEX — LP или держателям токенов?

DeepSeek обеспечивает новый прогресс в финансировании: учреждения соревнуются за последний билет на вход, IPO ожидается в следующем году

Tencent Technology узнал, что второй раунд финансирования DeepSeek близок к завершению, но еще не закрыт: масштаб увеличился с первоначальных 50 миллиардов юаней до почти 100 миллиардов юаней, при этом прединвестиционная оценка сохраняется на уровне около 500 миллиардов юаней, и несколько учреждений...
...
iconiconiconiconiconiconiconiconiconicon
Служба поддержки:@weikecs
Деловое сотрудничество:@weikecs
Количественная торговля и ММ:bd@weex.com
VIP-программа:support@weex.com