Tether открывает исходный код TurboQuant: коэффициент сжатия KV-кэша для локальных ИИ-устройств достигает 5 раз

Исследовательская группа Tether по ИИ объявила об открытии исходного кода производственной версии TurboQuant и ее интеграции в SDK QVAC 0.12.0.

TurboQuant основан на алгоритме сжатия памяти от Google Research, который позволяет сжимать KV-кэш среды выполнения ИИ до 5 раз, сохраняя при этом качество вывода, близкое к несжатым моделям.

Это означает, что ноутбуки, мобильные телефоны и периферийные устройства могут обрабатывать более длинные диалоги, файлы большего размера и более сложные задачи без необходимости выгрузки данных в облако.

Этот релиз с открытым исходным кодом включает полный конвейер квантования, адаптеры для основных фреймворков вывода и документацию для разработчиков, предназначенную для специалистов и стартапов, развертывающих ИИ на потребительском оборудовании, периферийных устройствах и одноранговых сетях.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.