Tether випустила модель розпізнавання голосу, яка може працювати локально на мобільних телефонах і комп'ютерах

Tether підрозділ QVAC у жовтні 2026 року випустив TranscribePsy, модель розпізнавання голосу, яка може працювати локально на мобільних телефонах та ноутбуках. Вона має 254 мільйони параметрів, версія для ноутбуків підтримує 25 європейських мов, а мобільна версія — 8. Ваги моделі відкриті під ліцензією Apache 2.0, користувачі можуть завантажити їх і виконувати транскрипцію голосу на своїх пристроях.

Виконання транскрипції голосу на пристрої зменшує необхідність завантаження оригінального аудіо.

Для багатьох людей найпряміший досвід розпізнавання голосу — це натискання кнопки запису, а потім отримання тексту. TranscribePsy намагається повернути процес розпізнавання на сам пристрій, дозволяючи голосу не передаватися за замовчуванням у хмару для транскрипції. Це заслуговує на увагу, оскільки AI на кінцевих пристроях починає розширюватися з чатів і генерації зображень до базових функцій у повсякденних пристроях; його застосування також потрібно оцінювати з урахуванням підтримуваних мов, продуктивності пристроїв та ланцюга обробки даних.

Коли такі функції потрапляють у робочі сценарії, транскрипція голосу перетворюється з "інструменту, який використовують час від часу" на вхідні дані для даних. Інтерв'ю журналістів, зустрічі адвокатів, усні записи лікарів і внутрішні обговорення компаній можуть спочатку бути записані, а потім перетворені на текст, який можна шукати. Зміна місця обробки з хмари на локальний пристрій змінює систему, через яку проходять дані, а також те, хто підтримує пристрій і файли.

1. Модель переносить транскрипцію голосу на кінцевий пристрій

Хмарне розпізнавання голосу зазвичай вимагає відправлення аудіо на сервер постачальника послуг, а потім сервер повертає текст. Модель на кінцевому пристрої виконує інференцію на мобільному телефоні або комп'ютері, тому підключення до мережі більше не є умовою для завершення транскрипції. Офлайн запис наради, приватні голосові нотатки та нестабільні мережеві умови — це всі сценарії, в яких цей підхід може бути корисним.

TranscribePsy підтримує кілька мов за допомогою базової моделі та адаптера мов. Версія, розкрита QVAC, охоплює 25 європейських мов на ноутбуках і 8 з них на мобільних телефонах; китайська наразі не входить до списку підтримуваних мов. Оскільки мобільні пристрої мають більш обмежені ресурси пам'яті, чіпів та енергетичних витрат, доступний діапазон мов менший, ніж у версії для комп'ютера. Для китайських користувачів на даний момент це демонструє шлях технології голосу на кінцевих пристроях, а транскрипція китайською мовою все ще потребує використання інших рішень.

Мовна підтримка для комп'ютерів і мобільних телефонів різна, поточна версія ще не підтримує китайську.

Випускник стверджує, що ваги моделі використовують ліцензію Apache 2.0, розробники можуть завантажити та розгорнути їх на пристроях. Цей випуск відкрив ваги моделі та відповідні конфігурації оцінки, але код навчання та навчальні дані не включені до пакету випуску. Розробники повинні перевірити ліцензійні обмеження для моделі, інструментів інференції та компонентів застосування під час інтеграції.

QVAC пояснює, що ця модель була зменшена з більшої моделі розпізнавання голосу, а потім використовувала оригінальну модель як "вчителя" для подальшого навчання. Вона використовує архітектуру FastConformer-TDT з приблизно 254 мільйонами параметрів, команда стверджує, що навчання охоплює близько 564 тисяч годин на 25 мовах. Для розробників продуктів кількість параметрів важлива, оскільки вона дозволяє легше завантажувати модель у пам'ять і виконувати обчислення на мобільному телефоні; менша кількість параметрів не автоматично гарантує точність для кожної мови, важливими є також навчальні зразки, акценти та реалізація на пристрої.

Дизайн багатомовності для настільної версії має ще одну деталь: англійська обробляється базовими вагами, а інші 24 мови мають адаптери; коли користувач не вказує мову, система спочатку визначає мову, а потім вибирає відповідний шлях. Мобільна версія зменшена до восьми мов, включаючи англійську, голландську, французьку, німецьку, італійську, польську, португальську та іспанську. Якщо компанія планує впровадження в міжнародних командах, вона повинна тестувати відповідно до фактичної робочої мови, не можна просто розуміти "підтримка 25 мов" як те, що кожен телефон може використовувати всі мови.

Ця версія обробляє вже завершену частину голосу або повний запис, ще не надає функцію реального часу для транскрипції під час розмови. Швидке створення протоколу після закінчення наради відрізняється від відображення субтитрів у реальному часі під час телефонного обслуговування. QVAC повідомляє, що функція потокового режиму все ще розробляється; компанії, яким потрібно реальне слухання, повинні вибрати продукти відповідно до наявних можливостей, не можна вважати дорожню карту вже реалізованою функцією.

2. Офлайн-робота може зменшити передачу аудіо

Переміщення інференції на локальний пристрій, найочевидніша зміна полягає в скороченні шляху обробки аудіо: пристрій може безпосередньо виводити текст після завершення запису, зменшуючи необхідність завантаження оригінального аудіо на сервер третьої сторони. Це має практичну цінність у сценаріях, що стосуються спілкування з клієнтами, внутрішніх нарад або особистої конфіденційності, а також може зменшити залежність від постійного підключення до мережі.

Ефект конфіденційності також залежить від журналів, резервного копіювання та даних самого застосування.

Але чи залишає голос пристрій, все ще залежить від того, як спроектовано повне застосування. Програмне забезпечення може синхронізувати результати транскрипції в хмару, може надсилати журнали аварій або статистику використання постачальнику послуг, або може викликати хмарні послуги для завершення підсумків, перекладу або пошуку. Під час впровадження компанії повинні перевірити дозволи мікрофона, місце кешування аудіо, вміст журналів, автоматичне резервне копіювання та канали оновлення моделі. Інференція на кінцевому пристрої змінює місце обробки, але ефект конфіденційності в кінцевому підсумку визначається даними, що проходять через продукт.

Це також робить управління пристроями новим обсягом роботи. Організації повинні організувати оновлення версій моделі, захист від шкідливого програмного забезпечення, обробку втрати пристроїв та політику видалення локальних аудіофайлів. У разі обробки регульованих даних також слід оцінити, чи потрібно повідомляти співробітників, отримувати згоду клієнтів, контролювати доступ та управляти термінами зберігання. Модель може надати конфіденційність, але організації все ще повинні інтегрувати її в існуючі процеси управління даними.

Є один сценарій, який легко пропустити. Співробітник використовує особистий телефон для запису зустрічі з клієнтом, хоча аудіо не було завантажено постачальнику транскрипції, телефон все ще активує резервне копіювання системної галереї, а текст транскрипції автоматично синхронізується з особистим хмарним диском. Якщо організація перевіряє лише, чи працює модель локально, вона пропустить дані, що проходять далі. Найбільш надійним підходом є використання керованих пристроїв або контейнерів керованих застосувань, обмежуючи місце зберігання файлів, методи шифрування, налаштування резервного копіювання та права на експорт, а також інформування співробітників про те, коли потрібно зупинити запис.

Кінцевий пристрій також змінить акценти роботи команди з інформаційної безпеки. У хмарному режимі компанії можуть централізовано керувати обліковими записами постачальників послуг та викликами API; у локальному режимі також потрібно знати, які термінали встановили модель, яка версія використовується, чи є відомі вразливості, а також як віддалено заблокувати втрачені пристрої. У сценаріях, де вміст запису особливо чутливий, аудіо та текст можна зберігати в контрольованих каталогах компанії, встановлюючи терміни очищення та аудити доступу. Таким чином, можна зберегти переваги "не розпізнавати аудіо через хмару".

З юридичної точки зору, чи записувати, чи можна транскрибувати, скільки зберігати, все ще залежить від конкретного сценарію та застосовного законодавства. Наприклад, особисті дані, що використовуються в інтерв'ю з клієнтами та внутрішньому навчанні, мають різні цілі; розмови, що стосуються комерційних таємниць, також повинні враховувати угоди про конфіденційність та обсяги доступу. Розпізнавання на кінцевих пристроях може зменшити кількість зовнішніх отримувачів, але не вирішить юридичні підстави для запису. На практиці слід включити повідомлення про запис, цілі, терміни зберігання та внутрішні права доступу до процесів зустрічей або інтерв'ю, а не лише до технічних рішень.

3. Результати тестування постачальника потрібно повертати до умов тестування

QVAC розкрила результати бенчмаркінгу, стверджуючи, що TranscribePsy досягла хороших результатів розпізнавання в порівнянні з моделями однакового розміру, які були обрані, і протестувала швидкість роботи на шести мобільних телефонах. Ці результати походять з тестового середовища постачальника, що може допомогти зрозуміти цілі тестування команди проекту та діапазон пристроїв. Різні пристрої, акценти, шум, відстань запису та спеціалізовані терміни все ще можуть змінити фактичну продуктивність, а на даний момент публічні докази продуктивності в основному походять з тестування постачальника.

Постачальник надає деякі перевіряємні цифри. У середньому тестуванні восьми мов з багатомовного LibriSpeech він повідомляє про 6.58 помилок на кожні 100 слів, тоді як цифри для вибраних моделей одного рівня становлять понад 11. Тестовий показник називається "частка помилок слів", яка підраховує пропущені, неправильні та надмірні слова; чим нижче значення, тим ближче розпізнавання до еталонного тексту на цьому тестовому наборі. Ці дані свідчать про те, що команда досягла хороших результатів на публічному бенчмарку, але якщо на нараді є багато спеціалізованих скорочень, імен або діалектів, фактичний час редагування все ще залежить від зразків самої організації.

Тестування продуктивності також повинно враховувати пристрої та параметри. QVAC запустила однакові 40-хвилинні зразки голосу на восьми мовах на шести мобільних телефонах і оприлюднила час обробки на пристроях iPhone, Samsung та Pixel. Версія iPhone на Core ML може використовувати нейронний процесор, тоді як версія GGUF для Android в основному покладається на ЦП, тому швидкість одного й того ж моделі на різних пристроях помітно відрізняється. Якщо продукт обіцяє користувачам "кілька секунд для транскрипції години запису", він повинен вказати модель телефону, чи попередньо завантажено модель, довжину запису та умови тестування.

Ефективність розпізнавання голосу тісно пов'язана з умовами використання. Одна й та ж частина запису в тихому офісі та відкритій конференц-залі може дати різні результати; спеціалізовані терміни в юридичних, медичних та фінансових сценаріях також можуть суттєво вплинути на якість розпізнавання. Організаціям перед закупівлею або впровадженням слід тестувати з власними зразками записів, оцінюючи частоту помилок слів, швидкість обробки, споживання ресурсів пристрою та час ручного коригування. На даний момент публічні бенчмарки в основному походять від постачальника, незалежні повторні вимірювання все ще заслуговують на увагу.

Витрати на експлуатацію моделі на кінцевих пристроях також вплинуть на конкретні пристрої. Завантаження моделі потребує місця для зберігання, процес інференції займає пам'ять і обчислювальні ресурси, а також призводить до споживання енергії та нагрівання. Комп'ютер може бути більш підходящим для обробки тривалих записів, тоді як мобільний телефон більше підходить для коротких, спонтанних записів; досвід на різних пристроях потрібно оцінювати окремо.

Якщо компанія планує використовувати його для інтерв'ю з клієнтами або внутрішніх нарад, вона може спочатку провести невеликі тести з різними акцентами, відстанями наради, фоновим шумом та термінами галузі, одночасно записуючи час коригування транскрипції. У разі обробки особистої інформації також слід підтвердити мету запису, права доступу, терміни зберігання та плани обробки у разі втрати пристрою. Для спеціалізованих сценаріїв результати транскрипції все ще потребують ручної перевірки, особливо для ключових даних, таких як суми, імена, медичні терміни та зобов'язання за контрактом.

Запуск на кінцевих пристроях передасть частину контролю даних управлінню терміналів. Компанії потрібно вирішити, які пристрої можуть завантажувати модель, як оновлюються версії моделі, чи можуть користувачі експортувати текст, коли видаляти офлайн-файли, а також чи містять журнали застосування фрагменти запису. Включивши ці питання в оцінку закупівлі, впровадження на кінцевих пристроях може бути інтегровано в існуючі правила управління даними організації.

Щоб зменшити помилки під час пілотного проекту, можна провести невелику двосмугову оцінку. Виберіть реальні, але авторизовані записи зустрічей, інтерв'ю або лекцій, вручну створіть коректуру, нехай локальна модель та існуючі хмарні послуги транскрибують; потім порівняйте точність, час, необхідний для організації одногодинного запису, споживання енергії пристрою та витрати на обслуговування команди безпеки. Якщо модель на кінцевих пристроях добре працює в тихому середовищі, але помітно погіршується в умовах групового обговорення, доцільно обмежити її застосування до особистих усних записів або коротких голосових нотаток. Це висновок буде більш корисним, ніж просто дивитися на таблицю рейтингів.

Для фактичного використання також потрібно вирішити відповідальність за коректуру після транскрипції. Протоколи нарад стануть частиною записів рішень, матеріали інтерв'ю можуть стати основою для звітів або досліджень, а записи переговорів контрактів можуть бути використані для вирішення суперечок. Система розпізнавання відповідає лише за надання тексту, організація повинна позначити, які частини були перевірені вручну, хто змінив імена та цифри, а також до якого часу зберігатиметься оригінальне аудіо. Якщо неперевірені транскрипції безпосередньо передаються моделі підсумків, а потім автоматично надсилаються електронною поштою, одна помилка в сумі може пройти через кілька систем і врешті-решт виглядати як офіційний висновок.

Для розробників застосунків відкриті ваги знижують бар'єри для впровадження, але не звільняють від роботи з адаптацією пристроїв. Вхідні аудіо потрібно перетворити у формат, що вимагається моделлю, довгі аудіо потрібно обробляти по частинах, а розділення знаків пунктуації, спікерів та спеціалізованих термінів може бути забезпечено іншими компонентами. Кожен новий компонент додає новий рівень ліцензійних та оброблювальних питань. Якщо продукт стверджує, що "повністю офлайн", слід перевірити, чи залежить перше завантаження, оновлення моделі, зворотний зв'язок про збої та вхід в обліковий запис від мережі; якщо компанія лише вимагає, щоб чутливе аудіо не виходило з локального середовища, можна дозволити не чутливі запити на оновлення підключатися до мережі, важливо чітко розмежувати два типи трафіку.

З економічної точки зору, хмарні послуги стягують плату за використання та беруть на себе більшість обчислювальних витрат, тоді як локальна робота розподіляє обчислення між мобільними телефонами та комп'ютерами. Для особистого використання транскрипція десятихвилинного запису може дати незначну різницю; команди, які щодня обробляють велику кількість інтерв'ю або нарад, більше зосереджуються на витратах на підписку, зношенні пристроїв та часі коригування співробітників. Рішення про закупівлю не може базуватися лише на безкоштовності моделі. Відкритість моделі, обслуговування програмного забезпечення для впровадження, оновлення терміналів та технічна підтримка можуть бути покладені на різні суб'єкти, тому компанії потрібно включити ці витрати в одну таблицю.

Ще одне просте питання продукту: чи готові звичайні користувачі чекати завантаження та завантаження моделі. QVAC розкрила, що піковий обсяг пам'яті на мобільному телефоні становить приблизно 530-542MiB, різні системи також можуть накладати обмеження на фонові застосування. Старі пристрої, навіть якщо вони можуть працювати, можуть бути заблоковані системою під час перемикання між застосуваннями. Продукти, орієнтовані на публіку, повинні вказувати мінімальні вимоги до пристроїв, розмір першого завантаження, діапазон офлайн-доступу та способи обробки у разі невдач; в іншому випадку, хоча технічно можливо впровадження, досвід користувача може бути заблокований на першому етапі.

4. Конкурентні переваги моделей голосу на кінцевих пристроях у досвіді впровадження

TranscribePsy демонструє чіткий напрямок продукту: перетворити розпізнавання голосу з функції сервера на локальну здатність, яку можна виконати на пристрої. Для розробників відкриті ваги означають можливість інтеграції навколо мобільних телефонів, комп'ютерів, розумних окулярів або роботів; для організаційних користувачів рішення залежить від підтримки мов, сумісності терміналів, якості розпізнавання та можливостей експлуатації.

Наступним важливим аспектом є підтримка китайської мови, реальне потокове розпізнавання та незалежне тестування на різних пристроях. Постачальник повідомляє, що реальне потокове розпізнавання все ще розробляється. З розширенням моделей на кінцевих пристроях конкуренція більше зосередиться на швидкості запуску, споживанні енергії, точності та дизайні обробки даних застосунків. Користувачі в кінцевому підсумку цікавляться, чи може модель стабільно виконувати роботу на їхніх пристроях і мовному середовищі, а також чи чітко вказує продукт, куди йдуть записи, текст транскрипції та журнали.

Розширення Tether у сфері локального AI також має свою логіку продукту: спочатку голос перетворюється на текст, а інші моделі на кінцевих пристроях можуть займатися перекладом, пошуком або запитаннями. QVAC також представила концепції моделей зору, перекладу та інших, але кожна комбінація функцій має свої потоки даних та вимоги до якості. Випуск моделі голосу доводить, що частина базових можливостей вже може працювати на особистих пристроях, але чи зможуть подальші продукти забезпечити надійний досвід, все ще залежить від покриття мов, дизайну застосувань та готовності користувачів дійсно управляти даними локально.

Для китайських читачів найбільш безпосереднім обмеженням залишається мова. Китайська не входить до списку підтримуваних мов у цьому випуску, тому вона тимчасово не може замінити локальні інструменти транскрипції китайською мовою. Але ця модель демонструє зміни, які варто відстежувати: коли мобільні телефони мають достатні можливості розпізнавання, питання про те, чи потрібно завантажувати голосові дані в хмару, поступово стане питанням, яке можна активно вибирати в дизайні продукту.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.