Сравнение восьми моделей ASR
Победитель по точности — Whisper Russian. На десяти записях у неё минимальные WER 12,75% и CER 7,53%. Whisper Turbo распознала больше технических терминов в исходном написании, 18 из 31, при WER 14,71%. Unified стала пятой по WER в общем зачёте и первой среди трёх Nemotron.
Общие результаты
Десять записей по 10,79–16,72 с, всего 140,75 с. В русских фразах есть английские слова и аббревиатуры, в том числе JSON, REST API, CSV, WER, CER и TLS. Использованы три синтетических голоса Piper. На чистый звук и каждый SNR 20, 12, 6 и 0 дБ приходится по две записи. Методика · Эталоны
| Модель | Записей | WER | CER | Медиана | Максимум | Термины |
|---|---|---|---|---|---|---|
| Whisper Russian | 10/10 | 12,75% | 7,53% | 1255,0 мс | 1307,0 мс | 16/31 |
| Whisper Turbo | 10/10 | 14,71% | 8,01% | 519,4 мс | 572,1 мс | 18/31 |
| LinTO Whisper | 10/10 | 15,36% | 8,13% | 578,6 мс | 677,9 мс | 17/31 |
| GigaAM v3 RNNT | 10/10 | 15,69% | 10,78% | 284,7 мс | 325,9 мс | 5/31 |
| Nemotron Labs Unified ASR 0.6B | 10/10 | 16,34% | 9,04% | 227,1 мс | 239,0 мс | 14/31 |
| GigaAM Large CTC | 10/10 | 18,95% | 12,95% | 193,7 мс | 217,7 мс | 0/31 |
| Nemotron 3.5 ASR 0.6B | 10/10 | 31,05% | 14,46% | 246,2 мс | 261,0 мс | 9/31 |
| Nemotron Transcribe Lite | 10/10 | 44,44% | 17,71% | 114,8 мс | 182,8 мс | 0/31 |
WER и CER — доли ошибок по словам и символам. «Термины» — число точных написаний из 31 вхождения. Медиана и максимум измерены по десяти ответам каждой модели. Время относится к вызову распознавания. Сетевой обмен, очередь, подача звука и загрузка модели учитываются отдельно.
У всех моделей по десять завершённых результатов с одним вызовом на запись. Для каждой записи совпали семь хешей фактического входа worker и размер и число Opus-пакетов во всех восьми прогонах. LinTO не возвращает хеш входа после своей внутренней подготовки. Две попытки вернули timeout без итогового текста. Адресный повтор обеих завершился успешно, все попытки сохранены.
WER по уровню шума
| Модель | Чистый звук | 20 дБ | 12 дБ | 6 дБ | 0 дБ |
|---|---|---|---|---|---|
| Whisper Russian | 3,28% | 10,17% | 13,33% | 7,81% | 29,03% |
| Whisper Turbo | 1,64% | 15,25% | 21,67% | 15,62% | 19,35% |
| LinTO Whisper | 1,64% | 15,25% | 21,67% | 15,62% | 22,58% |
| GigaAM v3 RNNT | 11,48% | 13,56% | 16,67% | 15,62% | 20,97% |
| Nemotron Labs Unified ASR 0.6B | 9,84% | 16,95% | 23,33% | 14,06% | 17,74% |
| GigaAM Large CTC | 16,39% | 16,95% | 21,67% | 12,50% | 27,42% |
| Nemotron 3.5 ASR 0.6B | 19,67% | 27,12% | 36,67% | 31,25% | 40,32% |
| Nemotron Transcribe Lite | 31,15% | 44,07% | 45,00% | 45,31% | 56,45% |
На двух записях при 0 дБ Unified показала минимальный WER 17,74%. Разные уровни шума представлены разными фразами. Эта таблица описывает конкретные пары записей и не измеряет общую устойчивость к шуму.
Стабильность времени
В основном зачёте использованы 80 успешных результатов после поставки. Прежние семь моделей повторили те же WER и CER, но времена отличались. Медиана Whisper Russian выросла с 655,2 до 1255,0 мс, Turbo с 221,1 до 519,4 мс, LinTO с 235,4 до 578,6 мс. Причину разброса отдельным нагрузочным тестом не проверяли. Прогоны до поставки
В парном контрольном запуске на записях 01, 05 и 10 медианы составили 1283,0 мс у Whisper Russian, 547,1 мс у Turbo и 137,1 мс у Unified. Этот замер вынесен отдельно от таблицы на десяти записях. Парные проверки
Для Unified отдельно проверены холодная загрузка на H100 за 19,93 с и готовый вход длиной 33 с за 294,26 мс. После последнего вызова в ASR-разделе оставалось 4,68 ГиБ при работающем основном worker. В production Unified держится на GPU вместе с двумя другими Nemotron. Изолированные GPU-прогоны
Что работает в production
- Unified доступна в ASR Compare и Monitor. Десять записей завершились в Compare. Отдельный запуск из Monitor дал 195,32 мс, один вызов и совпадение входа по SHA-256. Голосовой чат использует прежнюю модель по умолчанию, GigaAM Large.
- ASR — MR !11,
main a7c17add, сборка 5837, обновление bridge 5838. Registry-listener обновил worker H100 до версии 3.2.389. В health подтверждены семь backend worker. Первый pull bridge вернул сетевой тайм-аут, повтор прошёл. - Chat Agent — MR !69,
main ed468323, CI и поставка 5835. Front, Gateway и Audio Ingress версии 1.0.1205, каждый в одной работающей реплике. Ревизии и digest
CSV с расшифровками и замерами · Сводка по моделям и SNR · Сырые результаты · Отдельная проверка Unified на CPU