# Сравнение восьми моделей ASR **Победитель по точности — Whisper Russian.** На десяти записях у неё минимальные WER 12,75% и CER 7,53%. Whisper Turbo распознала больше технических терминов в исходном написании, 18 из 31, при WER 14,71%. Unified стала пятой по WER в общем зачёте и первой среди трёх Nemotron. ## Общие результаты Десять записей по 10,79–16,72 с, всего 140,75 с. В русских фразах есть английские слова и аббревиатуры, в том числе JSON, REST API, CSV, WER, CER и TLS. Использованы три синтетических голоса Piper. На чистый звук и каждый SNR 20, 12, 6 и 0 дБ приходится по две записи. [Методика]() · [Эталоны]() | Модель | Записей | WER | CER | Медиана | Максимум | Термины | |---|---:|---:|---:|---:|---:|---:| | Whisper Russian | 10/10 | 12,75% | 7,53% | 1255,0 мс | 1307,0 мс | 16/31 | | Whisper Turbo | 10/10 | 14,71% | 8,01% | 519,4 мс | 572,1 мс | 18/31 | | LinTO Whisper | 10/10 | 15,36% | 8,13% | 578,6 мс | 677,9 мс | 17/31 | | GigaAM v3 RNNT | 10/10 | 15,69% | 10,78% | 284,7 мс | 325,9 мс | 5/31 | | Nemotron Labs Unified ASR 0.6B | 10/10 | 16,34% | 9,04% | 227,1 мс | 239,0 мс | 14/31 | | GigaAM Large CTC | 10/10 | 18,95% | 12,95% | 193,7 мс | 217,7 мс | 0/31 | | Nemotron 3.5 ASR 0.6B | 10/10 | 31,05% | 14,46% | 246,2 мс | 261,0 мс | 9/31 | | Nemotron Transcribe Lite | 10/10 | 44,44% | 17,71% | 114,8 мс | 182,8 мс | 0/31 | WER и CER — доли ошибок по словам и символам. «Термины» — число точных написаний из 31 вхождения. Медиана и максимум измерены по десяти ответам каждой модели. Время относится к вызову распознавания. Сетевой обмен, очередь, подача звука и загрузка модели учитываются отдельно. У всех моделей по десять завершённых результатов с одним вызовом на запись. Для каждой записи совпали семь хешей фактического входа worker и размер и число Opus-пакетов во всех восьми прогонах. LinTO не возвращает хеш входа после своей внутренней подготовки. Две попытки вернули `timeout` без итогового текста. Адресный повтор обеих завершился успешно, все попытки сохранены. ## WER по уровню шума | Модель | Чистый звук | 20 дБ | 12 дБ | 6 дБ | 0 дБ | |---|---:|---:|---:|---:|---:| | Whisper Russian | 3,28% | 10,17% | 13,33% | 7,81% | 29,03% | | Whisper Turbo | 1,64% | 15,25% | 21,67% | 15,62% | 19,35% | | LinTO Whisper | 1,64% | 15,25% | 21,67% | 15,62% | 22,58% | | GigaAM v3 RNNT | 11,48% | 13,56% | 16,67% | 15,62% | 20,97% | | Nemotron Labs Unified ASR 0.6B | 9,84% | 16,95% | 23,33% | 14,06% | 17,74% | | GigaAM Large CTC | 16,39% | 16,95% | 21,67% | 12,50% | 27,42% | | Nemotron 3.5 ASR 0.6B | 19,67% | 27,12% | 36,67% | 31,25% | 40,32% | | Nemotron Transcribe Lite | 31,15% | 44,07% | 45,00% | 45,31% | 56,45% | На двух записях при 0 дБ Unified показала минимальный WER 17,74%. Разные уровни шума представлены разными фразами. Эта таблица описывает конкретные пары записей и не измеряет общую устойчивость к шуму. ## Стабильность времени В основном зачёте использованы 80 успешных результатов после поставки. Прежние семь моделей повторили те же WER и CER, но времена отличались. Медиана Whisper Russian выросла с 655,2 до 1255,0 мс, Turbo с 221,1 до 519,4 мс, LinTO с 235,4 до 578,6 мс. Причину разброса отдельным нагрузочным тестом не проверяли. [Прогоны до поставки]() В парном контрольном запуске на записях 01, 05 и 10 медианы составили 1283,0 мс у Whisper Russian, 547,1 мс у Turbo и 137,1 мс у Unified. Этот замер вынесен отдельно от таблицы на десяти записях. [Парные проверки]() Для Unified отдельно проверены холодная загрузка на H100 за 19,93 с и готовый вход длиной 33 с за 294,26 мс. После последнего вызова в ASR-разделе оставалось 4,68 ГиБ при работающем основном worker. В production Unified держится на GPU вместе с двумя другими Nemotron. [Изолированные GPU-прогоны]() ## Что работает в production - Unified доступна в [ASR Compare]() и [Monitor](). Десять записей завершились в Compare. Отдельный запуск из Monitor дал 195,32 мс, один вызов и совпадение входа по SHA-256. Голосовой чат использует прежнюю модель по умолчанию, GigaAM Large. - ASR — [MR !11](), `main a7c17add`, [сборка 5837](), [обновление bridge 5838](). Registry-listener обновил worker H100 до версии 3.2.389. В health подтверждены семь backend worker. Первый pull bridge вернул сетевой тайм-аут, повтор прошёл. - Chat Agent — [MR !69](), `main ed468323`, [CI и поставка 5835](). Front, Gateway и Audio Ingress версии 1.0.1205, каждый в одной работающей реплике. [Ревизии и digest]() [CSV с расшифровками и замерами]() · [Сводка по моделям и SNR]() · [Сырые результаты]() · [Отдельная проверка Unified на CPU]()