Сравнение ASR по длине речи и шуму
В тесте 18 новых русских фраз, по шесть на каждую длину. Для каждой фразы записаны чистая версия и три версии с шумом. В каждой группе длины представлены две фразы о картах, две о погоде и две об авиации. Использованы три синтетических голоса Piper.
Получено 576 результатов распознавания из 576. Технических попыток без результата — 39. При повторе используется первый результат распознавания. Пустой ответ модели засчитывается как пропуск всех слов. Технический отказ учитывается отдельно.
| Условие | Лидер по точности | WER | CER | Ошибки / слова | Медиана |
|---|---|---|---|---|---|
| Короткие | GigaAM v3 RNNT | 50,00% | 32,91% | 44/88 | 46 мс |
| Средние | Whisper Turbo | 36,41% | 18,35% | 150/412 | 191 мс |
| Длинные | GigaAM v3 RNNT | 23,79% | 12,74% | 296/1244 | 153 мс |
| Чисто | Whisper Turbo | 20,41% | 9,41% | 89/436 | 192 мс |
| 15 дБ | GigaAM v3 RNNT | 22,02% | 11,58% | 96/436 | 144 мс |
| 5 дБ | GigaAM v3 RNNT | 28,21% | 15,42% | 123/436 | 78 мс |
| 0 дБ | GigaAM v3 RNNT | 42,89% | 25,94% | 187/436 | 98 мс |
Длина указана по итоговому WAV. Короткие — 2,10–3,41 с, средние — 7,23–10,84 с, длинные — 19,19–26,29 с. При 0 дБ среднеквадратичные уровни голоса и шума на участках речи равны.
Пересечение длины и шума
В каждой ячейке шесть записей. Лидер определён по WER, при равенстве по CER.
| Длина | Чисто | 15 дБ | 5 дБ | 0 дБ |
|---|---|---|---|---|
| Короткие | Whisper Turbo / LinTO Whisper · 31,82% | Nemotron 3.5 ASR 0.6B · 40,91% | GigaAM v3 RNNT / Whisper Russian · 45,45% | GigaAM v3 RNNT · 54,55% |
| Средние | LinTO Whisper · 27,18% | GigaAM v3 RNNT · 29,13% | LinTO Whisper · 32,04% | Whisper Turbo · 52,43% |
| Длинные | GigaAM v3 RNNT · 16,08% | GigaAM v3 RNNT · 17,68% | GigaAM v3 RNNT · 23,79% | GigaAM v3 RNNT · 37,62% |
Все модели
| Модель | WAV | WER | CER | Медиана | Максимум | Термины | Пустые ответы |
|---|---|---|---|---|---|---|---|
| GigaAM v3 RNNT | 72/72 | 28,38% | 15,94% | 92 мс | 301 мс | 133/388 | 0 |
| Whisper Russian | 72/72 | 31,59% | 16,30% | 485 мс | 1255 мс | 162/388 | 0 |
| Whisper Turbo | 72/72 | 32,11% | 15,94% | 191 мс | 313 мс | 148/388 | 0 |
| LinTO Whisper | 72/72 | 32,51% | 16,49% | 207 мс | 343 мс | 148/388 | 0 |
| GigaAM Large CTC | 72/72 | 37,16% | 21,90% | 34 мс | 202 мс | 107/388 | 0 |
| Nemotron Labs Unified | 72/72 | 38,82% | 18,43% | 71 мс | 575 мс | 105/388 | 1 |
| Nemotron 3.5 ASR 0.6B | 72/72 | 48,62% | 23,64% | 99 мс | 872 мс | 81/388 | 4 |
| Nemotron Transcribe Lite | 72/72 | 59,86% | 26,05% | 104 мс | 132 мс | 31/388 | 0 |
| Модель | Короткие | Средние | Длинные | Чисто | 15 дБ | 5 дБ | 0 дБ |
|---|---|---|---|---|---|---|---|
| GigaAM v3 RNNT | 50,00% | 37,62% | 23,79% | 20,41% | 22,02% | 28,21% | 42,89% |
| Whisper Russian | 53,41% | 40,29% | 27,17% | 22,25% | 23,17% | 31,65% | 49,31% |
| Whisper Turbo | 53,41% | 36,41% | 29,18% | 20,41% | 24,77% | 33,49% | 49,77% |
| LinTO Whisper | 50,00% | 36,65% | 29,90% | 20,64% | 25,00% | 32,80% | 51,61% |
| GigaAM Large CTC | 70,45% | 47,09% | 31,51% | 28,21% | 31,19% | 36,01% | 53,21% |
| Nemotron Labs Unified | 76,14% | 48,54% | 32,96% | 28,67% | 31,42% | 39,22% | 55,96% |
| Nemotron 3.5 ASR 0.6B | 57,95% | 55,83% | 45,58% | 36,24% | 39,91% | 51,38% | 66,97% |
| Nemotron Transcribe Lite | 78,41% | 70,87% | 54,90% | 49,08% | 51,61% | 63,99% | 74,77% |
| Тема | Лидер по точности | WER | CER | Ошибки / слова | Медиана |
|---|---|---|---|---|---|
| Карты | GigaAM v3 RNNT | 26,76% | 15,23% | 152/568 | 116 мс |
| Погода | GigaAM v3 RNNT | 27,07% | 14,07% | 157/580 | 100 мс |
| Авиация | LinTO Whisper | 31,04% | 18,27% | 185/596 | 200 мс |
Как сравнивали
- Все восемь моделей проверены через рабочий Compare на одном последовательном потоке. Для каждого WAV меняли порядок моделей, чтобы распределить влияние порядка запуска. Предыдущие результаты в расчёт не входят.
- PCM моно 16 кГц и фиксированные границы. Compare кодировал вход в Opus. У worker сверены хеши фактического входа: 504 результатов на 72 записях. LinTO хеш внутреннего входа не возвращает.
- WER и CER считаются по суммам редакционных ошибок и длин эталонов. Регистр, пунктуация и лишние пробелы не учитываются. Слова из разных алфавитов, цифры и буква «ё» сохраняются. При равном WER используется CER. Совпадение обоих показателей отмечено как ничья.
- В эталонах 70 разных терминов и 97 проверяемых вхождений на 18 фраз. В зачёте четырёх уровней шума это 388 вхождений на модель. Термины оцениваются по точному написанию без учёта регистра, поэтому произнесённое «кью эн эйч» вместо QNH считается несовпадением.
- Время взято из поля чистого вызова модели. LinTO передаёт своё время распознавания. Очередь, загрузка модели, транспорт и кодирование в таблицу не входят.
- Шум синтетический. Использованы спектр розового шума, имитация вентилятора и меняющийся уличный фон. Для четырёх версий каждой фразы общий сигнал и форма добавляемого шума зафиксированы. Выводы описывают этот корпус, в том числе шесть фраз в каждой ячейке.
CSV с расшифровками и временем · Все рейтинги в JSON · Эталоны и список WAV · Ответы и повторы