Hotwords и словари на одной и той же записи
Whisper Russian поднял число точных написаний терминов со 164 до 293 из 392. WER в парном сравнении снизился с 31,59% до 24,71%.
Сравнение Whisper, GigaAM, Nemotron и LinTO. Обычная и техническая речь, шум, WER, CER и hotwords.
Как меняются качество распознавания, редактура и задержка озвучки
Whisper Russian поднял число точных написаний терминов со 164 до 293 из 392. WER в парном сравнении снизился с 31,59% до 24,71%.
У GigaAM v3 RNNT WER составил 4,86% на обычной русской речи и 28,38% на технической. Это две отдельные серии, по 576 завершённых запусков в каждой.
На десяти записях длительностью 10,79–16,72 секунды Whisper Russian дал WER 12,75% и медиану декодирования 1 255 мс. Whisper Turbo дал 14,71% за 519 мс.
На 40 русских записях Fleurs GigaAM RNNT дал WER 5,43%, Whisper Turbo - 5,80%, Nemotron ASR 0.6B - 12,72%.
В контрольной проверке сопоставили GigaAM, Whisper Russian, Turbo и LinTO через браузерный интерфейс. В результатах есть статус ответа и поведение каждого маршрута.
Как голосовой запрос проходит от микрофона до ответа
В одном из контрольных сравнений использовали запись длительностью 10,90 секунды. На восьми маршрутах сделали 24 попытки, 19 завершились успешно.
Compare собирал ответы нескольких моделей на одну запись. В ранних замерах сразу проявилась разница между временем распознавания и временем подготовки и отправки звука.
Проверки на одном образце позволяют увидеть конкретную потерю слова, дублированный префикс или ошибку на границе записи.
11 октября сравнили распознавание на 10 репликах GoLOS. Каждый прогон использовал один аудиопоток, PCM 16 кГц, mono, signed 16 bit.
На наборе из 77 мест с терминами базовый Whisper small сохранил 58, LoRA - 60, hotwords - 65.
В контрольном прогоне на H100 первый текст пришёл через 1,29 секунды от начала подачи файла. Это тест с подачей аудио в реальном темпе.
Первые сохранённые результаты потокового Whisper
От январской пробы сохранился JSONL с ответами на один тестовый WAV. По нему видно, как распознаватель записал каждую из четырёх фраз.