Nemotron на CPU рядом с Whisper и GigaAM
На 40 русских записях Fleurs GigaAM RNNT дал WER 5,43%, Whisper Turbo - 5,80%, Nemotron ASR 0.6B - 12,72%.
Что показывает этот тест
Пять моделей получили один и тот же вход. Whisper работал в INT8, остальные - в FP32. Поэтому замеры полезны для выбора CPU-конфигурации, а сравнение скорости на H100 требует отдельного прогона.
На шумовом фрагменте Transcribe Lite вернул ложный текст, хотя прошёл проверку длины входа. Для голосового интерфейса это отдельный риск: без речи распознаватель должен уметь вернуть пустой результат.
Отчёты и данные
Файлы и таблицы · 13
- summaryJSON
- compare-baseline-summary.jsonJSON
- gigaam_large_ctc-cpu-float32-torch210JSON
- gigaam_large_ctc-cpu-float32-torch28JSON
- gigaam_v3-cpu-float32-torch210JSON
- gigaam_v3-cpu-float32-torch28JSON
- nemotron_asr_06b-cpu-float32-torch210JSON
- nemotron_asr_06b-cpu-float32-torch28JSON
- nemotron_asr_06b-cpu-float32JSON
- nemotron_transcribe_lite-cpu-float32-torch210JSON
- nemotron_transcribe_lite-cpu-float32-torch28JSON
- nemotron_transcribe_lite-cpu-float32JSON
- streaming_worker-cpu-int8-torch210JSON