Голосовые системы

Что hotwords и LoRA меняют в техническом Whisper

На наборе из 77 мест с терминами базовый Whisper small сохранил 58, LoRA - 60, hotwords - 65.

Цена словарной подсказки

Hotwords помогли чаще записывать нужный термин, но в том же сравнении оценочный WER получился 20,6% против 13,5% у базовой модели. LoRA дала 13,0% при меньшем приросте по терминам. Для рабочих текстов я бы смотрел и на точные написания, и на ошибки вокруг них.

Эталонная разметка здесь машинная. На подлинной речи эффект стоит проверять по ручному эталону. В ноябрьской серии отдельно сохраняли парные ответы на одном аудио и отмечали применённые замены.

Отчёты и данные

Файлы и таблицы · 4