Распознавание технических терминов
Антон Полднев · «Как меняется разработка на серверной стороне AI-технологий» · тестовый доклад 18:20
Проблемы распознавания
Нажмите выделенное слово, чтобы сравнить четыре подхода. Ссылки открывают видео за 3 секунды до слова; для неустановленного места — до контрольного фрагмента.
Текст выбранного подхода
Результат выбранного подхода
Метрики по машинному эталону являются оценочными; человек эталон не проверял. Совпадение написания со словарём само по себе не доказывает точность.
Сравнение экспериментов и выбор комбинации
Три рецепта LoRA — выбор по синтетической validation
Машинный эталон доклада · Машинный эталон другого диктора · Контрольное аудио: 6 минут · Зафиксированный протокол сравнения
Полные результаты JSON · Скилл и применение · Пример команд · Первый эксперимент с hotwords
На каких терминах обучали
Правильное написание — метка для Whisper. Произношение — текст, переданный синтезатору. Записи ниже являются отдельными синтетическими примерами; исходное видео в обучение не включается.
Воспроизведение результата
Все аудио, субтитры и модели находятся локально. Адаптер рассчитан на конкретный Whisper small; для другого checkpoint нужно обучить новый адаптер.
python3 skills/whisper-term-adaptation/scripts/adapt.py evaluate \ --model data/adaptation/runs/silero/ct2 --audio data/audio/talk-poldnev.wav --output output/speech
Готовые модель, датасет и скилл
Пакет датасета содержит WAV и текстовые манифесты. Тестовые записи и большие исходные модели в него не входят. Для адаптера нужна точная база; CT2 можно сразу использовать в faster-whisper.