Дообучение Whisper на технических терминах
Лучший из проверенных подходов по оценочным метрикам: обычный Whisper small. LoRA-рецепт выбран на синтетической validation: silero. Поддержанных medium мест с распознанными терминами и допустимыми формами: 58 → 60; критерий регрессии LoRA пройден. Прирост терминов +2 мест: заранее заданный порог +3 не достигнут. На другом дикторе оценочный WER 3.64% → 4.81%. Эталон машинный: это предварительный вывод, а не подтверждённая человеком точность.
| Подход | Оценочный WER, доклад | Оценочный WER, другой диктор | Повторы, доклад | Термины в поддержанных местах |
|---|---|---|---|---|
| обычный Whisper small | 13.5% | 3.6% | 0 | 58/77 |
| большая Vosk ru-0.42 | 21.9% | 10.4% | 0 | 40/77 |
| Whisper small + hotwords | 20.6% | 22.3% | 0 | 65/77 |
| Whisper small + LoRA (silero) | 13.0% | 4.8% | 0 | 60/77 |
Эталон: независимый Whisper medium; verified_by_human=false. WER/CER оценочные.
Субтитры и аудиокаталог: интерактивный отчёт. Все 115 обучаемых терминов, произношения и синтезированные голоса доступны на странице.
Обучение: CPU FP32, rank=8, alpha=16, dropout=.05, lr=1e-4, batch=1, accumulation=8, steps=150, seed=42. Для коротких синтетических фраз использованы duration+1s mel frames с исходной полной таблицей позиций; экспорт и инференс используют штатный Whisper.
Универсален датасет; адаптер требует точного базового checkpoint. Tera: лицензия весов не указана; выбранная Silero имеет некоммерческие условия.
Термины и произношения
- вайб-кодинг: вайб кодинг
- pull request: пул реквест
- CI: си ай
- монорепозиторий: монорепозиторий
- Protobuf: протобуф
- бенчмарк: бенчмарк
- флеймграф: флеймграф
- Perforator: перфоратор
- Shopify: шопифай
- градиентный бустинг: градиентный бустинг
- эмбеддинг: эмбеддинг / эмбединг
- KV-cache: кей ви кэш / ка вэ кэш
- монолитизация: монолитизация
- time-to-market: тайм ту маркет
- сериализация: сериализация
- десериализация: десериализация
- candidate generation: кандидат дженерейшен
- инвертированный индекс: инвертированный индекс
- фьюзить: фьюзить
- инференс: инференс
- LLM: эл эл эм / элэлэм
- tools: тулз
- чекпоинт: чекпоинт
- идемпотентность: идемпотентность
- оркестратор: оркестратор
- observability: обзервабилити / обсервабилити
- трейсы: трейсы
- дебажить: дебажить
- end-to-end: энд ту энд
- reinforcement learning: реинфорсмент лёрнинг
- reward: реворд
- SLA: эс эл эй
- эвалы: эвалы
- скиллы: скиллы
- код-ревью: код ревью
- пайплайн: пайплайн
- MatrixNet: матрикс нет
- CatBoost: кэт буст
- attention: аттеншн
- keys: киз
- values: вэльюз
- SilverTorch: сильвер торч
- ANN: эй эн эн
- GPU: джи пи ю / гэ пэ у
- PyTorch: пай торч
- Bloom filter: блум фильтр
- CPU: си пи ю / цэ пэ у
- production: продакшен
- API: эй пи ай / апи
- моки: моки
- двухбашенные нейросети: двухбашенные нейросети
- флапают: флапают
- батчинг: батчинг
- авторесёрч: авторесёрч
- retrieval: ретривал
- GPU-native: джи пи ю нэйтив
- GPU-friendly: джи пи ю френдли
- переранжирование: переранжирование
- бэкенд: бэкенд
- агентная разработка: агентная разработка
- нейросеть: нейросеть
- юнит-тест: юнит тест
- функциональный тест: функциональный тест
- интеграционный тест: интеграционный тест
- база данных: база данных
- автоприёмка: автоприёмка
- рекомендательная модель: рекомендательная модель
- ранжирование: ранжирование
- score: скор
- тензор: тензор
- вектор: вектор
- рекомендательная система: рекомендательная система
- документный энкодер: документный энкодер
- нейросетевая модель: нейросетевая модель
- микросервис: микросервис
- ANN-поиск: эй эн эн поиск
- стриминг: стриминг
- граф выполнения: граф выполнения
- обучение с подкреплением: обучение с подкреплением
- RL: эр эл
- изолированное окружение: изолированное окружение
- пул окружений: пул окружений
- машинное обучение: машинное обучение
- ML: эм эл
- нейросетевая архитектура: нейросетевая архитектура
- промпт: промпт
- трансформер: трансформер
- роутер: роутер
- динамический граф: динамический граф
- User encoder: юзер энкодер
- Document encoder: докьюмент энкодер
- фильтрация: фильтрация
- агентный цикл: агентный цикл
- RL-инфраструктура: эр эл инфраструктура
- локальность данных: локальность данных
- SRE: эс ар и / эс эр е
- изоляция: изоляция
- контейнер: контейнер
- матрица: матрица
- матричные вычисления: матричные вычисления
- нагрузочный тест: нагрузочный тест
- критическая секция: критическая секция
- кэш: кэш
- кэш процессора: кэш процессора
- горячий пул: горячий пул
- пропускная способность: пропускная способность
- масштабирование: масштабирование
- релиз: релиз
- фича: фича
- сервис: сервис
- GPU-компилятор: джи пи ю компилятор
- векторный поиск: векторный поиск
- поиск ближайших соседей: поиск ближайших соседей
- токен: токен
- бинарный файл: бинарный файл