# Методика контрольного прогона ASR

Десять русских записей со словами и аббревиатурами из технических команд.
Три синтетических голоса Piper произносят термины так, как они звучат в русской
фразе. Эталон использует исходное латинское написание. В наборе по две записи
на чистом звуке и при SNR 20, 12, 6 и 0 дБ. Шум синтетический: розовый,
имитация вентилятора и низкочастотный нестационарный фон.

Воспроизводимый вход сохранён в `audio/` и `corpus.json`. WAV — mono PCM16
16 кГц. Для каждого файла клиент Compare передаёт один полный диапазон через
существующую диагностику и использует одинаковые Opus-пакеты для моделей.
Фиксированный диапазон исключает влияние разбиения VAD на сравнение. Исходный
PCM проверен по SHA-256. Для моделей worker сравниваются и хеши PCM после
подготовки входа. LinTO не возвращает хеш входа модели.

WER и CER считаются расстоянием Левенштейна. Как в Compare, нормализуются NFC,
регистр, пунктуация и пробелы. CER исключает пробелы. Цифры, буква «ё» и
латинское написание сохраняются. Поэтому «джейсон» вместо `JSON` считается
ошибкой записи термина. Термины дополнительно оценены по точному совпадению
нормализованных токенов. Общие WER и CER делятся на суммарное число эталонных
слов и символов по всем записям.

Чистое время берётся из `timings.asr.worker_decode_ms` диагностического ответа.
Для LinTO это переданный backend показатель `recognition_ms`. Загрузка модели,
очередь, кодирование и сетевой обмен учитываются отдельно. У каждой успешной
записи один вызов модели. В отчёте приведены медиана и максимум для десяти
разных входов. Это не оценка хвостов распределения и не сравнение на живой речи.

Победитель качества определяется по наименьшему WER среди моделей с полным
покрытием, при равенстве по CER, затем по медиане времени. Отдельно сравниваются
точное написание терминов и компромисс качества со скоростью. Сырые ответы,
включая неуспешные попытки, сохраняются в `raw.jsonl`. Итоговая таблица
использует прогоны после поставки Unified. Предварительные результаты семи
моделей в `before-rollout.jsonl` в рейтинг не входят. Прогон Unified на CPU
с исходным WAV и FP32 вынесен в `unified-cpu.json`. Нормализованные
показатели вычисляет `score.py`.