Сводный отчёт по распознаванию, редактуре и озвучке
В одном интерфейсе собраны 6 370 строк текстовых экспериментов, 2 934 результата распознавания и 76 замеров озвучки.
Редактура ASR/TTS
Голосовые системы
Журнал исследований с января по ноябрь 2026 года. От первой пробы Whisper до редактуры транскрипта и проверки пауз в синтезе.
Сводный отчёт ASR/TTS →Как шум меняет качество ASR
Две серии по 576 прогонов. Обычная русская речь и техническая лексика.
Читать исследование →Хронология исследований
42 исследования
Ноябрь 2026
Как меняются качество распознавания, редактура и задержка озвучки
Qwen 2B исправляет транскрипт и готовит текст к озвучке
Один редактор работает в двух местах: после ASR и перед TTS. В журнале можно раскрыть исходное распознавание и посмотреть результат редактуры.
Как проверить паузу, ударение и пунктуацию в TTS
Паузы измеряли на готовом сигнале, а варианты произношения сохраняли отдельно. Это позволяет прослушать один и тот же текст с разной подготовкой.
Где смотреть схемы и контракты голосового тракта
В контракте аудио описаны кадры и финал распознавания, а в контракте диалога - готовый ответ и поток частичных обновлений интерфейса.
62 файловых прогона py-faster-whisper
В сохранённом снимке Whisper Summary есть 62 запуска. Для каждого записаны длительность аудио, время распознавания и диаризации, общий RTF и число спикеров.
Семь моделей на одних и тех же задачах ASR и TTS
В исходной серии из 50 входов Gemma 4 E4B дала 25 полностью правильных ответов при медиане Gateway 435 мс. Gemma 4 E2B дала 12 при 365 мс.
Как менялся результат после подбора промптов
В серии Qwen 2B с раздельными системными промптами полностью прошли 7 из 40 случаев. В контрольной серии - 5 из 40. Медианы практически совпали: 348,2 и 349,9 мс.
Стенд для повторяемых тестов и запуска через MCP
Одинаковый тест можно запустить из браузера или MCP. Стенд сохраняет модель, параметры, выход и время по этапам.
Один виджет для Chat Agent и Forms
Встроенный виджет проверили на странице Chat Agent, в Forms и внутри iframe. В браузере прошли потоковый текст, действие на странице и автоматическая озвучка.
Qwen TTS в браузере и одновременный ASR
В контрольном запуске браузер показал финальный текст через 831 мс и начал воспроизведение через 1 161 мс от отправки. Разница в панели составила 330 мс.
Как текст Chat Agent превращается в звук
Первый PCM, первый блок Opus и старт плеера - три разные отметки. Схема связывает их с Gateway, синтезатором и браузером.
Hotwords и словари на одной и той же записи
Whisper Russian поднял число точных написаний терминов со 164 до 293 из 392. WER в парном сравнении снизился с 31,59% до 24,71%.
Сколько ошибок добавляют шум и техническая лексика
У GigaAM v3 RNNT WER составил 4,86% на обычной русской речи и 28,38% на технической. Это две отдельные серии, по 576 завершённых запусков в каждой.
Восемь распознавателей на длинных технических репликах
На десяти записях длительностью 10,79–16,72 секунды Whisper Russian дал WER 12,75% и медиану декодирования 1 255 мс. Whisper Turbo дал 14,71% за 519 мс.
Chat Agent 2.5: задержка виджета и история запросов
При открытии истории панель раньше теряла часть временных отметок, которые уже были в квитанции клиента. Для восстановления использовали существующий client_receipt.
Nemotron на CPU рядом с Whisper и GigaAM
На 40 русских записях Fleurs GigaAM RNNT дал WER 5,43%, Whisper Turbo - 5,80%, Nemotron ASR 0.6B - 12,72%.
Как связать фразу и ответ в Monitor
Когда в одной сессии есть несколько реплик, историю нужно собирать по конкретным идентификаторам запроса и фразы. Иначе длительность легко приписать соседнему ответу.
Какие ASR-маршруты прошли браузерную проверку
В контрольной проверке сопоставили GigaAM, Whisper Russian, Turbo и LinTO через браузерный интерфейс. В результатах есть статус ответа и поведение каждого маршрута.
Октябрь 2026
Как голосовой запрос проходит от микрофона до ответа
Из чего складывалась задержка ASR Compare
В сохранённом прогоне Whisper Turbo передача и закрытие границ заняли 903 мс. Эти миллисекунды видны отдельно от работы распознавателя.
Скорость сборок и инструментов Chat Agent
В материалах конца октября есть время GitLab jobs и отдельные замеры каталога инструментов и Run JS. Эти ряды отвечают на разные вопросы.
Браузерный ASR Compare и GoLOS
В одном из контрольных сравнений использовали запись длительностью 10,90 секунды. На восьми маршрутах сделали 24 попытки, 19 завершились успешно.
Первый ASR Compare на одинаковом входе
Compare собирал ответы нескольких моделей на одну запись. В ранних замерах сразу проявилась разница между временем распознавания и временем подготовки и отправки звука.
Monitor и проверка сохранённого аудио
В архивном режиме нужно было открыть конкретный запрос, найти его запись и воспроизвести связанный фрагмент. Проверка охватывала и живую сессию, и повторное чтение истории.
Одна фраза на нескольких распознавателях
Проверки на одном образце позволяют увидеть конкретную потерю слова, дублированный префикс или ошибку на границе записи.
Почему расширение проверяли на одинаковых записях
Серии 19 и 20 октября сравнивают распознавание и задержку до и после изменений аудиопути. В таблицах сохранены значения по записям и конфигурациям.
Как проверяли аудио между микрофоном и распознавателем
В октябре собрали замеры контрольных записей и контрольных точек тракта. В отчёте можно посмотреть, на каком переходе изменились длительность, уровень сигнала или текст.
Ранний GoLOS с тихой и шумной речью
11 октября сравнили распознавание на 10 репликах GoLOS. Каждый прогон использовал один аудиопоток, PCM 16 кГц, mono, signed 16 bit.
Куда Chat Agent и Voice отправляют события
Архитектурный атлас связывает сервисы, сообщения и источники в коде. По нему можно проследить путь события, которое видно в Monitor.
Два дня замеров Chat Agent
В архиве есть сводка за два дня и два отдельных среза - до правок и после них.
Как найти задержку голосового запроса в Phoenix
У медленного запроса может быть несколько обращений к модели и несколько вызовов инструментов. В Phoenix удобнее открыть один trace по request_id и разложить его на этапы.
Приёмка Chat Agent на текстовых и голосовых запросах
В контрольной серии медиана от обычного текста до полного ответа снизилась с 14,969 до 3,452 секунды. В каждой колонке сохранились 12 из 12 завершённых текстовых запусков.
Что hotwords и LoRA меняют в техническом Whisper
На наборе из 77 мест с терминами базовый Whisper small сохранил 58, LoRA - 60, hotwords - 65.
Когда потоковый Whisper отдаёт первый текст
В контрольном прогоне на H100 первый текст пришёл через 1,29 секунды от начала подачи файла. Это тест с подачей аудио в реальном темпе.
Голосовой интерфейс от микрофона до ответа
В октябрьском обзоре сведены модели, транспорт и интерфейсы воспроизведения. Примеры позволяют сопоставить схемы с аудио.
Разбор сбоя WebRTC Core
Октябрьский инцидент сохранён как отдельный разбор голосового тракта. Это исторический снимок, по нему удобно восстановить границы проверки и последовательность событий.
Сентябрь 2026
Архитектура, диаризация и сравнение голосов
Один текст для сравнения голосов TTS
В сентябрьской серии Silero, TeraTTS, Qwen, eSpeech, F5 и VoxCPM2 сравнивали на сохранённых аудиопримерах.
Первые замеры озвучки презентации
В короткой пробе один локальный вариант подготовил 8,44 секунды речи за 1,62–1,69 секунды. Замер относится к фрагменту, а полный ролик состоял из 19 сцен.
Где в Chat Agent проходят звук, текст и вызовы инструментов
Чтобы искать задержку, нужно сначала знать, кто владеет каждым этапом запроса. Сентябрьский разбор проходит путь от клиента до модели и обратно.
Как устроен py-faster-whisper
Файл и голосовой поток используют разные сценарии. В одном случае нужно вернуть результат по всей записи, в другом - выдавать черновой текст в ходе разговора.
Sortformer на H100 через NATS
После исправления образа Sortformer обработал контрольный файл на H100 и вернул HTTP 200 с результатом диаризации.
Апрель 2026
Как в файловом тракте разделили распознавание и диаризацию
Как файловый ASR разделили на текст и спикеров
Пользователь загружал файл и получал две вещи: текст распознавания и ответ с разметкой спикеров. За них отвечали LinTO и Pyannote.
Январь 2026
Первые сохранённые результаты потокового Whisper
Первая проба потокового Whisper
От январской пробы сохранился JSONL с ответами на один тестовый WAV. По нему видно, как распознаватель записал каждую из четырёх фраз.