Постобработка ASR и подготовка текста для TTS
Продолжение серии: цветная матрица пяти промптов на тех же 50 кейсах.
Gemma 4 E4B дала больше всего полностью правильных ответов: 25 из 50. Медиана полного ответа на Gateway — 435 мс. У Gemma 4 E2B медиана ниже на 70 мс, но полностью прошли 12 случаев.
Один системный промпт из 1 316 знаков, без примеров и словаря, выбран по четырём пробным формулировкам на Qwen3.5 2B. Затем каждый из 50 входов прошёл на семи моделях. Исходные 11 входов сохранены. Метод и критерии · Промпт · 50 входов и эталоны · 350 результатов с объяснениями · Исходные ответы MCP
| Модель | ASR /24 | TTS /24 | Без метки /2 | Полностью /50 | Частично | Ошибка | Первый текст, медиана | Полный ответ, медиана | p90 полного ответа |
|---|---|---|---|---|---|---|---|---|---|
| Gemma 4 E4B | 8 | 17 | 0 | 25 | 10 | 15 | 168 мс | 435 мс | 553 мс |
| Gemma 4 E2B | 1 | 11 | 0 | 12 | 23 | 15 | 96 мс | 365 мс | 480 мс |
| Qwen3.5 4B | 0 | 10 | 0 | 10 | 27 | 13 | 225 мс | 664 мс | 927 мс |
| Qwen3.5 2B | 0 | 5 | 0 | 5 | 28 | 17 | 126 мс | 371 мс | 500 мс |
| GigaChat 3.1 Lightning | 0 | 4 | 0 | 4 | 29 | 17 | 96 мс | 653 мс | 985 мс |
| Qwen3.5 0.8B | 0 | 1 | 0 | 1 | 42 | 7 | 98 мс | 451 мс | 742 мс |
| T-lite-it-2.1 | 0 | 0 | 0 | 0 | 31 | 19 | 94 мс | 697 мс | 1 035 мс |
Время — от начала запроса Gateway к прокси. Прогрев и очередь исключены. Времена рассчитаны по технически завершённым запускам. Qwen 0.8B дважды исчерпала лимит ответа, повторяя инструкцию. Оба запуска входят в 50 оценок качества. Остальные 348 завершились штатно.
- ASR. По качеству лидирует Gemma E4B с 8/24 и 440 мс медианы. Gemma E2B быстрее, 354 мс и 1/24. E4B восстановила «СССР» из «ссср» и «эсэсэср», сохранила РСФСР и год, распознала API, PDF и CPU. Она оставила «гриб» в названии формата прогноза, не восстановила НКВД из «эн ка вэ дэ» и подменила WGS84 на DoubleWG84. Бытовые «гриб» и «стар» сохранила.
- TTS. Gemma E4B дала 17/24 при 432 мс. Qwen 2B быстрее по медиане полного ответа в этой группе, 352 мс, но дала 5/24. E4B сохранила тайм-аут проверки линейки, правильно озвучила подписанные координаты и денежные суммы. В неподписанной паре произнесла 25 десятых вместо 25 сотых. Два английских ответа перевела на русский.
- Без метки. Ни одна модель полностью не выполнила оба случая. Модели часто отдавали один вариант либо дублировали ответ вместо пары ASR/TTS.
На 12 входах, где обе Gemma дали полноценный ответ, медианы составили 319 мс у E2B и 412 мс у E4B. У E2B и Qwen 2B общие медианы различаются на 6 мс. Этот разрыв описывает текущий прогон. Для каждого входа сделан один замер.
Результат относится к задаче с одной общей инструкцией. Оценка учитывает пригодность текста к передаче дальше: сохранность смысла, правильные обозначения, отсутствие лишнего текста, произношение чисел. Совпадение текста с эталоном вынесено отдельно. В этой серии проверялся текст для TTS; синтез и качество звука не измерялись.