# Как устроена проверка

В основном наборе 50 независимых входов: 24 ASR, 24 TTS и 2 без метки. Случаи 01–11 из сообщения пользователя. Остальные проверяют историю, транспорт, разработку, погоду, авиацию, документы, бытовую и английскую речь. Ожидаемые ответы и смысловые условия записаны до основного прогона.

## Выбор инструкции

На Qwen3.5 2B проверены четыре инструкции без примеров и словаря. Для выбора использованы 10 отдельных входов из `calibration.json`. Они не входят в основные 50. Из двух лидирующих формулировок выбрана более короткая. Медиана Gateway у компактной была 307 мс, у подробной — 364 мс. Полностью выполнили условия по 2 из 10 ответов каждая. Кратчайшая и пошаговая дали по одному полному попаданию. На пробах чаще всего терялись аббревиатуры и правила озвучивания чисел.

## Условия запуска

Один фиксированный системный промпт из `prompt-compact.txt`, новая пара сообщений system + user для каждого входа. Семь моделей с закреплёнными digest через действующий MCP Chat Agent. Контекст 8192, температура 0, seed 42, лимит ответа 192 токена, thinking отключён там, где модель объявляет этот режим. Ключ не входит в артефакты. Ожидаемый ответ не отправлялся в стенд. Сначала выполнен весь набор на Qwen3.5 2B, затем последовательно по одной модели. Перед каждой серией — один прогревочный запрос. Времена сравниваются без него.

Время Gateway измерено от начала запроса к прокси до завершения потока, отдельно от очереди и MCP-опроса. Работа Ollama — сумма `prompt_eval_duration` и `eval_duration` на каждом ответе. Загрузка модели приведена отдельно. Медианы относятся к одному прогону на вход. p90 — 45-й результат из 50 при 50 технически завершённых запусках, в общем случае порядок округляется вверх.

## Правила оценки

- **Прошёл.** ASR сохраняет смысл, слова, условия и порядок, исправляет явные ошибки, правильно восстанавливает нужные обозначения и выдаёт один чистый текст. TTS передаёт факты, оговорки и числа, учитывает просьбу показать или зачитать и годится для чтения вслух. Равнозначные формулировки принимаются.
- **Частично.** Смысл в целом сохранён, но нарушен формат, пропущена однозначная нормализация, лишний повтор, цифры вместо слов или чтение списка вместо краткого сообщения.
- **Ошибка.** Другой код, искажённое число, потерянное существенное условие, неподтверждённое действие, смена языка или ответ вместо редактируемой реплики. Запуск, который не завершился штатно, также считается ошибкой.

В `results.csv` есть каждый вход, эталон, фактический ответ, оценка, объяснение отклонения и исходные метрики. Для TTS смысловая ручная оценка важнее буквального совпадения. Буквальное совпадение сохранено в отдельном столбце. Разбор выполнен одним проверяющим по сформулированным условиям.