ASR и TTS · сравнение промптов
Модели и промпты
В ячейке число полностью пройденных кейсов и медиана полного ответа. Нажмите на неё, чтобы открыть сравнение в матрице.
Матрица кейсов
Системный промпт
Как сравнивали
Одинаковые 50 входов на каждой из пяти версий промпта. 24 ASR, 24 TTS и два без метки.
Для каждого запуска переданы только системная инструкция и один пользовательский текст, контекст 8192, temperature 0, seed 42, лимит ответа 192 токена. Эталон в модель не отправлялся. В системных промптах нет примеров.
350 результатов компактного промпта взяты из первой серии. Для остальных версий выполнены 1 400 новых запусков.
Пробные кейсы и прогрев не входят в сравнение. Замеры Gateway начинаются после допуска из очереди. Медианы и p90 включают только технически завершённые ответы.
Оценка следует условиям кейса. Повторно используется ручная оценка совпавшего ответа из первой серии. Новые варианты проверяются одинаковыми правилами по фактам, обозначениям и формату. Правило может пропустить допустимый пересказ или двусмысленность, поэтому при спорной оценке проверьте оригинал в карточке. «Частично» отмечает близкие ответы с отклонениями, например цифрами вместо слов. «Не прошёл» включает несовпадение важных условий, пустой или незавершённый ответ.