Как менялся результат после подбора промптов
В серии Qwen 2B с раздельными системными промптами полностью прошли 7 из 40 случаев. В контрольной серии - 5 из 40. Медианы практически совпали: 348,2 и 349,9 мс.
Что изменилось при разделении
Число провалов снизилось с 10 до 6, а в ASR с 7 до 3. Для Gemma варианты перебирали отдельно, затем сверяли на наборах из архива. В настройке важно держать подбор и сравнение раздельно: лучший результат на коротком поднаборе может исчезнуть на полной серии.
В общем отчёте доступны тексты промптов, ответы и оценки каждого кейса. С них проще начать, чем угадывать причину по итоговому баллу.