Семь моделей на одних и тех же задачах ASR и TTS
В исходной серии из 50 входов Gemma 4 E4B дала 25 полностью правильных ответов при медиане Gateway 435 мс. Gemma 4 E2B дала 12 при 365 мс.
Какие ошибки прячет общая оценка
Для ASR важно сохранить отрицания, числа и обозначения. Для TTS - озвучить исходный смысл, в том числе условия и ошибки проверки. Текст ответа может отличаться от эталона и оставаться правильным, поэтому рядом с буквальным совпадением сохранили оценку по смыслу.
Это один прогон на кейс. Разницу в несколько миллисекунд между моделями по такой серии я бы не использовал для выбора. Лучше открыть спорные случаи и посмотреть, какие ошибки повторяются.
Отчёты и данные
- Сравнение моделей и промптов по кейсамHTML
- ASR и TTS · сравнение промптовHTML
- Открыть отчёт с замерамиHTML
- Постобработка ASR и подготовка текста для TTSСтатья
- Как устроена проверкаСтатья
- Открыть отчёт с замерамиHTML