QVikhr · ASR и TTS

qvikhr-3:4b-q4_k_m на H100. 92 вызова из 100, каждый с новой историей. Раскройте тест, чтобы увидеть исходный запрос, ожидаемый текст и фактические ответы.

ASR проверялся по словам, кодам, числам, смыслу и пунктуации. В TTS принимались эквивалентные формулировки, если сохранились факты, статус, порядок осей и точные числа словами. Два запроса без метки возвращают два абзаца по правилам приложения, поэтому их нет в строке 14 из 28.

В исходной серии использовалась температура 0,2. В итерациях с раздельными заданиями и в финальном прогоне температура равна нулю. Во всех вызовах seed 42, до 160 выходных токенов. Всего 30 исходных, 21 при подборе, 30 финальных, 9 дополнительных и 2 проверки запуска из терминала. Финальные исправления пунктуации и падежа проверены повторно на сохранённых ответах без вызовов модели.

ASR применяет словарь до модели и сверяет слова, коды и числа после её ответа. TTS берёт факты из готового ответа, озвучивает числа по правилам и заменяет перечень короткой фразой, когда пользователь просил показать его. На длинных свободных ответах прототип может сохранить больше исходных фраз. Проверка 30 тестов относится к этим входам и правилам.

Скачать CSV с входами и ответами · Правила прототипа · Запуск из терминала

ASR
подключи дабл ю эф эс к слою осадки но оставь дабл ю эм эс для подложки и не меняй масштаб один к пяти тысячам

Подключи WFS к слою осадки, но оставь WMS для подложки и не меняй масштаб один к пяти тысячам.

ASR
Подключи WFS к слою осадки, но оставь WMS для подложки и не меняй масштаб один к пяти тысячам.

TTS
Подключи WFS к слою осадки, но оставь WMS для подложки и не меняй масштаб один к пяти тысячам.

подключи WFS к слою осадки но оставь WMS для подложки и не меняй масштаб один к пяти тысячам

Подключи WFS к слою осадки, но оставь WMS для подложки и не меняй масштаб один к пяти тысячам.

Подключи WFS к слою осадки, но оставь WMS для подложки и не меняй масштаб один к пяти тысячам.

asr
архив с прогнозом в формате гриб положи рядом с фотографией белого гриба но только если

Архив с прогнозом в формате GRIB положи рядом с фотографией белого гриба, но только если

arхив с прогнозом в формате гриб положи рядом с фотографией белого гриба но только если

архив с прогнозом в формате GRIB положи рядом с фотографией белого гриба но только если

Архив с прогнозом в формате GRIB положи рядом с фотографией белого гриба, но только если

Архив с прогнозом в формате GRIB положи рядом с фотографией белого гриба, но только если

[ASR MODE]
для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS

Для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS.

[ASR MODE]  
для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS  

[ASR MODE]  
для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS  

[ASR MODE]  
для UUDD сверь давление минус 3 гектопаскаля относительно UUE и не меняй слой WMS  

[ASR MODE]  
для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS  

[

для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS

Для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS.

Для UUDD сверь давление минус 3 гектопаскаля относительно UUEE и не меняй слой WMS.

asr
сверь даблю эм эс с даблю эф эс для UUEE но не меняй UUDD и оставь видимость 500 метров

Сверь WMS с WFS для UUEE, но не меняй UUDD и оставь видимость 500 метров.

ASR  
сверь WMS с WFS для UUEE но не меняй UUDD и оставь видимость 500 метров  

TTS  
Сверь WMS с WFS для UUEE, но не меняй UUDD. Оставь видимость 500 метров.

сверь WMS с WFS для UUEE но не меняй UUDD и оставь видимость 500 метров

Сверь WMS с WFS для UUEE, но не меняй UUDD и оставь видимость 500 метров.

Сверь WMS с WFS для UUEE, но не меняй UUDD и оставь видимость 500 метров.

ASR
сохрани гео джейсон в дабл ю джи эс восемьдесят четыре но исходный GeoTIFF оставь

Сохрани GeoJSON в WGS84, но исходный GeoTIFF оставь.

ASR  
сохрани GeoJSON в WFS восемьдесят четыре но исходный GeoTIFF оставь  

TTS  
сохрани GeoJSON в WFS восемьдесят четыре но исходный GeoTIFF оставь

сохрани GeoJSON в WGS84 но исходный GeoTIFF оставь

Сохраните GeoJSON в WGS84, но исходный GeoTIFF оставьте.

Сохрани GeoJSON в WGS84, но исходный GeoTIFF оставь.

ASR
оставь WGS в названии и не меняй координаты −43,25 и 12,50

Оставь WGS в названии и не меняй координаты −43,25 и 12,50.

ASR  
оставь WGS в названии и не меняй координаты −43,25 и 12,50  

TTS  
Вот список:  
1. WGS — система координат.  
2. Координаты: −43,25 и 12,50.

оставь WGS в названии и не меняй координаты −43,25 и 12,50

Оставь WGS в названии и не меняй координаты −43,25 и 12,50

Оставь WGS в названии и не меняй координаты −43,25 и 12,50.

ASR
сверь кью эн эйч для ю ю и и но не трогай кью эн эйч для ю ю ди ди

Сверь QNH для UUEE, но не трогай QNH для UUDD.

ASR  
WMS UUEE  

TTS  
WMS UUEE

сверь QNH для UUEE но не трогай QNH для UUDD

Сверь QNH для UUEE, но не трогай QNH для UUDD.

Сверь QNH для UUEE, но не трогай QNH для UUDD.

ASR
проверь джи эф эс и айкон над самарой и не меняй границу в 45 dBZ

Проверь GFS и ICON над Самарой и не меняй границу в 45 dBZ.

ASR  
WFS ICON над Самарой и не меняй границу в 45 dBZ  

TTS  
Проверь WFS ICON над Самарой и не меняй границу в 45 dBZ

проверь GFS и ICON над самарой и не меняй границу в 45 dBZ

Проверь GFS и ICON над Самарой и не меняй границу в 45 dBZ.

Проверь GFS и ICON над Самарой и не меняй границу в 45 dBZ.

ASR
открой схему вылета сид и схему прибытия стар но не меняй RNAV

Открой схему вылета SID и схему прибытия STAR, но не меняй RNAV.

ASR  
открой схему вылета сид и схему прибытия стар но не меняй RNAV  

TTS  
открой схему вылета сид и схему прибытия стар, но не меняй RNAV.

открой схему вылета SID и схему прибытия STAR но не меняй RNAV

Открой схему вылета SID и схему прибытия STAR, но не меняй RNAV.

Открой схему вылета SID и схему прибытия STAR, но не меняй RNAV.

ASR
гриб в лесу пока не нашёл но сначала проверь тропу

Гриб в лесу пока не нашёл, но сначала проверь тропу.

ASR
Гриб в лесу пока не нашёл, но сначала проверь тропу.

TTS
Гриб в лесу пока не нашёл, но сначала проверь тропу.

гриб в лесу пока не нашёл но сначала проверь тропу

Гриб в лесу пока не нашёл, но сначала проверь тропу.

Гриб в лесу пока не нашёл, но сначала проверь тропу.

ASR
если видимость меньше 500 метров не включай режим IFR

Если видимость меньше 500 метров, не включай режим IFR.

ASR  
если видимость меньше 500 метров не включай режим IFR  

TTS  
если видимость меньше 500 метров не включай режим IFR

если видимость меньше 500 метров не включай режим IFR

Если видимость меньше 500 метров, не включай режим IFR.

Если видимость меньше 500 метров, не включай режим IFR.

ASR
скажи маршрут готов

Скажи: маршрут готов.

ASR: маршрут готов  
TTS: Маршрут готов.

скажи маршрут готов

Скажи маршрут готов:

Скажи: маршрут готов.

ASR
какая сейчас видимость в районе пулково

Какая сейчас видимость в районе Пулково?

ASR: видимость в районе пулково  
TTS: Видимость в районе Пулково неизвестна.

какая сейчас видимость в районе пулково

Какая сейчас видимость в районе Пулково?

Какая сейчас видимость в районе Пулково?

ASR
запусти проверку GPX только после 14:05 и оставь версию 2.07

Запусти проверку GPX только после 14:05 и оставь версию 2.07.

ASR
запусти проверку GPX только после 14:05 и оставь версию 2.07

TTS
Проверка GPX будет запущена после 14:05, и версия останется 2.07.

запусти проверку GPX только после 14:05 и оставь версию 2.07

Запусти проверку GPX только после 14:05 и оставь версию 2.07

Запусти проверку GPX только после 14:05 и оставь версию 2.07.

ASR
отмени последний шаг только если

Отмени последний шаг, только если

ASR
отмени последний шаг только если

TTS
отмени последний шаг только если

отмени последний шаг только если

Отмени последний шаг только если

Отмени последний шаг, только если

TTS
Запрос: Покажи все инструменты карты.
Ответ: Доступные инструменты карты:
- map.SetCenter — изменить центр карты.
- Measure.GetActive — проверить состояние линейки.

Все доступные инструменты карты показаны в чате.

Список показан в чате.

Запрос: Покажи все инструменты карты.
Ответ: Доступные инструменты карты:
- map.SetCenter — изменить центр карты.
- Measure.GetActive — проверить состояние линейки.

Вот список доступных инструментов карты:  
1. `map.SetCenter` — изменить центр карты.  
2. `Measure.GetActive` — проверить состояние линейки.

Все доступные инструменты показаны в чате.

TTS
Запрос: Назови вслух инструменты измерения.
Ответ: Measure.Distance измеряет расстояние, Measure.Area измеряет площадь.

Есть инструменты для измерения расстояния и площади.

Measure.Distance измеряет расстояние, Measure.Area измеряет площадь.

Запрос: Назови вслух инструменты измерения.
Ответ: Measure.Distance измеряет расстояние, Measure.Area измеряет площадь.

Measure.Distance измеряет расстояние, Measure.Area измеряет площадь.

Один инструмент измеряет расстояние, другой измеряет площадь.

TTS
Запрос: Включи линейку.
Ответ: Команда Measure.MeasureOnOff отправлена. Проверка Measure.GetActive завершилась по тайм-ауту. Состояние линейки неизвестно.

Команда на включение линейки отправлена. Проверка не ответила вовремя, поэтому состояние линейки неизвестно.

Команда включена. Проверка завершилась по тайм-ауту. Состояние неизвестно.

Запрос: Включи линейку.
Ответ: Команда Measure.MeasureOnOff отправлена. Проверка Measure.GetActive завершилась по тайм-ауту. Состояние линейки неизвестно.

Команда включения линейки отправлена. Проверка её активности завершилась по тайм-ауту. Состояние линейки неизвестно.

Команда отправлена. Проверка завершилась по тайм-ауту, поэтому состояние линейки неизвестно.

TTS
Запрос: Включи слои осадков и ветра.
Ответ: Слой осадков включён. Команда включения слоя ветра отправлена, но проверка завершилась по тайм-ауту.

Слой осадков включён. Команда включения слоя ветра отправлена, но результат пока неизвестен.

Слой осадков включён. Команда включения слоя ветра отправлена, но проверка завершилась по тайм-ауту.

Запрос: Включи слои осадков и ветра.
Ответ: Слой осадков включён. Команда включения слоя ветра отправлена, но проверка завершилась по тайм-ауту.

Слой осадков включён. Команда включения слоя ветра отправлена, но проверка завершилась по тайм-ауту.

Слой осадков включён. Команда включения слоя ветра отправлена, но проверка завершилась по тайм-ауту, поэтому результат пока неизвестен.

[TTS MODE]
Запрос: Куда переместилась карта?
Ответ: Центр карты установлен на широте 12,5° и долготе −43,25°.

Центр карты установлен на широте двенадцать целых пять десятых градуса и долготе минус сорок три целых двадцать пять сотых градуса.

Центр карты установлен на широте 12,5° и долготе −43,25°.

Запрос: Куда переместилась карта?
Ответ: Центр карты установлен на широте 12,5° и долготе −43,25°.

Центр карты перемещён на широту двенадцать целых пять десятых градуса и долготу минус сорок три целых четверть градуса.

Центр карты установлен на широте двенадцать целых пять десятых градуса и долготе минус сорок три целых двадцать пять сотых градуса.

TTS
Запрос: Установи масштаб 12.
Ответ: Изменение масштаба отклонено. Текущий масштаб 9.

Изменение масштаба отклонено. Текущий масштаб — девять.

Изменение масштаба отклонено. Текущий масштаб 9.

Запрос: Установи масштаб 12.
Ответ: Изменение масштаба отклонено. Текущий масштаб 9.

Изменение масштаба отклонено. Текущий масштаб 9.

Изменение масштаба отклонено. Текущий масштаб девять.

TTS
Запрос: Загрузи маршрут в карту.
Ответ: Маршрут загружен, но отображение маршрута отключено.

Маршрут загружен. Его отображение выключено.

Маршрут загружен, но отображение маршрута отключено.

Запрос: Загрузи маршрут в карту.
Ответ: Маршрут загружен, но отображение маршрута отключено.

Маршрут загружен, но отображение маршрута отключено.

Маршрут загружен, но отображение маршрута отключено.

TTS
Запрос: Какая видимость сейчас?
Ответ: Видимость составляет 500 метров. Прогноз на вечер пока недоступен.

Видимость — пятьсот метров. Прогноз на вечер пока недоступен.

Видимость составляет 500 метров. Прогноз на вечер пока недоступен.

Запрос: Какая видимость сейчас?
Ответ: Видимость составляет 500 метров. Прогноз на вечер пока недоступен.

Видимость сейчас 500 метров. Прогноз на вечер пока недоступен.

Видимость составляет пятьсот метров. Прогноз на вечер пока недоступен.

TTS
Запрос: Когда началась гроза?
Ответ: Гроза началась в 14:05 по местному времени.

Гроза началась в четырнадцать часов пять минут по местному времени.

Гроза началась в 14:05 по местному времени.

Запрос: Когда началась гроза?
Ответ: Гроза началась в 14:05 по местному времени.

Гроза началась в 14:05 по местному времени.

Гроза началась в четырнадцать часов пять минут по местному времени.

TTS
Запрос: Удали маршрут А.
Ответ: Маршрут А не удалён: у пользователя нет прав.

Маршрут А не удалён. Для удаления нет прав.

Маршрут А не удалён: у пользователя нет прав.

Запрос: Удали маршрут А.
Ответ: Маршрут А не удалён: у пользователя нет прав.

Маршрут А не удалён: у пользователя нет прав.

Маршрут А не удалён: у пользователя нет прав.

TTS
Запрос: Какие координаты вернул сервис?
Ответ: Сервис вернул пару [37,6; 55,7]. Порядок осей неизвестен.

Сервис вернул тридцать семь целых шесть десятых и пятьдесят пять целых семь десятых. Порядок осей неизвестен.

Сервис вернул координаты [37,6; 55,7]. Порядок осей неизвестен.

Запрос: Какие координаты вернул сервис?
Ответ: Сервис вернул пару [37,6; 55,7]. Порядок осей неизвестен.

Сервис вернул координаты [37,6; 55,7]. Порядок осей неизвестен.

Сервис вернул пару тридцать семь целых шесть десятых и пятьдесят пять целых семь десятых. Порядок осей неизвестен.

TTS
Запрос: Покажи предупреждения в таблице.
Ответ: Таблица предупреждений показана в чате. Есть одно предупреждение о граде.

Таблица показана в чате. Есть одно предупреждение о граде.

Таблица предупреждений показана в чате. Есть одно предупреждение о граде.

Запрос: Покажи предупреждения в таблице.
Ответ: Таблица предупреждений показана в чате. Есть одно предупреждение о граде.

Таблица предупреждений показана в чате. В ней указано одно предупреждение о граде.

Таблица предупреждений показана в чате. Есть одно предупреждение о граде.

TTS
Запрос: Переведи центр в аэропорт Казань.
Ответ: Центр карты перемещён в аэропорт Казань. Масштаб не менялся.

Карта перемещена в аэропорт Казань. Масштаб не менялся.

Центр карты перемещён в аэропорт Казань. Масштаб не менялся.

Запрос: Переведи центр в аэропорт Казань.
Ответ: Центр карты перемещён в аэропорт Казань. Масштаб не менялся.

Центр карты перемещён в аэропорт Казань. Масштаб не менялся.

Центр карты перемещён в аэропорт Казань. Масштаб не менялся.

не переключай слой пока видимость не станет больше 500 метров

Не переключай слой, пока видимость не станет больше 500 метров.

Не переключай слой, пока видимость не станет больше пятисот метров.

ASR  
Если есть поле «Запрос», исправь его. Сначала обязательно примени точные замены ко всем совпадениям:  

даблю эм эс, дабл ю эм эс → WMS  
даблю эф эс, дабл ю эф эс → WFS  
ю ю и и → UUEE  
ю ю ди ди → UUDD  
гео джейсон, геоджейсон → GeoJSON  

В названии формата прогноза пиши GRIB. В бытовом значении сохраняй «гриб».  

Затем поправь регистр и пунктуацию. Сохрани

не переключай слой пока видимость не станет больше 500 метров

Не переключай слой, пока видимость не станет больше 500 метров.

Не переключай слой, пока видимость не станет больше 500 метров.

Не переключай слой, пока видимость не станет больше пятисот метров.

Запрос: проверь видимость для UUEE
Ответ: Видимость составляет 800 метров.

Проверь видимость для UUEE.

Видимость составляет восемьсот метров.

ASR
Если есть поле «Запрос», исправь его. Сначала обязательно примени точные замены ко всем совпадениям:

ю ю и и → UUEE
ю ю ди ди → UUDD

В названии формата прогноза пиши GRIB. В бытовом значении сохраняй «гриб».

Затем поправь регистр и пунктуацию. Сохрани остальные слова и их порядок, особенно отрицания, условия и незаконченный конец фразы. Готовые коды, числа, знаки и единицы копируй как есть.

TTS
Видимость для UUEE

проверь видимость для UUEE

Проверь видимость для UUEE

Проверь видимость для UUEE.

Видимость составляет восемьсот метров.

ASR
для ю ю ди ди сверь дабл ю эм эс и дабл ю эф эс но исходный WGS оставь

Для UUDD сверь WMS и WFS, но исходный WGS оставь.

для UUDD сверь WMS и WFS но исходный WGS оставь

Для UUDD сверь WMS и WFS, но исходный WGS оставь.

Для UUDD сверь WMS и WFS, но исходный WGS оставь.

ASR
если исходный GPX недоступен не переключай слой пока не

Если исходный GPX недоступен, не переключай слой, пока не

если исходный GPX недоступен не переключай слой пока не

Если исходный GPX недоступен, не переключай слой пока не

Если исходный GPX недоступен, не переключай слой, пока не

TTS
Запрос: Включи шкалу и легенду.
Ответ: Легенда включена. Команда включения шкалы отправлена, но проверка статуса завершилась по тайм-ауту.

Легенда включена. Команда включения шкалы отправлена, но результат проверки неизвестен.

Запрос: Включи шкалу и легенду.
Ответ: Легенда включена. Команда включения шкалы отправлена, но проверка статуса завершилась по тайм-ауту.

Легенда включена. Команда включения шкалы отправлена, но проверка статуса завершилась по тайм-ауту.

Легенда включена. Команда включения шкалы отправлена, но проверка статуса завершилась по тайм-ауту, поэтому результат пока неизвестен.

TTS
Запрос: Когда обновили карту?
Ответ: Карта обновлена в 21:01 по местному времени.

Карта обновлена в двадцать один час одну минуту по местному времени.

Запрос: Когда обновили карту?
Ответ: Карта обновлена в 21:01 по местному времени.

Карта обновлена в 21:01 по местному времени.

Карта обновлена в двадцать один час одну минуту по местному времени.

TTS
Запрос: Какая высота?
Ответ: Высота составляет −8 метров. Датчик исправен.

Высота — минус восемь метров. Датчик исправен.

Запрос: Какая высота?
Ответ: Высота составляет −8 метров. Датчик исправен.

Высота составляет минус восемь метров. Датчик работает правильно.

Высота составляет минус восемь метров. Датчик исправен.

ASR
сверь видимость для UUEE но файл в формате гриб не открывай если слой выключен

Сверь видимость для UUEE, но файл в формате GRIB не открывай, если слой выключен.

сверь видимость для UUEE но файл в формате GRIB не открывай если слой выключен

Сверь видимость для UUEE. Но файл в формате GRIB не открывай, если слой выключен.

Сверь видимость для UUEE. Но файл в формате GRIB не открывай, если слой выключен.

ASR
повтори слой открыт

Повтори: слой открыт.

повтори слой открыт

Повтори слой открыт

Повтори: слой открыт.

TTS
Запрос: Куда уехал центр карты?
Ответ: Центр карты на широте 0,25° и долготе −18,05°. Масштаб сохранён.

Центр карты на широте ноль целых двадцать пять сотых градуса и долготе минус восемнадцать целых пять сотых градуса. Масштаб сохранён.

Запрос: Куда уехал центр карты?
Ответ: Центр карты на широте 0,25° и долготе −18,05°. Масштаб сохранён.

Центр карты находится на широте 0,25 градуса и долготе минус 18,05 градуса. Масштаб карты не изменён.

Центр карты на широте ноль целых двадцать пять сотых градуса и долготе минус восемнадцать целых пять сотых градуса. Масштаб сохранён.

TTS
Запрос: Выключи осадки и ветер.
Ответ: Слой ветра выключен. Отключить слой осадков не удалось.

Слой ветра выключен. Отключить слой осадков не удалось.

Запрос: Выключи осадки и ветер.
Ответ: Слой ветра выключен. Отключить слой осадков не удалось.

Слой ветра выключен. Отключить слой осадков не удалось.

Слой ветра выключен. Отключить слой осадков не удалось.