{ "summary": { "hardware": "local CPU", "precision": "float32", "route": "direct adapter, PCM16 -> float32, no Opus", "records": 10, "wer_pct": 16.33986928104575, "cer_pct": 8.795180722891565, "median_decode_ms": 1967.915, "terms_hit": 14, "terms_total": 31 }, "results": [ { "id": "01", "seconds": 13.763125, "ms": 1664.84, "text": "Проверь, что после нового релиза клиента отправляет JSON через REST API, а сервер пишет идентификатор запроса в лог. Если ответ приходит дважды, сравни намера событий и покажи мне первый успешный ответ", "reference": "Проверь, что после нового релиза клиент отправляет JSON через REST API, а сервер пишет идентификатор запроса в лог. Если ответ приходит дважды, сравни номера событий и покажи мне первый успешный ответ.", "snr_db": null, "word_edits": 2, "ref_words": 31, "char_edits": 2, "ref_chars": 166, "wer_pct": 6.451612903225806, "cer_pct": 1.2048192771084338, "terms_hit": 2, "terms_total": 2 }, { "id": "02", "seconds": 15.57425, "ms": 1928.36, "text": "После обеда открывай GitLab найди последнюю сборку и сравни докер имидж с тем, который сейчас запущен. Если тека отличается, сохрани ссылку на CI и уточни, кто одобрил выпуск этой версии.", "reference": "После обеда открой GitLab, найди последнюю сборку и сравни Docker image с тем, который сейчас запущен. Если тег отличается, сохрани ссылку на CI и уточни, кто одобрил выпуск этой версии.", "snr_db": null, "word_edits": 4, "ref_words": 30, "char_edits": 16, "ref_chars": 151, "wer_pct": 13.333333333333334, "cer_pct": 10.596026490066226, "terms_hit": 2, "terms_total": 3 }, { "id": "03", "seconds": 10.7909375, "ms": 1398.11, "text": "Вчера при проверке микрофона Chrome показал, что шумоподавление отключено. Включи его снова. Запиши короткий wave, сравни громкость D и после и приложи оба файла к задаче QA для проверки", "reference": "Вчера при проверке микрофона Chrome показал, что шумоподавление отключено. Включи его снова, запиши короткий WAV, сравни громкость до и после и приложи оба файла к задаче QA для проверки.", "snr_db": 20, "word_edits": 2, "ref_words": 29, "char_edits": 3, "ref_chars": 154, "wer_pct": 6.896551724137931, "cer_pct": 1.948051948051948, "terms_hit": 2, "terms_total": 3 }, { "id": "04", "seconds": 14.157875, "ms": 1717.53, "text": "Пожалуйста, открой отчет монитора и проверь, почемукет потерял соединение после смены сети. Найди сообщение складом ошибки и отметь отдельно, успел ли браузер передать последний пакет PC M перед отключения", "reference": "Пожалуйста, открой отчёт Monitor и проверь, почему WebSocket потерял соединение после смены сети. Найди сообщение с кодом ошибки и отметь отдельно, успел ли браузер передать последний пакет PCM перед отключением.", "snr_db": 20, "word_edits": 9, "ref_words": 30, "char_edits": 22, "ref_chars": 178, "wer_pct": 30.0, "cer_pct": 12.359550561797754, "terms_hit": 0, "terms_total": 3 }, { "id": "05", "seconds": 16.7236875, "ms": 2372.68, "text": "Сравни распознавание одной записи для УСП и ГИГА. Обрати внимание, правильно ли модел записала слово Python и Kubernetis, а также аббревиатуру GPU, отдельно посчитая ошибки в терминах и время обработки", "reference": "Сравни распознавание одной записи для Whisper и GigaAM. Обрати внимание, правильно ли модель записала слова Python и Kubernetes, а также аббревиатуру GPU. Отдельно посчитай ошибки в терминах и время обработки.", "snr_db": 12, "word_edits": 6, "ref_words": 30, "char_edits": 17, "ref_chars": 175, "wer_pct": 20.0, "cer_pct": 9.714285714285714, "terms_hit": 2, "terms_total": 5 }, { "id": "06", "seconds": 12.5556875, "ms": 2007.47, "text": "На тестовом стенди сервер обновился, но браузер все еще показывает прежний список. Перезагрузи страницу. Открой компо и проверь через HTTP, совпадает ли версия front-end Stoy, которая указана в GID", "reference": "На тестовом стенде сервер обновился, но браузер всё ещё показывает прежний список. Перезагрузи страницу, открой Compare и проверь через HTTP, совпадает ли версия фронтенда с той, которая указана в Git.", "snr_db": 12, "word_edits": 8, "ref_words": 30, "char_edits": 24, "ref_chars": 166, "wer_pct": 26.666666666666668, "cer_pct": 14.457831325301205, "terms_hit": 1, "terms_total": 3 }, { "id": "07", "seconds": 13.8095625, "ms": 1750.21, "text": "Если VPN снова оборнется во время звонка, не перезапускай V-сервер, сначала проверь DNS, затем посмотри, отвечает ли нас, сохрани точное время ошибки, чтобы потом найти тот же запрос в журнале.", "reference": "Если VPN снова оборвётся во время звонка, не перезапускай весь сервер. Сначала проверь DNS, затем посмотри, отвечает ли NATS. Сохрани точное время ошибки, чтобы потом найти тот же запрос в журнале.", "snr_db": 6, "word_edits": 3, "ref_words": 31, "char_edits": 10, "ref_chars": 160, "wer_pct": 9.67741935483871, "cer_pct": 6.25, "terms_hit": 2, "terms_total": 3 }, { "id": "08", "seconds": 16.387, "ms": 2163.91, "text": "Для новой проверки подготовки отдельной сезби в каждой строке должны быть имя файла, уровень шума, исходный текст и ответ модели после прогона посчитай WER и SER и добавь время работы модели в миллисекунды.", "reference": "Для новой проверки подготовь отдельный CSV. В каждой строке должны быть имя файла, уровень шума, исходный текст и ответ модели. После прогона посчитай WER и CER и добавь время работы модели в миллисекундах.", "snr_db": 6, "word_edits": 5, "ref_words": 33, "char_edits": 11, "ref_chars": 169, "wer_pct": 15.151515151515152, "cer_pct": 6.508875739644971, "terms_hit": 1, "terms_total": 3 }, { "id": "09", "seconds": 11.8823125, "ms": 2105.22, "text": "Сохрани контрольную запись в Бокпурс и провери, что после декодирования частота ECM составляет 16 КГц, затем отправ тот же звук VSR и сравни текст с колон, меняя границы фразы.", "reference": "Сохрани контрольную запись в Opus и проверь, что после декодирования частота PCM составляет шестнадцать килогерц. Затем отправь тот же звук в ASR и сравни текст с эталоном, не меняя границы фразы.", "snr_db": 0, "word_edits": 10, "ref_words": 31, "char_edits": 35, "ref_chars": 162, "wer_pct": 32.25806451612903, "cer_pct": 21.604938271604937, "terms_hit": 0, "terms_total": 3 }, { "id": "10", "seconds": 15.109875, "ms": 2038.58, "text": "На странице debug виден длинный запрос с ошибкой TLS. Посмотри сертификат, сравни адрес с настройками прокси и уточни какой сервис первым вернул ошибку. После этого пришли короткое объяснение для команды поддержки.", "reference": "На странице Debug виден длинный запрос с ошибкой TLS. Посмотри сертификат, сравни адрес с настройками Proxy и уточни, какой сервис первым вернул ошибку. После этого пришли короткое объяснение для команды поддержки.", "snr_db": 0, "word_edits": 1, "ref_words": 31, "char_edits": 6, "ref_chars": 179, "wer_pct": 3.225806451612903, "cer_pct": 3.35195530726257, "terms_hit": 2, "terms_total": 3 } ] }