Две Nemotron: состояние реализации и проверки

Поставка завершена 8 ноября. Обе Nemotron выбираются и выполняются в production Monitor и Compare. Все пять прежних backend завершили контрольное распознавание в обновлённом Compare.

Исходники

• Chat Agent: MR !67, доставка через MR !68, main 430dcb8d.
• ASR: MR !10, main 54a49e78.
• Rag Stack: адресный ASR в MR !2, закреплённый Docker CLI в !3, явный тег в !4, main 2dc32e03.
• Расширение, GPU/MIG и модель голосового чата GigaAM Large не менялись.

Добавлены два адаптера в существующий worker, пункты Compare/Monitor, проверка фактической модели, диагностический срок 120 секунд и отдельное время загрузки/прогрева. Сохраняются NATS subjects, очередь, приоритет живой речи, контроль входа и защита от повторного вызова.

Lite использует извлечённые encoder/CTC, без 30B LLM и Core ML. Ревизии, хеши и лицензии закреплены; runtime не скачивает веса. Для NVIDIA 0.6B фактическая закреплённая конфигурация поддерживает [56,13], а не исходно предложенные [70,13]. Язык — ru-RU.

С разрешения владельца обновлены Torch/torchaudio 2.10.0+cu126, Triton 3.6, NCCL 2.27.5, NVSHMEM 3.4.5 и связанный TorchCodec 0.10.0. Исправлены блокеры apt/Lightning/fsspec/PyArrow. Проверки безопасности не ослаблялись.

Дополнительно исправлены:

• необратимое округление mel-коэффициентов при общем переводе модели в FP16; preprocessor сохраняет FP32;
• ложный WER 100% до завершения распознавания и после ошибки/отмены;
• смешение неподдерживаемых и несохранённых confidence-оценок;
• устаревшее указание Core вместо фактического Audio Ingress в наблюдении результата bridge.

Проверки

• 606 frontend-тестов и типизация — CI 5807; остальные четыре группы в этом точечном прогоне штатно пропущены как незатронутые. Базовый набор пяти групп выполнен ранее на общей реализации в CI 5789.
• 59 адресных тестов сравнения/повтора. На итоговом main пять групп CI прошли; опубликованы образы Gateway, Audio Ingress и Front.
• ASR: 49 bridge/NATS и 13 worker/adapter checks в полном кандидате; отдельные настоящие NATS-сценарии проверяют очередь, приоритет, отмену во время загрузки, недоступность и потерю ответа без повторного вызова.
• Полный кандидат 65f82dad ранее прошёл Trivy для восьми образов. Повтор 7 ноября с новой базой уязвимостей нашёл две исправляемые HIGH в zlib1g; исправление 8630eeca прошло штатный CI 5808: шесть затронутых образов проверены Trivy и опубликованы. Использован прежний порог HIGH/CRITICAL с ignore-unfixed; проверки не ослаблялись.
• Обе Nemotron и обе GigaAM распознали по 50 записей на Torch 2.8 и 2.10: тексты и входные хеши совпали. CPU GigaAM явно использовал FP32 только в одноразовом тесте; GPU-адаптер не менялся.
• Pyannote/TorchCodec прочитал контрольный WAV; образы диаризации прошли свои проверки импортов. Их новое GPU-поведение пока не подтверждено.

Предварительное сравнение CPU

Фиксированная выборка Fleurs: 40 RU / 10 EN, одинаковые PCM16 и float32 SHA-256 для всех пяти моделей. Это небольшая выборка, не полноценный benchmark. CPU INT8 Whisper и FP32 остальных нельзя использовать для вывода о сравнительной скорости на H100.

На этих русских примерах новые модели уступили действующим. Lite остаётся экспериментальной. Модель чата по умолчанию сохраняется.

Английские результаты лежат в JSON, но Turbo и официальная Nemotron также на EN использовали принудительный русский; эти цифры не оценивают их английский режим. Полные записи/тексты/времена — в benchmark-*.json; сводка — benchmark-summary.json.

На максимальном CPU-входе 33 секунды обе модели обработали тишину, шум и повторённую речь без исключений. Lite успешно прошёл границу 30-секундных блоков, но на шуме вернул ложный текст «Сем. С.»; официальный ASR вернул пустую строку. GPU/FP16 этим тестом не подтверждены.

Реальный production baseline до обновления

Все пять прежних backend завершили одну публичную фразу в HTTPS Compare: текст совпал с эталоном, WER/CER 0, по одному вызову. Вход модели совпал по SHA-256 у четырёх H100 backend; LinTO этот хеш не сообщает, для него подтверждены исходная запись и диапазон.

Это единичные вызовы, не p95 и не приёмка нового runtime. Физический микрофон не использовался. Временная подстановка публичного звука в тестовой вкладке удалена, настройки восстановлены.

Поставка 8 ноября

• ASR pipeline 5817: 49 bridge/NATS и 13 worker-тестов, Trivy, публикация worker и bridge 3.2.379. Registry Explorer подтвердил worker f9d8d321…, bridge ceeb2cfe….
• Chat pipeline 5818: пять проверок, сборка и preflight. Registry Explorer подтвердил три образа версии 1.0.1203 для точного SHA.
• Rag Stack pipeline 5825 применил только ASR-композицию без prune. Фактический контейнер на H100 запустился с f9d8d321…, источник 54a49e78. Спецификация использует main:latest.
• Worker здоров: ready=true, accepts_requests=true, nemotron_residency=resident. Подтверждены обе Nemotron и четыре прежних H100 backend. Listener проверил main:latest и получил тот же f9d8d321…; образы всех 23 соседних GPU-сервисов совпадают с исходными.
• Bridge pipeline 5826 применил подготовленный образ и подтвердил readiness на 54a49e78 / ceeb2cfe….
• Chat backend job 30661 прошла. Фактические digest: Gateway f8be1acc…, Audio Ingress c3c92c1d….
• Chat Front job 30662 завершилась в 12:47:09 МСК, приём возобновлён. Фактический digest Front 6b61519fa1605de4dae2a221c2eeecee9a7f1589f32526d83b0f541a294d92c8.
• В промежуточной проверке listener получал старую ссылку с digest и не мог видеть новый тег. Dry Stack нормализует :latest, Docker сохраняет прежний digest при совпадении исходного имени. Адресное дополнение Compose позволило заменить эту ссылку. Для новой публикации по этому тегу повторять миграцию не требуется.
• GPU-проверка на изолированном worker: одновременно обе Nemotron и действующие модели, минимально 6,0 ГиБ свободно. Тесты на 90 мс, 1 с и до 33 с, включая тишину, шум и речь. На одном коротком публичном отрывке FP16 и FP32 вернули одинаковый текст; прогретое распознавание 29,24/92,07 мс (0.6B/Lite). Полная выборка сравнения проверялась на CPU.

Проверка production после поставки

Таблица показывает время работы модели. В Compare — по одной фразе, по одному вызову и 0 мс загрузки обеих моделей. Первый запуск ждал браузерную подготовку Silero 68,26 с; следующий переиспользовал готовые границы и Opus-пакеты. От границы до показа прошло 333/244 мс. Это один прогон, не оценка p95.

Monitor завершил оба повтора с подтверждением «Команда чата не создавалась», сохранив исходный столбец GigaAM Large. Список проверен в светлой и тёмной темах, исходная тема восстановлена. В Compare Whisper Turbo, Whisper Russian, GigaAM RNNT, GigaAM Large и LinTO также вернули по одному результату без ошибки. Физический микрофон не использовался; тестовая вкладка с публичным звуком закрыта.

История попыток 7 ноября (до восстановления доступа)

ASR pipeline 5808, SHA 8630eeca: SUCCESS. Build job 30551 завершилась 7 ноября в 19:26:41 МСК за 29 минут 53 секунды. Существующий отбор влияния собрал шесть затронутых образов; 49 bridge/NATS-тестов, проверки импортов Pyannote/Sortformer и Trivy прошли. Все шесть образов опубликованы под 3.2-deploy и latest-deploy; проверенные config digest и refs сохранены в ci-5808-build-summary.json. ASR worker и LinTO этой трёхстрочной правкой не затронуты и повторно не собирались.

Deploy job 30552 также SUCCESS, завершение 19:27:46 МСК. Её точный результат: [deploy] skipped outside the default branch. 32 теста deployment-образа (100 assertions) прошли, но runtime не изменялся; это успешная проверка кандидата, а не production-поставка.

Предыдущий полный pipeline 5805 не был успешен: job 30533 и первый повтор 30542 завершились часовым тайм-аутом при публикации. Второй повтор 30550 завершился 7 ноября 15:55 UTC с Trivy exit 1: новые CVE-2026-76844/CVE-2026-85091 в zlib1g. Commit 8630eeca обновляет zlib1g штатным APT в трёх Dockerfile. Исправленная версия Debian Trixie — 1:1.3.dfsg+really1.3.1-1+deb13u1; установка подтверждена trace нового CI. Root CI не изменён.

Registry уже отдал manifest полного кандидата:

sha256:9e7bbdc192f9dd55c6a74f596e234e4ca6455cab8c915251d97e040f1889f4da

35 layers, linux/amd64; config sha256:e1ca893412045feb3c589a2afa2e1ad6c85943cdeb57501c94dec5cad1a3fa19. Config digest совпадает с image ID, экспортированным и проверенным Trivy в job 30542; build labels этого образа содержат revision 65f82dad50233b7dfc6a632001595f28158323cf. Runtime ещё не запускался.

H100 не смог скачать этот digest: proxyconnect tcp: dial tcp 72.56.73.217:1195: i/o timeout. Свежая проверка 7 ноября 19:12 МСК снова дала TCP timeout и к настроенному proxy, и к registry:443. Требуется восстановление штатного доступа Docker к registry; сеть, proxy и daemon не изменялись. Тестовый GPU-контейнер не создан.

Предыдущий рабочий digest, сохранённый для отката:

sha256:d2718c893a87add423e68d5e506147cd0f69b27f9173fa4052fe9893cd5697ed

Размер первоначальных изменений

Подробный журнал проверки — verification-progress.md; точные added/removed — source-line-counts.json.

Итоговые diff относительно исходных main, включая исправления поставки: Chat Agent +174/−51, ASR +730/−42, Rag Stack +25/−4.