Стенд проверки текстовых моделей · 12 ноября 2026

• Форма: https://chat-agent.gis-master.ru/model-test.html
• MCP: https://chat-agent.gis-master.ru/mcp/model-test
• Chat Agent MR !82: https://git.giscloud.ru/voice-chat/webrtc-komaroff/-/merge_requests/82
• rag-stack MR !10: https://git.giscloud.ru/ai-assistant/deployments/rag-stack/-/merge_requests/10
• Chat Agent main: b89275a84f183b9adcc7b2c4d34e2234302e67e8.
• rag-stack main: 8026c48d2f23cf28514e790c5ae0cfc61cb56209.

Подключение MCP

Транспорт: Streamable HTTP. Заголовок: Authorization: Bearer <ключ>. Ключ сохранён только локально в локальный источник с правами 600. На сервере используется SHA-256 ключа; ключ в этот отчёт не включён. Инструменты:models_list,test_start,test_get,test_cancel,test_compare`.

Каждый запуск принимает новый UUID run_id, ID модели, системный промпт и запрос. Эталон и обязательные/запрещённые фрагменты необязательны и модели не передаются. Выполнение асинхронное: test_start → test_get до конечного состояния. Повтор того же UUID и входа возвращает прежний запуск. При потере потока стенд блокирует новые генерации до проверки завершения прежней работы оператором.

Проверки

• CI Chat Agent 5997 и 6003: все пять обязательных групп прошли.
• Адресные локальные тесты: 11 backend, 3 frontend; настоящий NATS в штатном CI.
• GPU-кандидат, job 31898: 14/14 технических запусков — русский ASR 8K и английский TTS 32K для каждой модели. Завершение stop, reasoning отсутствует.
• Переполнение: 12012 токенов при контексте 8192 → HTTP 400, без обрезания.
• Драйвер: 187 отсчётов, пик 7742 МиБ, минимально свободно 14402 МиБ из 22144 МиБ.
• Job 31897: действующий NATS-маршрут из Gateway подтверждён.
• Job 31909: OCI-образ на H100 сверён с официальным manifest; все слои совпали.
• Job 31910: обновлён только Ollama. Версия 0.40.16 подтверждена через публичный NATS-прокси. Прежний образ и том сохранены, конфигурация MIG не менялась.
• Jobs 31926/31929: сборки Gateway/Front. Jobs 31954/31959: адресная поставка, проверка источника и работающих образов; настройки TTS сохранены.
• Публичный MCP: initialize, пять инструментов, отказ без ключа, список семи доступных моделей, повтор UUID, точное совпадение READY, эталон исключён из запроса. Полный синтетический результат: mcp-acceptance.json.
• Дополнительно: все шесть остальных моделей выполнили по одному короткому запросу через публичный MCP. Итого 7/7, ответ READY, reasoning отсутствует, digest и GPU подтверждены. Исходные результаты: mcp-models.json. Это не сравнительный benchmark.
• Браузер: после входа проверена опубликованная форма, Qwen3.5 4B / 8K. Вход «не меняй слой WMS» → «Не меняй слой WMS.»; точное совпадение, WER/CER = 0. Кнопки копирования ответа и полного JSON проверены чтением скопированного результата. В запросе ровно system + user, эталона и истории нет. Первый текст в браузере 3108,7 мс, полный ответ 3277,2 мс; загрузка модели 2458,8 мс, обработка входа 113,2 мс, генерация 89,3 мс. Это один запуск с загрузкой модели, не benchmark. Доказательства: browser-acceptance.json и browser-acceptance.jpg. Финальная браузерная приёмка завершена.

Работающие образы

• Ollama: ollama/ollama@sha256:a372a1c0d1e15b68e9521189785c3ca17795c26c2356f8b1b10122cfb59ed0d7.
• Gateway: builder-registry.builder.giscloud.ru/gis/chat-agent/api-gateway/main@sha256:097b6a929014ac51adb2d1e500b85ceb5bf6939ee42b0049ef5f0a7df333d60d.
• Front: builder-registry.builder.giscloud.ru/gis/chat-agent/front/main@sha256:091e024c6b25d8c68e72321c718db810b4db95f8dff0033b12ac719df0bef86c.

Ограничения

Это проверка работоспособности стенда, не рейтинг качества. У моделей встречались неверные термины и искажения смысла; стенд возвращает их без исправления. Совпадение с эталоном и смысловая правильность — разные оценки.

История не передаётся, однако модель и вычислительный кэш могут оставаться загружены. Первый публичный MCP-запуск Qwen 2B занял 61,05 с: загрузка 27,18 с, обработка входа 32,67 с, генерация 1,16 с. Это холодный запуск, не прогретая скорость. У Gemma абсолютная оценка VRAM из API Ollama занижена; для ресурсной приёмки использован драйвер. Исходные метрики API не подменяются.

Новые сервисы inference, базы промптов и обновление расширения не требуются.