{
  "compact": {
    "summary": {
      "n": 10,
      "passed": 4,
      "partial": 6,
      "failed": 0,
      "score": 14,
      "issues": {
        "fidelity": 2,
        "punctuation": 2,
        "terms": 1,
        "format": 1,
        "content": 1
      },
      "median_ms": 383.87
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "Не распознал GRIB в контексте прогноза.",
        "issues": [
          "fidelity"
        ],
        "total": 2085.515222977847
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "Оставил WFS и WMS фонетикой.",
        "issues": [
          "fidelity"
        ],
        "total": 620.5976100172848
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 422.95919288881123
      },
      {
        "case": "08",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 572.4573330953717
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "Совпали слова. Требуют правки регистр начала или конечный знак.",
        "issues": [
          "punctuation"
        ],
        "total": 371.97582912631333
      },
      {
        "case": "25",
        "grade": "partial",
        "note": "Заменил повелительное наклонение инфинитивом, нет конечного знака.",
        "issues": [
          "punctuation"
        ],
        "total": 329.5809018891305
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 306.5285668708384
      },
      {
        "case": "40",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 395.7630409859121
      },
      {
        "case": "44",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 313.40805790387094
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 363.10018110089004
      }
    ]
  },
  "short": {
    "summary": {
      "n": 10,
      "passed": 4,
      "partial": 5,
      "failed": 1,
      "score": 13,
      "issues": {
        "terms": 2,
        "fidelity": 2,
        "punctuation": 1,
        "format": 1,
        "content": 1
      },
      "median_ms": 372.4
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 402.7867428958416
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "Оставил WFS и WMS фонетикой.",
        "issues": [
          "fidelity"
        ],
        "total": 593.5525908134878
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 372.1713100094348
      },
      {
        "case": "08",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 442.52605689689517
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "Опустил местоимение «он».",
        "issues": [
          "fidelity"
        ],
        "total": 294.7364409919828
      },
      {
        "case": "25",
        "grade": "partial",
        "note": "Заменил повелительное наклонение инфинитивом, нет конечного знака.",
        "issues": [
          "punctuation"
        ],
        "total": 287.88993996568024
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 284.3223991803825
      },
      {
        "case": "40",
        "grade": "fail",
        "note": "Проверка не нашла: локальный архив создан, загрузка не удалась, отказано в доступе.",
        "issues": [
          "format",
          "content"
        ],
        "total": 508.075610967353
      },
      {
        "case": "44",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 272.9286381509155
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 372.632215032354
      }
    ]
  },
  "precise": {
    "summary": {
      "n": 10,
      "passed": 4,
      "partial": 4,
      "failed": 2,
      "score": 12,
      "issues": {
        "terms": 3,
        "format": 1,
        "punctuation": 1,
        "fidelity": 1,
        "content": 1
      },
      "median_ms": 363.9
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 414.8622110951692
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 590.3942531440407
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 392.26831099949777
      },
      {
        "case": "08",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 461.7192670702934
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "Совпали слова. Требуют правки регистр начала или конечный знак.",
        "issues": [
          "punctuation"
        ],
        "total": 299.74692687392235
      },
      {
        "case": "25",
        "grade": "fail",
        "note": "Изменилось количество слов «не» в условиях или отрицаниях.",
        "issues": [
          "fidelity"
        ],
        "total": 634.7679181490093
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 323.84223002009094
      },
      {
        "case": "40",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 328.3200520090759
      },
      {
        "case": "44",
        "grade": "fail",
        "note": "Проверка не нашла: справка подготовлена, нужен получатель.",
        "issues": [
          "content"
        ],
        "total": 244.33781299740076
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 335.5294649954885
      }
    ]
  },
  "ordered": {
    "summary": {
      "n": 10,
      "passed": 6,
      "partial": 4,
      "failed": 0,
      "score": 16,
      "issues": {
        "terms": 3,
        "punctuation": 1
      },
      "median_ms": 324.62
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 365.99469697102904
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 589.4427439197898
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 368.32395615056157
      },
      {
        "case": "08",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 476.57010005787015
      },
      {
        "case": "20",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 318.7535449396819
      },
      {
        "case": "25",
        "grade": "partial",
        "note": "Заменил повелительное наклонение инфинитивом, нет конечного знака.",
        "issues": [
          "punctuation"
        ],
        "total": 302.8034749440849
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 305.2387349307537
      },
      {
        "case": "40",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 296.30929604172707
      },
      {
        "case": "44",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 274.9535159673542
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 330.4855290334672
      }
    ]
  },
  "routed": {
    "summary": {
      "n": 10,
      "passed": 5,
      "partial": 5,
      "failed": 0,
      "score": 15,
      "issues": {
        "terms": 4,
        "format": 3,
        "fidelity": 1
      },
      "median_ms": 366.74
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 370.51337608136237
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 638.4703700896353
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 444.6076250169426
      },
      {
        "case": "08",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 442.46195699088275
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "Опустил местоимение «он».",
        "issues": [
          "fidelity"
        ],
        "total": 314.54742792993784
      },
      {
        "case": "25",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 362.97304881736636
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 355.9191059321165
      },
      {
        "case": "40",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 357.4994308874011
      },
      {
        "case": "44",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 287.6145588234067
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 459.0955029707402
      }
    ]
  },
  "gemma-e4b-tuned": {
    "summary": {
      "n": 10,
      "passed": 4,
      "partial": 6,
      "failed": 0,
      "score": 14,
      "issues": {
        "format": 5,
        "terms": 3,
        "content": 2,
        "punctuation": 1
      },
      "median_ms": 358.62
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 410.8658160548657
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 624.6177658904344
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 402.4515401106328
      },
      {
        "case": "08",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 599.8184569180012
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "Совпали слова. Требуют правки регистр начала или конечный знак.",
        "issues": [
          "punctuation"
        ],
        "total": 343.2992941234261
      },
      {
        "case": "25",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 344.5388739928603
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 330.2993681281805
      },
      {
        "case": "40",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 336.3636420108378
      },
      {
        "case": "44",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 372.7103848941624
      },
      {
        "case": "45",
        "grade": "pass",
        "note": "Проверки фактов и формата прошли.",
        "issues": [],
        "total": 333.18980410695076
      }
    ]
  },
  "gemma-e2b-tuned": {
    "summary": {
      "n": 10,
      "passed": 1,
      "partial": 9,
      "failed": 0,
      "score": 11,
      "issues": {
        "format": 7,
        "terms": 5,
        "content": 4
      },
      "median_ms": 382.22
    },
    "cases": [
      {
        "case": "03",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 371.05386098846793
      },
      {
        "case": "05",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 645.1388800051063
      },
      {
        "case": "06",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 393.390340032056
      },
      {
        "case": "08",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 483.58136089518666
      },
      {
        "case": "20",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Слова и обозначения совпали с эталоном.",
        "issues": [
          "format",
          "terms"
        ],
        "total": 339.87828297540545
      },
      {
        "case": "25",
        "grade": "partial",
        "note": "Текст близок к исходнику или эталону. Есть различия в словах или нормализации терминов.",
        "issues": [
          "terms"
        ],
        "total": 296.1361550260335
      },
      {
        "case": "39",
        "grade": "pass",
        "note": "Ручная проверка пройдена.",
        "issues": [],
        "total": 311.85421510599554
      },
      {
        "case": "40",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 344.09893001429737
      },
      {
        "case": "44",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 411.55822202563286
      },
      {
        "case": "45",
        "grade": "partial",
        "note": "В ответе есть метки, служебные поля или повтор. Проверки фактов и формата прошли.",
        "issues": [
          "format",
          "content"
        ],
        "total": 478.1801449134946
      }
    ]
  }
}