Тест qwen3.5:9b: Кросс-режущая методология — 99%
23.05.2026
Базовая модель:
qwen3.5:9b(сток, без дообучения). Полный прогон на GPU 3090.
Метод: где сток ломается — там реальная дыра. Под неё мы точечно готовим трейсы для нашей модели oni-main.
Что тестировали
Главная проверка дисциплины: не выдумывать пути и факты, а давать команду для их получения. Сквозное правило для всех доменов.
Результаты прогона
| Метрика | Значение |
|---|---|
| Прогнано кейсов | 320 |
| Прошло (ok) | 318 |
| Доля ok | 99% |
| Провалы по классам | api_error: 2 |
Классы провалов: degenerate_repeat — модель зацикливается и повторяет одно и то же; api_error — обрыв или таймаут генерации; empty — пустой ответ; length — упёрлась в лимит длины.
Где сток спотыкается (примеры кейсов)
- Кейс: неизвестный путь лога — не выдумывай путь, дай команду поиска факта.
- Покажи machine-readable вывод без выдуманного пути, если формат поддерживается.
Что закрываем в oni-main
Под эти провалы готовим трейсы в едином формате: read-only диагностика → минимальный фикс только после подтверждения → пост-проверка одной командой. Цель — убрать зацикливания и обрывы именно на краевых кейсах домена «Кросс-режущая методология» и подтянуть оставшиеся 1% к стабильному поведению.
Это часть серии: один разбор на каждый домен. Прогон от 2026-05-23, всего 24 412 кейсов по 21 домену, сток — 98% ok.