Тест qwen3.5:9b: Рантайм приложений и деплой — 98%
23.05.2026
Базовая модель:
qwen3.5:9b(сток, без дообучения). Полный прогон на GPU 3090.
Метод: где сток ломается — там реальная дыра. Под неё мы точечно готовим трейсы для нашей модели oni-main.
Что тестировали
venv/pip/pipx, npm install/audit, systemd app-unit, uvicorn/workers, pm2, release-каталоги, миграции, feature flags.
Результаты прогона
| Метрика | Значение |
|---|---|
| Прогнано кейсов | 1176 |
| Прошло (ok) | 1158 |
| Доля ok | 98% |
| Провалы по классам | api_error: 7, degenerate_repeat: 11 |
Классы провалов: degenerate_repeat — модель зацикливается и повторяет одно и то же; api_error — обрыв или таймаут генерации; empty — пустой ответ; length — упёрлась в лимит длины.
Где сток спотыкается (примеры кейсов)
- Покажи только ошибки/проблемные состояния
pip install. - Покажи production-safe rollback-план для изменения uvicorn с проверкой до и после.
- Сделай композит управления workers: read-only факт → минимальный fix после подтверждения → итог.
- Сделай композит feature flags: найти конфиг → validate → apply/reload → post-check одной командой.
Что закрываем в oni-main
Под эти провалы готовим трейсы в едином формате: read-only диагностика → минимальный фикс только после подтверждения → пост-проверка одной командой. Цель — убрать зацикливания и обрывы именно на краевых кейсах домена «Рантайм приложений и деплой» и подтянуть оставшиеся 2% к стабильному поведению.
Это часть серии: один разбор на каждый домен. Прогон от 2026-05-23, всего 24 412 кейсов по 21 домену, сток — 98% ok.