Тест qwen3.5:9b: Наблюдаемость — 98%
23.05.2026
Базовая модель:
qwen3.5:9b(сток, без дообучения). Полный прогон на GPU 3090.
Метод: где сток ломается — там реальная дыра. Под неё мы точечно готовим трейсы для нашей модели oni-main.
Что тестировали
метрики памяти/нагрузки, node_exporter, Prometheus targets, Grafana, алерты, Kibana, healthcheck-эндпоинты, ротация логов.
Результаты прогона
| Метрика | Значение |
|---|---|
| Прогнано кейсов | 791 |
| Прошло (ok) | 776 |
| Доля ok | 98% |
| Провалы по классам | degenerate_repeat: 3, api_error: 11, empty: 1 |
Классы провалов: degenerate_repeat — модель зацикливается и повторяет одно и то же; api_error — обрыв или таймаут генерации; empty — пустой ответ; length — упёрлась в лимит длины.
Где сток спотыкается (примеры кейсов)
- Покажи только ошибки/проблемные состояния node_exporter.
- Сделай композит проверки Prometheus targets: read-only факт → минимальный fix → итог.
- Проверь edge-case healthcheck-эндпоинта: IPv4 и IPv6 ведут себя по-разному.
- Собери финальный отчёт по healthcheck-эндпоинту: состояние, конфиг, последняя ошибка, проверка.
Что закрываем в oni-main
Под эти провалы готовим трейсы в едином формате: read-only диагностика → минимальный фикс только после подтверждения → пост-проверка одной командой. Цель — убрать зацикливания и обрывы именно на краевых кейсах домена «Наблюдаемость» и подтянуть оставшиеся 2% к стабильному поведению.
Это часть серии: один разбор на каждый домен. Прогон от 2026-05-23, всего 24 412 кейсов по 21 домену, сток — 98% ok.