Тест qwen3.5:9b: Безопасность, реагирование на инциденты, форензика — 99%
23.05.2026
Базовая модель:
qwen3.5:9b(сток, без дообучения). Полный прогон на GPU 3090.
Метод: где сток ломается — там реальная дыра. Под неё мы точечно готовим трейсы для нашей модели oni-main.
Что тестировали
open ports, geoip, who/last, debsums, setuid-аномалии, fail2ban failregex, nginx-фильтры 401, DDoS/уникальные IP, доли 4xx/5xx, post-mortem timeline и root-cause.
Результаты прогона
| Метрика | Значение |
|---|---|
| Прогнано кейсов | 1181 |
| Прошло (ok) | 1165 |
| Доля ok | 99% |
| Провалы по классам | degenerate_repeat: 6, api_error: 10 |
Классы провалов: degenerate_repeat — модель зацикливается и повторяет одно и то же; api_error — обрыв или таймаут генерации; empty — пустой ответ; length — упёрлась в лимит длины.
Где сток спотыкается (примеры кейсов)
- Найди конфигурацию открытых портов и выведи применяемые файлы.
- Сделай композит
who: read-only факт → минимальный fix после подтверждения → итог. - Проверь edge-case подсчёта уникальных IP при DDoS: пустой вывод/отсутствующий пакет.
- Сделай композит post-mortem timeline: read-only факт → минимальный fix → итог.
Что закрываем в oni-main
Под эти провалы готовим трейсы в едином формате: read-only диагностика → минимальный фикс только после подтверждения → пост-проверка одной командой. Цель — убрать зацикливания и обрывы именно на краевых кейсах домена «Безопасность, реагирование на инциденты, форензика» и подтянуть оставшиеся 1% к стабильному поведению.
Это часть серии: один разбор на каждый домен. Прогон от 2026-05-23, всего 24 412 кейсов по 21 домену, сток — 98% ok.