Тест qwen3.5:9b: Сертификаты, TLS, крипто — 98%
23.05.2026
Базовая модель:
qwen3.5:9b(сток, без дообучения). Полный прогон на GPU 3090.
Метод: где сток ломается — там реальная дыра. Под неё мы точечно готовим трейсы для нашей модели oni-main.
Что тестировали
expiry/SAN/CSR/fingerprint, certbot (nginx/standalone/webroot/renew/hooks), update-ca-certificates, ciphers, testssl.
Результаты прогона
| Метрика | Значение |
|---|---|
| Прогнано кейсов | 833 |
| Прошло (ok) | 818 |
| Доля ok | 98% |
| Провалы по классам | degenerate_repeat: 7, api_error: 6, empty: 1, length: 1 |
Классы провалов: degenerate_repeat — модель зацикливается и повторяет одно и то же; api_error — обрыв или таймаут генерации; empty — пустой ответ; length — упёрлась в лимит длины.
Где сток спотыкается (примеры кейсов)
- Покажи machine-readable вывод срока действия сертификата, если формат поддерживается.
- Сделай композит проверки SAN: read-only факт → минимальный fix после подтверждения → итог.
- Покажи подробный verbose-вывод
certbot renew --dry-run. - Сделай композит проверки TLS ciphers: read-only факт → минимальный fix после подтверждения → итог.
Что закрываем в oni-main
Под эти провалы готовим трейсы в едином формате: read-only диагностика → минимальный фикс только после подтверждения → пост-проверка одной командой. Цель — убрать зацикливания и обрывы именно на краевых кейсах домена «Сертификаты, TLS, крипто» и подтянуть оставшиеся 2% к стабильному поведению.
Это часть серии: один разбор на каждый домен. Прогон от 2026-05-23, всего 24 412 кейсов по 21 домену, сток — 98% ok.