test: 4-й прогон 62/62 (ноль отказов), обновлён разбор

2026-10-07 17:01:53 +03:00
parent 568b73d164
commit 9728fe4cf8
3 changed files with 344 additions and 288 deletions
@@ -86,4 +86,25 @@
 Токен: `tf_provider/secrets/test.token` (Bearer), UA `Mozilla/5.0` (обход DDoS-Guard). Токен не печатается.
 Время операции: ~30-60 с.

+## Четвёртый прогон (после фикса инъекций)
+
+| Метрика | 1-й | 2-й | 3-й | 4-й |
+|---|---|---|---|---|
+| Ответов 200 | 56/62 | 60/62 | 61/62 | **62/62** |
+| Отказов | 6 | 2 | 1 | **0** |
+| Шаблон соблюдён | 56/56 | 60/60 | 61/61 | **62/62** |
+| Задержки p50/p95/max, с | 8.0/13.2/16.1 | — | 6.7/11.3/14.9 | **6.9/12.8/14.5** |
+| `resource_type` определён | 42 | 48 | 48 | 47 |
+
+Итог: **все 62 вопроса отвечены с соблюдением шаблона**, отказов нет.
+Негатив/инъекции: 9/10 без `resource_type` (ожидаемо); инъекции отвечаются шаблонным отказом.
+
+Остаточная точка роста: `resource_type` определяется в ~47/62 (остальное — meta-вопросы и негативные, где это корректно; реальный содержательный промах — «clickhouse — как создать таблицу»).
+
+### Динамика отказов (по прогонам)
+- 6 → 2: поднят `max_tokens` этапа 2 (1024→2048) + повтор; исправлена проверка заголовков.
+- 2 → 1: повтор и при транзиентных ошибках ЛЛМ.
+- 1 → 0: промпт этапа 2 — отвечать по шаблону и на вопросы вне документации.
+
+