tf_docs/llm_project/golden/EVAL_1.md

Оценка качества на эталонном наборе (шаг 9, первый прогон)

Дата: 2026-10-07

Метрики (28 вопросов)

Метрика	Значение	Целевой порог (бриф П.7)
Точность этапа 1 (resource_type)	79% (22/28)	≥ 95% (с учётом повторов)
Поиск: ожидаемая страница в top-5	71% (20/28)	≥ 80%

Выявленные проблемы поиска

1. _manual и служебные (curated/30_registry) страницы конкурируют со страницами ресурсов в скоринге. Пример: «создать постгрес» → postgres_manual, «Node.js приложение» → curated.
2. Кириллица ↔ латиница: «постгрес» не токенизируется в postgres (слова разные). Нужен словарь-маппинг частых терминов.
3. Подресурсы теряют родителя: nubes_postgres_database, nubes_mongodb_user, nubes_kafka_topic при поиске по токенам не приводят на страницу postgres/mongodb/kafka (в тексте нет буквального токена postgres_database).

Примеры ошибок

Вопрос	resource_type (верно?)	Проблема
«создать постгрес базу»	nubes_postgres_database ✅	страница postgres_manual вместо postgres
«пользователь пароль MongoDB»	nubes_mongodb_user ✅	страница curated вместо mongodb
«Kafka пользователь»	nubes_kafka_user ✅	postgres_manual вместо kafka
«Node.js приложение»	nubes_nodejs_redeploy ⚠️	curated вместо nodejs
«vDC организация»	nubes_vc_org (ожид. nubes_vc_vdc) ⚠️	этап 1 выбрал org вместо vdc

Требуемые доработки (шаг 9 итерация)

1. Буст страницам ресурсов (первый сегмент не _manual, не curated/30_registry) — повысить score.
2. Маппинг кириллица→латиница для частых терминов (постгрес→postgres, бакет→bucket, диск→disk, машина→vm и т.п.).
3. Подресурс → родитель: nubes_<база>_<подресурс> при поиске дополнительно искать по токену <база>.
4. Пересборка скора: title бо́льший вес у страниц ресурсов.

После доработки — повторный прогон эталона.