terraform/tf_docs
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

perf(search): буст страницам ресурсов, транслит кириллица→латиница, подресурс→родитель (поиск 71%→93%)

Browse Source
This commit is contained in:
Repinoid
2026-10-07 13:57:06 +03:00
parent 490d8b6d11
commit 2136536b0d
3 changed files with 343 additions and 221 deletions
Download Patch File Download Diff File Expand all files Collapse all files
llm_project/golden/EVAL_1.md
+35
View File
@@ -0,0 +1,35 @@
# Оценка качества на эталонном наборе (шаг 9, первый прогон)
Дата: 2026-10-07
## Метрики (28 вопросов)
| Метрика | Значение | Целевой порог (бриф П.7) |
|---|---|---|
| Точность этапа 1 (resource_type) | **79% (22/28)** | ≥ 95% (с учётом повторов) |
| Поиск: ожидаемая страница в top-5 | **71% (20/28)** | ≥ 80% |
## Выявленные проблемы поиска
1. **`_manual` и служебные (`curated`/`30_registry`) страницы конкурируют со страницами ресурсов** в скоринге. Пример: «создать постгрес» → `postgres_manual`, «Node.js приложение» → `curated`.
2. **Кириллица ↔ латиница**: «постгрес» не токенизируется в `postgres` (слова разные). Нужен словарь-маппинг частых терминов.
3. **Подресурсы теряют родителя**: `nubes_postgres_database`, `nubes_mongodb_user`, `nubes_kafka_topic` при поиске по токенам не приводят на страницу `postgres`/`mongodb`/`kafka` (в тексте нет буквального токена `postgres_database`).
## Примеры ошибок
| Вопрос | resource_type (верно?) | Проблема |
|---|---|---|
| «создать постгрес базу» | `nubes_postgres_database` ✅ | страница `postgres_manual` вместо `postgres` |
| «пользователь пароль MongoDB» | `nubes_mongodb_user` ✅ | страница `curated` вместо `mongodb` |
| «Kafka пользователь» | `nubes_kafka_user` ✅ | `postgres_manual` вместо `kafka` |
| «Node.js приложение» | `nubes_nodejs_redeploy` ⚠️ | `curated` вместо `nodejs` |
| «vDC организация» | `nubes_vc_org` (ожид. `nubes_vc_vdc`) ⚠️ | этап 1 выбрал org вместо vdc |
## Требуемые доработки (шаг 9 итерация)
1. **Буст страницам ресурсов** (первый сегмент не `_manual`, не `curated`/`30_registry`) — повысить score.
2. **Маппинг кириллица→латиница** для частых терминов (постгрес→postgres, бакет→bucket, диск→disk, машина→vm и т.п.).
3. **Подресурс → родитель**: `nubes_<база>_<подресурс>` при поиске дополнительно искать по токену `<база>`.
4. Пересборка скора: title бо́льший вес у страниц ресурсов.
После доработки — повторный прогон эталона.