Nail/say
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

update rag plan with real volume estimates

Browse Source
This commit is contained in:
naeel
2026-06-01 22:52:51 +03:00
parent 7ef1295045
commit 62da6ce35c
1 changed files with 31 additions and 15 deletions
Download Patch File Download Diff File Expand all files Collapse all files
elsawin-rag-plan.md
+31 -15
View File
@@ -5,13 +5,13 @@
## 1. Источник данных
### .wi файлы (основной контент)
| Язык | Кол-во .wi | Статей (XML-потоков) |
| Язык | Кол-во .wi | Размер на диске |
|---|---|---|
| en-GB | 1,716 | ~**1M+** (в среднем 500-700 XML на .wi) |
| ru-RU | 956 | ~**500K+** |
| **en-GB** | **1,716** | **706 MB** |
| de-DE | 1,588 | 688 MB |
| ru-RU | 956 | 588 MB |
Каждый `.wi` — OLE2-контейнер, внутри от 1 до ~1500 XML-файлов.
Общий объём сырого XML — **десятки GB**.
Каждый `.wi` — OLE2-контейнер, внутри XML-файлы (от 1 до ~1500 на .wi).
### Графика
SVG/PNG/JPG — ~400K файлов. Технически можно привязать как multimodal, но сложно.
@@ -37,18 +37,34 @@ SVG/PNG/JPG — ~400K файлов. Технически можно привяз
---
## 3. Объёмы (оценка en-GB)
## 3. Объёмы (en-GB, реальные замеры)
| Параметр | Оценка |
| Этап | Размер |
|---|---|
| .wi файлов | ~1,716 |
| Всего XML-статей | ~**1,000,000 - 1,500,000** |
| Средний размер статьи | ~30-70 KB XML |
| Сырой XML (en-GB) | ~**30-50 GB** |
| Чистый текст после парсинга | ~**5-10 GB** |
| Чанков по ~750 токенов | ~**2,000,000 - 4,000,000** |
| Векторное хранилище (dim 1536) | ~**15-30 GB** |
| Время обработки (один поток) | ~**10-30 часов** |
| **Сырые .wi файлы** (на диске) | **~706 MB** |
| XML-потоки внутри (распаковано) | ~10-15 GB |
| Чистый текст после парсинга | ~3-5 GB |
| Чанки (текст) | ~2-3 GB |
| **Векторная БД (ChromaDB)** | **~10-15 GB** |
| **Итого на диске** | **~15-20 GB** |
### Расходы
| Статья | Бесплатно (локально) | Через API |
|---|---|---|
| Embedding | **$0** (bge-m3 на 3060) | ~$30 (OpenAI) |
| LLM для ответов | **$0** (Ollama) | ~$7 / 10K запросов |
| Векторная БД | **$0** (ChromaDB) | — |
| **Итого** | **$0** (+ электричество) | ~$30 + операционка |
### Время на RTX 3060 12GB
| Этап | Время |
|---|---|
| Парсинг + чанкинг (1.5 млн XML) | ~1-2 часа |
| Embedding (bge-m3, 2 млн чанков) | ~3-5 часов |
| Запись в БД | ~30 мин |
| **Итого en-GB** | **~5-7 часов** |
---