diff --git a/elsawin-rag-plan.md b/elsawin-rag-plan.md index bdaf056..612c827 100644 --- a/elsawin-rag-plan.md +++ b/elsawin-rag-plan.md @@ -5,13 +5,13 @@ ## 1. Источник данных ### .wi файлы (основной контент) -| Язык | Кол-во .wi | Статей (XML-потоков) | +| Язык | Кол-во .wi | Размер на диске | |---|---|---| -| en-GB | 1,716 | ~**1M+** (в среднем 500-700 XML на .wi) | -| ru-RU | 956 | ~**500K+** | +| **en-GB** | **1,716** | **706 MB** | +| de-DE | 1,588 | 688 MB | +| ru-RU | 956 | 588 MB | -Каждый `.wi` — OLE2-контейнер, внутри от 1 до ~1500 XML-файлов. -Общий объём сырого XML — **десятки GB**. +Каждый `.wi` — OLE2-контейнер, внутри XML-файлы (от 1 до ~1500 на .wi). ### Графика SVG/PNG/JPG — ~400K файлов. Технически можно привязать как multimodal, но сложно. @@ -37,18 +37,34 @@ SVG/PNG/JPG — ~400K файлов. Технически можно привяз --- -## 3. Объёмы (оценка en-GB) +## 3. Объёмы (en-GB, реальные замеры) -| Параметр | Оценка | +| Этап | Размер | |---|---| -| .wi файлов | ~1,716 | -| Всего XML-статей | ~**1,000,000 - 1,500,000** | -| Средний размер статьи | ~30-70 KB XML | -| Сырой XML (en-GB) | ~**30-50 GB** | -| Чистый текст после парсинга | ~**5-10 GB** | -| Чанков по ~750 токенов | ~**2,000,000 - 4,000,000** | -| Векторное хранилище (dim 1536) | ~**15-30 GB** | -| Время обработки (один поток) | ~**10-30 часов** | +| **Сырые .wi файлы** (на диске) | **~706 MB** | +| XML-потоки внутри (распаковано) | ~10-15 GB | +| Чистый текст после парсинга | ~3-5 GB | +| Чанки (текст) | ~2-3 GB | +| **Векторная БД (ChromaDB)** | **~10-15 GB** | +| **Итого на диске** | **~15-20 GB** | + +### Расходы + +| Статья | Бесплатно (локально) | Через API | +|---|---|---| +| Embedding | **$0** (bge-m3 на 3060) | ~$30 (OpenAI) | +| LLM для ответов | **$0** (Ollama) | ~$7 / 10K запросов | +| Векторная БД | **$0** (ChromaDB) | — | +| **Итого** | **$0** (+ электричество) | ~$30 + операционка | + +### Время на RTX 3060 12GB + +| Этап | Время | +|---|---| +| Парсинг + чанкинг (1.5 млн XML) | ~1-2 часа | +| Embedding (bge-m3, 2 млн чанков) | ~3-5 часов | +| Запись в БД | ~30 мин | +| **Итого en-GB** | **~5-7 часов** | ---