142 lines
6.9 KiB
Markdown
142 lines
6.9 KiB
Markdown
# Парсеры автомобильных форумов для RAG
|
|
|
|
## Цель
|
|
Выкачать техническую информацию с автомобильных форумов для создания RAG-базы знаний по ремонту автомобилей.
|
|
|
|
## Источники данных
|
|
|
|
### 1. vwts.ru — VAG (Volkswagen/Audi/Škoda/SEAT)
|
|
|
|
- **Движок:** XenForo
|
|
- **~60 000+ тем, ~1.2 млн сообщений**
|
|
- **Парсер:** `vwts_scraper/`
|
|
- Структура URL:
|
|
- Раздел: /forum/vag/{slug}/ (пагинация: page-N)
|
|
- Тема: /forum/topic/{id}/ (пагинация: page-N)
|
|
- Поиск: /forum/search/
|
|
- Теги: /forum/tags/
|
|
- RSS: /forum/vag/-/index.rss
|
|
|
|
### 2. нива-лада.рф — Lada Niva / Chevrolet Niva / ВАЗ
|
|
|
|
- **Движок:** phpBB (subsilver2) + Board3 Portal
|
|
- **~20 технических разделов, активный, без CloudFlare**
|
|
- **Парсер:** `lada_scraper/`
|
|
- Структура URL:
|
|
- Раздел: /n/viewforum.php?f=ID (пагинация: ?start=N)
|
|
- Тема: /n/viewtopic.php?f=ID&t=ID (пагинация: ?start=N)
|
|
- RSS: /n/feed.php
|
|
|
|
### 3. Статьи vwts.ru
|
|
- ~500+ статей по ремонту VAG
|
|
- Sitemap: https://vwts.ru/sitemap.xml
|
|
|
|
## Разделы форума (18 шт)
|
|
|
|
| Раздел | Slug | Тем | Постов |
|
|
|---|---|---|---|
|
|
| Диагностика | diagnostika | 2 322 | 36 052 |
|
|
| Бензиновые двигатели | benzinovye-dvigateli | 4 559 | 98 158 |
|
|
| Дизельные двигатели | dizelnye-dvigateli | 3 857 | 101 174 |
|
|
| Система охлаждения/отопление/кондиц. | sistema-ohlazhdeniya-otoplenie-konditsionirovanie | 6 133 | 90 689 |
|
|
| Система смазки | sistema-smazki | 258 | 11 723 |
|
|
| Системы впрыска и зажигания | sistemy-vpryska-i-zazhiganiya | 3 435 | 87 636 |
|
|
| Топливная система | toplivnaya-sistema | 326 | 4 916 |
|
|
| Выпускная система | vypusknaya-sistema | 1 064 | 16 171 |
|
|
| Подвеска | podveska | 4 304 | 56 200 |
|
|
| Рулевое управление | rulevoe-upravlenie | 2 383 | 27 212 |
|
|
| Тормозная система | tormoznaya-sistema | 2 736 | 39 673 |
|
|
| Электрооборудование | elektrooborudovanie | 13 715 | 146 883 |
|
|
| Коробки передач, сцепление | korobki-peredach-stseplenie | 6 165 | 67 286 |
|
|
| Кузов | kuzov | 5 480 | 57 564 |
|
|
| Шины / Диски | shiny-diski | 1 262 | 18 866 |
|
|
| ГСМ | goryuche-smazochnye-materialy | 606 | 15 286 |
|
|
| Разное | raznoe | 3 359 | 35 918 |
|
|
| Гараж / инструменты | garazh-instrumenty | 471 | 9 630 |
|
|
| Автосигнализации | avtosignalizatsii-i-zaschita-ot-ugona | 1 431 | 13 763 |
|
|
| Сервисы, дилеры | servisy-ofitsialnye-dilery | 1 474 | 13 244 |
|
|
| Тюнинг | tyuning | 1 695 | 41 043 |
|
|
| Автозвук | avtozvuk | 2 514 | 46 462 |
|
|
| Автоэлектроника | avtomobilnaya-elektronika-i-aksessuary | 36 | 1 740 |
|
|
| Наши машины | nashi-mashiny | 460 | 66 809 |
|
|
| Оперативные вопросы | operativnye-voprosy-tehnicheskie | 1 677 | 31 579 |
|
|
| Документация по VW | dokumentatsiya-po-volkswagen | 1 413 | 9 396 |
|
|
| Модели VW | volkswagen | 41 | 248 |
|
|
| Skoda | skoda | 17 | 59 |
|
|
| Электромобили VAG | electric-cars | 21 | 108 |
|
|
| Отзывы, выбор, покупка | otzyvy-vybor-pokupka-avtomobilya | 2 190 | 56 837 |
|
|
| Покупка/продажа авто | pokupka-i-prodazha-avtomobiley | 89 | 1 978 |
|
|
| Отчёты об эксплуатации | otchety-o-ekspluatatsii-avtomobiley | 38 | 1 298 |
|
|
| Покупка/продажа запчастей | pokupka--prodazha-zapchastey | 122 | 1 348 |
|
|
| Отзывы о магазинах | otzyvy-o-magazinah-zapchastey-razborkah | 427 | 4 261 |
|
|
| Барахолка | baraholka | 18 | 38 |
|
|
| ГАИ и законодательство | gai-i-zakonodatelstvo | 1 564 | 24 634 |
|
|
| Дороги, поездки | dorogi-poezdki-nashi-puteshestviya | 454 | 11 895 |
|
|
|
|
## Скрипт (пакет Python)
|
|
|
|
### Структура
|
|
```
|
|
vwts_scraper/
|
|
├── __init__.py # package
|
|
├── __main__.py # CLI entry point
|
|
├── config.py # константы (DELAY, TIMEOUT, HEADERS)
|
|
├── fetch.py # HTTP GET с ретраями
|
|
├── paginate.py # page_count + HEAD-проверка границ
|
|
├── parse.py # парсинг HTML (темы, посты, теги)
|
|
├── state.py # state.json (per-section)
|
|
├── output.py # JSONL с ротацией
|
|
└── run.py # главный цикл обхода
|
|
```
|
|
|
|
### Запуск
|
|
```bash
|
|
python -m vwts_scraper https://vwts.ru/forum/vag/benzinovye-dvigateli/
|
|
```
|
|
|
|
### Пауза / продолжение
|
|
- Ctrl+C — пауза, состояние сохраняется в `vwts_data/{slug}/state.json`
|
|
- Повторить команду — продолжит с места остановки
|
|
- Разные разделы не конфликтуют (у каждого своя папка + state.json)
|
|
|
|
### Вывод
|
|
- `vwts_data/{slug}/part_0001.jsonl`, `part_0002.jsonl`... — по 100 тем в файле
|
|
- Формат строки JSONL:
|
|
```json
|
|
{
|
|
"section": "Диагностика",
|
|
"section_slug": "diagnostika",
|
|
"topic_id": 253735,
|
|
"topic_title": "ошибка 00513. Заглох Passat B3 VR6",
|
|
"topic_url": "https://vwts.ru/forum/topic/253735/",
|
|
"total_posts": 98,
|
|
"posts": [
|
|
{"author": "Wizard13", "date": "2026-05-27T10:00:00", "num": "#1", "text": "...", "tags": ["passat b3", "vr6"]},
|
|
...
|
|
],
|
|
"scraped_at": "2026-06-03T20:30:00"
|
|
}
|
|
```
|
|
|
|
## Оценка времени
|
|
- Задержка между запросами: 1.5 сек
|
|
- В среднем 2 запроса на тему (список + посты)
|
|
- ~120 000 запросов → ~50 часов чистого времени
|
|
- Реально с учётом ошибок/повторов: ~3-5 дней
|
|
|
|
## Resume (продолжение с места остановки)
|
|
- state.json хранит какие разделы завершены и какие темы обработаны
|
|
- При перезапуске пропускает готовые темы и разделы
|
|
- Данные дописываются в существующие JSONL-файлы (append)
|
|
|
|
## Для RAG
|
|
Каждый пост — отдельный chunk с метаданными:
|
|
- `section` — раздел форума
|
|
- `topic_title` — название темы
|
|
- `tags` — теги темы
|
|
- `author` — автор
|
|
- `date` — дата
|
|
- `text` — содержимое поста
|
|
|
|
Можно индексировать в любую векторную БД (Chroma, Qdrant и т.д.).
|