feat: многопоточный парсинг + forum survey

- Throttle: Thread-safe координация задержек
- BanDetector: автоопределение бана
- fetch: thread-local сессии вместо глобальной
- run: ThreadPoolExecutor + диапазоны страниц + мерж
- output/state: поддержка worker-папок и merge_states()
- __main__: --workers, --no-delay, --no-ban-test
- VWTS/forums-survey.md: обзор 20+ автофорумов
This commit is contained in:
2026-06-04 10:48:57 +03:00
parent 22ca83adf8
commit c3211f0602
8 changed files with 361 additions and 93 deletions
+32
View File
@@ -0,0 +1,32 @@
# Обзор автомобильных форумов РФ и мира
Дата: 2026-06-04
Цель: найти живые автофорумы с доступом для парсинга (RAG-база знаний по ремонту).
## Результаты проверки
| Форум | Марка | Движок | Доступ | Примечание |
|-------|-------|--------|--------|------------|
| **vwts.ru** | VW/Audi/Skoda/SEAT | **XenForo** | ✅ | Отлично, наш основной источник |
| **lexus-club.ru** | Lexus/Toyota | phpBB | ✅ | Большой, активный |
| **renault-club.ru** | Renault | vBulletin 3.6 | ✅ | Активный, 84 раздела |
| ffclub.ru | Ford | Invision Power Board | 🟡 | Жив, другой движок |
| kia-forums.com | Kia (en) | XenForo-like | 🟡 | 741K сообщений, но сабфорумы timeout |
| kianiroforum.com | Kia Niro (en) | XenForo-like | 🟡 | Малый, timeout |
| lada-* (все) | Lada | — | ❌ | Все домены мертвы |
| kia-rio.net | Kia (ru) | — | ❌ | CloudFlare |
| bmwclub.ru | BMW | — | ❌ | DDoS-Guard |
| motor-talk.de | VAG (de) | — | ❌ | CloudFlare |
| kia-forum.de | Kia (de) | — | ❌ | Недоступен |
| toyota-club.net | Toyota (ru) | — | ❌ | 403 |
| toyota-forum.de | Toyota (de) | — | ❌ | CloudFlare |
## Выводы
1. **XenForo с открытым доступом — только vwts.ru.** Остальные либо под защитой, либо мёртвы.
2. **Живые форумы на других движках** — потребуют отдельных парсеров:
- phpBB (`viewtopic.php`) — lexus-club.ru
- vBulletin (`forumdisplay.php`) — renault-club.ru
- Invision Power Board (`ipsPagination`) — ffclub.ru
3. **Англоязычные Kia-форумы** — крупные (kia-forums.com, 741K сообщений), но сабфорумы не грузятся с нашего IP (возможно гео- или CDN-ограничение).
4. **Российские автофорумы массово под CloudFlare/DDoS-Guard** — парсинг через requests невозможен.