feat: многопоточный парсинг + forum survey
- Throttle: Thread-safe координация задержек - BanDetector: автоопределение бана - fetch: thread-local сессии вместо глобальной - run: ThreadPoolExecutor + диапазоны страниц + мерж - output/state: поддержка worker-папок и merge_states() - __main__: --workers, --no-delay, --no-ban-test - VWTS/forums-survey.md: обзор 20+ автофорумов
This commit is contained in:
@@ -0,0 +1,32 @@
|
||||
# Обзор автомобильных форумов РФ и мира
|
||||
|
||||
Дата: 2026-06-04
|
||||
Цель: найти живые автофорумы с доступом для парсинга (RAG-база знаний по ремонту).
|
||||
|
||||
## Результаты проверки
|
||||
|
||||
| Форум | Марка | Движок | Доступ | Примечание |
|
||||
|-------|-------|--------|--------|------------|
|
||||
| **vwts.ru** | VW/Audi/Skoda/SEAT | **XenForo** | ✅ | Отлично, наш основной источник |
|
||||
| **lexus-club.ru** | Lexus/Toyota | phpBB | ✅ | Большой, активный |
|
||||
| **renault-club.ru** | Renault | vBulletin 3.6 | ✅ | Активный, 84 раздела |
|
||||
| ffclub.ru | Ford | Invision Power Board | 🟡 | Жив, другой движок |
|
||||
| kia-forums.com | Kia (en) | XenForo-like | 🟡 | 741K сообщений, но сабфорумы timeout |
|
||||
| kianiroforum.com | Kia Niro (en) | XenForo-like | 🟡 | Малый, timeout |
|
||||
| lada-* (все) | Lada | — | ❌ | Все домены мертвы |
|
||||
| kia-rio.net | Kia (ru) | — | ❌ | CloudFlare |
|
||||
| bmwclub.ru | BMW | — | ❌ | DDoS-Guard |
|
||||
| motor-talk.de | VAG (de) | — | ❌ | CloudFlare |
|
||||
| kia-forum.de | Kia (de) | — | ❌ | Недоступен |
|
||||
| toyota-club.net | Toyota (ru) | — | ❌ | 403 |
|
||||
| toyota-forum.de | Toyota (de) | — | ❌ | CloudFlare |
|
||||
|
||||
## Выводы
|
||||
|
||||
1. **XenForo с открытым доступом — только vwts.ru.** Остальные либо под защитой, либо мёртвы.
|
||||
2. **Живые форумы на других движках** — потребуют отдельных парсеров:
|
||||
- phpBB (`viewtopic.php`) — lexus-club.ru
|
||||
- vBulletin (`forumdisplay.php`) — renault-club.ru
|
||||
- Invision Power Board (`ipsPagination`) — ffclub.ru
|
||||
3. **Англоязычные Kia-форумы** — крупные (kia-forums.com, 741K сообщений), но сабфорумы не грузятся с нашего IP (возможно гео- или CDN-ограничение).
|
||||
4. **Российские автофорумы массово под CloudFlare/DDoS-Guard** — парсинг через requests невозможен.
|
||||
Reference in New Issue
Block a user