lada_scraper: парсер phpBB форума нива-лада.рф + доку

This commit is contained in:
2026-06-04 11:47:02 +03:00
parent 928c979509
commit eca5e3cda6
15 changed files with 1108 additions and 7 deletions
+27 -6
View File
@@ -16,20 +16,41 @@
| kianiroforum.com | Kia Niro (en) | XenForo | 🟡 | 79K сообщений, timeout |
| mercedes-* (все русские) | Mercedes (ru) | — | ❌ | Все мертвы |
| lada-* (все) | Lada | — | ❌ | Все домены мертвы |
| **нива-лада.рф/n/** | Lada/Niva/Chevy Niva | **phpBB** | ✅ | Крупный, ~1K+ тем в каждом разделе, очень активный |
| **lada.cc/board/** | Lada/ВАЗ | **Invision Power Board** | ✅ | Живой, есть пагинация, ~250KB страница |
| dricar.ru/forum5.html | Жигули классика | Кастом | 🟡 | Мелкий, кастомный, только классика |
| niva-chevy.ru | Niva Chevrolet | Статика | ❌ | Не форум, а руководство по ремонту |
| niva-club.su | Niva | Статика | ❌ | Не обновлялся с 2020 |
| chevrolet-niva-club.ru | Niva | — | ❌ | Не отвечает |
| ladacenter.ru/forum/ | Lada | — | ❌ | HTTP 400 |
| lada-vesta-club.ru | Lada | Cloudflare | ❌ | Cloudflare, не форум |
| kia-* (все русские) | Kia (ru) | — | ❌ | CloudFlare/недоступны |
| bmwclub.ru | BMW | — | ❌ | DDoS-Guard |
| motor-talk.de | VAG (de) | — | ❌ | CloudFlare |
| motor-talk.de | VAG (de) | React SPA | ❌ | React SPA + CloudFlare |
| toyota-club.net | Toyota (ru) | — | ❌ | 403 |
| vwvortex.com | VW (en) | Кастом | 🟡 | Есть темы, нет pageNav |
| vwforum.com | VW (en) | Кастом | 🟡 | Малый, не XenForo |
### Немецкие Mercedes-форумы (с германской ВМ)
| Форум | Движок | Доступ | Причина |
|-------|--------|--------|---------|
| **benzworld.org** | XenForo | ❌ 409 | `xf_is_suspected_bot=1` — бот-детекция |
| mercedes-benz-forum.com | — | ❌ | DNS не резолвится |
| mercedes-treff.de | — | ❌ | Таймаут |
| motor-talk.de | React SPA | ❌ | CloudFlare + React |
| mercedes-fans.de | Symfony | ❌ | Не форум, а журнал |
| mercedesforum.de, mb-forum.de и др. | — | ❌ | Не отвечают |
## Выводы
1. **XenForo с открытым доступом — vwts.ru (работает) и benzworld.org (timeout с РФ).** Остальные либо под защитой, либо мёртвы.
2. benzworld.org (XenForo, 7.9M сообщений) — возможно доступен через прокси/VPN
3. **Живые форумы на других движках** — потребуют отдельных парсеров:
- phpBB (`viewtopic.php`) — lexus-club.ru
1. **XenForo с открытым доступом — vwts.ru (работает).** Остальные либо под защитой, либо мёртвы.
2. benzworld.org (XenForo, 7.9M сообщений) — блокирует парсинг (HTTP 409) даже с немецкого IP.
3. **Основной новый источник — нива-лада.рф (phpBB).** Крупный, живой, без CloudFlare. Есть парсер в `lada_scraper/`.
4. **Второстепенный — lada.cc/board/ (IPB).** Требует отдельного парсера под Invision Power Board.
5. **Живые форумы на других движках** — потребуют отдельных парсеров:
- phpBB (`viewtopic.php`) — нива-лада.рф ✅ (парсер готов), lexus-club.ru
- vBulletin (`forumdisplay.php`) — renault-club.ru
- Invision Power Board (`ipsPagination`) — ffclub.ru
- Invision Power Board (`ipsPagination`) — ffclub.ru, lada.cc
3. **Англоязычные Kia-форумы** — крупные (kia-forums.com, 741K сообщений), но сабфорумы не грузятся с нашего IP (возможно гео- или CDN-ограничение).
4. **Российские автофорумы массово под CloudFlare/DDoS-Guard** — парсинг через requests невозможен.