lada_scraper: парсер phpBB форума нива-лада.рф + доку
This commit is contained in:
+27
-6
@@ -16,20 +16,41 @@
|
||||
| kianiroforum.com | Kia Niro (en) | XenForo | 🟡 | 79K сообщений, timeout |
|
||||
| mercedes-* (все русские) | Mercedes (ru) | — | ❌ | Все мертвы |
|
||||
| lada-* (все) | Lada | — | ❌ | Все домены мертвы |
|
||||
| **нива-лада.рф/n/** | Lada/Niva/Chevy Niva | **phpBB** | ✅ | Крупный, ~1K+ тем в каждом разделе, очень активный |
|
||||
| **lada.cc/board/** | Lada/ВАЗ | **Invision Power Board** | ✅ | Живой, есть пагинация, ~250KB страница |
|
||||
| dricar.ru/forum5.html | Жигули классика | Кастом | 🟡 | Мелкий, кастомный, только классика |
|
||||
| niva-chevy.ru | Niva Chevrolet | Статика | ❌ | Не форум, а руководство по ремонту |
|
||||
| niva-club.su | Niva | Статика | ❌ | Не обновлялся с 2020 |
|
||||
| chevrolet-niva-club.ru | Niva | — | ❌ | Не отвечает |
|
||||
| ladacenter.ru/forum/ | Lada | — | ❌ | HTTP 400 |
|
||||
| lada-vesta-club.ru | Lada | Cloudflare | ❌ | Cloudflare, не форум |
|
||||
| kia-* (все русские) | Kia (ru) | — | ❌ | CloudFlare/недоступны |
|
||||
| bmwclub.ru | BMW | — | ❌ | DDoS-Guard |
|
||||
| motor-talk.de | VAG (de) | — | ❌ | CloudFlare |
|
||||
| motor-talk.de | VAG (de) | React SPA | ❌ | React SPA + CloudFlare |
|
||||
| toyota-club.net | Toyota (ru) | — | ❌ | 403 |
|
||||
| vwvortex.com | VW (en) | Кастом | 🟡 | Есть темы, нет pageNav |
|
||||
| vwforum.com | VW (en) | Кастом | 🟡 | Малый, не XenForo |
|
||||
|
||||
### Немецкие Mercedes-форумы (с германской ВМ)
|
||||
|
||||
| Форум | Движок | Доступ | Причина |
|
||||
|-------|--------|--------|---------|
|
||||
| **benzworld.org** | XenForo | ❌ 409 | `xf_is_suspected_bot=1` — бот-детекция |
|
||||
| mercedes-benz-forum.com | — | ❌ | DNS не резолвится |
|
||||
| mercedes-treff.de | — | ❌ | Таймаут |
|
||||
| motor-talk.de | React SPA | ❌ | CloudFlare + React |
|
||||
| mercedes-fans.de | Symfony | ❌ | Не форум, а журнал |
|
||||
| mercedesforum.de, mb-forum.de и др. | — | ❌ | Не отвечают |
|
||||
|
||||
## Выводы
|
||||
|
||||
1. **XenForo с открытым доступом — vwts.ru (работает) и benzworld.org (timeout с РФ).** Остальные либо под защитой, либо мёртвы.
|
||||
2. benzworld.org (XenForo, 7.9M сообщений) — возможно доступен через прокси/VPN
|
||||
3. **Живые форумы на других движках** — потребуют отдельных парсеров:
|
||||
- phpBB (`viewtopic.php`) — lexus-club.ru
|
||||
1. **XenForo с открытым доступом — vwts.ru (работает).** Остальные либо под защитой, либо мёртвы.
|
||||
2. benzworld.org (XenForo, 7.9M сообщений) — блокирует парсинг (HTTP 409) даже с немецкого IP.
|
||||
3. **Основной новый источник — нива-лада.рф (phpBB).** Крупный, живой, без CloudFlare. Есть парсер в `lada_scraper/`.
|
||||
4. **Второстепенный — lada.cc/board/ (IPB).** Требует отдельного парсера под Invision Power Board.
|
||||
5. **Живые форумы на других движках** — потребуют отдельных парсеров:
|
||||
- phpBB (`viewtopic.php`) — нива-лада.рф ✅ (парсер готов), lexus-club.ru
|
||||
- vBulletin (`forumdisplay.php`) — renault-club.ru
|
||||
- Invision Power Board (`ipsPagination`) — ffclub.ru
|
||||
- Invision Power Board (`ipsPagination`) — ffclub.ru, lada.cc
|
||||
3. **Англоязычные Kia-форумы** — крупные (kia-forums.com, 741K сообщений), но сабфорумы не грузятся с нашего IP (возможно гео- или CDN-ограничение).
|
||||
4. **Российские автофорумы массово под CloudFlare/DDoS-Guard** — парсинг через requests невозможен.
|
||||
|
||||
Reference in New Issue
Block a user