4.0 KiB
4.0 KiB
Анализ зарубежных VAG-форумов для парсинга
Дата: 2026-06-04
Проверенные форумы
1. vwforum.com (VW общий)
- Адрес: https://www.vwforum.com/
- Движок: XenForo (кастомная сборка XenForo Cloud)
- Постов: ~465K, участников: ~84K
- Доступ из РФ: ✅ (открывается, но нестабильно)
Проблемы:
- ❌ Пагинация разделов отсутствует — показываются только последние темы
- ❌ HTTP 406 (Not Acceptable) на
page-2— пагинация отключена на сервере - ❌ После 2–3 запросов — Read timeout (защита от парсинга)
- ❌ Невозможно получить список ВСЕХ тем раздела
2. audiforum.us (Audi)
- Адрес: https://www.audiforum.us/
- Движок: XenForo (та же кастомная сборка, что и vwforum.com)
- Постов: ~105K, участников: ~15K
- Доступ из РФ: ✅
Проблемы: те же, что у vwforum.com (оба на одной платформе)
3. Другие (недоступны из РФ)
| Форум | Причина |
|---|---|
| vwvortex.com | Cloudflare |
| forums.tdiclub.com | Cloudflare |
| briskoda.net | Cloudflare |
| vwaudiforum.co.uk | DNS не резолвится |
| volkswagenforum.co.uk | Таймаут |
| passatworld.com | Таймаут |
Выводы
Совместимость с нашим скриптом определяется по двум критериям:
| Критерий | vwts.ru | vwforum.com / audiforum.us |
|---|---|---|
Пагинация разделов (div.pageNav) |
✅ | ❌ (нет пагинации) |
| Доступность (не блокирует) | ✅ | ❌ (таямауты после 2-3 запросов) |
page_count() работает |
✅ | ❌ |
| Полнота данных (все темы) | ✅ | ❌ (только последние) |
| Формат URL page-N | ✅ | ❌ (HTTP 406) |
Рекомендация: искать форумы с:
- Классическим XenForo (не XenForo Cloud)
- Полноценной пагинацией
div.pageNav - Доступом без Cloudflare
- Возможностью парсинга через requests (без JS)
- Для phpBB — пагинация через
?start=N(subsilver2 стиль)
Пример подходящих: vwts.ru (XenForo), нива-лада.рф (phpBB).
Проверка немецких Mercedes-форумов (2026-06-04, с германской ВМ 95.179.252.111)
| Форум | Движок | Статус | Причина |
|---|---|---|---|
| benzworld.org | XenForo | ❌ 409 | xf_is_suspected_bot=1 — бот-детекция, даже с DE IP |
| mercedes-benz-forum.com | — | ❌ | DNS не резолвится |
| mercedes-treff.de | — | ❌ | Таймаут (SSL handshake доходит, ответа нет) |
| motor-talk.de | React SPA | ❌ | CloudFlare + контент только через JS |
| mercedes-fans.de | Symfony | ❌ | Не форум, а онлайн-журнал |
| mercedesforum.de, mb-forum.de, forum.mb-passion.com и др. | — | ❌ | Не отвечают / DNS не резолвится |
Итог: доступных немецких форумов по Mercedes для парсинга не найдено. benzworld.org — единственный крупный XenForo (7.9M постов), но блокирует даже с немецкого IP.
Тесты page_count
| Тест | Результат |
|---|---|
| 50 страниц раздела (стр.1…113) | 0 ошибок ✅ |
| 50 тем (1–48 страниц) | 0 ошибок ✅ |
| Проблемная #138549 (139 стр) | Определена правильно |
| Проблемная #253565 (VCDS шнурок) | 1 стр (правильно) |