81 lines
4.0 KiB
Markdown
81 lines
4.0 KiB
Markdown
# Анализ зарубежных VAG-форумов для парсинга
|
||
|
||
Дата: 2026-06-04
|
||
|
||
## Проверенные форумы
|
||
|
||
### 1. vwforum.com (VW общий)
|
||
- Адрес: https://www.vwforum.com/
|
||
- Движок: XenForo (кастомная сборка XenForo Cloud)
|
||
- Постов: ~465K, участников: ~84K
|
||
- Доступ из РФ: ✅ (открывается, но нестабильно)
|
||
|
||
**Проблемы:**
|
||
- ❌ Пагинация разделов отсутствует — показываются только последние темы
|
||
- ❌ HTTP 406 (Not Acceptable) на `page-2` — пагинация отключена на сервере
|
||
- ❌ После 2–3 запросов — Read timeout (защита от парсинга)
|
||
- ❌ Невозможно получить список ВСЕХ тем раздела
|
||
|
||
### 2. audiforum.us (Audi)
|
||
- Адрес: https://www.audiforum.us/
|
||
- Движок: XenForo (та же кастомная сборка, что и vwforum.com)
|
||
- Постов: ~105K, участников: ~15K
|
||
- Доступ из РФ: ✅
|
||
|
||
**Проблемы:** те же, что у vwforum.com (оба на одной платформе)
|
||
|
||
### 3. Другие (недоступны из РФ)
|
||
|
||
| Форум | Причина |
|
||
|---|---|
|
||
| vwvortex.com | Cloudflare |
|
||
| forums.tdiclub.com | Cloudflare |
|
||
| briskoda.net | Cloudflare |
|
||
| vwaudiforum.co.uk | DNS не резолвится |
|
||
| volkswagenforum.co.uk | Таймаут |
|
||
| passatworld.com | Таймаут |
|
||
|
||
## Выводы
|
||
|
||
Совместимость с нашим скриптом определяется по двум критериям:
|
||
|
||
| Критерий | vwts.ru | vwforum.com / audiforum.us |
|
||
|---|---|---|
|
||
| Пагинация разделов (`div.pageNav`) | ✅ | ❌ (нет пагинации) |
|
||
| Доступность (не блокирует) | ✅ | ❌ (таямауты после 2-3 запросов) |
|
||
| `page_count()` работает | ✅ | ❌ |
|
||
| Полнота данных (все темы) | ✅ | ❌ (только последние) |
|
||
| Формат URL page-N | ✅ | ❌ (HTTP 406) |
|
||
|
||
**Рекомендация:** искать форумы с:
|
||
1. Классическим XenForo (не XenForo Cloud)
|
||
2. Полноценной пагинацией `div.pageNav`
|
||
3. Доступом без Cloudflare
|
||
4. Возможностью парсинга через requests (без JS)
|
||
5. Для phpBB — пагинация через `?start=N` (subsilver2 стиль)
|
||
|
||
Пример подходящих: vwts.ru (XenForo), нива-лада.рф (phpBB).
|
||
|
||
### Проверка немецких Mercedes-форумов (2026-06-04, с германской ВМ 95.179.252.111)
|
||
|
||
| Форум | Движок | Статус | Причина |
|
||
|-------|--------|--------|---------|
|
||
| benzworld.org | XenForo | ❌ 409 | `xf_is_suspected_bot=1` — бот-детекция, даже с DE IP |
|
||
| mercedes-benz-forum.com | — | ❌ | DNS не резолвится |
|
||
| mercedes-treff.de | — | ❌ | Таймаут (SSL handshake доходит, ответа нет) |
|
||
| motor-talk.de | React SPA | ❌ | CloudFlare + контент только через JS |
|
||
| mercedes-fans.de | Symfony | ❌ | Не форум, а онлайн-журнал |
|
||
| mercedesforum.de, mb-forum.de, forum.mb-passion.com и др. | — | ❌ | Не отвечают / DNS не резолвится |
|
||
|
||
**Итог:** доступных немецких форумов по Mercedes для парсинга не найдено.
|
||
benzworld.org — единственный крупный XenForo (7.9M постов), но блокирует даже с немецкого IP.
|
||
|
||
## Тесты page_count
|
||
|
||
| Тест | Результат |
|
||
|---|---|
|
||
| 50 страниц раздела (стр.1…113) | 0 ошибок ✅ |
|
||
| 50 тем (1–48 страниц) | 0 ошибок ✅ |
|
||
| Проблемная #138549 (139 стр) | Определена правильно |
|
||
| Проблемная #253565 (VCDS шнурок) | 1 стр (правильно) |
|