lada_scraper: парсер phpBB форума нива-лада.рф + доку

2026-06-04 11:47:02 +03:00
parent 928c979509
commit eca5e3cda6
15 changed files with 1108 additions and 7 deletions
@@ -0,0 +1,80 @@
+# Анализ зарубежных VAG-форумов для парсинга
+
+Дата: 2026-06-04
+
+## Проверенные форумы
+
+### 1. vwforum.com (VW общий)
+- Адрес: https://www.vwforum.com/
+- Движок: XenForo (кастомная сборка XenForo Cloud)
+- Постов: ~465K, участников: ~84K
+- Доступ из РФ: ✅ (открывается, но нестабильно)
+
+**Проблемы:**
+- ❌ Пагинация разделов отсутствует — показываются только последние темы
+- ❌ HTTP 406 (Not Acceptable) на `page-2` — пагинация отключена на сервере
+- ❌ После 2–3 запросов — Read timeout (защита от парсинга)
+- ❌ Невозможно получить список ВСЕХ тем раздела
+
+### 2. audiforum.us (Audi)
+- Адрес: https://www.audiforum.us/
+- Движок: XenForo (та же кастомная сборка, что и vwforum.com)
+- Постов: ~105K, участников: ~15K
+- Доступ из РФ: ✅
+
+**Проблемы:** те же, что у vwforum.com (оба на одной платформе)
+
+### 3. Другие (недоступны из РФ)
+
+| Форум | Причина |
+|---|---|
+| vwvortex.com | Cloudflare |
+| forums.tdiclub.com | Cloudflare |
+| briskoda.net | Cloudflare |
+| vwaudiforum.co.uk | DNS не резолвится |
+| volkswagenforum.co.uk | Таймаут |
+| passatworld.com | Таймаут |
+
+## Выводы
+
+Совместимость с нашим скриптом определяется по двум критериям:
+
+| Критерий | vwts.ru | vwforum.com / audiforum.us |
+|---|---|---|
+| Пагинация разделов (`div.pageNav`) | ✅ | ❌ (нет пагинации) |
+| Доступность (не блокирует) | ✅ | ❌ (таямауты после 2-3 запросов) |
+| `page_count()` работает | ✅ | ❌ |
+| Полнота данных (все темы) | ✅ | ❌ (только последние) |
+| Формат URL page-N | ✅ | ❌ (HTTP 406) |
+
+**Рекомендация:** искать форумы с:
+1. Классическим XenForo (не XenForo Cloud)
+2. Полноценной пагинацией `div.pageNav` 
+3. Доступом без Cloudflare
+4. Возможностью парсинга через requests (без JS)
+5. Для phpBB — пагинация через `?start=N` (subsilver2 стиль)
+
+Пример подходящих: vwts.ru (XenForo), нива-лада.рф (phpBB).
+
+### Проверка немецких Mercedes-форумов (2026-06-04, с германской ВМ 95.179.252.111)
+
+| Форум | Движок | Статус | Причина |
+|-------|--------|--------|---------|
+| benzworld.org | XenForo | ❌ 409 | `xf_is_suspected_bot=1` — бот-детекция, даже с DE IP |
+| mercedes-benz-forum.com | — | ❌ | DNS не резолвится |
+| mercedes-treff.de | — | ❌ | Таймаут (SSL handshake доходит, ответа нет) |
+| motor-talk.de | React SPA | ❌ | CloudFlare + контент только через JS |
+| mercedes-fans.de | Symfony | ❌ | Не форум, а онлайн-журнал |
+| mercedesforum.de, mb-forum.de, forum.mb-passion.com и др. | — | ❌ | Не отвечают / DNS не резолвится |
+
+**Итог:** доступных немецких форумов по Mercedes для парсинга не найдено.
+benzworld.org — единственный крупный XenForo (7.9M постов), но блокирует даже с немецкого IP.
+
+## Тесты page_count
+
+| Тест | Результат |
+|---|---|
+| 50 страниц раздела (стр.1…113) | 0 ошибок ✅ |
+| 50 тем (1–48 страниц) | 0 ошибок ✅ |
+| Проблемная #138549 (139 стр) | Определена правильно |
+| Проблемная #253565 (VCDS шнурок) | 1 стр (правильно) |