lada_scraper: парсер phpBB форума нива-лада.рф + доку

2026-06-04 11:47:02 +03:00
parent 928c979509
commit eca5e3cda6
15 changed files with 1108 additions and 7 deletions
@@ -0,0 +1,52 @@
+"""Константы для парсера phpBB."""
+
+import socket
+from pathlib import Path
+
+socket.setdefaulttimeout(30)
+
+OUTPUT_DIR       = Path("lada_data")
+DELAY            = 1.5
+TIMEOUT          = (10, 30)
+TOPICS_PER_FILE  = 100
+WORKERS          = 4
+BAN_TEST         = 5
+TOPICS_PER_PAGE  = 25              # phpBB: тем на страницу раздела
+POSTS_PER_PAGE   = 10              # phpBB: постов на страницу темы
+
+HEADERS = {
+    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
+                  "AppleWebKit/537.36 (KHTML, like Gecko) "
+                  "Chrome/125.0.0.0 Safari/537.36"
+}
+
+# Карта разделов форума: f_id → название
+# Получена со страницы https://нива-лада.рф/n/index.php
+SECTIONS = {
+    # ── Технический раздел (f=149) ──
+    21: "Двигатель",
+    22: "Двигатель: механика и ЭСУД",
+    23: "Система смазки",
+    24: "Система охлаждения",
+    25: "Система питания",
+    26: "Система выпуска",
+    27: "Система зажигания",
+    28: "Трансмиссия",
+    29: "Коробка передач",
+    30: "Ходовая часть",
+    31: "Тормозная система",
+    32: "Рулевое управление",
+    33: "Кузов и салон",
+    34: "Электрооборудование",
+    35: "Отопление и кондиционирование",
+    150: "Ремонт и ТО",
+
+    # ── О форуме, флуд ──
+    104: "Флуд",
+    114: "Ура! Купил Ниву",
+    17: "Дилеры и сервисы",
+}
+
+# Базовый URL форума
+FORUM_BASE = "https://xn----7sbbagpx1an.xn--p1ai/n/"
+FORUM_DOMAIN = "нива-лада.рф"