Files
LLM-UI/lada_scraper/config.py
T

53 lines
1.8 KiB
Python

"""Константы для парсера phpBB."""
import socket
from pathlib import Path
socket.setdefaulttimeout(30)
OUTPUT_DIR = Path("lada_data")
DELAY = 1.5
TIMEOUT = (10, 30)
TOPICS_PER_FILE = 100
WORKERS = 4
BAN_TEST = 5
TOPICS_PER_PAGE = 25 # phpBB: тем на страницу раздела
POSTS_PER_PAGE = 10 # phpBB: постов на страницу темы
HEADERS = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/125.0.0.0 Safari/537.36"
}
# Карта разделов форума: f_id → название
# Получена со страницы https://нива-лада.рф/n/index.php
SECTIONS = {
# ── Технический раздел (f=149) ──
21: "Двигатель",
22: "Двигатель: механика и ЭСУД",
23: "Система смазки",
24: "Система охлаждения",
25: "Система питания",
26: "Система выпуска",
27: "Система зажигания",
28: "Трансмиссия",
29: "Коробка передач",
30: "Ходовая часть",
31: "Тормозная система",
32: "Рулевое управление",
33: "Кузов и салон",
34: "Электрооборудование",
35: "Отопление и кондиционирование",
150: "Ремонт и ТО",
# ── О форуме, флуд ──
104: "Флуд",
114: "Ура! Купил Ниву",
17: "Дилеры и сервисы",
}
# Базовый URL форума
FORUM_BASE = "https://xn----7sbbagpx1an.xn--p1ai/n/"
FORUM_DOMAIN = "нива-лада.рф"