naeel
c3211f0602
- Throttle: Thread-safe координация задержек - BanDetector: автоопределение бана - fetch: thread-local сессии вместо глобальной - run: ThreadPoolExecutor + диапазоны страниц + мерж - output/state: поддержка worker-папок и merge_states() - __main__: --workers, --no-delay, --no-ban-test - VWTS/forums-survey.md: обзор 20+ автофорумов
18 lines
680 B
Python
18 lines
680 B
Python
"""Константы."""
|
|
|
|
import socket
|
|
from pathlib import Path
|
|
|
|
# Глобальный таймаут сокетов
|
|
socket.setdefaulttimeout(30)
|
|
|
|
OUTPUT_DIR = Path("vwts_data") # куда сохраняем данные
|
|
DELAY = 1.5 # секунд между запросами
|
|
TIMEOUT = (10, 30) # (connect, read)
|
|
TOPICS_PER_FILE = 100
|
|
WORKERS = 4 # потоков по умолчанию
|
|
BAN_TEST = 5 # запросов для автоопределения бана
|
|
HEADERS = {
|
|
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
|
|
}
|