naeel
c3211f0602
- Throttle: Thread-safe координация задержек - BanDetector: автоопределение бана - fetch: thread-local сессии вместо глобальной - run: ThreadPoolExecutor + диапазоны страниц + мерж - output/state: поддержка worker-папок и merge_states() - __main__: --workers, --no-delay, --no-ban-test - VWTS/forums-survey.md: обзор 20+ автофорумов
53 lines
1.6 KiB
Python
53 lines
1.6 KiB
Python
"""HTTP-запросы: GET с ретраями, 404 без ретрая."""
|
||
|
||
import time, logging
|
||
from bs4 import BeautifulSoup
|
||
import requests
|
||
from .config import DELAY, TIMEOUT, HEADERS
|
||
|
||
log = logging.getLogger(__name__)
|
||
|
||
# Глобальный throttle — устанавливается из run()
|
||
throttle = None
|
||
|
||
|
||
def make_session() -> requests.Session:
|
||
"""Создать новую сессию (thread-safe)."""
|
||
s = requests.Session()
|
||
s.headers.update(HEADERS)
|
||
return s
|
||
|
||
|
||
def get(url: str, session: requests.Session = None) -> BeautifulSoup | None:
|
||
"""GET + ретраи (до 3). 404 — без ретрая, сразу None.
|
||
|
||
Args:
|
||
url: URL для загрузки
|
||
session: опциональная сессия (если None — создаётся временная)
|
||
"""
|
||
if session is None:
|
||
session = make_session()
|
||
|
||
if throttle:
|
||
throttle.wait()
|
||
else:
|
||
time.sleep(DELAY)
|
||
|
||
for n in range(3):
|
||
try:
|
||
r = session.get(url, timeout=TIMEOUT)
|
||
if r.status_code == 404:
|
||
log.warning(f" ⏭️ 404: {url[:80]}")
|
||
return None
|
||
if r.status_code in (403, 429, 503):
|
||
log.warning(f"⚠️ HTTP {r.status_code} — жду {10*(n+1)}с")
|
||
time.sleep(10 * (n + 1))
|
||
continue
|
||
r.raise_for_status()
|
||
return BeautifulSoup(r.text, "lxml")
|
||
except Exception as e:
|
||
log.warning(f"⚠️ Попытка {n+1}/3: {e}")
|
||
time.sleep(5)
|
||
log.error(f"❌ Не загружено: {url[:80]}")
|
||
return None
|