vwts: скрипт выборочной загрузки + список разделов

2026-06-06 11:47:54 +04:00
parent 78505d733e
commit 99e6fad861
2 changed files with 215 additions and 0 deletions
@@ -0,0 +1,95 @@
+#!/bin/bash
+set -e
+
+WORKERS=4
+if [ "$1" = "--1" ]; then
+  WORKERS=1
+  echo "Режим: 1 поток"
+else
+  echo "Режим: $WORKERS потока"
+fi
+echo ""
+
+SECTIONS=(
+  "https://vwts.ru/forum/vag/sistema-ohlazhdeniya-otoplenie-konditsionirovanie/"
+  "https://vwts.ru/forum/vag/sistema-smazki/"
+  "https://vwts.ru/forum/vag/sistemy-vpryska-i-zazhiganiya/"
+  "https://vwts.ru/forum/vag/podveska/"
+  "https://vwts.ru/forum/vag/rulevoe-upravlenie/"
+  "https://vwts.ru/forum/vag/tormoznaya-sistema/"
+  "https://vwts.ru/forum/vag/korobki-peredach-stseplenie/"
+  "https://vwts.ru/forum/vag/dokumentatsiya-po-volkswagen/"
+  "https://vwts.ru/forum/vag/baza-znaniy-diagnostika-i-neispravnosti/"
+  "https://vwts.ru/forum/vag/baza-znaniy-benzinovye-dvigateli/"
+  "https://vwts.ru/forum/vag/baza-znaniy-dizelnye-dvigateli/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistema-ohlazhdeniya/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistema-smazki/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistemy-vpryska-i-zazhiganiya/"
+  "https://vwts.ru/forum/vag/baza-znaniy-toplivnaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-vypusknaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-podveska/"
+  "https://vwts.ru/forum/vag/baza-znaniy-rulevoe-upravlenie/"
+  "https://vwts.ru/forum/vag/baza-znaniy-tormoznaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-elektrooborudovanie/"
+  "https://vwts.ru/forum/vag/elektronnye-sistemy-bloki-upravleniya-vag/"
+  "https://vwts.ru/forum/vag/baza-znaniy-korobki-peredach-stsepleniya/"
+)
+
+BANNED=false
+TOTAL=${#SECTIONS[@]}
+CURRENT=0
+
+for URL in "${SECTIONS[@]}"; do
+  CURRENT=$((CURRENT + 1))
+  SLUG=$(echo "$URL" | sed 's|/$||' | awk -F/ '{print $NF}')
+
+  echo ""
+  echo "========================================"
+  echo "[$CURRENT/$TOTAL] Проверка бана для: $SLUG"
+  echo "========================================"
+
+  python3 << 'PYEOF'
+import sys, logging, requests
+logging.basicConfig(level=logging.INFO, format='%(asctime)s [%(levelname)s] %(message)s', datefmt='%H:%M:%S')
+log = logging.getLogger()
+url = "'"$URL"'"
+log.info('Проверка: 5 запросов...')
+s = requests.Session()
+s.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'})
+ban = False
+for i in range(5):
+    r = s.get(url, timeout=(10, 30))
+    log.info('  [%d/5] HTTP %d' % (i+1, r.status_code))
+    if r.status_code in (403, 429):
+        ban = True
+        break
+s.close()
+sys.exit(1 if ban else 0)
+PYEOF
+
+  EXIT=$?
+
+  if [ $EXIT -eq 1 ]; then
+    echo ""
+    echo "=== БАН! Многопоточный режим не работает. ==="
+    echo "Перезапусти с --1 для 1 потока"
+    BANNED=true
+    break
+  fi
+
+  echo ""
+  echo "========================================"
+  echo "[$CURRENT/$TOTAL] Загрузка: $SLUG"
+  echo "========================================"
+  echo ""
+
+  python3 -m vwts_scraper "$URL" --workers $WORKERS
+
+  echo ""
+  echo "OK [$CURRENT/$TOTAL] $SLUG готов"
+  echo ""
+done
+
+if [ "$BANNED" = false ]; then
+  echo "=== ВСЕ РАЗДЕЛЫ ЗАГРУЖЕНЫ ==="
+fi