vwts: скрипт выборочной загрузки + список разделов

vwts_scraper/download_selected.sh

@@ -0,0 +1,95 @@
+#!/bin/bash
+set -e
+
+WORKERS=4
+if [ "$1" = "--1" ]; then
+  WORKERS=1
+  echo "Режим: 1 поток"
+else
+  echo "Режим: $WORKERS потока"
+fi
+echo ""
+
+SECTIONS=(
+  "https://vwts.ru/forum/vag/sistema-ohlazhdeniya-otoplenie-konditsionirovanie/"
+  "https://vwts.ru/forum/vag/sistema-smazki/"
+  "https://vwts.ru/forum/vag/sistemy-vpryska-i-zazhiganiya/"
+  "https://vwts.ru/forum/vag/podveska/"
+  "https://vwts.ru/forum/vag/rulevoe-upravlenie/"
+  "https://vwts.ru/forum/vag/tormoznaya-sistema/"
+  "https://vwts.ru/forum/vag/korobki-peredach-stseplenie/"
+  "https://vwts.ru/forum/vag/dokumentatsiya-po-volkswagen/"
+  "https://vwts.ru/forum/vag/baza-znaniy-diagnostika-i-neispravnosti/"
+  "https://vwts.ru/forum/vag/baza-znaniy-benzinovye-dvigateli/"
+  "https://vwts.ru/forum/vag/baza-znaniy-dizelnye-dvigateli/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistema-ohlazhdeniya/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistema-smazki/"
+  "https://vwts.ru/forum/vag/baza-znaniy-sistemy-vpryska-i-zazhiganiya/"
+  "https://vwts.ru/forum/vag/baza-znaniy-toplivnaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-vypusknaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-podveska/"
+  "https://vwts.ru/forum/vag/baza-znaniy-rulevoe-upravlenie/"
+  "https://vwts.ru/forum/vag/baza-znaniy-tormoznaya-sistema/"
+  "https://vwts.ru/forum/vag/baza-znaniy-elektrooborudovanie/"
+  "https://vwts.ru/forum/vag/elektronnye-sistemy-bloki-upravleniya-vag/"
+  "https://vwts.ru/forum/vag/baza-znaniy-korobki-peredach-stsepleniya/"
+)
+
+BANNED=false
+TOTAL=${#SECTIONS[@]}
+CURRENT=0
+
+for URL in "${SECTIONS[@]}"; do
+  CURRENT=$((CURRENT + 1))
+  SLUG=$(echo "$URL" | sed 's|/$||' | awk -F/ '{print $NF}')
+
+  echo ""
+  echo "========================================"
+  echo "[$CURRENT/$TOTAL] Проверка бана для: $SLUG"
+  echo "========================================"
+
+  python3 << 'PYEOF'
+import sys, logging, requests
+logging.basicConfig(level=logging.INFO, format='%(asctime)s [%(levelname)s] %(message)s', datefmt='%H:%M:%S')
+log = logging.getLogger()
+url = "'"$URL"'"
+log.info('Проверка: 5 запросов...')
+s = requests.Session()
+s.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'})
+ban = False
+for i in range(5):
+    r = s.get(url, timeout=(10, 30))
+    log.info('  [%d/5] HTTP %d' % (i+1, r.status_code))
+    if r.status_code in (403, 429):
+        ban = True
+        break
+s.close()
+sys.exit(1 if ban else 0)
+PYEOF
+
+  EXIT=$?
+
+  if [ $EXIT -eq 1 ]; then
+    echo ""
+    echo "=== БАН! Многопоточный режим не работает. ==="
+    echo "Перезапусти с --1 для 1 потока"
+    BANNED=true
+    break
+  fi
+
+  echo ""
+  echo "========================================"
+  echo "[$CURRENT/$TOTAL] Загрузка: $SLUG"
+  echo "========================================"
+  echo ""
+
+  python3 -m vwts_scraper "$URL" --workers $WORKERS
+
+  echo ""
+  echo "OK [$CURRENT/$TOTAL] $SLUG готов"
+  echo ""
+done
+
+if [ "$BANNED" = false ]; then
+  echo "=== ВСЕ РАЗДЕЛЫ ЗАГРУЖЕНЫ ==="
+fi

vwts_scraper/load-list.md

@@ -0,0 +1,120 @@
+# Список разделов vwts.ru/forum
+
+## ✅ Уже скачано
+
+- [x] **Бензиновые двигатели** — 4 316 / 4 560 тем
+- [x] **Дизельные двигатели** — 3 703 / 3 857 тем
+- [x] **Топливная система** — ~200+ / 326 тем
+- [x] **Диагностика** — ~2 300+ / 2 323 темы
+- [x] **Электрооборудование** — 9 936 / 13 715 тем
+- [x] **Автомобильная электроника и аксессуары** — 35 / 36 тем
+
+## ⬜ Не скачано — отметь что загружать
+
+### Ремонт и обслуживание
+
+- [X] **Система охлаждения, отопление, кондиционирование** — 6 133 темы
+      `https://vwts.ru/forum/vag/sistema-ohlazhdeniya-otoplenie-konditsionirovanie/`
+
+- [X] **Система смазки** — 258 тем
+      `https://vwts.ru/forum/vag/sistema-smazki/`
+
+- [X] **Системы впрыска и зажигания** — 3 435 тем
+      `https://vwts.ru/forum/vag/sistemy-vpryska-i-zazhiganiya/`
+
+- [ ] **Выпускная система** — 1 064 темы
+      `https://vwts.ru/forum/vag/vypusknaya-sistema/`
+
+- [X] **Подвеска** — 4 304 темы
+      `https://vwts.ru/forum/vag/podveska/`
+
+- [X] **Рулевое управление** — 2 383 темы
+      `https://vwts.ru/forum/vag/rulevoe-upravlenie/`
+
+- [X] **Тормозная система** — 2 736 тем
+      `https://vwts.ru/forum/vag/tormoznaya-sistema/`
+
+- [X] **Коробки передач, сцепление** — 6 165 тем
+      `https://vwts.ru/forum/vag/korobki-peredach-stseplenie/`
+
+- [ ] **Кузов** — 5 480 тем
+      `https://vwts.ru/forum/vag/kuzov/`
+
+- [ ] **Шины / Диски** — 1 262 темы
+      `https://vwts.ru/forum/vag/shiny-diski/`
+
+- [ ] **Горюче-смазочные материалы** — 606 тем
+      `https://vwts.ru/forum/vag/goryuche-smazochnye-materialy/`
+
+- [ ] **Разное** — 3 359 тем
+      `https://vwts.ru/forum/vag/raznoe/`
+
+- [ ] **Гараж / инструменты** — 471 тема
+      `https://vwts.ru/forum/vag/garazh-instrumenty/`
+
+- [ ] **Автосигнализации и защита от угона** — 1 431 тема
+      `https://vwts.ru/forum/vag/avtosignalizatsii-i-zaschita-ot-ugona/`
+
+- [ ] **Сервисы, официальные дилеры** — 1 474 темы
+      `https://vwts.ru/forum/vag/servisy-ofitsialnye-dilery/`
+
+- [ ] **Тюнинг** — 1 695 тем
+      `https://vwts.ru/forum/vag/tyuning/`
+
+- [ ] **Автозвук** — 2 514 тем
+      `https://vwts.ru/forum/vag/avtozvuk/`
+
+- [ ] **Наши машины** — 460 тем
+      `https://vwts.ru/forum/vag/nashi-mashiny/`
+
+- [ ] **Оперативные вопросы (технические)** — 1 677 тем
+      `https://vwts.ru/forum/vag/operativnye-voprosy-tehnicheskie/`
+
+- [X] **Документация по Volkswagen** — 1 413 тем
+      `https://vwts.ru/forum/vag/dokumentatsiya-po-volkswagen/`
+
+### Модели VAG
+
+- [ ] **Volkswagen** — 41 тема
+      `https://vwts.ru/forum/vag/volkswagen/`
+
+### Базы знаний
+
+- [X] **База знаний "Диагностика"**
+      `https://vwts.ru/forum/vag/baza-znaniy-diagnostika-i-neispravnosti/`
+- [X] **База знаний "Бензиновые двигатели"**
+      `https://vwts.ru/forum/vag/baza-znaniy-benzinovye-dvigateli/`
+- [X] **База знаний "Дизельные двигатели"**
+      `https://vwts.ru/forum/vag/baza-znaniy-dizelnye-dvigateli/`
+- [X] **База знаний "Система охлаждения"**
+      `https://vwts.ru/forum/vag/baza-znaniy-sistema-ohlazhdeniya/`
+- [X] **База знаний "Система смазки"**
+      `https://vwts.ru/forum/vag/baza-znaniy-sistema-smazki/`
+- [X] **База знаний "Системы впрыска и зажигания"**
+      `https://vwts.ru/forum/vag/baza-znaniy-sistemy-vpryska-i-zazhiganiya/`
+- [X] **База знаний "Топливная система"**
+      `https://vwts.ru/forum/vag/baza-znaniy-toplivnaya-sistema/`
+- [X] **База знаний "Выпускная система"**
+      `https://vwts.ru/forum/vag/baza-znaniy-vypusknaya-sistema/`
+- [X] **База знаний "Подвеска"**
+      `https://vwts.ru/forum/vag/baza-znaniy-podveska/`
+- [X] **База знаний "Рулевое управление"**
+      `https://vwts.ru/forum/vag/baza-znaniy-rulevoe-upravlenie/`
+- [X] **База знаний "Тормозная система"**
+      `https://vwts.ru/forum/vag/baza-znaniy-tormoznaya-sistema/`
+- [X] **База знаний "Электрооборудование"**
+      `https://vwts.ru/forum/vag/baza-znaniy-elektrooborudovanie/`
+- [X] **Электронные системы, блоки управления VAG**
+      `https://vwts.ru/forum/vag/elektronnye-sistemy-bloki-upravleniya-vag/`
+- [X] **База знаний "Коробки передач, сцепления"**
+      `https://vwts.ru/forum/vag/baza-znaniy-korobki-peredach-stsepleniya/`
+- [ ] **База знаний "Кузов"**
+      `https://vwts.ru/forum/vag/baza-znaniy-kuzov/`
+- [ ] **База знаний "Разное"**
+      `https://vwts.ru/forum/vag/baza-znaniy-raznoe/`
+- [ ] **База знаний "Гараж / Инструменты"**
+      `https://vwts.ru/forum/vag/baza-znaniy-garazh--instrumenty/`
+- [ ] **База знаний "Тюнинг"**
+      `https://vwts.ru/forum/vag/baza-znaniy-tyuning/`
+- [ ] **База знаний "Автозвук"**
+      `https://vwts.ru/forum/vag/baza-znaniy-avtozvuk/`