vwts: скрипт выборочной загрузки + список разделов
This commit is contained in:
Executable
+95
@@ -0,0 +1,95 @@
|
||||
#!/bin/bash
|
||||
set -e
|
||||
|
||||
WORKERS=4
|
||||
if [ "$1" = "--1" ]; then
|
||||
WORKERS=1
|
||||
echo "Режим: 1 поток"
|
||||
else
|
||||
echo "Режим: $WORKERS потока"
|
||||
fi
|
||||
echo ""
|
||||
|
||||
SECTIONS=(
|
||||
"https://vwts.ru/forum/vag/sistema-ohlazhdeniya-otoplenie-konditsionirovanie/"
|
||||
"https://vwts.ru/forum/vag/sistema-smazki/"
|
||||
"https://vwts.ru/forum/vag/sistemy-vpryska-i-zazhiganiya/"
|
||||
"https://vwts.ru/forum/vag/podveska/"
|
||||
"https://vwts.ru/forum/vag/rulevoe-upravlenie/"
|
||||
"https://vwts.ru/forum/vag/tormoznaya-sistema/"
|
||||
"https://vwts.ru/forum/vag/korobki-peredach-stseplenie/"
|
||||
"https://vwts.ru/forum/vag/dokumentatsiya-po-volkswagen/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-diagnostika-i-neispravnosti/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-benzinovye-dvigateli/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-dizelnye-dvigateli/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-sistema-ohlazhdeniya/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-sistema-smazki/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-sistemy-vpryska-i-zazhiganiya/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-toplivnaya-sistema/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-vypusknaya-sistema/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-podveska/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-rulevoe-upravlenie/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-tormoznaya-sistema/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-elektrooborudovanie/"
|
||||
"https://vwts.ru/forum/vag/elektronnye-sistemy-bloki-upravleniya-vag/"
|
||||
"https://vwts.ru/forum/vag/baza-znaniy-korobki-peredach-stsepleniya/"
|
||||
)
|
||||
|
||||
BANNED=false
|
||||
TOTAL=${#SECTIONS[@]}
|
||||
CURRENT=0
|
||||
|
||||
for URL in "${SECTIONS[@]}"; do
|
||||
CURRENT=$((CURRENT + 1))
|
||||
SLUG=$(echo "$URL" | sed 's|/$||' | awk -F/ '{print $NF}')
|
||||
|
||||
echo ""
|
||||
echo "========================================"
|
||||
echo "[$CURRENT/$TOTAL] Проверка бана для: $SLUG"
|
||||
echo "========================================"
|
||||
|
||||
python3 << 'PYEOF'
|
||||
import sys, logging, requests
|
||||
logging.basicConfig(level=logging.INFO, format='%(asctime)s [%(levelname)s] %(message)s', datefmt='%H:%M:%S')
|
||||
log = logging.getLogger()
|
||||
url = "'"$URL"'"
|
||||
log.info('Проверка: 5 запросов...')
|
||||
s = requests.Session()
|
||||
s.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'})
|
||||
ban = False
|
||||
for i in range(5):
|
||||
r = s.get(url, timeout=(10, 30))
|
||||
log.info(' [%d/5] HTTP %d' % (i+1, r.status_code))
|
||||
if r.status_code in (403, 429):
|
||||
ban = True
|
||||
break
|
||||
s.close()
|
||||
sys.exit(1 if ban else 0)
|
||||
PYEOF
|
||||
|
||||
EXIT=$?
|
||||
|
||||
if [ $EXIT -eq 1 ]; then
|
||||
echo ""
|
||||
echo "=== БАН! Многопоточный режим не работает. ==="
|
||||
echo "Перезапусти с --1 для 1 потока"
|
||||
BANNED=true
|
||||
break
|
||||
fi
|
||||
|
||||
echo ""
|
||||
echo "========================================"
|
||||
echo "[$CURRENT/$TOTAL] Загрузка: $SLUG"
|
||||
echo "========================================"
|
||||
echo ""
|
||||
|
||||
python3 -m vwts_scraper "$URL" --workers $WORKERS
|
||||
|
||||
echo ""
|
||||
echo "OK [$CURRENT/$TOTAL] $SLUG готов"
|
||||
echo ""
|
||||
done
|
||||
|
||||
if [ "$BANNED" = false ]; then
|
||||
echo "=== ВСЕ РАЗДЕЛЫ ЗАГРУЖЕНЫ ==="
|
||||
fi
|
||||
@@ -0,0 +1,120 @@
|
||||
# Список разделов vwts.ru/forum
|
||||
|
||||
## ✅ Уже скачано
|
||||
|
||||
- [x] **Бензиновые двигатели** — 4 316 / 4 560 тем
|
||||
- [x] **Дизельные двигатели** — 3 703 / 3 857 тем
|
||||
- [x] **Топливная система** — ~200+ / 326 тем
|
||||
- [x] **Диагностика** — ~2 300+ / 2 323 темы
|
||||
- [x] **Электрооборудование** — 9 936 / 13 715 тем
|
||||
- [x] **Автомобильная электроника и аксессуары** — 35 / 36 тем
|
||||
|
||||
## ⬜ Не скачано — отметь что загружать
|
||||
|
||||
### Ремонт и обслуживание
|
||||
|
||||
- [X] **Система охлаждения, отопление, кондиционирование** — 6 133 темы
|
||||
`https://vwts.ru/forum/vag/sistema-ohlazhdeniya-otoplenie-konditsionirovanie/`
|
||||
|
||||
- [X] **Система смазки** — 258 тем
|
||||
`https://vwts.ru/forum/vag/sistema-smazki/`
|
||||
|
||||
- [X] **Системы впрыска и зажигания** — 3 435 тем
|
||||
`https://vwts.ru/forum/vag/sistemy-vpryska-i-zazhiganiya/`
|
||||
|
||||
- [ ] **Выпускная система** — 1 064 темы
|
||||
`https://vwts.ru/forum/vag/vypusknaya-sistema/`
|
||||
|
||||
- [X] **Подвеска** — 4 304 темы
|
||||
`https://vwts.ru/forum/vag/podveska/`
|
||||
|
||||
- [X] **Рулевое управление** — 2 383 темы
|
||||
`https://vwts.ru/forum/vag/rulevoe-upravlenie/`
|
||||
|
||||
- [X] **Тормозная система** — 2 736 тем
|
||||
`https://vwts.ru/forum/vag/tormoznaya-sistema/`
|
||||
|
||||
- [X] **Коробки передач, сцепление** — 6 165 тем
|
||||
`https://vwts.ru/forum/vag/korobki-peredach-stseplenie/`
|
||||
|
||||
- [ ] **Кузов** — 5 480 тем
|
||||
`https://vwts.ru/forum/vag/kuzov/`
|
||||
|
||||
- [ ] **Шины / Диски** — 1 262 темы
|
||||
`https://vwts.ru/forum/vag/shiny-diski/`
|
||||
|
||||
- [ ] **Горюче-смазочные материалы** — 606 тем
|
||||
`https://vwts.ru/forum/vag/goryuche-smazochnye-materialy/`
|
||||
|
||||
- [ ] **Разное** — 3 359 тем
|
||||
`https://vwts.ru/forum/vag/raznoe/`
|
||||
|
||||
- [ ] **Гараж / инструменты** — 471 тема
|
||||
`https://vwts.ru/forum/vag/garazh-instrumenty/`
|
||||
|
||||
- [ ] **Автосигнализации и защита от угона** — 1 431 тема
|
||||
`https://vwts.ru/forum/vag/avtosignalizatsii-i-zaschita-ot-ugona/`
|
||||
|
||||
- [ ] **Сервисы, официальные дилеры** — 1 474 темы
|
||||
`https://vwts.ru/forum/vag/servisy-ofitsialnye-dilery/`
|
||||
|
||||
- [ ] **Тюнинг** — 1 695 тем
|
||||
`https://vwts.ru/forum/vag/tyuning/`
|
||||
|
||||
- [ ] **Автозвук** — 2 514 тем
|
||||
`https://vwts.ru/forum/vag/avtozvuk/`
|
||||
|
||||
- [ ] **Наши машины** — 460 тем
|
||||
`https://vwts.ru/forum/vag/nashi-mashiny/`
|
||||
|
||||
- [ ] **Оперативные вопросы (технические)** — 1 677 тем
|
||||
`https://vwts.ru/forum/vag/operativnye-voprosy-tehnicheskie/`
|
||||
|
||||
- [X] **Документация по Volkswagen** — 1 413 тем
|
||||
`https://vwts.ru/forum/vag/dokumentatsiya-po-volkswagen/`
|
||||
|
||||
### Модели VAG
|
||||
|
||||
- [ ] **Volkswagen** — 41 тема
|
||||
`https://vwts.ru/forum/vag/volkswagen/`
|
||||
|
||||
### Базы знаний
|
||||
|
||||
- [X] **База знаний "Диагностика"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-diagnostika-i-neispravnosti/`
|
||||
- [X] **База знаний "Бензиновые двигатели"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-benzinovye-dvigateli/`
|
||||
- [X] **База знаний "Дизельные двигатели"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-dizelnye-dvigateli/`
|
||||
- [X] **База знаний "Система охлаждения"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-sistema-ohlazhdeniya/`
|
||||
- [X] **База знаний "Система смазки"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-sistema-smazki/`
|
||||
- [X] **База знаний "Системы впрыска и зажигания"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-sistemy-vpryska-i-zazhiganiya/`
|
||||
- [X] **База знаний "Топливная система"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-toplivnaya-sistema/`
|
||||
- [X] **База знаний "Выпускная система"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-vypusknaya-sistema/`
|
||||
- [X] **База знаний "Подвеска"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-podveska/`
|
||||
- [X] **База знаний "Рулевое управление"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-rulevoe-upravlenie/`
|
||||
- [X] **База знаний "Тормозная система"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-tormoznaya-sistema/`
|
||||
- [X] **База знаний "Электрооборудование"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-elektrooborudovanie/`
|
||||
- [X] **Электронные системы, блоки управления VAG**
|
||||
`https://vwts.ru/forum/vag/elektronnye-sistemy-bloki-upravleniya-vag/`
|
||||
- [X] **База знаний "Коробки передач, сцепления"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-korobki-peredach-stsepleniya/`
|
||||
- [ ] **База знаний "Кузов"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-kuzov/`
|
||||
- [ ] **База знаний "Разное"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-raznoe/`
|
||||
- [ ] **База знаний "Гараж / Инструменты"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-garazh--instrumenty/`
|
||||
- [ ] **База знаний "Тюнинг"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-tyuning/`
|
||||
- [ ] **База знаний "Автозвук"**
|
||||
`https://vwts.ru/forum/vag/baza-znaniy-avtozvuk/`
|
||||
Reference in New Issue
Block a user