fix: SSE — отлов GeneratorExit при отключении клиента
Deploy drhider / validate (push) Waiting to run
Deploy drhider / validate (push) Waiting to run
- api_bp.py: try/except GeneratorExit после каждого yield в generate() - при F5 во время обработки поток освобождается, остальные файлы не обрабатываются - bump: 0.0.17 → 0.0.18
This commit is contained in:
@@ -0,0 +1,48 @@
|
||||
# SSE: отлов отключения клиента, v0.0.18
|
||||
|
||||
**Дата:** 2026-07-14
|
||||
**Версия:** 0.0.17 → 0.0.18
|
||||
|
||||
---
|
||||
|
||||
## Проблема
|
||||
|
||||
После 2-3 F5 во время обработки — загрузка падает с «Ошибка загрузки: Сеть».
|
||||
Причина: утечка потоков.
|
||||
|
||||
### Механика
|
||||
|
||||
1. `process_stream` создаёт SSE-генератор, занимающий поток Waitress (всего 8)
|
||||
2. `obfuscate_files()` выполняется ~30 сек (LLM-запросы)
|
||||
3. Пользователь делает F5 → TCP-соединение рвётся
|
||||
4. Генератор **не знает** что клиент отключился — продолжает обрабатывать файлы
|
||||
5. Поток занят, не освобождается
|
||||
6. 2-3 F5 → все 8 потоков заняты → новые запросы не принимаются → «Сеть»
|
||||
|
||||
### Почему WSGI не отключает
|
||||
|
||||
`yield` в генераторе пишет в буфер WSGI, а не в сокет. Буфер никуда не уходит
|
||||
(клиент отключён), но генератор об этом не узнаёт — `GeneratorExit` не кидается.
|
||||
|
||||
---
|
||||
|
||||
## Решение
|
||||
|
||||
Добавлен `try/except GeneratorExit` после каждого `yield` в `generate()`:
|
||||
|
||||
```python
|
||||
try:
|
||||
yield f"event: done..."
|
||||
except GeneratorExit:
|
||||
return # клиент отключился, освобождаем поток, НЕ обрабатываем остальные файлы
|
||||
```
|
||||
|
||||
Waitress при отключении клиента кидает `GeneratorExit` при попытке записи в
|
||||
закрытый сокет. Генератор ловит → выходит → поток освобождается.
|
||||
|
||||
---
|
||||
|
||||
## Изменённые файлы
|
||||
|
||||
- `site/routes/api_bp.py` — `try/except GeneratorExit` в `generate()`
|
||||
- `site/app.py` — `VERSION = "0.0.18"`
|
||||
+1
-1
@@ -20,7 +20,7 @@ if _sys_path_root not in sys.path:
|
||||
sys.path.insert(0, _sys_path_root)
|
||||
|
||||
# Версия приложения (меняется при изменениях)
|
||||
VERSION = "0.0.17"
|
||||
VERSION = "0.0.18"
|
||||
|
||||
|
||||
def create_app():
|
||||
|
||||
+10
-3
@@ -59,7 +59,11 @@ def process_stream(sid):
|
||||
all_mapping = {}
|
||||
for idx, (fname, content) in enumerate(files):
|
||||
# Отправляем: начали файл
|
||||
yield f"event: start\ndata: {json.dumps({'idx': idx, 'name': fname, 'total': total})}\n\n"
|
||||
try:
|
||||
yield f"event: start\ndata: {json.dumps({'idx': idx, 'name': fname, 'total': total})}\n\n"
|
||||
except GeneratorExit:
|
||||
return # клиент отключился
|
||||
|
||||
zip_data, _csv = obfuscate_files([(fname, content, "")], llm_client=llm)
|
||||
with zipfile.ZipFile(io.BytesIO(zip_data)) as zf:
|
||||
for name in zf.namelist():
|
||||
@@ -73,8 +77,11 @@ def process_stream(sid):
|
||||
all_mapping[parts[1]] = parts[2]
|
||||
elif not name.endswith("/"):
|
||||
all_results.append((name, zf.read(name)))
|
||||
# Отправляем: закончили файл
|
||||
yield f"event: done\ndata: {json.dumps({'idx': idx, 'name': fname, 'total': total})}\n\n"
|
||||
# Отправляем: закончили файл (если клиент ушёл — освобождаем поток)
|
||||
try:
|
||||
yield f"event: done\ndata: {json.dumps({'idx': idx, 'name': fname, 'total': total})}\n\n"
|
||||
except GeneratorExit:
|
||||
return # клиент отключился, НЕ обрабатываем остальные файлы
|
||||
|
||||
csv_str = build_mapping_csv(all_mapping) if all_mapping else ""
|
||||
final_zip = build_zip(all_results)
|
||||
|
||||
Reference in New Issue
Block a user