v7.0.0: API upload/process/download, session.py, фронт без обработки — всё на бэкенде

2026-07-13 08:12:20 +04:00
parent e590d8ab9a
commit 18922b486b
6 changed files with 299 additions and 84 deletions
@@ -0,0 +1,39 @@
+# Запрос к Соннету — архитектура пофайловой обработки с одним ZIP (2026-07-13)
+
+## Задача
+
+DrHider (Flask + waitress). Ограничения:
+- Фронтенд должен слать файлы **по одному** (сеть не пропускает большие multipart)
+- Бэкенд должен обрабатывать **по одному** (без параллельных LLM-запросов)
+- Результат: **один ZIP** со всеми обфусцированными .md + **один общий** mapping.csv
+- **Никакой обработки данных в JS** — фронтенд только кнопки и скачивание
+
+## Варианты
+
+### А. Upload → Process
+1. `POST /api/upload` — один файл → `{session:"abc"}`
+2. Фронтенд циклом шлёт все, получает session
+3. `POST /api/process/abc` — бэкенд обрабатывает всё → ZIP
+4. Фронтенд скачивает ZIP
+
+### Б. Один запрос, все файлы
+1. Фронтенд: один POST, все файлы в FormData
+2. Бэкенд: получил все → обработал по одному → ZIP
+3. Waitress держит долгое соединение, таймаут 600с
+
+### В. SSE с прогрессом
+1. `POST /api/start` → `{session:"abc"}`
+2. `POST /api/upload/abc` — по одному файлу
+3. `GET /api/process/abc` — SSE стримит прогресс каждого файла и в конце ZIP
+
+## Вопросы
+
+1. Какой вариант правильный для Flask + waitress?
+2. Вариант Б — пройдёт ли большой multipart через ingress (6 файлов × 30-60 KB)?
+3. Если А — как чистить сессии? (пользователь закрыл вкладку, файлы остались в памяти)
+4. Нужен ли SSE или достаточно простого XHR с таймером?
+5. mapping.csv — генерировать на лету (по мере обработки) или после всех файлов?
+
+## Сейчас работает (но сломано)
+
+Сейчас: фронтенд шлёт по одному файлу, каждый получает отдельный ZIP. Пользователь хочет один ZIP в конце. JS обрабатывал ZIP'ы (распаковывал/перепаковывал) — это убрали, всё должно быть на бэкенде.
@@ -0,0 +1,17 @@
+# Ответ Соннета — архитектура upload+process (2026-07-13)
+
+## Рекомендация: Вариант А + блокирующий /process
+
+```
+POST /api/upload          → {session_id}   (фронт шлёт по одному, N раз)
+POST /api/process/{sid}   → {status:"done"}  (блокирует до конца обработки)
+GET  /api/download/{sid}  → ZIP
+```
+
+Без polling — `/process` просто блокирует XHR до готовности. Waitress держит.
+
+## Детали
+- Mapping.csv — на лету, аккумулируется после каждого файла
+- Сессии — dict в памяти, TTL 30 минут через threading.Timer
+- Фронт: цикл upload → process → download. Три простых XHR.
+- Никакого JS-кода обработки данных.