v0.0.58: ВМ-загрузка (паттерн ВМ-буфер+pull) — PUT на ВМ + /api/upload_refs (egress), nginx /drhider-upload/ + CORS + TTL

site/routes/api_bp.py

@@ -16,6 +16,7 @@ import threading
 import zipfile
 import traceback
 import logging
+import httpx
 from datetime import datetime, timedelta
 from flask import Blueprint, request, send_file, jsonify, Response, stream_with_context
 
@@ -65,6 +66,48 @@ def upload():
     return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
 
 
+@api_bp.route("/upload_refs", methods=["POST"])
+def upload_refs():
+    """Принять ссылки на файлы (загружены на ВМ-буфер), забрать по egress.
+
+    Вход: JSON {"session": "...", "files": [{"name": str, "size": int, "url": str}]}.
+    Каждый файл тянется ИСХОДЯЩИМ GET'ом с ВМ (egress не ограничен шлюзом),
+    читается по частям (stream), кладётся в сессию. После успешного pull файл
+    удаляется с ВМ (best-effort; TTL-чистка на ВМ тоже есть).
+    """
+    data = request.get_json(silent=True) or {}
+    sid = data.get("session") or create_session()
+    refs = data.get("files") or []
+    if not refs:
+        log.warning("upload_refs: no files, sid=%s", sid)
+        return jsonify({"ok": False, "error": "No files"}), 400
+    added = 0
+    try:
+        with httpx.Client(timeout=120, follow_redirects=True) as client:
+            for ref in refs:
+                name = ref.get("name")
+                url = ref.get("url")
+                if not name or not url:
+                    continue
+                with client.stream("GET", url) as resp:
+                    resp.raise_for_status()
+                    content = b"".join(resp.iter_bytes())
+                log.info("upload_refs: pulled sid=%s file=%r size=%d", sid, name, len(content))
+                if not add_file(sid, name, content):
+                    log.warning("upload_refs: session not found/limit, sid=%s file=%r", sid, name)
+                    return jsonify({"ok": False, "error": "Session not found"}), 404
+                try:
+                    client.delete(url)  # убрать файл с ВМ после загрузки
+                except Exception:
+                    pass
+                added += 1
+    except Exception as e:
+        log.error("upload_refs: pull error sid=%s: %r", sid, e)
+        return jsonify({"ok": False, "error": "Pull failed: %s" % e}), 502
+    log.info("upload_refs: done sid=%s added=%d total=%d", sid, added, file_count(sid))
+    return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
+
+
 @api_bp.route("/process_stream/<sid>", methods=["GET"])
 def process_stream(sid):
     """SSE: process all session files, streaming per-file progress.