fix(upload): параметризация pullRetries/pullRetryDelay/pullTimeout, configure лимитов/TTL, onStatus в init, логирование sid/name

upload/backend/upload_refs/blueprint.py

@@ -14,7 +14,7 @@ import logging
 from flask import Blueprint, request, jsonify
 
 from ..session import (create_session, add_file, get_files, file_count,
-                       MAX_FILE_BYTES)
+                       MAX_FILE_BYTES, configure)
 from .config import PULL_RETRIES, PULL_RETRY_DELAY, VM_UPLOAD_PREFIX
 from .safe_name import safe_name
 from .pull_file import pull_file
@@ -26,15 +26,28 @@ def create_upload_refs_blueprint(cfg: dict) -> Blueprint:
     """Создать Blueprint с эндпоинтом upload_refs.
 
     cfg (все ключи опциональны, есть дефолты):
-        apiPrefix (str)      — префикс Blueprint, по умолчанию "/api"
-        vmUploadPrefix (str) — доверенный префикс ВМ-буфера (SSRF-валидация)
-        maxFileBytes (int)   — лимит на один файл
-        pullRetries (int)    — ретраи pull
-        pullRetryDelay (int) — пауза между ретраями
+        apiPrefix (str)        — префикс Blueprint, по умолчанию "/api"
+        vmUploadPrefix (str)   — доверенный префикс ВМ-буфера (SSRF-валидация)
+        maxFileBytes (int)     — лимит на один файл
+        maxSessionBytes (int)  — суммарный лимит сессии (применяется к сессиям)
+        ttlSeconds (int)       — TTL сессии
+        pullRetries (int)      — ретраи pull
+        pullRetryDelay (int)   — пауза между ретраями (сек)
+        pullTimeout (int)      — таймаут одного GET pull
     """
     prefix = cfg.get("apiPrefix", "/api")
     vm_prefix = cfg.get("vmUploadPrefix", VM_UPLOAD_PREFIX)
     max_file_bytes = cfg.get("maxFileBytes", MAX_FILE_BYTES)
+    pull_retries = cfg.get("pullRetries", PULL_RETRIES)
+    pull_delay = cfg.get("pullRetryDelay", PULL_RETRY_DELAY)
+    pull_timeout = cfg.get("pullTimeout", 120)
+
+    # Применить лимиты сессии/TTL из конфига (глобально для всех сессий)
+    configure(
+        max_file_bytes=cfg.get("maxFileBytes"),
+        max_session_bytes=cfg.get("maxSessionBytes"),
+        ttl_seconds=cfg.get("ttlSeconds"),
+    )
 
     bp = Blueprint("upload_refs", __name__, url_prefix=prefix)
 
@@ -55,7 +68,7 @@ def create_upload_refs_blueprint(cfg: dict) -> Blueprint:
             return jsonify({"ok": False, "error": "No files"}), 400
         added = 0
         try:
-            with httpx.Client(timeout=120, follow_redirects=True) as client:
+            with httpx.Client(timeout=pull_timeout, follow_redirects=True) as client:
                 for ref in refs:
                     name = safe_name(ref.get("name") or "")
                     url = ref.get("url")
@@ -75,7 +88,7 @@ def create_upload_refs_blueprint(cfg: dict) -> Blueprint:
                             pass
                         continue
                     # Pull с ретраями: разовые DNS/сетевые сбои не роняют всю загрузку
-                    content = pull_file(client, url)  # бросает при неудаче всех попыток
+                    content = pull_file(client, url, pull_retries, pull_delay, sid=sid, name=name)  # бросает при неудаче всех попыток
                     log.info("upload_refs: pulled sid=%s file=%r size=%d", sid, name, len(content))
                     if len(content) > max_file_bytes:
                         log.warning("upload_refs: pulled file exceeds %dMB, skip sid=%s file=%r size=%d",

upload/backend/upload_refs/pull_file.py

@@ -8,12 +8,16 @@ from .config import PULL_RETRIES, PULL_RETRY_DELAY
 log = logging.getLogger("upload.upload_refs.pull")
 
 
-def pull_file(client, url: str) -> bytes:
+def pull_file(client, url: str, retries: int = PULL_RETRIES,
+              delay: float = PULL_RETRY_DELAY, sid: str = None, name: str = None) -> bytes:
     """GET url с ретраями; читает по частям (stream).
 
     Args:
         client: httpx.Client
         url: URL файла на ВМ-буфере.
+        retries: число попыток.
+        delay: пауза между попытками (сек).
+        sid/name: для логирования (опционально).
 
     Returns:
         Содержимое файла (bytes).
@@ -22,14 +26,14 @@ def pull_file(client, url: str) -> bytes:
         Последнюю ошибку попытки, если все ретраи не удались.
     """
     last_err = None
-    for attempt in range(PULL_RETRIES):
+    for attempt in range(retries):
         try:
             with client.stream("GET", url) as resp:
                 resp.raise_for_status()
                 return b"".join(resp.iter_bytes())
         except Exception as e:
             last_err = e
-            log.warning("pull: attempt %d/%d failed url=%r: %r",
-                        attempt + 1, PULL_RETRIES, url, e)
-            time.sleep(PULL_RETRY_DELAY)
+            log.warning("pull: attempt %d/%d failed sid=%s file=%r: %r",
+                        attempt + 1, retries, sid, name, e)
+            time.sleep(delay)
     raise last_err if last_err else RuntimeError("pull failed")