v0.0.45: тестовый API process_names — обфускация файлов по именам (только при валидном TEST_INPUT_DIR)
Deploy drhider / validate (push) Canceled after 0s
Deploy drhider / validate (push) Canceled after 0s
This commit is contained in:
@@ -0,0 +1,57 @@
|
|||||||
|
# v0.0.45 — тестовый API process_names (обфускация по именам файлов) — 2026-08-19
|
||||||
|
|
||||||
|
**Дата:** 2026-08-19
|
||||||
|
**Версия:** 0.0.44 → 0.0.45
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Суть
|
||||||
|
|
||||||
|
Тестовый endpoint для curl: обфускация файлов по ИМЕНАМ из локальной папки
|
||||||
|
сервера (не таскать файлы каждый раз).
|
||||||
|
|
||||||
|
## Использование
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# На сервере задана папка TEST_INPUT_DIR (env), в ней лежат входные файлы.
|
||||||
|
curl -X POST https://drhider.../api/process_names \
|
||||||
|
-H "Content-Type: application/json" \
|
||||||
|
-d '{"files": ["0144-03-2023_отчет об оценке.pdf", "test.pdf"]}' \
|
||||||
|
-o result.zip
|
||||||
|
```
|
||||||
|
|
||||||
|
Ответ: ZIP с обфусцированными .md + mapping.csv.
|
||||||
|
|
||||||
|
## Поведение (по требованию)
|
||||||
|
|
||||||
|
- **Если `TEST_INPUT_DIR` не задан ИЛИ невалиден (не директория) — endpoint
|
||||||
|
возвращает 404** (как будто API нет).
|
||||||
|
- Имена файлов — только **basename** (защита от path traversal).
|
||||||
|
- Файл читается из `TEST_INPUT_DIR/<basename>`; если нет → 404.
|
||||||
|
|
||||||
|
## Изменения
|
||||||
|
|
||||||
|
### `site/routes/api_bp.py`
|
||||||
|
- `import os` добавлен.
|
||||||
|
- Глобальные `TEST_INPUT_DIR = os.environ.get("TEST_INPUT_DIR", "").strip()`
|
||||||
|
и `_TEST_API_ENABLED = bool(TEST_INPUT_DIR) and os.path.isdir(TEST_INPUT_DIR)`.
|
||||||
|
- Endpoint `POST /api/process_names`:
|
||||||
|
- 404 если `_TEST_API_ENABLED` false;
|
||||||
|
- читает JSON `{"files": [...]}`;
|
||||||
|
- basename + проверка файла в TEST_INPUT_DIR;
|
||||||
|
- `obfuscate_files(all_files, llm_client=LLMClient())`;
|
||||||
|
- возврат ZIP (`send_file`).
|
||||||
|
|
||||||
|
### `site/app.py`
|
||||||
|
- `VERSION = "0.0.45"`.
|
||||||
|
|
||||||
|
## Проверка
|
||||||
|
- Без `TEST_INPUT_DIR` → 404.
|
||||||
|
- С валидной папкой → 200, ZIP `['t.md', 'mapping.csv']`.
|
||||||
|
- Path traversal (`../../etc/passwd`) → 404 «файл не найден».
|
||||||
|
- Невалидная папка → 404.
|
||||||
|
- `py_compile` — OK.
|
||||||
|
|
||||||
|
## Примечание
|
||||||
|
- Endpoint тестовый. На проде включать только при необходимости (задать TEST_INPUT_DIR).
|
||||||
|
- В тесте локально LLM недоступен (нет ключа) — «LLM NER failed» ожидаемо; на проде ключ есть.
|
||||||
+1
-1
@@ -20,7 +20,7 @@ if _sys_path_root not in sys.path:
|
|||||||
sys.path.insert(0, _sys_path_root)
|
sys.path.insert(0, _sys_path_root)
|
||||||
|
|
||||||
# Версия приложения (меняется при изменениях)
|
# Версия приложения (меняется при изменениях)
|
||||||
VERSION = "0.0.44"
|
VERSION = "0.0.45"
|
||||||
|
|
||||||
|
|
||||||
def create_app():
|
def create_app():
|
||||||
|
|||||||
@@ -7,9 +7,13 @@ Five endpoints:
|
|||||||
- POST /api/process/<sid> — process all session files -> {status:"done"} (legacy)
|
- POST /api/process/<sid> — process all session files -> {status:"done"} (legacy)
|
||||||
- GET /api/download/<sid> — download ZIP (with timestamp name)
|
- GET /api/download/<sid> — download ZIP (with timestamp name)
|
||||||
- GET /api/csv/<sid> — download CSV separately
|
- GET /api/csv/<sid> — download CSV separately
|
||||||
|
|
||||||
|
Тестовый (только при TEST_INPUT_DIR):
|
||||||
|
- POST /api/process_names — обфускация файлов по именам из TEST_INPUT_DIR
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import io
|
import io
|
||||||
|
import os
|
||||||
import json
|
import json
|
||||||
import queue
|
import queue
|
||||||
import threading
|
import threading
|
||||||
@@ -24,6 +28,10 @@ from session import (create_session, add_file, get_files, store_result,
|
|||||||
|
|
||||||
api_bp = Blueprint("api", __name__, url_prefix="/api")
|
api_bp = Blueprint("api", __name__, url_prefix="/api")
|
||||||
|
|
||||||
|
# Тестовый API «по именам» доступен ТОЛЬКО если задана валидная папка TEST_INPUT_DIR.
|
||||||
|
TEST_INPUT_DIR = os.environ.get("TEST_INPUT_DIR", "").strip()
|
||||||
|
_TEST_API_ENABLED = bool(TEST_INPUT_DIR) and os.path.isdir(TEST_INPUT_DIR)
|
||||||
|
|
||||||
|
|
||||||
def _disconnect_exceptions():
|
def _disconnect_exceptions():
|
||||||
"""Исключения, означающие отключение клиента SSE."""
|
"""Исключения, означающие отключение клиента SSE."""
|
||||||
@@ -57,6 +65,56 @@ def upload():
|
|||||||
return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
|
return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
|
||||||
|
|
||||||
|
|
||||||
|
@api_bp.route("/process_names", methods=["POST"])
|
||||||
|
def process_names():
|
||||||
|
"""Тестовый API: обфускация файлов ПО ИМЕНАМ из TEST_INPUT_DIR.
|
||||||
|
|
||||||
|
Удобно для тестирования curl'ом (не таскать файлы заново).
|
||||||
|
|
||||||
|
Доступен ТОЛЬКО если задан и валиден TEST_INPUT_DIR (env).
|
||||||
|
Иначе endpoint возвращает 404 — как будто API нет.
|
||||||
|
|
||||||
|
Запрос: {"files": ["имя1.pdf", "имя2.pdf"]} (только имена, без путей)
|
||||||
|
Ответ: ZIP с обфусцированными .md + mapping.csv.
|
||||||
|
"""
|
||||||
|
if not _TEST_API_ENABLED:
|
||||||
|
return jsonify({"ok": False, "error": "Not found"}), 404
|
||||||
|
|
||||||
|
data = request.get_json(silent=True) or {}
|
||||||
|
names = data.get("files") or []
|
||||||
|
if not isinstance(names, list) or not names:
|
||||||
|
return jsonify({"ok": False, "error": "files: список имён файлов"}), 400
|
||||||
|
|
||||||
|
all_files = []
|
||||||
|
for name in names:
|
||||||
|
# Только basename — защита от path traversal
|
||||||
|
base = os.path.basename(str(name))
|
||||||
|
if not base:
|
||||||
|
continue
|
||||||
|
path = os.path.join(TEST_INPUT_DIR, base)
|
||||||
|
if not os.path.isfile(path):
|
||||||
|
return jsonify({"ok": False, "error": f"файл не найден: {base}"}), 404
|
||||||
|
with open(path, "rb") as fh:
|
||||||
|
all_files.append((base, fh.read(), ""))
|
||||||
|
|
||||||
|
if not all_files:
|
||||||
|
return jsonify({"ok": False, "error": "нет файлов"}), 400
|
||||||
|
|
||||||
|
try:
|
||||||
|
llm = LLMClient()
|
||||||
|
zip_data, csv_str = obfuscate_files(all_files, llm_client=llm)
|
||||||
|
except Exception as e:
|
||||||
|
traceback.print_exc()
|
||||||
|
return jsonify({"ok": False, "error": str(e)}), 500
|
||||||
|
|
||||||
|
return send_file(
|
||||||
|
io.BytesIO(zip_data),
|
||||||
|
mimetype="application/zip",
|
||||||
|
as_attachment=True,
|
||||||
|
download_name="drhider_test.zip",
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
@api_bp.route("/process_stream/<sid>", methods=["GET"])
|
@api_bp.route("/process_stream/<sid>", methods=["GET"])
|
||||||
def process_stream(sid):
|
def process_stream(sid):
|
||||||
"""SSE: process all session files, streaming per-file progress.
|
"""SSE: process all session files, streaming per-file progress.
|
||||||
|
|||||||
Reference in New Issue
Block a user