v0.0.46: удалён тестовый API process_names (нельзя указывать локальные файлы — сервер не видит машину клиента)
Deploy drhider / validate (push) Canceled after 0s
Deploy drhider / validate (push) Canceled after 0s
This commit is contained in:
Symlink
+1
@@ -0,0 +1 @@
|
|||||||
|
python3
|
||||||
Symlink
+1
@@ -0,0 +1 @@
|
|||||||
|
/usr/bin/python3
|
||||||
Symlink
+1
@@ -0,0 +1 @@
|
|||||||
|
python3
|
||||||
Symlink
+1
@@ -0,0 +1 @@
|
|||||||
|
lib
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
home = /usr/bin
|
||||||
|
include-system-site-packages = false
|
||||||
|
version = 3.12.3
|
||||||
|
executable = /usr/bin/python3.12
|
||||||
|
command = /usr/bin/python3 -m venv /home/naeel/nubes/drhider/.venv
|
||||||
Vendored
+3
@@ -0,0 +1,3 @@
|
|||||||
|
{
|
||||||
|
"python-envs.defaultEnvManager": "ms-python.python:system"
|
||||||
|
}
|
||||||
Executable
BIN
Binary file not shown.
@@ -1,57 +0,0 @@
|
|||||||
# v0.0.45 — тестовый API process_names (обфускация по именам файлов) — 2026-08-19
|
|
||||||
|
|
||||||
**Дата:** 2026-08-19
|
|
||||||
**Версия:** 0.0.44 → 0.0.45
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Суть
|
|
||||||
|
|
||||||
Тестовый endpoint для curl: обфускация файлов по ИМЕНАМ из локальной папки
|
|
||||||
сервера (не таскать файлы каждый раз).
|
|
||||||
|
|
||||||
## Использование
|
|
||||||
|
|
||||||
```bash
|
|
||||||
# На сервере задана папка TEST_INPUT_DIR (env), в ней лежат входные файлы.
|
|
||||||
curl -X POST https://drhider.../api/process_names \
|
|
||||||
-H "Content-Type: application/json" \
|
|
||||||
-d '{"files": ["0144-03-2023_отчет об оценке.pdf", "test.pdf"]}' \
|
|
||||||
-o result.zip
|
|
||||||
```
|
|
||||||
|
|
||||||
Ответ: ZIP с обфусцированными .md + mapping.csv.
|
|
||||||
|
|
||||||
## Поведение (по требованию)
|
|
||||||
|
|
||||||
- **Если `TEST_INPUT_DIR` не задан ИЛИ невалиден (не директория) — endpoint
|
|
||||||
возвращает 404** (как будто API нет).
|
|
||||||
- Имена файлов — только **basename** (защита от path traversal).
|
|
||||||
- Файл читается из `TEST_INPUT_DIR/<basename>`; если нет → 404.
|
|
||||||
|
|
||||||
## Изменения
|
|
||||||
|
|
||||||
### `site/routes/api_bp.py`
|
|
||||||
- `import os` добавлен.
|
|
||||||
- Глобальные `TEST_INPUT_DIR = os.environ.get("TEST_INPUT_DIR", "").strip()`
|
|
||||||
и `_TEST_API_ENABLED = bool(TEST_INPUT_DIR) and os.path.isdir(TEST_INPUT_DIR)`.
|
|
||||||
- Endpoint `POST /api/process_names`:
|
|
||||||
- 404 если `_TEST_API_ENABLED` false;
|
|
||||||
- читает JSON `{"files": [...]}`;
|
|
||||||
- basename + проверка файла в TEST_INPUT_DIR;
|
|
||||||
- `obfuscate_files(all_files, llm_client=LLMClient())`;
|
|
||||||
- возврат ZIP (`send_file`).
|
|
||||||
|
|
||||||
### `site/app.py`
|
|
||||||
- `VERSION = "0.0.45"`.
|
|
||||||
|
|
||||||
## Проверка
|
|
||||||
- Без `TEST_INPUT_DIR` → 404.
|
|
||||||
- С валидной папкой → 200, ZIP `['t.md', 'mapping.csv']`.
|
|
||||||
- Path traversal (`../../etc/passwd`) → 404 «файл не найден».
|
|
||||||
- Невалидная папка → 404.
|
|
||||||
- `py_compile` — OK.
|
|
||||||
|
|
||||||
## Примечание
|
|
||||||
- Endpoint тестовый. На проде включать только при необходимости (задать TEST_INPUT_DIR).
|
|
||||||
- В тесте локально LLM недоступен (нет ключа) — «LLM NER failed» ожидаемо; на проде ключ есть.
|
|
||||||
+1
-1
@@ -20,7 +20,7 @@ if _sys_path_root not in sys.path:
|
|||||||
sys.path.insert(0, _sys_path_root)
|
sys.path.insert(0, _sys_path_root)
|
||||||
|
|
||||||
# Версия приложения (меняется при изменениях)
|
# Версия приложения (меняется при изменениях)
|
||||||
VERSION = "0.0.45"
|
VERSION = "0.0.46"
|
||||||
|
|
||||||
|
|
||||||
def create_app():
|
def create_app():
|
||||||
|
|||||||
@@ -7,13 +7,9 @@ Five endpoints:
|
|||||||
- POST /api/process/<sid> — process all session files -> {status:"done"} (legacy)
|
- POST /api/process/<sid> — process all session files -> {status:"done"} (legacy)
|
||||||
- GET /api/download/<sid> — download ZIP (with timestamp name)
|
- GET /api/download/<sid> — download ZIP (with timestamp name)
|
||||||
- GET /api/csv/<sid> — download CSV separately
|
- GET /api/csv/<sid> — download CSV separately
|
||||||
|
|
||||||
Тестовый (только при TEST_INPUT_DIR):
|
|
||||||
- POST /api/process_names — обфускация файлов по именам из TEST_INPUT_DIR
|
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import io
|
import io
|
||||||
import os
|
|
||||||
import json
|
import json
|
||||||
import queue
|
import queue
|
||||||
import threading
|
import threading
|
||||||
@@ -28,10 +24,6 @@ from session import (create_session, add_file, get_files, store_result,
|
|||||||
|
|
||||||
api_bp = Blueprint("api", __name__, url_prefix="/api")
|
api_bp = Blueprint("api", __name__, url_prefix="/api")
|
||||||
|
|
||||||
# Тестовый API «по именам» доступен ТОЛЬКО если задана валидная папка TEST_INPUT_DIR.
|
|
||||||
TEST_INPUT_DIR = os.environ.get("TEST_INPUT_DIR", "").strip()
|
|
||||||
_TEST_API_ENABLED = bool(TEST_INPUT_DIR) and os.path.isdir(TEST_INPUT_DIR)
|
|
||||||
|
|
||||||
|
|
||||||
def _disconnect_exceptions():
|
def _disconnect_exceptions():
|
||||||
"""Исключения, означающие отключение клиента SSE."""
|
"""Исключения, означающие отключение клиента SSE."""
|
||||||
@@ -65,56 +57,6 @@ def upload():
|
|||||||
return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
|
return jsonify({"ok": True, "session": sid, "count": file_count(sid)})
|
||||||
|
|
||||||
|
|
||||||
@api_bp.route("/process_names", methods=["POST"])
|
|
||||||
def process_names():
|
|
||||||
"""Тестовый API: обфускация файлов ПО ИМЕНАМ из TEST_INPUT_DIR.
|
|
||||||
|
|
||||||
Удобно для тестирования curl'ом (не таскать файлы заново).
|
|
||||||
|
|
||||||
Доступен ТОЛЬКО если задан и валиден TEST_INPUT_DIR (env).
|
|
||||||
Иначе endpoint возвращает 404 — как будто API нет.
|
|
||||||
|
|
||||||
Запрос: {"files": ["имя1.pdf", "имя2.pdf"]} (только имена, без путей)
|
|
||||||
Ответ: ZIP с обфусцированными .md + mapping.csv.
|
|
||||||
"""
|
|
||||||
if not _TEST_API_ENABLED:
|
|
||||||
return jsonify({"ok": False, "error": "Not found"}), 404
|
|
||||||
|
|
||||||
data = request.get_json(silent=True) or {}
|
|
||||||
names = data.get("files") or []
|
|
||||||
if not isinstance(names, list) or not names:
|
|
||||||
return jsonify({"ok": False, "error": "files: список имён файлов"}), 400
|
|
||||||
|
|
||||||
all_files = []
|
|
||||||
for name in names:
|
|
||||||
# Только basename — защита от path traversal
|
|
||||||
base = os.path.basename(str(name))
|
|
||||||
if not base:
|
|
||||||
continue
|
|
||||||
path = os.path.join(TEST_INPUT_DIR, base)
|
|
||||||
if not os.path.isfile(path):
|
|
||||||
return jsonify({"ok": False, "error": f"файл не найден: {base}"}), 404
|
|
||||||
with open(path, "rb") as fh:
|
|
||||||
all_files.append((base, fh.read(), ""))
|
|
||||||
|
|
||||||
if not all_files:
|
|
||||||
return jsonify({"ok": False, "error": "нет файлов"}), 400
|
|
||||||
|
|
||||||
try:
|
|
||||||
llm = LLMClient()
|
|
||||||
zip_data, csv_str = obfuscate_files(all_files, llm_client=llm)
|
|
||||||
except Exception as e:
|
|
||||||
traceback.print_exc()
|
|
||||||
return jsonify({"ok": False, "error": str(e)}), 500
|
|
||||||
|
|
||||||
return send_file(
|
|
||||||
io.BytesIO(zip_data),
|
|
||||||
mimetype="application/zip",
|
|
||||||
as_attachment=True,
|
|
||||||
download_name="drhider_test.zip",
|
|
||||||
)
|
|
||||||
|
|
||||||
|
|
||||||
@api_bp.route("/process_stream/<sid>", methods=["GET"])
|
@api_bp.route("/process_stream/<sid>", methods=["GET"])
|
||||||
def process_stream(sid):
|
def process_stream(sid):
|
||||||
"""SSE: process all session files, streaming per-file progress.
|
"""SSE: process all session files, streaming per-file progress.
|
||||||
|
|||||||
Reference in New Issue
Block a user