diff --git a/DOCS/ARCHITECTURE-FULL.md b/DOCS/ARCHITECTURE-FULL.md deleted file mode 100644 index 5b2b9d2..0000000 --- a/DOCS/ARCHITECTURE-FULL.md +++ /dev/null @@ -1,95 +0,0 @@ -# Архитектура Autotest — полный обзор - -v1.1.44, 2026-07-30 - -## Назначение - -Платформа для тестирования Nubes Cloud API — ручное и автоматизированное создание/изменение/удаление инстансов любых сервисов (PostgreSQL, Redis, S3, Kafka, ~35 сервисов). - -## Развёртывание - -- **Платформа:** Nubes pythonk8s (managed Flask + gunicorn) -- **URL:** `https://atest.pythonk8s.dev.nubes.ru/` -- **БД:** PostgreSQL 17 (Zalando Operator), autotest -- **Репозиторий:** `/home/naeel/nubes/autotest/app-autotest` -- **Родительский репо:** `/home/naeel/nubes/autotest` - -## Ключевые файлы - -### Бэкенд (Flask) -| Файл | Назначение | -|------|-----------| -| `site/app.py` | Точка входа, регистрация blueprint'ов, VERSION | -| `site/routes/api_test.py` | Основной: POST /api/test, GET /api/params, поллинг, _finish_op | -| `site/routes/main.py` | GET /, /api/operations/{svc_id} | -| `site/routes/api.py` | LEGACY эндпоинты (будет удалён) | -| `site/api/http_client.py` | HTTP-клиент Nubes API (GET/POST/raw_delete) | -| `site/api/auth.py` | Токены, get_client, get_stand | -| `site/operations/get_params.py` | get_params_with_current_values, _normalize_value_list, state.out | -| `site/operations/get_instances.py` | GET /instances с пагинацией | -| `site/operations/get_services.py` | GET /services, /services/{id} | -| `site/operations/service_list.py` | Загрузка services_{stand}.txt | -| `site/operations/tracker.py` | fcntl.flock файловый трекер инстансов | -| `site/db/pool.py` | psycopg2 ThreadedConnectionPool (lazy-init) | -| `site/db/init_db.py` | CREATE TABLE runs + миграции | -| `site/db/save_run.py` | INSERT в runs (16 колонок) | -| `site/runner.py` | LEGACY runner (будет удалён) | -| `site/config.yaml` | LEGACY конфиг (будет удалён) | - -### Фронтенд (vanilla JS) -| Файл | Назначение | -|------|-----------| -| `site/templates/index.html` | Jinja2 шаблон, CSS, window.APP | -| `site/static/app.js` | Весь фронтенд (460 строк) | -| `site/static/style.css` | Доп. стили | - -### Конфиги -| Файл | Назначение | -|------|-----------| -| `site/config/services_test.txt` | Список сервисов TEST (комментировать # для исключения) | -| `site/config/services_dev.txt` | Список сервисов DEV | -| `requirements.txt` | Python-зависимости | - -## CREATE flow (9 шагов Nubes API) - -1. POST /instances -2. POST /instanceOperations {operation:"create"} -3. GET /instanceOperations/{opUid}?fields=cfsParams -4. resolveRefSvcParamValues -5. POST /instanceOperationCfsParams (пользовательские) -6. POST /instanceOperationCfsParams (required+default) -7. GET /validate-cfs -8. POST /run -9. Поллинг dtFinish - -## Фронтенд — глобальное состояние - -``` -svcInstances — кеш инстансов -selectedInst — UID выбранного -selectedOp — {opId, opName, svcId} -pollTimer — setInterval поллинга -currentSvcId — ID сервиса -currentSvcName — имя сервиса -currentSvcShort— краткое имя (redis, postgres) -busy — блокировка параллельных операций -``` - -## План развития (MVP сценариев) - -Файлы: `/home/naeel/nubes/autotest/TASKS/3007.md` (требования), `/home/naeel/nubes/autotest/DOCS/sol-answers.md` (решения) - -1. Багфиксы аудита -2. Удалить legacy (api.py, runner.py, config.yaml) -3. Сервисные токены для сценариев -4. YAML-сценарии + валидатор -5. scenario_runs таблица + runner -6. UI: сворачиваемая секция «Сценарии» - -## Документация - -- `/home/naeel/nubes/autotest/DOCS/terraform-operations-full-logic.md` — эталонный Nubes API flow -- `/home/naeel/nubes/autotest/DOCS/sol-answers.md` — ответы на 14 вопросов по архитектуре -- `/home/naeel/nubes/autotest/DOCS/questions-to-sol.md` — 14 вопросов к Sol -- `/home/naeel/nubes/autotest/app-autotest/DOCS/sonnet-final-audit.md` — финальный аудит Соннета -- `/home/naeel/nubes/autotest/HISTORY/2026-07-29-session.md` — хронология правок diff --git a/DOCS/ARCHITECTURE.legacy.md b/DOCS/ARCHITECTURE.legacy.md deleted file mode 100644 index 254d5ae..0000000 --- a/DOCS/ARCHITECTURE.legacy.md +++ /dev/null @@ -1,417 +0,0 @@ -# ⚠️ LEGACY — НЕАКТУАЛЬНО. См. ARCHITECTURE.md для текущего состояния. - -# Архитектура app-autotest — полный документ (v1.0.76) - ---- - -## 1. Обзор - -Flask-приложение для автотестов операций сервисов облачной платформы Nubes. -Деплой: Nubes pythonk8s (gunicorn), тестовый стенд `atest.pythonk8s.dev.nubes.ru`. -Репозиторий: `https://gitea.services.ngcloud.ru/forcloud/app-autotest.git`. - -Текущий срез потока операций: -- CREATE и обычные операции разделены в UI и backend. -- CREATE использует фиксированный префикс `autotest-`, non-create работает по выбранному инстансу. -- Финальный статус показывает статус, операцию, длительность и имя инстанса. -- Список autotest-инстансов строится cloud-first; tracker нужен только как короткий fallback после CREATE. -- **Modify** (и другие операции с параметрами) показывает **текущие** значения параметров инстанса: создаётся pending-операция, читаются `cfsParams.paramValue`, форма заполняется реальными данными. При submit операция переиспользуется через `previewOpUid`. - ---- - -## 2. Структура файлов - -``` -app-autotest/ -├── site/ ← НЕ пакет (без __init__.py, конфликт с stdlib) -│ ├── app.py ← Flask(__name__), VERSION, blueprints, /health -│ ├── api/ -│ │ └── http_client.py ← HttpClient + STANDS + detect_endpoint() -│ ├── operations/ -│ │ ├── tracker.py ← Трекер: /tmp/instances.json + fcntl.flock -│ │ ├── get_services.py ← get_services(), get_service_detail() -│ │ └── get_instances.py ← get_instances(), get_organization() -│ ├── routes/ -│ │ ├── main.py ← GET/POST / (главная), _tmpl() -│ │ ├── api.py ← /api/run, /api/status, /api/config -│ │ └── api_test.py ← /api/test, /api/test/status, _finish_op -│ ├── templates/ -│ │ └── index.html ← UI: Jinja2 + JS (поллинг) -│ └── static/ -│ └── style.css -└── secrets/ - ├── dev.token ← Токен для DEV стенда - ├── test.token ← Токен для TEST стенда - └── test.token.new -``` - ---- - -## 3. Поток CREATE — полная трассировка (14 шагов) - -### Шаг 1: UI — пользователь начинает CREATE - -```javascript -// index.html: startCreate() -function startCreate(){ - selectedInst=null; // нет выбранного инстанса - stopPoll(); // остановить предыдущий поллинг - document.querySelectorAll('[data-iuid]').forEach(e=>e.classList.remove('active')); - document.querySelectorAll('.inst-ops').forEach(e=>e.classList.remove('open')); - showParams(18,'create'); // 18 = svcOperationId для create у сервиса "Болванка" -} -``` - -`selectedOp = {opId: 18, opName: "create", svcId: 1}` - -### Шаг 2: UI — загрузка параметров и показ формы - -```javascript -// index.html: showParams(18, 'create') -fetch('/api/params/18') // GET /api/params/18 - .then(r=>r.json()) - .then(params=>{ - // Генерация формы: displayName + поля из params - const displayName = 'autotest-1-' + Date.now().toString(36); - form.innerHTML = '' - + params.map(p => '').join(''); - - btn.onclick = () => { - // Сбор params из формы - const pp = {}; - document.querySelectorAll('#params-form [name^="p_"]').forEach(el => { - pp[el.name.replace('p_','')] = el.value; - }); - executeOp(pp); // ← запуск - }; - }); -``` - -Бэкенд: `GET /instanceOperations/default/18` → возвращает список `cfsParams`. - -### Шаг 3: UI — executeOp (отправка) - -```javascript -// index.html: executeOp(params) -const displayName = document.getElementById('param-displayname')?.value || 'autotest-1'; -// Захват ДО очистки формы! (v1.0.48) - -document.getElementById('params-form').innerHTML = ''; // очистка - -fetch('/api/test', { - method:'POST', - body: JSON.stringify({ - serviceId: 1, // SVC_ID - operation: "create", - svcOperationId: 18, - params: {...}, // собранные параметры - instanceUid: "", // пусто для create - displayName: displayName - }) -}) -``` - -JSON: `{"serviceId":1, "operation":"create", "svcOperationId":18, "params":{...}, "instanceUid":"", "displayName":"autotest-1-lq5x3a"}` - -### Шаг 4: Бэкенд — api_test() разбор запроса - -```python -# api_test.py: POST /api/test -data = request.get_json() -svc_id = data["serviceId"] # 1 (int) -op_name = data["operation"] # "create" (str) -svc_op_id = data["svcOperationId"] # 18 (int) -params = data.get("params", {}) # {...} (dict) -instance_uid = data.get("instanceUid") # "" (falsy) -display_name = data.get("displayName", f"autotest-{svc_id}") # "autotest-1-lq5x3a" -``` - -### Шаг 5: Бэкенд — _client() с автоопределением стенда - -```python -def _client(): - token = request.cookies.get("token") or current_app.config["NUBES_API_TOKEN"] - endpoint = detect_endpoint(token) or current_app.config["NUBES_API_ENDPOINT"] - return HttpClient(endpoint, token) -``` - -`detect_endpoint(token)` пробует dev→test стенды, возвращает рабочий URL или None. - -### Шаг 6: Бэкенд — создание инстанса в Nubes - -```python -payload = {"serviceId": 1, "displayName": "autotest-1-lq5x3a", "descr": ""} -resp = client.post("/instances", payload) -# Ответ: {"instanceUid": "93b0b65d-..."} -instance_uid = resp.get("instanceUid") or _find_uid(resp) or _uid_from_location(...) -# → "93b0b65d-e080-416d-bbb8-463f7adbda80" -``` - -### Шаг 7: Бэкенд — создание операции - -```python -op_payload = {"instanceUid": "93b0b65d-...", "operation": "create"} -op_resp = client.post("/instanceOperations", op_payload) -# Ответ: {"instanceOperationUid": "0b0596d8-..."} -op_uid = _find_uid(op_resp) or _uid_from_location(...) -# _find_uid ищет: instanceOperationUid → instanceUid → uid → Uid -# → "0b0596d8-b48d-4694-98c3-65f2f8eeb27d" -``` - -### Шаг 8: Бэкенд — tracker_add (v1.0.54: ДО params!) - -```python -try: - tracker_add("93b0b65d-...", 1, "autotest-1-lq5x3a") -except Exception as e: - print(f"[TRACKER ERROR] ...") -``` - -`tracker.py`: `_locked_read()` → `data["93b0b65d-..."] = {...}` → `_locked_write(data)`. -Файл `/tmp/instances.json` обновлён под `fcntl.LOCK_EX | LOCK_NB`. - -### Шаг 9: Бэкенд — установка параметров и запуск - -```python -for pid, pval in params.items(): - client.post("/instanceOperationCfsParams", { - "instanceOperationUid": op_uid, - "svcOperationCfsParamId": int(pid), - "paramValue": str(pval) - }) -client.post(f"/instanceOperations/{op_uid}/run") -``` - -Если params пустые (например, повторный клик на «Готово») → `/run` → 422 "required CFS parameter ... is missing". - -### Шаг 10: Бэкенд — фоновый поток - -```python -threading.Thread( - target=_finish_op, - args=(client, op_uid, instance_uid, svc_id, display_name, op_name, svc_op_id, True), - daemon=True -).start() -return jsonify({"status": "RUNNING", "opUid": op_uid, "instanceUid": instance_uid}) -``` - -### Шаг 11: UI — поллинг статуса - -```javascript -// index.html: executeOp() — после получения RUNNING -pollTimer = setInterval(async () => { - const sr = await fetch('/api/test/status/' + opUid); - const sd = await sr.json(); - showStages(sd.stages || []); - if (sd.status !== 'RUNNING') { - stopPoll(); - // показать OK/FAIL - btn.textContent = 'Готово'; - btn.disabled = false; - // ⚠️ БАГ: btn.onclick всё ещё активен! - if (sd.status === 'OK') { - await refreshInstances(); - } - } -}, 2000); -``` - -### Шаг 12: Бэкенд — _finish_op (фоновый) - -```python -while time.time() < deadline: # 300 секунд - data = client.get(f"/instanceOperations/{op_uid}?fields=...") - op = data.get("instanceOperation", {}) - dt_finish = op.get("dtFinish") - - _op_results[op_uid] = {"status": "RUNNING", "stages": [...], "duration": ...} - - if dt_finish and str(dt_finish).strip(): - is_ok = op.get("isSuccessful") - # tracker_add уже вызван синхронно! - if is_ok and is_delete: - tracker_remove(instance_uid) - _op_results[op_uid] = {"status": "OK" if is_ok else "FAIL", ...} - return - time.sleep(5) -``` - -Весь цикл обёрнут в `try/except: print(traceback)` (v1.0.51). - -### Шаг 13: UI — refreshInstances - -```javascript -async function refreshInstances(){ - const r = await fetch('/api/operations/1'); - const d = await r.json(); - const newInsts = d.instances || []; - // Найти новые (отсутствуют в svcInstances) - const added = newInsts.filter(i => !oldUids.has(i.instanceUid)); - // Обновить бейджи существующих - // Добавить новые в DOM перед кнопкой "+ Создать" -} -``` - -### Шаг 14: Бэкенд — api_operations (GET /api/operations/1) - -```python -tracked = tracker_list() # читает /tmp/instances.json -tracked_by_uid = {uid: item for uid in tracked if svcId == 1} -instances = get_instances(_client()) # запрос в Nubes API -nubes_uids = {i["instanceUid"] for i in instances} - -# Инстансы из Nubes которые есть в трекере (кроме deleted) -svc_instances = [i for i in instances - if i.get("instanceUid") in tracked_uids - and i.get("explainedStatus") not in ("deleted",)] - -# Инстансы из трекера которых Nubes ещё не отдаёт → status "creating" -for uid, t in tracked_by_uid.items(): - if uid not in nubes_uids: - svc_instances.append({ - "instanceUid": uid, - "displayName": t["displayName"], - "explainedStatus": "creating", - ... - }) -``` - ---- - -## 4. Трекер инстансов - -### 4.1 Назначение - -Хранит UID инстансов, созданных приложением. Нужен чтобы показывать в UI только «наши» инстансы, а не все в организации. - -### 4.2 Реализация (v1.0.53+) - -Файл: `site/operations/tracker.py` - -- Хранилище: `/tmp/instances.json` (JSON-файл) -- Блокировка: `fcntl.flock(fd, LOCK_EX | LOCK_NB)` с retry до 2 сек -- Seed: `_INITIAL` (4 инстанса) при пустом/битом файле -- Функции: `add(uid, svc_id, name)`, `remove(uid)`, `list_all()` - -### 4.3 Эволюция - -| Версия | Реализация | Проблема | -|--------|-----------|----------| -| v1.0.45 | `/tmp/instances.json` + `threading.Lock` | `except: pass` скрывал ошибки | -| v1.0.49 | In-memory dict | Multi-worker gunicorn: у каждого свой dict | -| v1.0.53 | `/tmp/instances.json` + `fcntl.flock(LOCK_EX)` | Без таймаута: потенциальный зависон | -| v1.0.54 | `/tmp/instances.json` + `fcntl.flock(LOCK_EX\|LOCK_NB)` + retry 2s | ✅ Текущий | - ---- - -## 5. Автоопределение стенда - -Файл: `site/api/http_client.py` - -```python -STANDS = [ - "https://lk-api-gateway-dev.ngcloud.ru/api/v1/svc", - "https://lk-api-gateway-test.ngcloud.ru/api/v1/svc", -] - -def detect_endpoint(token): - for ep in STANDS: - try: - c = HttpClient(ep, token) - data = c.get("/instances", params={"pageSize": 1, "page": 1}) - if data.get("results") is not None: - return ep - except Exception: - continue - return None -``` - -Используется в: -- `main.py`: при загрузке главной страницы -- `api_test.py: _client()`: при каждом API-запросе - ---- - -## 6. Все известные баги (найдено/исправлено) - -### Исправленные - -| # | Версия | Баг | Причина | Исправление | -|---|--------|-----|---------|-------------| -| 1 | v1.0.46 | `_finish_op()` недостающие параметры | Не передавались `op_name`, `svc_op_id` | Добавлены в сигнатуру | -| 2 | v1.0.48 | displayName терялся | `params-form.innerHTML=''` до чтения `param-displayname` | Захват до очистки | -| 3 | v1.0.48 | tracker_add в daemon-потоке | Поток умирает под gunicorn | Перенос в синхронный код | -| 4 | v1.0.50 | ❌ для этапов в процессе | `isSuccessful===false` для in-progress | Проверка `dtFinish` | -| 5 | v1.0.50 | Инстанс не в списке | `explainedStatus:"not created"` фильтровался | Убран фильтр + tracked-сироты | -| 6 | v1.0.50 | `selectService()` скрывал stages | Полный перерендер после OK | `refreshInstances()` с диффом | -| 7 | v1.0.51 | `instance_groups` UnboundLocalError | Не иниц. до `if active_token:` | `instance_groups = {}` | -| 8 | v1.0.51 | `_finish_op` молча умирал | `data.get()` вне try/except | Весь цикл в try/except | -| 9 | v1.0.51 | Автостенд только в main.py | `_client()` в api_test.py не использовал | `detect_endpoint()` в http_client.py | -| 10 | v1.0.52 | `token_info` UndefinedError | Не передан в шаблон при action=clear | `_tmpl()` helper со всеми переменными | -| 11 | v1.0.53 | In-memory dict + multi-worker | У каждого воркера свой `_data` | `/tmp/instances.json` + `fcntl.flock` | -| 12 | v1.0.54 | `_find_uid()` возвращал не тот UUID | Итерация по всем значениям dict | Поиск по ключам: instanceOperationUid→instanceUid | -| 13 | v1.0.54 | Сироты при ошибке params | `tracker_add` ПОСЛЕ params loop | `tracker_add` ДО params loop | -| 14 | v1.0.54 | `flock` без таймаута | `LOCK_EX` блокируется навсегда | `LOCK_EX \| LOCK_NB` + retry 2s | -| 15 | v1.0.55 | F5 = предупреждение браузера | clear/stray POST → HTML без редиректа | `redirect("/")` для всех POST | -| 16 | v1.0.56 | Кнопка «Готово» запускала повторный CREATE | `btn.onclick` оставался привязанным после завершения операции | `btn.onclick = null` после финального статуса | -| 17 | v1.0.57 | Хрупкость финального состояния кнопки | Повторяемый код финализации статуса | `setFinishedState()` централизует финальный UI-состояние | -| 18 | v1.0.59 | После F5 список терял tracked-инстанс | `api_operations()` не добирал tracked-сирот обратно из трекера | `tracked_by_uid` + добавление отсутствующих tracked-инстансов | -| 19 | v1.0.60 | CREATE не появлялся сразу в списке после OK | UI делал diff и мог не перерисовать список целиком | Полная перерисовка `inst-list` в `refreshInstances()` | -| 20 | v1.0.63 | Дубли и чужие инстансы | Принадлежность определялась не по namespace | `autotest-` prefix + уникализация `displayName` при CREATE | -| 21 | v1.0.64 | Версия не показывалась в шапке | `load_config()` затирал VERSION | `config["VERSION"] = current_app.config["VERSION"]` | -| 22 | v1.0.64 | displayName был editable value, а не placeholder | CREATE подставлял имя в value | Placeholder `autotest-...`, значение вводит пользователь | -| 23 | v1.0.65 | `creating` из-за недочитанной страницы | `get_instances()` доверял `total` и мог не перейти на следующую страницу | Остановка по `len(batch) < pageSize` | - -### ✅ Закрыто в v1.0.56 - -| Баг | Статус | Что поменяли | -|-----|--------|--------------| -| Кнопка «Готово» запускала повторный CREATE | закрыто | После финального статуса обработчик снимается через `btn.onclick = null` | -| displayName "autotest-1" при повторном клике | закрыто | Повторный клик больше не вызывает `executeOp()` на очищенной форме | - ---- - -## 7. HTTP-клиент - -Файл: `site/api/http_client.py` - -```python -class HttpClient: - def __init__(self, endpoint, token): - # Bearer auth + User-Agent: Mozilla/5.0 (DDoS-Guard) - - def get(self, path, timeout=10): - # GET → r.raise_for_status() → r.json() - - def post(self, path, data, timeout=30): - # POST → проверка r.ok → парсинг JSON → Location header -``` - ---- - -## 8. Шаблон Jinja2 — используемые переменные - -| Переменная | Где | Назначение | -|-----------|-----|-----------| -| `config.VERSION` | Строка 32 | Версия в топбаре | -| `token_info.email` | Строка 33 | Email пользователя | -| `token_info.company` | Строка 33 | Компания | -| `env_token_masked` | Строка 36 | Маскированный токен в placeholder | -| `has_user_token` | Строка 36 | Показать токен или маску | -| `error` | Строка 40 | Ошибка | -| `organization.displayName` | Строка 50 | Название организации | -| `organization.explainedStatus` | Строка 51 | Статус организации | -| `client_id` | Строка 50 | ID клиента | -| `instance_groups` | Строки 55-62 | Группы инфраструктурных инстансов | - ---- - -## 9. Ограничения платформы Nubes pythonk8s - -- `site/` — НЕ пакет (без `__init__.py`, конфликт с stdlib `site.py`) -- Импорты: `from api.http_client import ...` (без префикса `site.`) -- `app.run(host="0.0.0.0", port=5000)` — обязательно -- Gunicorn: запускается платформой, количество воркеров неизвестно -- Нет persistent volume — `/tmp/` теряется при редеплое -- User-Agent: `Mozilla/5.0` обязателен (DDoS-Guard) -- Деплой: `git push` → managed service редеплоит diff --git a/DOCS/ARCHITECTURE.md b/DOCS/ARCHITECTURE.md deleted file mode 100644 index aa553db..0000000 --- a/DOCS/ARCHITECTURE.md +++ /dev/null @@ -1,190 +0,0 @@ -# Архитектура app-autotest — текущее состояние - -v1.0.93, 28.07.2026 - ---- - -## 1. Обзор - -Flask-приложение (один HTML-файл, без SPA-фреймворка) для ручного тестирования операций -сервисов облачной платформы Nubes. Работает через REST API Nubes, автоопределяет стенд -(dev/test) по JWT-токену. - -**Деплой**: Nubes pythonk8s (gunicorn, несколько воркеров). -**Кластер**: `iot-naeel` (K8s resourceRealm, DEV-стенд) -**URL**: `https://atest.pythonk8s.dev.nubes.ru` -**Репозиторий**: `https://gitea.services.ngcloud.ru/forcloud/app-autotest.git` - -### Ключевые принципы - -1. **Источник правды — Nubes API**. Все данные (инстансы, параметры, статусы) получаются - только из API. Никаких локальных копий или кеша (кроме краткосрочного трекера). -2. **Разделение CREATE и non-CREATE**. Это два принципиально разных потока. -3. **Multi-worker safety**. Все общие ресурсы (/tmp файлы) защищены `fcntl.flock`. -4. **Мелкие функции**. Каждое действие — отдельная функция. - ---- - -## 2. Структура файлов - -``` -app-autotest/ -├── site/ ← НЕ пакет (без __init__.py) -│ ├── app.py ← Flask(__name__), VERSION, blueprints, /health -│ ├── runner.py ← [LEGACY] Раннер тестов -│ ├── config.yaml ← [LEGACY] Конфиг раннера -│ ├── api/ -│ │ └── http_client.py ← HttpClient, автостенд -│ ├── operations/ -│ │ ├── get_services.py ← get_services(), get_service_detail() -│ │ ├── get_instances.py ← get_instances() (пагинация), get_organization() -│ │ ├── get_params.py ← get_params_with_current_values() — слияние state.params + шаблон -│ │ └── tracker.py ← /tmp/instances-{clientId}-{stand}.json + flock -│ ├── routes/ -│ │ ├── main.py ← GET/POST /, /api/operations/ -│ │ ├── api.py ← [LEGACY] /api/run, /api/status, /api/config -│ │ └── api_test.py ← /api/test, /api/params, /api/log -│ ├── templates/ -│ │ └── index.html ← Весь UI (Jinja2 + ванильный JS) -│ └── static/ -│ ├── style.css -│ ├── logo.svg -│ └── favicon.svg -└── secrets/ - ├── dev.token - └── test.token -``` - ---- - -## 3. Бэкенд: HTTP-клиент и автостенд - -### `http_client.py` - -- `HttpClient(endpoint, token)` — обёртка над `requests.Session`: - - Заголовки: `Authorization: Bearer`, `User-Agent: Mozilla/5.0` (DDoS-Guard) - - `get(path)` → `raise_for_status()` → `.json()` - - `post(path, data)` → проверка `r.ok`, парсинг JSON, извлечение `Location` -- `detect_endpoint(token)` — пробует dev→test стенды, возвращает рабочий URL -- `stand_name(endpoint)` — "dev"/"test" по URL -- `create_client(token, fallback)` — HttpClient + endpoint - -### `get_instances.py` - -- `get_instances(client)` — `GET /instances` с пагинацией (pageSize=200). Остановка по `len(batch) < pageSize`. -- `get_organization(client)` — первый инстанс с `serviceId == 19` - -### `get_services.py` - -- `get_services(client)` → `GET /services` → список -- `get_service_detail(client, svc_id)` → `GET /services/{id}` → детали + операции - -### `get_params.py` — КЛЮЧЕВОЙ модуль - -`get_params_with_current_values(client, op_id, instance_uid)`: -1. `GET /instances/{uid}` → `state.params` (текущие значения: `{"whereFail":"1",...}`) -2. `GET /instanceOperations/default/{opId}` → шаблон (коды, типы, valueList, dataDescriptor) -3. Слияние: `defaultValue = state.params["код"] ?? template.defaultValue` -4. Приведение типов: `bool` → `"true"/"false"`, `dict` → `json.dumps()` - -### `tracker.py` - -- Файл: `/tmp/instances-{clientId}-{stand}.json` (изолирован по пользователю и стенду) -- Блокировка: `fcntl.flock(LOCK_EX | LOCK_NB)` + retry 2s -- `add(client_id, stand, uid, svc_id, name)`, `remove(...)`, `list_all(...)` -- Нужен ТОЛЬКО как fallback — когда инстанс только создан и ещё не в `/instances` - ---- - -## 4. Бэкенд: Роуты - -### `main.py` - -- **`GET/POST /`** — главная: организация, инфраструктура (serviceId 2,12,19,21,22,25,26,29,110,150), сервисы - - `action=save` → сохранить токен в cookie - - `action=clear` → удалить cookie -- **`GET /api/operations/`** — операции + autotest-инстансы: - - Cloud-first: фильтр по префиксу `autotest-` - - Tracker-fallback: статус "creating" для ещё невидимых - -### `api_test.py` — основной модуль операций - -- **`GET /api/params/[?instanceUid=xxx]`**: - - Без `instanceUid` → шаблонные `defaultValue` - - С `instanceUid` → `get_params_with_current_values()` -- **`POST /api/test`** — запуск операции: - - **CREATE**: `POST /instances` → `instanceUid` → `POST /instanceOperations` → `opUid` → `tracker_add` → params → `/run` - - **non-CREATE**: `POST /instanceOperations` → params → `/run` (redeploy: сразу `/run`) - - `displayName` = `_get_instance_display_name()` (из API, не UUID!) - - Фоновый поток: `_finish_op()` — поллинг до `dtFinish` (300s таймаут) -- **`GET /api/test/status/`** — поллинг: in-memory `_op_results` → прямой API -- **`GET /api/log`** — последние 200 строк из `/tmp/app-autotest.log` - -### Логирование - -`_log(msg)` в `api_test.py`: -- stdout (gunicorn) + `/tmp/app-autotest.log` (flock, общий для воркеров) -- Ротация при 512 КБ -- UI: скрытая панель, кнопка `log` (правый нижний угол) - ---- - -## 5. Фронтенд - -### Структура - -Один HTML-файл, три колонки: -- Левая (280px): инфраструктура -- Средняя (240px): сервисы -- Правая (flex): инстансы + параметры + кнопка + этапы - -### Глобальное состояние (JS) - -``` -svcInstances — кеш инстансов (из /api/operations) -selectedInst — UID выбранного инстанса -selectedOp — {opId, opName, svcId} -pollTimer — таймер поллинга -SVC_ID = 1 — фиксированный сервис (Болванка) -``` - -### Потоки операций - -**CREATE**: `startCreate()` → `showParams(18,'create')` → форма → `executeOp(pp)` → POST /api/test → поллинг → refreshInstances - -**MODIFY**: `toggleInstance()` → кнопки → `runOp('modify',opId)` → `showParams(opId,'modify')` → GET /api/params?instanceUid= → форма с ТЕКУЩИМИ значениями → валидация map → `executeOp(pp)` → POST /api/test → поллинг - -**Без параметров** (suspend/delete/resume/redeploy): `runOp()` → confirm → `executeOp({})` → POST /api/test → поллинг - -### Валидация JSON - -- `_esc(s)` — HTML-экранирование (`"` → `"`, `&` → `&`, `<` → `<`) -- `validateJson(el, quiet)` — `JSON.parse()` на `onblur` (красная рамка + текст) -- Batch-проверка перед отправкой — ошибка → запрос не уходит - ---- - -## 6. Nubes API — используемые endpoint'ы - -| Метод | Путь | Назначение | -|-------|------|-----------| -| GET | `/instances?pageSize=200&page=N` | Все инстансы (пагинация) | -| GET | `/instances/{uid}` | Детали + state.params | -| GET | `/services` | Список сервисов | -| GET | `/services/{id}` | Детали + операции | -| GET | `/instanceOperations/default/{opId}` | Шаблон параметров | -| POST | `/instances` | Создать инстанс | -| POST | `/instanceOperations` | Создать операцию | -| POST | `/instanceOperationCfsParams` | Установить параметр | -| POST | `/instanceOperations/{opUid}/run` | Запустить операцию | -| GET | `/instanceOperations/{opUid}?fields=...` | Поллинг статуса | - ---- - -## 7. Ограничения платформы - -- `site/` — НЕ пакет (без `__init__.py`), импорты без префикса `site.` -- `app.run(host="0.0.0.0", port=5000)` -- Gunicorn multi-worker → общие данные через файлы + flock -- `/tmp/` теряется при редеплое -- User-Agent: `Mozilla/5.0` обязателен (DDoS-Guard) diff --git a/DOCS/HISTORY.md b/DOCS/HISTORY.md deleted file mode 100644 index 7afb0d5..0000000 --- a/DOCS/HISTORY.md +++ /dev/null @@ -1,478 +0,0 @@ -# История разработки app-autotest - -## v1.1.2 (28.07.2026) — refSvcId: выпадающие списки для cross-service параметров - -- `get_params.py` + `api_test.py`: параметры включают `refSvcId` из API -- Фронт: `refSvcId` → `fetch('/api/instances/list')` → фильтр по `serviceId` → `