diff --git a/TEST_STAND/CRUD/README.md b/TEST_STAND/CRUD/README.md index bf243a7..6bef9b0 100644 --- a/TEST_STAND/CRUD/README.md +++ b/TEST_STAND/CRUD/README.md @@ -1,61 +1,137 @@ # CRUD Test Stand -Три приложения (Lucee / Flask / Node.js) + общая PostgreSQL. Каждое делает CRUD в одной таблице `crud_items`. +Три приложения (Lucee / Flask / Node.js) + общая PostgreSQL. Каждое делает CRUD +в одной таблице `crud_items`. -## Как скачать +## Структура — ДВЕ папки, ДВА независимых состояния + +``` +CRUD/ +├── pg/ ← база данных: кластер PostgreSQL + пользователь + база +└── apps/ ← приложения-потребители: Lucee + Flask + Node.js +``` + +### 🎯 Почему так, а не «всё в одной папке» + +| Зачем | Что это даёт | +|---|---| +| **`destroy` в `apps/` убивает ТОЛЬКО приложения** | база данных с данными не трогается — она в другом state (`pg/`) | +| **БД — общий ресурс** | к одному кластеру можно подключить сколько угодно папок-потребителей: `apps/`, потом ещё `my-service/`, `reporting/` и т.д. | +| **Разные жизненные циклы** | приложения пересоздаются сколько угодно раз, БД живёт всё это время | + +Если держать PG и приложения в одном state, `terraform destroy` снесёт **и кластер +с данными**. Именно поэтому база вынесена отдельно. + +### 🎯 Почему нельзя создать всё одним `apply` + +Пароль пользователя БД генерирует платформа и отдаёт его в выходе кластера +`vault_secrets["users"]` — **только после** операции `create_user`. При создании +всё одним `apply` приложения запрашивали пароль, когда его ещё не существовало, +и поднимались с пустым `PGPASSWORD` (раньше это маскировалось функцией `try()`). + +Теперь порядок явный: **сначала БД отдельным прогоном, потом приложения** — пароль +к этому моменту существует и лежит в файле `apps/creds.json`. Костыль `try()` убран. + +--- + +## 📋 Порядок запуска (по шагам) + +### Шаг 0. Скачать репозиторий ```bash git clone https://gitea.services.ngcloud.ru/terraform/tf_examples.git cd tf_examples/CRUD ``` -## Что где менять - -### 1. `terraform.tfvars` — заполнить `terraform.tfvars.example` и переименовать в `terraform.tfvars` - -| Параметр | Где брать | -|---|---| -| `api_token` | ЛК → Профиль → Токены → создать «Технический» | -| `realm` | Кластер Kubernetes: `k8s-3-sandbox-nubes-ru` (песочница) или другой | -| `s3_name` | ЛК → S3 → Имя экземпляра | -| `s3_user_uid` | Там же — UUID. **ИЛИ** `s3_name` — любое одно, провайдер сам найдёт пару | - -### 2. `locals.tf` — сменить домены - -Каждое приложение должно иметь **уникальный** домен. Замени: - -``` -lucee_domain = "..." # станет <имя>.luceek8s.dev.nubes.ru -flask_domain = "..." # станет <имя>.pythonk8s.dev.nubes.ru -nodejs_domain = "..." # станет <имя>.<суффикс>.dev.nubes.ru -``` - -### 3. `locals.tf` — git_revision - -При изменении кода в репозиториях (`tfluceecrud`, `tfflaskcrud`, `tfnodejscrud`) — обновить `*_git_revision` на новый хеш коммита. Terraform сам сделает redeploy. - -## Порядок запуска - -При первом создании PG не успевает отдать пароль юзера до того как стартуют приложения — Lucee/Flask/Node.js падают с ошибкой. Проще всего сделать два apply, чем усложнять `.tf` файлы: +### Шаг 1. База данных — папка `pg/` ```bash +cd pg +cp terraform.tfvars.example terraform.tfvars +# → отредактировать terraform.tfvars: api_token, realm, s3_name terraform init -terraform apply # 1. создаст PG + пользователя + БД -terraform apply # 2. создаст Lucee + Flask + Node.js (пароль уже в стейте) +terraform apply ``` -**Альтернатива:** закомментировать `lucee.tf`, `flask.tf`, `nodejs.tf` → `terraform apply` → раскомментировать → `terraform apply`. +Создастся кластер PostgreSQL (несколько минут), затем пользователь БД и база. +В конце `apply` выводятся outputs, включая пароль (помечен `sensitive`). -Дальше — один `terraform apply` при любых изменениях. +| Переменная | Где брать | +|---|---| +| `api_token` | ЛК → Профиль → Токены → создать «Технический» | +| `realm` | ЛК → Кластеры, например `k8s-4-sandbox-nubes-ru` | +| `s3_name` | ЛК → S3 → имя экземпляра (для бэкапов PG) | + +### Шаг 2. Передать креды БД в папку приложений 👈 ОДНА команда + +```bash +# всё ещё в папке pg/ +terraform output -json > ../apps/creds.json +``` + +**Что делает:** выгружает хост БД, порт, имя пользователя, имя базы и пароль в файл +`apps/creds.json`. Папка `apps/` читает этот файл (см. `apps/locals.tf`). + +**Почему файлом, а не «само»:** `pg/` и `apps/` — разные состояния Terraform +(разные `terraform.tfstate`), между ними значения автоматически не передаются: +у провайдера нет data-source, а общего backend в стенде нет. Поэтому креды +передаются явной выгрузкой outputs — зато видно, что и откуда берётся. + +> ⚠️ В `creds.json` пароль **в открытом виде**. Файл добавлен в `apps/.gitignore`. +> Не коммитить и не пересылать. Если пароль ротировали (пересоздали пользователя +> в `pg/`) — повторите шаг 2, файл надо обновить. + +### Шаг 3. Приложения — папка `apps/` + +```bash +cd ../apps +cp terraform.tfvars.example terraform.tfvars +# → отредактировать: api_token (тот же), realm (ТОТ ЖЕ, где создана БД) +# → проверить домены в locals.tf: они должны быть УНИКАЛЬНЫМИ +terraform init +terraform apply +``` + +Создадутся три приложения, каждое подключится к общей БД. + +| Что менять | Файл | Зачем | +|---|---|---| +| `api_token`, `realm` | `terraform.tfvars` | доступ к API; realm обязан совпадать с БД | +| `lucee_domain` / `flask_domain` / `nodejs_domain` | `locals.tf` | имена доменов — уникальны в облаке | +| `*_git_path` | `locals.tf` | репозиторий с кодом приложения | + +--- + +## 🔄 Повседневные операции + +| Что нужно | Команда | +|---|---| +| Передеплоить приложения | `cd apps && terraform apply` (БД не затрагивается) | +| Снести приложения | `cd apps && terraform destroy` — **БД и данные остаются** | +| Изменить БД | `cd pg && terraform apply` | +| Снести БД | `cd pg && terraform destroy` — кластер уйдёт в `Suspend`, а не удалится; юзер и база останутся внутри (`keep_on_destroy = true`) | +| Добавить ещё одного потребителя той же БД | скопировать `apps/` → своя папка → свой `creds.json` (шаг 2) → свои домены | + +### Про `destroy` базы + +- Кластер PostgreSQL при `destroy` **не удаляется**, а переводится в `Suspend` + (поведение сервиса по умолчанию). +- Пользователь и база тоже **не удаляются**: у них `keep_on_destroy = true`. Иначе + из живого кластера исчезли бы база и пользователь. Провайдер печатает предупреждение + «Подресурс оставлен как есть, а не удалён». +- Удалить по-настоящему: снять `keep_on_destroy` в `pg/postgres_user_db.tf` и `apply`. ## Состав -| Файл | Ресурс | +| Файл | Ресурс / назначение | |---|---| -| `main.tf` | Провайдер (`nubes-test/nubes`) + переменные | -| `postgres.tf` | `nubes_postgres.main_pg` | -| `postgres_user_db.tf` | Пользователь + БД | -| `lucee.tf` | `nubes_lucee.applucee` | -| `flask.tf` | `nubes_flask.appflask` | -| `nodejs.tf` | `nubes_nodejs.appnodejs` | -| `locals.tf` | Все настраиваемые значения | +| `pg/main.tf` | провайдер + переменные кластера, пользователя, базы | +| `pg/postgres.tf` | `nubes_postgres.main_pg` — кластер | +| `pg/postgres_user_db.tf` | `nubes_postgres_user` + `nubes_postgres_database` | +| `pg/outputs.tf` | выводы для потребителей (хост, порт, юзер, база, пароль) | +| `apps/main.tf` | провайдер + переменные приложений | +| `apps/locals.tf` | креды из `creds.json` + домены, версии, размеры | +| `apps/lucee.tf` | `nubes_lucee.applucee` | +| `apps/flask.tf` | `nubes_flask.appflask` | +| `apps/nodejs.tf` | `nubes_nodejs.appnodejs` | +| `apps/creds.json` | **не в git** — выгрузка кредов из `pg/` (шаг 2) | diff --git a/TEST_STAND/CRUD/apps/.gitignore b/TEST_STAND/CRUD/apps/.gitignore new file mode 100644 index 0000000..291eb6b --- /dev/null +++ b/TEST_STAND/CRUD/apps/.gitignore @@ -0,0 +1,22 @@ +# ============================================================================= +# .gitignore папки apps/ — СЕКРЕТЫ И ЛОКАЛЬНОЕ СОСТОЯНИЕ, в git не коммитить +# ============================================================================= + +# Креды БД, выгруженные из ../pg/ (внутри — пароль в открытом виде!) +creds.json + +# Переменные с токеном +terraform.tfvars + +# Локальный state и кэш провайдера — своё у каждого, не коммитится +.terraform/ +.terraform.lock.hcl +terraform.tfstate +terraform.tfstate.backup +*.tfstate +*.tfstate.* +.terraform.tfstate.lock.info + +# Прочее локальное +crash.log +*.tfplan diff --git a/TEST_STAND/CRUD/apps/flask.tf b/TEST_STAND/CRUD/apps/flask.tf new file mode 100644 index 0000000..fa9922f --- /dev/null +++ b/TEST_STAND/CRUD/apps/flask.tf @@ -0,0 +1,43 @@ +# ============================================================================= +# Flask — Python-приложение (CRUD, та же БД и таблица, что у Lucee/Node.js) +# ============================================================================= +# +# Креды БД — из creds.json (выгрузка outputs папки ../pg/), см. apps/locals.tf. +# try() не нужен: пароль уже существует к моменту этого apply. +# ============================================================================= + +resource "nubes_flask" "appflask" { + resource_name = local.flask_resource_name + + adopt_existing_on_create = true + + startup_configuration = { + resource_realm = var.realm + } + + cluster_configuration = { + cpu = local.flask_cpu + memory = local.flask_memory + replicas = local.flask_replicas + } + + access_configuration = { + domain = local.flask_domain + } + + app_configuration = { + version = "3.12" + git_path = local.flask_git_path + health_path = "/" + } + + json_env = jsonencode({ + TABLE_NAME = local.crud_table_name + PGHOST = local.pg_host + PGPORT = local.pg_port + PGUSER = local.pg_user + PGPASSWORD = local.pg_pass + PGDATABASE = local.pg_db + PGSSLMODE = local.pg_ssl + }) +} diff --git a/TEST_STAND/CRUD/apps/locals.tf b/TEST_STAND/CRUD/apps/locals.tf new file mode 100644 index 0000000..652a278 --- /dev/null +++ b/TEST_STAND/CRUD/apps/locals.tf @@ -0,0 +1,86 @@ +# ============================================================================= +# APPS — все настраиваемые значения + чтение кредов БД +# ============================================================================= + +locals { + + # ═══════════════════════════════════════════════════════════════════════════ + # КРЕДЫ БД — берутся из файла, выгруженного из папки ../pg/ + # ═══════════════════════════════════════════════════════════════════════════ + # + # Порядок (см. ../README.md): + # 1) cd ../pg && terraform apply + # 2) cd ../pg && terraform output -json > ../apps/creds.json + # 3) cd ../apps && terraform apply + # + # Почему через файл: pg/ и apps/ — РАЗНЫЕ state, Terraform между ними значения + # сам не передаёт (data-source у провайдера нет, общего backend тоже нет). + # Поэтому креды передаются явной выгрузкой outputs → файлом. + # + # Структура creds.json (так отдаёт `terraform output -json`): + # { "pg_host": { "sensitive": false, "type": "string", "value": "..." }, ... } + # Отсюда и обращение `local.creds.pg_host.value`. + # + # Пароль в открытом виде! Файл в .gitignore — в git не коммитить. + # При ротации пароля (повторный create_user) — перегенерить файл шагом 2. + creds = jsondecode(file("${path.module}/creds.json")) + + pg_host = local.creds.pg_host.value + pg_port = local.creds.pg_port.value + pg_user = local.creds.pg_username.value + pg_pass = local.creds.pg_password.value + pg_db = local.creds.pg_db_name.value + pg_ssl = local.creds.pg_ssl_mode.value + + # ═══════════════════════════════════════════════════════════════════════════ + # Общая таблица CRUD — одна на все три приложения + # ═══════════════════════════════════════════════════════════════════════════ + + crud_table_name = "crud_items" + + # ═══════════════════════════════════════════════════════════════════════════ + # Lucee — CFML-приложение (сервис 94) + # ═══════════════════════════════════════════════════════════════════════════ + + lucee_resource_name = "crud-lucee" # имя ресурса в Nubes + lucee_domain = "tflucee" # домен → <имя>.luceek8s.dev.nubes.ru. Должен быть УНИКАЛЬНЫМ — замени на своё! + lucee_version = "5.4" + lucee_git_path = "https://gitea.services.ngcloud.ru/terraform/tfluceecrud.git" + lucee_cpu = 300 + lucee_memory = 512 + lucee_replicas = 1 + + # ═══════════════════════════════════════════════════════════════════════════ + # Flask — Python-приложение (сервис 89) + # ═══════════════════════════════════════════════════════════════════════════ + + flask_resource_name = "crud-flask" + flask_domain = "tfflask" # → <имя>.pythonk8s.dev.nubes.ru. Уникальный! + flask_git_path = "https://gitea.services.ngcloud.ru/terraform/tfflaskcrud.git" + flask_cpu = 300 + flask_memory = 512 + flask_replicas = 1 + + # ═══════════════════════════════════════════════════════════════════════════ + # Node.js — Express-приложение (сервис 95) + # ═══════════════════════════════════════════════════════════════════════════ + + nodejs_resource_name = "crud-nodejs" + nodejs_domain = "tfnodejs" # Уникальный! + nodejs_git_path = "https://gitea.services.ngcloud.ru/terraform/tfnodejscrud.git" + nodejs_cpu = 300 + nodejs_memory = 512 + nodejs_replicas = 1 + nodejs_timeout = "15m" + + # ═══════════════════════════════════════════════════════════════════════════ + # JDBC — параметры подключения Lucee к PostgreSQL + # ═══════════════════════════════════════════════════════════════════════════ + + jdbc_class = "org.postgresql.Driver" + jdbc_bundle_name = "org.postgresql.jdbc" + jdbc_bundle_version = "42.6.0" + jdbc_conn_limit = "5" + jdbc_live_timeout = "15" + jdbc_validate = "false" +} diff --git a/TEST_STAND/CRUD/apps/lucee.tf b/TEST_STAND/CRUD/apps/lucee.tf new file mode 100644 index 0000000..8311386 --- /dev/null +++ b/TEST_STAND/CRUD/apps/lucee.tf @@ -0,0 +1,61 @@ +# ============================================================================= +# Lucee — CFML-приложение (CRUD в общей таблице crud_items) +# ============================================================================= +# +# Креды БД приходят из файла, выгруженного из ../pg/ (см. apps/locals.tf). +# Никакого try() здесь нет и не нужно: пароль к моменту этого apply уже существует +# в файле, потому что БД создана ОТДЕЛЬНЫМ прогоном в папке ../pg/. +# ============================================================================= + +resource "nubes_lucee" "applucee" { + resource_name = local.lucee_resource_name + + # Если в облаке уже есть инстанс с таким именем — усыновить его, а не падать. + adopt_existing_on_create = true + + startup_configuration = { + resource_realm = var.realm + } + + cluster_configuration = { + cpu = local.lucee_cpu + memory = local.lucee_memory + replicas = local.lucee_replicas + } + + access_configuration = { + domain = local.lucee_domain + } + + app_configuration = { + version = local.lucee_version + git_path = local.lucee_git_path + } + + json_env = jsonencode({ + TABLE_NAME = local.crud_table_name + testds_class = local.jdbc_class + testds_bundleName = local.jdbc_bundle_name + testds_bundleVersion = local.jdbc_bundle_version + testds_connectionString = "jdbc:postgresql://${local.pg_host}:${local.pg_port}/${local.pg_db}" + testds_username = local.pg_user + testds_password = local.pg_pass + testds_connectionLimit = local.jdbc_conn_limit + testds_liveTimeout = local.jdbc_live_timeout + testds_validate = local.jdbc_validate + + PGHOST = local.pg_host + PGPORT = local.pg_port + PGUSER = local.pg_user + PGPASSWORD = local.pg_pass + PGSSLMODE = local.pg_ssl + DATABASE_URL = format( + "postgresql://%s:%s@%s:%s/%s", + local.pg_user, + local.pg_pass, + local.pg_host, + local.pg_port, + local.pg_db + ) + }) +} diff --git a/TEST_STAND/CRUD/apps/main.tf b/TEST_STAND/CRUD/apps/main.tf new file mode 100644 index 0000000..2aeee7c --- /dev/null +++ b/TEST_STAND/CRUD/apps/main.tf @@ -0,0 +1,41 @@ +# ============================================================================= +# APPS — провайдер и переменные +# ============================================================================= +# +# Здесь только приложения-потребители: Lucee / Flask / Node.js. +# База данных (кластер, пользователь, база) живёт в ../pg/ — в СВОЁМ state. +# +# Почему так разделено (кратко, подробно — в ../README.md): +# - `terraform destroy` здесь убивает ТОЛЬКО приложения, БД с данными не трогает; +# - к одной БД можно подключить несколько папок-потребителей (эта, и любые новые); +# - БД живёт дольше приложений: приложения можно пересоздавать свободно. +# +# Креды подключения берутся из creds.json — выгрузки outputs папки ../pg/. +# Как её получить — см. ../README.md и apps/locals.tf. +# ============================================================================= + +terraform { + required_providers { + nubes = { + source = "tf-registry.containerk8s.services.ngcloud.ru/nubes-test/nubes" + version = "3.0.0" + } + } +} + +provider "nubes" { + api_token = var.api_token + api_endpoint = "https://lk-api-gateway-test.ngcloud.ru/api/v1/svc" + # log_level = "debug" # none | info | debug, default = "none" +} + +variable "api_token" { + type = string + sensitive = true + description = "Nubes API token — тот же, что в ../pg/terraform.tfvars" +} + +variable "realm" { + type = string + description = "resource_realm приложений. ДОЛЖЕН совпадать с realm, где создана БД (../pg/terraform.tfvars)" +} diff --git a/TEST_STAND/CRUD/apps/nodejs.tf b/TEST_STAND/CRUD/apps/nodejs.tf new file mode 100644 index 0000000..d35d2a5 --- /dev/null +++ b/TEST_STAND/CRUD/apps/nodejs.tf @@ -0,0 +1,45 @@ +# ============================================================================= +# Node.js — Express-приложение (CRUD, та же БД и таблица, что у Lucee/Flask) +# ============================================================================= +# +# Креды БД — из creds.json (выгрузка outputs папки ../pg/), см. apps/locals.tf. +# try() не нужен: пароль уже существует к моменту этого apply. +# ============================================================================= + +resource "nubes_nodejs" "appnodejs" { + resource_name = local.nodejs_resource_name + + adopt_existing_on_create = true + + startup_configuration = { + resource_realm = var.realm + } + + cluster_configuration = { + cpu = local.nodejs_cpu + memory = local.nodejs_memory + replicas = local.nodejs_replicas + } + + access_configuration = { + domain = local.nodejs_domain + } + + app_configuration = { + version = "22" + git_path = local.nodejs_git_path + health_path = "/" + } + + operation_timeout = local.nodejs_timeout + + json_env = jsonencode({ + TABLE_NAME = local.crud_table_name + PGHOST = local.pg_host + PGPORT = local.pg_port + PGUSER = local.pg_user + PGPASSWORD = local.pg_pass + PGDATABASE = local.pg_db + PGSSLMODE = local.pg_ssl + }) +} diff --git a/TEST_STAND/CRUD/apps/terraform.tfvars.example b/TEST_STAND/CRUD/apps/terraform.tfvars.example new file mode 100644 index 0000000..b065ace --- /dev/null +++ b/TEST_STAND/CRUD/apps/terraform.tfvars.example @@ -0,0 +1,12 @@ +# ============================================================================= +# terraform.tfvars.example — скопировать в terraform.tfvars и заполнить +# ============================================================================= +# +# cp terraform.tfvars.example terraform.tfvars +# +# api_token — тот же, что в ../pg/terraform.tfvars +# realm — ОБЯЗАТЕЛЬНО тот же, где создана БД (иначе приложение не увидит кластер) +# ============================================================================= + +api_token = "" +realm = "k8s-4-sandbox-nubes-ru" diff --git a/TEST_STAND/CRUD/flask.tf b/TEST_STAND/CRUD/flask.tf deleted file mode 100644 index ae6732b..0000000 --- a/TEST_STAND/CRUD/flask.tf +++ /dev/null @@ -1,52 +0,0 @@ -# ============================================================================= -# Flask — CRUD (та же PG, та же таблица что у Lucee) -# ============================================================================= -locals { - # Повторно используем pg_host/pg_user/pg_pass/pg_db из lucee.tf locals - flask_pg_host = nubes_postgres.main_pg.state_out_flat["internalMaster"] - flask_pg_user = nubes_postgres_user.crud_user_0.username - - # Пароль читается через try(): при первом apply он ещё не создан (create_user идёт - # после создания кластера), поэтому без try() — «Invalid index». try даёт "", - # на втором apply подставляет реальный пароль. Развёрнутое объяснение — в lucee.tf. - flask_pg_pass = try(nonsensitive(jsondecode(nubes_postgres.main_pg.vault_secrets["users"]).user4crudpg.password), "") - flask_pg_db = nubes_postgres_database.pg_db.db_name -} - -resource "nubes_flask" "appflask" { - resource_name = local.flask_resource_name - - adopt_existing_on_create = true - - startup_configuration = { - resource_realm = var.realm - } - - cluster_configuration = { - cpu = local.flask_cpu - memory = local.flask_memory - replicas = local.flask_replicas - } - - access_configuration = { - domain = local.flask_domain - } - - app_configuration = { - version = "3.12" - git_path = local.flask_git_path - health_path = "/" - } - - json_env = jsonencode({ - TABLE_NAME = local.crud_table_name - PGHOST = local.flask_pg_host - PGPORT = local.pg_port - PGUSER = local.flask_pg_user - PGPASSWORD = local.flask_pg_pass - PGDATABASE = local.flask_pg_db - PGSSLMODE = local.pg_ssl_mode - }) - - depends_on = [nubes_postgres.main_pg] -} diff --git a/TEST_STAND/CRUD/locals.tf b/TEST_STAND/CRUD/locals.tf deleted file mode 100644 index 2ff6ca1..0000000 --- a/TEST_STAND/CRUD/locals.tf +++ /dev/null @@ -1,88 +0,0 @@ -# ============================================================================= -# locals.tf — все настраиваемые значения модуля CRUD (PG + Lucee + Flask + Node.js) -# Никакого хардкода в ресурсах — всё здесь. -# ============================================================================= - -locals { - - # ═══════════════════════════════════════════════════════════════════════════ - # PostgreSQL — общая БД для всех трёх приложений - # ═══════════════════════════════════════════════════════════════════════════ - - pg_resource_name = "pg4crud2" # имя ресурса в Nubes - pg_cpu = 500 # CPU в millicores (500 = 0.5 ядра) - pg_memory = 512 # память в MB - pg_replicas = 1 # количество реплик - pg_disk = 10 # диск в GB - pg_version = "17" # версия PostgreSQL - pg_retain = 14 # дней хранения бэкапов - pg_schedule = "0 0 * * *" # cron расписание бэкапов (ежедневно в полночь) - pg_timeout = "11m" # таймаут операций create/modify - - # ═══════════════════════════════════════════════════════════════════════════ - # PostgreSQL — пользователь и база данных - # ═══════════════════════════════════════════════════════════════════════════ - - pg_username = "user4crudpg" # имя пользователя БД - pg_role = "ddl_user" # роль (ddl_user = может создавать таблицы) - pg_db_name = "db4crudpg" # имя базы данных - - # ═══════════════════════════════════════════════════════════════════════════ - # Lucee — CFML-приложение (сервис 94) - # ═══════════════════════════════════════════════════════════════════════════ - - lucee_resource_name = "crud-lucee" # имя ресурса в Nubes - lucee_domain = "tflucee" # домен (станет tflucee.luceek8s.dev.nubes.ru). Имя должно быть уникальным — заменяйте на своё! - lucee_version = "5.4" # версия Lucee (CFML engine) - lucee_git_path = "https://gitea.services.ngcloud.ru/terraform/tfluceecrud.git" - lucee_cpu = 300 # CPU в millicores - lucee_memory = 512 # память в MB - lucee_replicas = 1 # количество реплик - - # ═══════════════════════════════════════════════════════════════════════════ - # Таблица CRUD — общая для всех трёх приложений - # ═══════════════════════════════════════════════════════════════════════════ - - crud_table_name = "crud_items" # имя таблицы (TABLE_NAME в env) - - # ═══════════════════════════════════════════════════════════════════════════ - # Flask — Python-приложение (сервис 89) - # ═══════════════════════════════════════════════════════════════════════════ - - flask_resource_name = "crud-flask" # имя ресурса в Nubes - flask_domain = "tfflask" # домен (станет tfflask.pythonk8s.dev.nubes.ru). Имя должно быть уникальным — заменяйте на своё! - flask_git_path = "https://gitea.services.ngcloud.ru/terraform/tfflaskcrud.git" - flask_cpu = 300 # CPU в millicores - flask_memory = 512 # память в MB - flask_replicas = 1 # количество реплик - - # ═══════════════════════════════════════════════════════════════════════════ - # Node.js — Express-приложение (сервис 95) - # ═══════════════════════════════════════════════════════════════════════════ - - nodejs_resource_name = "crud-nodejs" # имя ресурса в Nubes - nodejs_domain = "tfnodejs" # домен (станет tfnodejs.<суффикс>.dev.nubes.ru). Имя должно быть уникальным — заменяйте на своё! - nodejs_git_path = "https://gitea.services.ngcloud.ru/terraform/tfnodejscrud.git" - nodejs_cpu = 300 # CPU в millicores - nodejs_memory = 512 # память в MB - nodejs_replicas = 1 # количество реплик - nodejs_timeout = "15m" # таймаут операций create/modify - - # ═══════════════════════════════════════════════════════════════════════════ - # JDBC — параметры подключения Lucee к PostgreSQL - # ═══════════════════════════════════════════════════════════════════════════ - - jdbc_class = "org.postgresql.Driver" - jdbc_bundle_name = "org.postgresql.jdbc" - jdbc_bundle_version = "42.6.0" - jdbc_conn_limit = "5" # макс. количество соединений - jdbc_live_timeout = "15" # таймаут неактивного соединения (минут) - jdbc_validate = "false" # валидация соединения при выдаче из пула - - # ═══════════════════════════════════════════════════════════════════════════ - # PostgreSQL — общие параметры подключения - # ═══════════════════════════════════════════════════════════════════════════ - - pg_port = "5432" # порт PostgreSQL - pg_ssl_mode = "require" # SSL-режим (require = обязательно TLS) -} diff --git a/TEST_STAND/CRUD/lucee.tf b/TEST_STAND/CRUD/lucee.tf deleted file mode 100644 index c31cf28..0000000 --- a/TEST_STAND/CRUD/lucee.tf +++ /dev/null @@ -1,68 +0,0 @@ -locals { - pg_host = nubes_postgres.main_pg.state_out_flat["internalMaster"] - pg_user = nubes_postgres_user.crud_user_0.username - - # Пароль БД платформа пишет в Vault и отдаёт в vault_secrets["users"] как - # JSON { "": { "password": "..." } }. Но он появляется ТОЛЬКО после - # create_user, а vault_secrets фиксируется ещё на этапе создания самого кластера - # (create_user идёт ПОСЛЕ него). Поэтому при первом apply здесь пароля ещё нет — - # без try() Terraform падает с «Invalid index ... does not identify an element». - # try() даёт пустую строку во время первого apply; на втором apply пароль уже - # есть, и try возвращает настоящее значение. Итого: ресурс поднимается за ДВА apply - # (см. README и docs/curated/postgres/pg_user_db.md). - pg_pass = try(nonsensitive(jsondecode(nubes_postgres.main_pg.vault_secrets["users"]).user4crudpg.password), "") - pg_db = nubes_postgres_database.pg_db.db_name -} - -resource "nubes_lucee" "applucee" { - resource_name = local.lucee_resource_name - - adopt_existing_on_create = true - - startup_configuration = { - resource_realm = var.realm - } - - cluster_configuration = { - cpu = local.lucee_cpu - memory = local.lucee_memory - replicas = local.lucee_replicas - } - - access_configuration = { - domain = local.lucee_domain - } - - app_configuration = { - version = local.lucee_version - git_path = local.lucee_git_path - } - - json_env = jsonencode({ - TABLE_NAME = local.crud_table_name - testds_class = local.jdbc_class - testds_bundleName = local.jdbc_bundle_name - testds_bundleVersion = local.jdbc_bundle_version - testds_connectionString = "jdbc:postgresql://${local.pg_host}:5432/${local.pg_db}" - testds_username = local.pg_user - testds_password = local.pg_pass - testds_connectionLimit = local.jdbc_conn_limit - testds_liveTimeout = local.jdbc_live_timeout - testds_validate = local.jdbc_validate - - PGHOST = local.pg_host - PGPORT = local.pg_port - PGUSER = local.pg_user - PGPASSWORD = local.pg_pass - PGSSLMODE = local.pg_ssl_mode - DATABASE_URL = format( - "postgresql://%s:%s@%s:5432/%s", - local.pg_user, - local.pg_pass, - local.pg_host, - local.pg_db - ) - }) - - depends_on = [nubes_postgres.main_pg] -} diff --git a/TEST_STAND/CRUD/main.tf b/TEST_STAND/CRUD/main.tf deleted file mode 100644 index 911650f..0000000 --- a/TEST_STAND/CRUD/main.tf +++ /dev/null @@ -1,38 +0,0 @@ -terraform { - required_providers { - nubes = { - source = "tf-registry.containerk8s.services.ngcloud.ru/nubes-test/nubes" - version = "3.0.0" - } - } -} - -variable "api_token" { - type = string - sensitive = true - description = "Nubes API token" -} -# variable "s3_uid" { -# type = string -# sensitive = true -# description = "Nubes S3 UID" -# } -variable "realm" { - type = string - description = "resource_realm parameter for nubes_postgres resource" -} -variable "s3_user_uid" { - type = string - description = "S3 user UUID" -} -variable "s3_name" { - type = string - description = "S3 user name" -} - -provider "nubes" { - api_token = var.api_token - api_endpoint = "https://lk-api-gateway-test.ngcloud.ru/api/v1/svc" - # log_level = "debug" # none | info | debug, default = "none" -} - diff --git a/TEST_STAND/CRUD/nodejs.tf b/TEST_STAND/CRUD/nodejs.tf deleted file mode 100644 index a470f3e..0000000 --- a/TEST_STAND/CRUD/nodejs.tf +++ /dev/null @@ -1,53 +0,0 @@ -# ============================================================================= -# Node.js — CRUD (та же PG, та же таблица что у Lucee/Flask) -# ============================================================================= -locals { - nodejs_pg_host = nubes_postgres.main_pg.state_out_flat["internalMaster"] - nodejs_pg_user = nubes_postgres_user.crud_user_0.username - - # Пароль через try(): при первом apply пароля ещё нет (create_user выполняется - # после создания кластера), try отдаёт "" и не роняет прогон; на втором apply — - # реальное значение. Подробнее в lucee.tf и docs/curated/postgres/pg_user_db.md. - nodejs_pg_pass = try(nonsensitive(jsondecode(nubes_postgres.main_pg.vault_secrets["users"]).user4crudpg.password), "") - nodejs_pg_db = nubes_postgres_database.pg_db.db_name -} - -resource "nubes_nodejs" "appnodejs" { - resource_name = local.nodejs_resource_name - - adopt_existing_on_create = true - - startup_configuration = { - resource_realm = var.realm - } - - cluster_configuration = { - cpu = local.nodejs_cpu - memory = local.nodejs_memory - replicas = local.nodejs_replicas - } - - access_configuration = { - domain = local.nodejs_domain - } - - app_configuration = { - version = "22" - git_path = local.nodejs_git_path - health_path = "/" - } - - operation_timeout = local.nodejs_timeout - - json_env = jsonencode({ - TABLE_NAME = local.crud_table_name - PGHOST = local.nodejs_pg_host - PGPORT = local.pg_port - PGUSER = local.nodejs_pg_user - PGPASSWORD = local.nodejs_pg_pass - PGDATABASE = local.nodejs_pg_db - PGSSLMODE = local.pg_ssl_mode - }) - - depends_on = [nubes_postgres.main_pg] -} diff --git a/TEST_STAND/CRUD/pg/main.tf b/TEST_STAND/CRUD/pg/main.tf new file mode 100644 index 0000000..ae82c86 --- /dev/null +++ b/TEST_STAND/CRUD/pg/main.tf @@ -0,0 +1,114 @@ +# ============================================================================= +# PG — провайдер и переменные +# ============================================================================= +# +# Здесь только БД: кластер + пользователь + база. Приложения — в ../apps/. +# Почему так разделено — см. README.md в родительской папке CRUD/. +# ============================================================================= + +terraform { + required_providers { + nubes = { + source = "tf-registry.containerk8s.services.ngcloud.ru/nubes-test/nubes" + version = "3.0.0" + } + } +} + +provider "nubes" { + api_token = var.api_token + api_endpoint = "https://lk-api-gateway-test.ngcloud.ru/api/v1/svc" + # log_level = "debug" # none | info | debug, default = "none" +} + +# ───────────────────────────────────────────────────────────────────────────── +# Обязательные (заполняются в terraform.tfvars) +# ───────────────────────────────────────────────────────────────────────────── + +variable "api_token" { + type = string + sensitive = true + description = "Nubes API token (ЛК → Профиль → Токены → создать «Технический»)" +} + +variable "realm" { + type = string + description = "resource_realm: ресурсная платформа (кластер Kubernetes), например k8s-4-sandbox-nubes-ru" +} + +variable "s3_name" { + type = string + description = "Имя (или UUID) S3-экземпляра для бэкапов PostgreSQL: ЛК → S3" +} + +# ───────────────────────────────────────────────────────────────────────────── +# Кластер — значения по умолчанию можно не задавать +# ───────────────────────────────────────────────────────────────────────────── + +variable "pg_resource_name" { + type = string + default = "pg4crud2" + description = "Имя ресурса кластера в Nubes (по нему же ищется существующий — adopt)" +} + +variable "pg_cpu" { + type = number + default = 500 +} + +variable "pg_memory" { + type = number + default = 512 +} + +variable "pg_replicas" { + type = number + default = 1 +} + +variable "pg_disk" { + type = number + default = 10 +} + +variable "pg_version" { + type = string + default = "17" +} + +variable "pg_retain" { + type = number + default = 14 +} + +variable "pg_schedule" { + type = string + default = "0 0 * * *" +} + +variable "pg_timeout" { + type = string + default = "11m" + description = "Таймаут операций кластера (create/modify/suspend)" +} + +# ───────────────────────────────────────────────────────────────────────────── +# Пользователь и база — имена константны: по ним приложения собирают подключение +# ───────────────────────────────────────────────────────────────────────────── + +variable "pg_username" { + type = string + default = "user4crudpg" + description = "Имя пользователя БД. Защищённые имена (admin/postgres/standby) платформа не примет" +} + +variable "pg_role" { + type = string + default = "ddl_user" + description = "app_user = только DML, ddl_user = плюс создание баз/ролей (нужно приложению для CREATE TABLE)" +} + +variable "pg_db_name" { + type = string + default = "db4crudpg" +} diff --git a/TEST_STAND/CRUD/pg/outputs.tf b/TEST_STAND/CRUD/pg/outputs.tf new file mode 100644 index 0000000..b6f0ccd --- /dev/null +++ b/TEST_STAND/CRUD/pg/outputs.tf @@ -0,0 +1,52 @@ +# ============================================================================= +# PG — outputs для потребителей (папка ../apps/ и любые будущие папки) +# ============================================================================= +# +# ЗАЧЕМ outputs: папки приложений — это ДРУГИЕ state, и Terraform между ними +# значения сам не передаёт (у провайдера нет data-source, общего backend тоже нет). +# Поэтому после создания БД юзер выгружает эти outputs в файл и кладёт его +# в папку потребителя: +# +# cd TEST_STAND/CRUD/pg +# terraform apply +# terraform output -json > ../apps/creds.json # ← это и есть «передать креды» +# +# Папка apps/ читает creds.json (см. apps/locals.tf). Файл содержит пароль — +# он в .gitignore папки apps/. +# +# ВАЖНО про порядок: outputs вычисляются В КОНЦЕ apply, уже после того как +# созданы кластер, пользователь и база. Поэтому `terraform output -json` сразу +# после первого apply отдаёт реальный пароль (в отличие от vault_secrets внутри +# одного прогона — см. README, раздел «Почему нельзя одним apply»). +# ============================================================================= + +output "pg_host" { + description = "Внутренний хост master для подключения (state_out_flat.internalMaster)" + value = nubes_postgres.main_pg.state_out_flat["internalMaster"] +} + +output "pg_port" { + description = "Порт PostgreSQL" + value = "5432" +} + +output "pg_username" { + description = "Имя пользователя БД" + value = nubes_postgres_user.crud_user_0.username +} + +output "pg_db_name" { + description = "Имя базы данных" + value = nubes_postgres_database.pg_db.db_name +} + +output "pg_password" { + description = "Пароль пользователя БД (платформа генерирует его сама при create_user)" + value = jsondecode(nubes_postgres.main_pg.vault_secrets["users"])[var.pg_username].password + sensitive = true +} + +output "pg_ssl_mode" { + description = "Режим SSL для строки подключения" + value = "require" +} diff --git a/TEST_STAND/CRUD/pg/postgres.tf b/TEST_STAND/CRUD/pg/postgres.tf new file mode 100644 index 0000000..147dc14 --- /dev/null +++ b/TEST_STAND/CRUD/pg/postgres.tf @@ -0,0 +1,72 @@ +# ============================================================================= +# PG — общая база данных для CRUD-приложений +# ============================================================================= +# +# Эта папка управляет ТОЛЬКО базой данных: сам кластер PostgreSQL, пользователь и +# база. Она НЕ знает про приложения (Lucee/Flask/Node.js) — приложения живут в +# соседней папке apps/ и подключаются к этой БД через выгруженные креды. +# +# ЗАЧЕМ так разделено (папка pg/ отдельно от apps/): +# - БД — общий ресурс: к одному кластеру может подключаться несколько наборов +# приложений (сейчас apps/, потом любые другие папки). +# - terraform destroy в apps/ должен убивать ТОЛЬКО приложения, а не БД с данными. +# Если бы всё лежало в одном state, destroy снёс бы и кластер. +# - Разные state ⇒ разные жизненные циклы: БД живёт дольше приложений. +# +# Порядок запуска — см. README.md в родительской папке CRUD/. +# ============================================================================= + +resource "nubes_postgres" "main_pg" { + resource_name = var.pg_resource_name + + startup_configuration = { + resource_realm = var.realm + } + + cluster_configuration = { + cpu = var.pg_cpu + memory = var.pg_memory + replicas = var.pg_replicas + disk = var.pg_disk + } + + access_configuration = { + master_ip_space = "no-needed" + master_access_list = jsonencode(["10.0.0.0/8"]) + slave_ip_space = "no-needed" + slave_access_list = jsonencode([]) + } + + postgres_configuration = { + version = var.pg_version + ssl_required = true + pooler_master = false + pooler_slave = false + } + + postgres_conf = jsonencode([{ + paramName = "log_connections" + paramValue = "''" + }]) + + backup_configuration = { + s3_uid = var.s3_name + retain = var.pg_retain + schedule = var.pg_schedule + } + + autoscale_configuration = { + enabled = false + schedule = 0 + percent = 10 + quota = 100 + } + + operation_timeout = var.pg_timeout + adopt_existing_on_create = true + + # ⚠️ destroy: кластер НЕ удалять, а переводить в Suspend. + # Это поведение по умолчанию сервиса postgres (suspend_on_destroy_default: true + # в generated/test/resources_yaml/90_postgres.yaml). Явно НЕ ставим отсюда, чтобы + # destroy случайно не снёс БД с данными. +} diff --git a/TEST_STAND/CRUD/pg/postgres_user_db.tf b/TEST_STAND/CRUD/pg/postgres_user_db.tf new file mode 100644 index 0000000..64dad01 --- /dev/null +++ b/TEST_STAND/CRUD/pg/postgres_user_db.tf @@ -0,0 +1,36 @@ +# ============================================================================= +# PG — пользователь и база данных +# ============================================================================= +# +# Пользователь и база создаются отдельными операциями (create_user / create_database) +# внутри кластера, который создал nubes_postgres.main_pg. +# +# ЗАЧЕМ keep_on_destroy = true (не удалять подресурс при destroy): +# - у кластера suspend_on_destroy_default = true ⇒ при destroy кластер уходит в +# Suspend, а НЕ удаляется; +# - по умолчанию же при destroy подресурс выполнил бы delete_user / delete_database — +# получилось бы расхождение: кластер в облаке жив, а юзер/база удалены (база = потеря данных); +# - keep_on_destroy = true ⇒ подресурс при destroy НЕ удаляется и НЕ меняется в облаке, +# только убирается из state. Провайдер печатает предупреждение «Подресурс оставлен как есть». +# +# Пара к keep_on_destroy = true обязательна: +# adopt_existing_on_create = true — иначе повторный apply попытается СОЗДАТЬ уже +# существующего юзера/базу и упадёт с «уже существует». С true провайдер усыновляет +# существующий объект обратно (авто-import). +# ============================================================================= + +resource "nubes_postgres_user" "crud_user_0" { + postgres_id = nubes_postgres.main_pg.id + username = var.pg_username + role = var.pg_role + adopt_existing_on_create = true + keep_on_destroy = true +} + +resource "nubes_postgres_database" "pg_db" { + postgres_id = nubes_postgres.main_pg.id + db_name = var.pg_db_name + db_owner = nubes_postgres_user.crud_user_0.username + adopt_existing_on_create = true + keep_on_destroy = true +} diff --git a/TEST_STAND/CRUD/pg/terraform.tfvars.example b/TEST_STAND/CRUD/pg/terraform.tfvars.example new file mode 100644 index 0000000..97f5490 --- /dev/null +++ b/TEST_STAND/CRUD/pg/terraform.tfvars.example @@ -0,0 +1,31 @@ +# ============================================================================= +# terraform.tfvars.example — скопировать в terraform.tfvars и заполнить +# ============================================================================= +# +# cp terraform.tfvars.example terraform.tfvars +# +# Где брать значения: +# api_token — ЛК → Профиль → Токены → создать «Технический» +# realm — ЛК → Кластеры (напр. k8s-4-sandbox-nubes-ru) +# s3_name — ЛК → S3 → Имя экземпляра (для бэкапов PG). Можно UUID — провайдер найдёт пару сам +# +# Остальные переменные имеют значения по умолчанию (см. main.tf) — менять не обязательно. +# ============================================================================= + +api_token = "" +realm = "k8s-4-sandbox-nubes-ru" +s3_name = "" + +# ── Необязательные (раскомментировать, если нужно изменить) ────────────────── +# pg_resource_name = "pg4crud2" +# pg_cpu = 500 +# pg_memory = 512 +# pg_replicas = 1 +# pg_disk = 10 +# pg_version = "17" +# pg_retain = 14 +# pg_schedule = "0 0 * * *" +# pg_timeout = "11m" +# pg_username = "user4crudpg" +# pg_role = "ddl_user" +# pg_db_name = "db4crudpg" diff --git a/TEST_STAND/CRUD/postgres.tf b/TEST_STAND/CRUD/postgres.tf deleted file mode 100644 index d9e130d..0000000 --- a/TEST_STAND/CRUD/postgres.tf +++ /dev/null @@ -1,49 +0,0 @@ -resource "nubes_postgres" "main_pg" { - resource_name = local.pg_resource_name - - startup_configuration = { - resource_realm = var.realm - } - - cluster_configuration = { - cpu = local.pg_cpu - memory = local.pg_memory - replicas = local.pg_replicas - disk = local.pg_disk - } - - access_configuration = { - master_ip_space = "no-needed" - master_access_list = jsonencode(["10.0.0.0/8"]) - slave_ip_space = "no-needed" - slave_access_list = jsonencode([]) - } - - postgres_configuration = { - version = local.pg_version - ssl_required = true - pooler_master = false - pooler_slave = false - } - - postgres_conf = jsonencode([{ - paramName = "log_connections" - paramValue = "''" - }]) - - backup_configuration = { - s3_uid = var.s3_name - retain = local.pg_retain - schedule = local.pg_schedule - } - - autoscale_configuration = { - enabled = false - schedule = 0 - percent = 10 - quota = 100 - } - - operation_timeout = local.pg_timeout - adopt_existing_on_create = true -} diff --git a/TEST_STAND/CRUD/postgres_user_db.tf b/TEST_STAND/CRUD/postgres_user_db.tf deleted file mode 100644 index a62687f..0000000 --- a/TEST_STAND/CRUD/postgres_user_db.tf +++ /dev/null @@ -1,46 +0,0 @@ -# ============================================================================= -# PostgreSQL — пользователи и базы данных -# ============================================================================= -# -# ЗАЧЕМ ЗДЕСЬ keep_on_destroy = true (не удалять подресурс при destroy): -# -# У самого кластера PostgreSQL режим по умолчанию — suspend_on_destroy = true -# (generated/test/resources_yaml/90_postgres.yaml → lifecycle.suspend_on_destroy_default: true). -# То есть `terraform destroy` НЕ удаляет кластер в облаке, а переводит его в Suspend. -# -# Пользователь и база — это отдельные операции (create_user / create_database), -# и по умолчанию при destroy Terraform выполнил бы delete_user / delete_database. -# Получилось бы расхождение: кластер в облаке жив (Suspend), а пользователь и база -# из него удалены. После resume приложения работали бы с пустой БД, а следующий apply -# создавал бы всё заново (для базы это потеря данных). -# -# keep_on_destroy = true переводит подресурс в режим state_only: при destroy он -# НЕ удаляется и НЕ меняется в облаке, а только убирается из terraform state. -# Провайдер печатает предупреждение «Подресурс оставлен как есть, а не удалён». -# -# Пара к keep_on_destroy = true обязательна: -# adopt_existing_on_create = true — иначе следующий `terraform apply` попытается -# СОЗДАТЬ уже существующие в облаке пользователя/базу и получит ошибку «уже существует». -# С true провайдер усыновляет существующий объект обратно в state (авто-import). -# -# Как удалить по-настоящему: выставить keep_on_destroy = false и выполнить apply/destroy — -# пойдут обычные delete_user / delete_database. -# ============================================================================= - -resource "nubes_postgres_user" "crud_user_0" { - postgres_id = nubes_postgres.main_pg.id - username = local.pg_username - role = local.pg_role - adopt_existing_on_create = true - # destroy: пользователя из кластера не удалять (кластер уходит в Suspend, а не удаляется) - keep_on_destroy = true -} - -resource "nubes_postgres_database" "pg_db" { - postgres_id = nubes_postgres.main_pg.id - db_name = local.pg_db_name - db_owner = nubes_postgres_user.crud_user_0.username - adopt_existing_on_create = true - # destroy: базу из кластера не удалять — иначе данные пропадут после resume - keep_on_destroy = true -} diff --git a/TEST_STAND/CRUD/terraform.tfvars.example b/TEST_STAND/CRUD/terraform.tfvars.example deleted file mode 100644 index 63ae1ea..0000000 --- a/TEST_STAND/CRUD/terraform.tfvars.example +++ /dev/null @@ -1,16 +0,0 @@ -# ============================================================================= -# terraform.tfvars.example -# Заполнить своими значениями и переименовать в terraform.tfvars -# ============================================================================= -# -# Где брать: -# api_token — ЛК → Профиль → Токены → создать «Технический» -# realm — ЛК → Кластеры → выбрать (напр. k8s-3-sandbox-nubes-ru) -# s3_name — ЛК → S3 → Имя экземпляра -# s3_user_uid — там же → UUID. Указать ОДНО из s3_name/s3_user_uid -# ============================================================================= - -api_token = "" # JWT-токен -realm = "k8s-3-sandbox-nubes-ru" # кластер Kubernetes -s3_name = "" # имя S3-экземпляра -s3_user_uid = "" # UUID S3-пользователя