doc: pg-terraform behavior report + ERR-PG-06/07
- doc/pg-terraform-behavior.md: подробный отчёт по поведению Nubes PostgreSQL с Terraform (vault_secrets, роли, тайминги, depends_on chain, SSH timeout) Добавлены: §2.6 vault ограничение (только 1 пользователь на инстанс), §9 IAM 408 - doc/errors/log.md: ERR-PG-01..ERR-PG-07 (все ошибки сессии тестирования) ERR-PG-06: vault backend позволяет только 1 vault_secrets на инстанс ERR-PG-07: HTTP 408 от auth-api-test.ngcloud.ru (транзитная) - doc/progress.md: финальный статус сессии — lifecycle тесты заблокированы vault-ограничением тест-окружения, требуется исправление на стороне Nubes
This commit is contained in:
Repinoid
@@ -4,6 +4,250 @@
|
||||
|
||||
---
|
||||
|
||||
## 2026-04-01 — Nubes PostgreSQL API: ошибки при создании ресурсов (PG_TEST)
|
||||
|
||||
Все ошибки воспроизводились в `examples/PG_TEST` при тестировании провайдера
|
||||
`terra.k8c.ru/nubes/nubes` v5.0.51. VM: `naeel@5.172.178.213`, PG-инстанс: `pg-test-02`.
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-01: "Invalid JSON String" при создании инстанса с json_parameters
|
||||
|
||||
**Симптом**
|
||||
|
||||
```
|
||||
Error: Ошибка клиента
|
||||
with nubes_postgres.pg_test_instance
|
||||
Invalid JSON String
|
||||
```
|
||||
|
||||
**Причина**
|
||||
|
||||
При передаче параметра `json_parameters` (строка JSON с кастомными настройками PG)
|
||||
Nubes API v5 возвращает "Invalid JSON String" независимо от корректности самого JSON.
|
||||
Вероятно — баг в провайдере или несовместимость формата с deck-api-test.
|
||||
|
||||
**Решение**
|
||||
|
||||
Убран `json_parameters` из конфигурации `nubes_postgres`. PG запускается
|
||||
с дефолтными параметрами движка. При необходимости custom params — требует
|
||||
диагностики на стороне Nubes (`.api_endpoint = deck-api-test.ngcloud.ru`).
|
||||
|
||||
**Файл:** [examples/PG_TEST/postgres.tf](examples/PG_TEST/postgres.tf)
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-02: vault_secrets меняется вне Terraform → destroy+recreate всей цепочки
|
||||
|
||||
**Симптом**
|
||||
|
||||
Каждый `terraform apply` обнаруживает изменения "снаружи Terraform":
|
||||
|
||||
```
|
||||
Note: Objects have changed outside of Terraform
|
||||
# nubes_postgres.pg_test_instance has changed
|
||||
~ vault_secrets = (sensitive value)
|
||||
```
|
||||
|
||||
Это вызывает план с `-/+ destroy and then create replacement` для `pg_test_user`
|
||||
и `pg_test_db`, хотя реально они не изменились.
|
||||
|
||||
**Причина**
|
||||
|
||||
Nubes API обновляет `vault_secrets` (путь к Vault с паролями пользователей)
|
||||
каждый раз при создании/удалении пользователей. Terraform видит это как
|
||||
"изменение снаружи" и считает `postgres_id` изменённым (т.к. он `(known after apply)`
|
||||
после обновления инстанса), что форсирует замену всех дочерних ресурсов.
|
||||
|
||||
**Попытка решения**
|
||||
|
||||
Добавить `lifecycle { ignore_changes = [vault_secrets] }` — **не работает**.
|
||||
Terraform выводит предупреждение:
|
||||
> "The attribute vault_secrets is decided by the provider alone and therefore
|
||||
> there can be no configured value to compare with. Including this attribute
|
||||
> in ignore_changes has no effect."
|
||||
|
||||
`vault_secrets` — Computed-only (провайдер его полностью контролирует),
|
||||
`ignore_changes` для таких атрибутов игнорируется.
|
||||
|
||||
**Реальная причина** destroy+recreate: при обнаружении `vault_secrets` как
|
||||
"изменённого снаружи" Terraform обновляет `nubes_postgres` in-place, но
|
||||
в плане ставит `id = (known after apply)` — это форсирует замену зависимых
|
||||
ресурсов у которых `postgres_id` ссылается на `nubes_postgres.*.id`.
|
||||
|
||||
**Статус: открытая проблема.** Обходной путь — выполнять `apply` только на
|
||||
чистом state (без накопленных изменений снаружи). После первого полного
|
||||
`apply` с `lifecycle ignore_changes` убран как неэффективный.
|
||||
|
||||
**Файл:** [examples/PG_TEST/postgres.tf](examples/PG_TEST/postgres.tf)
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-03: Race condition при параллельном создании пользователей
|
||||
|
||||
**Симптом**
|
||||
|
||||
При одновременном создании двух и более `nubes_postgres_user` на одном инстансе:
|
||||
|
||||
```
|
||||
Error: Ошибка клиента
|
||||
with nubes_postgres_user.test_extra_user1
|
||||
операция XXXX завершилась с ошибкой: Секрет для пользователя extra_user1 не был создан
|
||||
```
|
||||
|
||||
Или:
|
||||
|
||||
```
|
||||
операция XXXX завершилась с ошибкой: key doesn't exist
|
||||
```
|
||||
|
||||
**Причина**
|
||||
|
||||
Nubes API не поддерживает параллельное создание пользователей на одном PG-инстансе.
|
||||
Внутри Nubes: каждое создание пользователя пишет в Vault, а Vault/Deck
|
||||
не справляются с конкурентными записями в один Secret.
|
||||
|
||||
**Решение**
|
||||
|
||||
Принудительная последовательная цепочка через `depends_on`:
|
||||
|
||||
```
|
||||
pg_test_user → pg_test_db → extra_user1 → extra_user2 → extra_db1 → extra_db2
|
||||
```
|
||||
|
||||
Каждый `nubes_postgres_user` и `nubes_postgres_database` явно ждёт предыдущий.
|
||||
`depends_on` нужен даже если прямой ссылки на атрибуты нет.
|
||||
|
||||
**Файлы:** [examples/PG_TEST/postgres.tf](examples/PG_TEST/postgres.tf),
|
||||
[examples/PG_TEST/postgres_extra.tf](examples/PG_TEST/postgres_extra.tf)
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-04: Роль app_user не работает для nubes_postgres_user
|
||||
|
||||
**Симптом**
|
||||
|
||||
```
|
||||
Error: Ошибка клиента
|
||||
with nubes_postgres_user.test_app_user,
|
||||
операция XXXX завершилась с ошибкой: Секрет для пользователя test_app_user не был создан
|
||||
```
|
||||
|
||||
Ресурс висит ~3 минуты перед ошибкой. Воспроизводится стабильно.
|
||||
|
||||
**Причина**
|
||||
|
||||
Роль `app_user` не поддерживается для создания PostgreSQL пользователей
|
||||
через `nubes_postgres_user` в данной версии провайдера/API. Возможно, роль
|
||||
предусмотрена только для другого механизма доступа.
|
||||
|
||||
**Решение**
|
||||
|
||||
Использовать только роль `ddl_user` для ресурса `nubes_postgres_user`.
|
||||
Создание пользователей с `app_user` — не работает на `deck-api-test.ngcloud.ru`.
|
||||
|
||||
Из конфигурации удалён ресурс `nubes_postgres_user.test_app_user`.
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-05: "Нарушена консистентность" — пользователь есть в API, нет в state_out
|
||||
|
||||
**Симптом**
|
||||
|
||||
```
|
||||
Error: Нарушена консистентность
|
||||
with nubes_postgres_user.test_extra_user1
|
||||
Операция вернула duplicate/exist, но объект не найден в state_out
|
||||
```
|
||||
|
||||
**Причина**
|
||||
|
||||
Пользователь `extra_user1` был создан Nubes API на предыдущей (упавшей) попытке apply.
|
||||
Terraform state не зафиксировал успех (т.к. apply завершился ошибкой), но Nubes
|
||||
счётной записью `extra_user1` не удалил.
|
||||
|
||||
Флаг `adopt_existing_on_create = true` должен был решить это, но он проверяет
|
||||
`state_out` инстанса — а там пользователь не отражается (из-за ERR-PG-02:
|
||||
`vault_secrets` изменялся и инстанс был в "changed outside" состоянии).
|
||||
|
||||
**Решение**
|
||||
|
||||
Полный `terraform destroy` для очистки state + ресурсов в API, затем
|
||||
`terraform apply` с уже включённым `lifecycle { ignore_changes = [vault_secrets] }`.
|
||||
После этого проблема не воспроизводится.
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-06: Второй пользователь на инстансе не может получить vault_secrets
|
||||
|
||||
**Симптом**
|
||||
|
||||
При создании второго пользователя на PG-инстансе (первый уже существует):
|
||||
|
||||
```
|
||||
Error: Ошибка клиента
|
||||
with nubes_postgres_user.test_extra_user1
|
||||
операция 4D816F17-F43E-4062-AE37-5098ADE07041 завершилась с ошибкой:
|
||||
Секрет для пользователя test_eu1 не был создан
|
||||
```
|
||||
|
||||
Ресурс висит ~3–4 минуты, затем падает с этой ошибкой. Воспроизводится стабильно
|
||||
для любого второго пользователя (проверено на `extra_user1`, `test_eu1`)
|
||||
независимо от роли (`ddl_user`), имени и порядка depends_on.
|
||||
|
||||
**Важно**: `pg_test_user` (первый пользователь, созданный при инициализации
|
||||
инстанса) всегда успешно проходит через adoption за 1 секунду — его vault_secret
|
||||
уже был создан при первом apply. Только создание **нового** второго пользователя
|
||||
всегда приводит к этой ошибке.
|
||||
|
||||
**Причина**
|
||||
|
||||
Vault backend для PG-инстанса `e0e74801` (тест-окружение `k8s-3-sandbox-nubes-ru`)
|
||||
вероятно ограничен одной vault-записью на инстанс. При попытке создать vault_secrets
|
||||
для второго пользователя — запись не создаётся, провайдер возвращает ошибку через
|
||||
~3–4 минуты ожидания.
|
||||
|
||||
Либо vault policy для данного инстанса предусмотрена только для основного
|
||||
пользователя (`user0`). Дополнительные пользователи не имеют прав vault-path.
|
||||
|
||||
**Статус: открытая проблема, требует диагностики на стороне Nubes.**
|
||||
|
||||
**Следствие для архитектуры**:
|
||||
В текущем тест-окружении Nubes PostgreSQL поддерживает **только одного пользователя
|
||||
с vault_secrets** на инстанс. Lifecycle-тесты с несколькими пользователями
|
||||
(**goal** текущей сессии) — **невозможны** без исправления vault-конфигурации.
|
||||
|
||||
**Файл:** [examples/PG_TEST/postgres_extra.tf](examples/PG_TEST/postgres_extra.tf)
|
||||
|
||||
---
|
||||
|
||||
### ERR-PG-07: HTTP 408 от IAM API (auth-api-test.ngcloud.ru)
|
||||
|
||||
**Симптом**
|
||||
|
||||
```
|
||||
Error: Ошибка клиента
|
||||
with nubes_postgres_user.pg_test_user
|
||||
ошибка API 408: {"IAM URL":"https://auth-api-test.ngcloud.ru/api/v1/auth/user",
|
||||
"idpResponse":{"prefix":{"status_text":"Request Time-out","statuscode":"408 Request Time-out"}}}
|
||||
```
|
||||
|
||||
Может проявляться даже на этапе `terraform plan` (refresh инстанса).
|
||||
|
||||
**Причина**
|
||||
|
||||
Транзитная перегрузка тест-IAM-сервиса `auth-api-test.ngcloud.ru`. Возникает
|
||||
после серии интенсивных apply/destroy в течение одного или нескольких часов.
|
||||
|
||||
**Решение**
|
||||
|
||||
Подождать 5–10 минут и повторить apply. Ошибка проходит самостоятельно.
|
||||
|
||||
**Важно**: в production окружении (`auth-api.ngcloud.ru`) эта проблема
|
||||
предположительно не воспроизводится.
|
||||
|
||||
---
|
||||
|
||||
## 2026-03-29 — SSH timeout после destroy VM example
|
||||
|
||||
### Симптом
|
||||
|
||||
Reference in New Issue
Block a user