docs: migrate docker image path nail->terraform in README; add HISTORY note

docs: план отдельного сервиса документации (принципы, отдельная репа)
docs: убрать документацию из registry (оставить только провайдеры), v0.0.6
2026-09-02 08:15:29 +03:00 · 2026-09-02 07:45:37 +03:00 · 2026-09-02 07:34:18 +03:00 · 2026-09-02 07:19:20 +03:00 · 2026-09-01 21:16:31 +03:00 · 2026-09-01 17:40:54 +03:00
11 changed files with 560 additions and 162 deletions
@@ -10,6 +10,7 @@ dist/
 *.out
 vendor/
 go.sum.bak
+server/tf-registry

 # ── Python ─────────────────────────────────────────────────────────────────────
 __pycache__/
@@ -0,0 +1,34 @@
+# 2026-09-02: Перенос git-репозиториев и Docker-образов из `Nail` в организацию `terraform`
+
+## Факты
+
+- Git-репозитории `tf_provider`, `tf_registry`, `tf_docs` перенесены вручную из аккаунта `Nail` в организацию `terraform` на Gitea.
+- Старые адреса `gitea.services.ngcloud.ru/Nail/...` отдают redirect на `terraform/...`.
+- Docker-образы реестра **не переносились автоматически** — оставались в `gitea.services.ngcloud.ru/nail/tf_registry`.
+
+## Выполнено (перенос образов)
+
+Локально (Krupski) перетегированы и запушены в `gitea.services.ngcloud.ru/terraform/tf_registry` все актуальные теги:
+
+- `0.0.1`, `0.0.3`, `0.0.4`, `0.0.5`, `0.0.6`, `latest`
+- Проверено: `docker manifest inspect gitea.services.ngcloud.ru/terraform/tf_registry:0.0.6` → OK.
+- `0.0.6` digest: `sha256:0888e5bc16b8359fecc829b67f801245e7df0c355a7bc0086ab37bd21db897f2`
+- `latest` и `0.0.3` указывают на один digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc508625919927792bda5`
+- Тег `0.0.2` отсутствовал и локально, и в registry (не публиковался).
+
+## Обновления remote в локальных копиях
+
+- `tf_provider` origin → `https://gitea.services.ngcloud.ru/terraform/tf_provider.git`
+- `tf_registry` origin → `https://gitea.services.ngcloud.ru/terraform/tf_registry.git`
+- `tf_docs` origin → `https://gitea.services.ngcloud.ru/terraform/tf_docs.git`
+
+## Осталось (ручной шаг в Nubes Cloud UI)
+
+- Обновить `registryPath` инстанса реестра (`tf-registry.containerk8s.services.ngcloud.ru`) с `gitea.services.ngcloud.ru/nail/tf_registry:<тег>` на `gitea.services.ngcloud.ru/terraform/tf_registry:<тег>`.
+- Выполнить redeploy через UI `modify`.
+- Старые образы в `nail/tf_registry` можно удалить после подтверждения, что новый путь работает.
+
+## Напоминание
+
+- Docker-имя registry требует lowercase: `terraform/tf_registry`, не `Terraform/...`.
+- Команды сборки/пуша в README теперь указывают на `gitea.services.ngcloud.ru/terraform/tf_registry`.
@@ -0,0 +1,290 @@
+Список задач обновлен
+
+Проверялись следующие endpoint’ы registry:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/.well-known/terraform.json
+```
+
+Результат: `HTTP 200`
+
+```json
+{"providers.v1":"/v1/providers/"}
+```
+
+Список версий:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/versions
+```
+
+Результат: `HTTP 200`
+
+Опубликованы:
+
+```text
+5.0.1
+5.0.2
+5.0.3
+5.0.4
+5.0.5
+5.1.17
+```
+
+Download metadata для `5.0.5`:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/5.0.5/download/linux/amd64
+```
+
+Результат: `HTTP 200`, ответ около `8 KB`, содержит:
+
+```text
+filename:
+terraform-provider-nubes_5.0.5_linux_amd64.zip
+
+download_url:
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=...
+```
+
+Фактический proxy URL:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=tf-registry.containerk8s.services.ngcloud.ru%2Fnubes-test%2Fnubes%2F5.0.5%2Fterraform-provider-nubes_5.0.5_linux_amd64.zip
+```
+
+Проверка proxy:
+
+```text
+HTTP: 200
+Content-Type: application/octet-stream
+Content-Length: 13083236
+```
+
+Но фактически за 40 секунд скачалось только:
+
+```text
+20983 байт
+```
+
+и затем:
+
+```text
+curl: (28) Operation timed out
+```
+
+Дополнительно проверялись:
+
+```text
+nubes-test/nubes:5.1.17
+nubes/nubes:2.0.6
+```
+
+На них результат такой же: metadata отдается быстро, а ZIP через `/v1/proxy` обрывается примерно на `18–23 KB`.
+
+Проверялся также заголовок:
+
+```text
+Range: bytes=0-1023
+```
+
+и диапазон из середины файла:
+
+```text
+Range: bytes=1048576-1049599
+```
+
+Proxy игнорирует `Range`, отвечает `HTTP 200` и снова начинает отдавать весь файл, после чего передача зависает.
+
+Проверка DNS:
+
+```text
+getent hosts tf-registry.containerk8s.services.ngcloud.ru
+```
+
+Результат:
+
+```text
+5.172.178.231
+```
+
+Также проверялся Kubernetes API:
+
+```text
+kubectl get ingress -A
+kubectl get pods -A
+kubectl get svc -A
+kubectl get deploy -A
+kubectl get configmap -A
+```
+
+Но текущий kubeconfig не имеет credentials:
+
+```text
+the server has asked for the client to provide credentials
+Unauthorized
+```
+
+Итог: API registry и metadata работают. Проблемный участок:
+
+```text
+/v1/proxy -> S3 object -> HTTP streaming через Kubernetes
+```
+
+Именно там большой ZIP возвращается с `HTTP 200`, но поток фактически обрывается на десятках килобайт.
+
+Список задач обновлен
+
+Read 
+
+Read memory 
+
+Read , lines 1 to 80
+
+Read , lines 1 to 80
+
+Read , lines 1 to 80
+
+Теперь у меня есть контекст по drhider. Давай сравню симптомы:  
+
+Read 
+
+Read 
+
+## Анализ: сравнение проблем drhider и registry
+
+### Проблема в drhider (решена)
+
+| Аспект | Детали |
+|--------|--------|
+| Симптом | POST из браузера → тело запроса обрывалось на ~64КБ (HTTP 000, ~10с) |
+| Направление | **Входящий** трафик: браузер → кластер |
+| Корень | Managed-кластер, шлюз ingress обрывает тела входящих запросов >64КБ |
+| Решение | Браузер PUT файл на ВМ-буфер (обходит шлюз) → Flask тянет с ВМ (egress, без лимита) |
+
+### Проблема в registry (сейчас)
+
+| Аспект | Детали |
+|--------|--------|
+| Симптом | `GET /v1/proxy?key=...` → HTTP 200 мгновенно, но данные обрываются на 18–23 КБ |
+| Направление | **Исходящий** трафик: кластер → Terraform клиент |
+| Корень | Тот же кластерный шлюз, но теперь режет **streaming-ответ** (буферизация / flush-лимит) |
+
+### Это та же проблема?
+
+**Да, вероятно одна и та же инфраструктура** (`services.ngcloud.ru` — managed Nubes, тот же managed-кластер что и `pythonk8s.dev.nubes.ru`). Только направление противоположное:
+- drhider: шлюз режет входящее тело
+- registry: шлюз режет исходящий stream большого файла
+
+Дополнительный признак: у вас есть ещё одна задокументированная проблема — HTTP/2 резал git push к gitea (тот же шлюз, тот же паттерн). Range-запросы игнорируются — тоже поведение промежуточного буферизующего прокси.
+
+---
+
+### Применим ли обход через ВМ?
+
+**Да, но схема зеркальная.** В drhider проблема была на входе — данные шли в кластер. Здесь проблема на выходе — данные идут из кластера к Terraform.
+
+**Варианты обхода:**
+
+**Вариант A — Redirect на S3 pre-signed URL (чище всего)**
+
+`/v1/proxy` вместо стриминга генерирует временную pre-signed S3 ссылку и возвращает `302 Location: <s3-presigned-url>`. Terraform следует редиректу и скачивает ZIP напрямую с S3, минуя кластерный шлюз полностью.
+
+```
+Terraform → /v1/proxy?key=... → 302 Location: https://s3.../object?X-Amz-Expires=...
+Terraform → S3 напрямую → 200 + 13MB ✅
+```
+
+Terraform `go-getter` (используется в `terraform init`) редиректы поддерживает.
+
+**Вариант B — Redirect на ВМ-прокси**
+
+Если S3 не публичный / нет pre-signed URL — `/v1/proxy` отдаёт `302` на эндпоинт ВМ (`contracts.kube5s.ru/tf-proxy?key=...`). ВМ скачивает файл с S3 и стримит Terraform клиенту. ВМ находится вне шлюза managed-кластера.
+
+**Вариант C — Через download_url в metadata (самое прозрачное)**
+
+Вместо того чтобы `download_url` указывал на `/v1/proxy` внутри кластера — указывать сразу на S3 pre-signed URL или ВМ-прокси. Не нужно менять `/v1/proxy` вообще.
+
+---
+
+### Рекомендация
+
+Вариант A или C — наиболее чистые. Смотреть, есть ли доступ к S3 с кредами для pre-signed URL из кода registry. Если есть — минимальное изменение: в `/v1/proxy` заменить стриминг на `redirect(presigned_url, 302)`.
+
+Нужно смотреть код registry (`/v1/proxy` handler) чтобы подтвердить технически — он в этом же репозитории или в отдельном?
+
+Создано задач: 3
+
+Список задач обновлен
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Картина полная. Вот анализ:
+
+---
+
+## Диагностика: та же проблема, другая сторона
+
+**Код проблемы — `proxy.go`, `proxyHandler`:**
+
+```go
+obj, _ := s3Client.GetObject(ctx, bucketName, key, ...)
+io.Copy(w, obj)  // ← Kubernetes шлюз режет этот stream
+```
+
+Тот же managed-кластер (`containerk8s.services.ngcloud.ru` — Nubes), тот же шлюз. В drhider он резал входящие тела >64KB. Здесь режет исходящий stream с S3 (~18–23KB — это первый буфер ответа, который шлюз успел пропустить до блокировки).
+
+`Content-Length: 13083236` выставляется, но данных доходит ~20KB — шлюз буферизует и не флашит остаток.
+
+---
+
+## Решение: presigned URL redirect
+
+`minio-go` уже импортирован, он умеет генерировать pre-signed URL:
+
+```go
+// вместо GetObject + io.Copy:
+presigned, err := s3Client.PresignedGetObject(ctx, bucketName, key, 15*time.Minute, url.Values{})
+http.Redirect(w, r, presigned.String(), http.StatusFound)
+```
+
+Terraform следует 302. Terraform client скачивает ZIP **напрямую с S3**, кластерный шлюз больше не участвует.
+
+Это затрагивает только `proxy.go` — 1 файл, примерно 10 строк замены.
+
+`ShasumsURL` и `ShasumsSignatureURL` тоже идут через `/v1/proxy` — они маленькие (<10KB), работают и сейчас, но с redirect тоже будут работать корректно.
+
+---
+
+## План
+
+**Файл:** server/proxy.go
+
+**Изменение:** в `proxyHandler` — убрать `GetObject` / `Stat` / `io.Copy` / установку заголовков, заменить на `PresignedGetObject` + `http.Redirect 302`. Добавить `"net/url"` в imports.
+
+**Верификация:**
+1. `go build `nubes`.` — компиляция
+2. `curl -v 'https://...registry.../v1/proxy?key=...' -L` — должен получить 302, затем скачать 13MB полностью
+3. `terraform init` в тестовом проекте с этим провайдером
+
+Делать?
+
+Создано задач: 4
+
+НИЧЕГО НЕ ДЕЛАЙ. КРАТКО ОТВЕТ ДАВАЙ - это надо менять код регистри ? и всё ?
+
+10:03
+Да. Только server/proxy.go — заменить стриминг на redirect к pre-signed S3 URL. Больше ничего.
+
@@ -0,0 +1,122 @@
+# План: отдельный сервис документации (Node.js)
+
+## Целевая архитектура
+
+```
+S3 (nubes-terraform-registry)  — статика документации, только docs/*
+Node.js-сервис                 — раздаёт /docs/* + кеш с TTL
+registry (Go)                  — только Terraform-протокол:
+                                 /.well-known/*, /v1/providers/*, /v1/proxy
+```
+
+## Что выносится из registry
+
+- Маршрут `/docs/` и функция `docsHandler` (удаляются из `server/main.go` и `server/docs.go`).
+- Провайдерская логика (`discoveryHandler`, `router`, `proxyHandler`, `rootHandler`, `healthz/readyz`) — НЕ меняется.
+
+## Соглашения для сервиса документации (перенос из бывшего server/docs.go)
+
+Файл `docs.go` не является уникальным активом; он описывает обычный маппинг
+URL → S3-ключ. При переносе на Node.js достаточно воспроизвести три правила:
+
+1. **Формат S3-ключей документации:**
+   ```
+   docs/<namespace>/<name>/<version>/<rest>
+   при пустом rest → docs/<namespace>/<name>/<version>/index.html
+   ```
+
+2. **Fallback-цепочка при неизвестном пути:**
+   точный путь → `<путь>/index.html` (если путь похож на каталог) → корневой `index.html`.
+
+3. **Content-Type:**
+   через `mime.TypeByExtension`; fallback на `text/html; charset=utf-8` для
+   `index.html`/`.html`, иначе `application/octet-stream`.
+
+4. **Добавить то, чего в сервисе документации будет больше, чем в docs.go:**
+   in-memory кеш с TTL (например, 60–300 сек) и заголовок `Cache-Control`.
+
+## Endpoint Node.js-сервиса
+
+```
+GET /docs/<namespace>/<name>/<version>/<rest>
+```
+
+## Переменные окружения (общие с registry)
+
+- `S3_ENDPOINT`, `S3_BUCKET`, `S3_ACCESS_KEY`, `S3_SECRET_KEY`
+  (точки доступа — как в `secrets/env.txt`).
+
+## DNS / Ingress
+
+- `/docs/*` → Node.js-сервис.
+- `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry.
+- Тот же домен `tf-registry.containerk8s.services.ngcloud.ru`, пути разводятся в Ingress.
+  (При отдельном поддомене потребуется переписывать ссылки в HTML.)
+
+## Порядок работ
+
+1. Вынести `/docs/` из registry (этот шаг).
+2. Написать Node.js-сервис (маппинг + кеш + Content-Type).
+3. Dockerfile + образ в gitea + деплой сервиса.
+4. Ingress-правило для `/docs/*`.
+5. Переписать генератор документации под новые соглашения (отдельная задача).
+6. Smoke-тесты: HTML 200, CSS/JS 200, ссылки валидны.
+
+## Статус
+
+- [x] Вынести документацию из registry (v0.0.6)
+- [ ] Node.js-сервис (отдельная репа)
+- [ ] Деплой + Ingress
+- [ ] Переписанный генератор
+
+---
+
+# План (принципиальный) — отдельная репа
+
+Код — в отдельной репе, сюда только итоговый результат.
+
+## Принципы
+
+1. **Разделение по ответственности.**
+   - registry — только Terraform-протокол (уже сделано, v0.0.6).
+   - docs-сервис — только раздача статики `/docs/*`.
+   - S3 — только хранилище статики, prefix `docs/`.
+
+2. **Сервис документации = статический сервер, не приложение.**
+   Никакого рендеринга и шаблонов. Одна функция: URL → S3-ключ → файл.
+
+3. **Язык — Node.js.**
+   Лёгкий, быстрый, встроенный кеш, тот же S3 SDK. (nginx — запасной вариант, если не нужен код.)
+
+4. **Кеш обязателен.**
+   in-memory кеш с TTL (60–300 сек) + `Cache-Control`. Это решает исходную проблему «тормозит и кеширует».
+
+5. **Один домен, пути разводятся в Ingress.**
+   - `/docs/*` → docs-сервис
+   - `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry
+   Отдельный поддомен не нужен — тогда не придётся переписывать ссылки в HTML.
+
+6. **Доступ к S3 — те же credentials, но только к `docs/*`.**
+   Ключ доступа с правом чтения `docs/`, без доступа к провайдерским артефактам.
+
+## Соглашения из бывшего docs.go (перенести на Node)
+
+- S3-ключ: `docs/<ns>/<name>/<version>/<rest>`; пустой `rest` → `index.html`.
+- Fallback: точный путь → `<путь>/index.html` → корневой `index.html`.
+- Content-Type по расширению; `index.html` → `text/html; charset=utf-8`.
+
+## Минимальный объём сервиса
+
+- `GET /docs/:ns/:name/:version/*` → S3-ключ → отдать файл + кеш.
+- Dockerfile → образ в gitea → деплой.
+- Ingress-правило для `/docs/*`.
+
+## Что отдаётся обратно в эту репу
+
+- Только ссылка на репу + итоговый Dockerfile/конфиг, если договоримся держать деплой-артефакты здесь.
+- Сам код docs-сервиса — в отдельной репе.
+
+## Генератор — отдельная задача (НЕ входит в этот план)
+
+- Переписывается отдельно, чтобы ссылки на ассеты были корректны.
+- К docs-сервису относится только как «потребитель» результата.
@@ -0,0 +1,32 @@
+# Инцидент: `tf-registry.containerk8s.services.ngcloud.ru` отдаёт 503
+
+## Зафиксированные факты
+
+- `tf-registry.containerk8s.services.ngcloud.ru` резолвится в `5.172.178.231`.
+- Запросы `GET /healthz` и `GET /readyz` возвращают `HTTP/2 503` с телом nginx `503 Service Temporarily Unavailable`.
+- Прямое подключение к `5.172.178.231:5000` не устанавливается (порт backend наружу не публикуется).
+- VM `5.172.178.213` доступна, но это ВМ для сборки — managed-контейнер к ней отношения не имеет.
+- Следовательно, запрос не доходит до Go-сервера: это недоступный или не запущенный upstream, а не ошибка обработчиков `/healthz`, `/readyz` или S3 readiness.
+
+## Диагностика образа (подтверждённые факты)
+
+- Docker Registry Gitea (`gitea.services.ngcloud.ru/nail/tf_registry`) был **пуст**: `tags=` (тегов нет).
+- `docker manifest inspect ...:latest` → `manifest unknown`; `:0.0.2` → `manifest unknown`.
+- С ВМ `5.172.178.213` доступа до Gitea **нет**: TCP `194.31.9.41:443` — `SYN-SENT`, DNS `lookup gitea.services.ngcloud.ru` — `i/o timeout`, traceroute обрывается на `100.64.24.24`. Общий интернет с ВМ работает (docker hub доступен).
+- Локальная машина (Krupski) имеет доступ до Gitea напрямую; `docker login gitea.services.ngcloud.ru --username Naeel` → `Login Succeeded`.
+- Образ собран на ВМ из текущего `master` (rsync), затем перенесён локально через `docker save`/`scp`/`load`.
+
+## Push образа 0.0.1 (выполнено)
+
+- `docker push gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` (с локальной машины) — успешно.
+- Digest: `sha256:9a00836c916e2cae597e31dff2184a08550bd1be262bdba980d17de2943aa4a7`
+- Проверка: `docker pull gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` → `PULL_OK`.
+- ID образа: `sha256:3c76e53a7213d0404932aac6b8ad0dc0c254b35f14d6d3d420a18ba4ec07b0d3`
+
+## Требуемое восстановление
+
+1. В Nubes Cloud открыть инстанс с доменом `tf-registry.containerk8s.services.ngcloud.ru` и проверить состояние deployment/реплик и событий запуска.
+2. Обновить `registryPath` на `gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` (образ с этим тегом уже опубликован).
+3. Проверить, что контейнер слушает `PORT=5000`, а healthcheck использует доступный путь.
+4. Выполнить redeploy через UI `modify`.
+5. После запуска проверить `https://tf-registry.containerk8s.services.ngcloud.ru/healthz` и `/.well-known/terraform.json`.
@@ -0,0 +1,64 @@
+# Инцидент 2026-09-01: обрыв скачивания провайдера + медленный DNS на ВМ
+
+## Симптом (исходный)
+
+- `GET /v1/proxy?key=...` отдавал `HTTP 200` + `Content-Length: 13083236`, но поток обрывался на ~18–23 KB (curl `(28) Operation timed out`).
+- `Range`-запросы игнорировались — сервер заново отдавал весь файл и зависал.
+- Гипотеза: кластерный ingress-шлюз режет исходящий streaming (по аналогии с drhider, где резались входящие тела >64 KB).
+
+## Диагностика
+
+- `s3.msk-1.ngcloud.ru` публично доступен: DNS `185.228.248.165/166/167`, `HTTP 200` (Ceph Object Gateway).
+- `gitea.services.ngcloud.ru` НЕ доступен с ВМ сборки `5.172.178.213`:
+  - публичный IP `194.31.9.41:443` — TCP таймаут;
+  - внутренний ClusterIP `10.96.52.11:443` (`gitea.mgmt.nubes.ru`) — TCP таймаут (подсеть `10.96.0.0/16` с ВМ не маршрутизируется);
+  - с локальной машины gitea доступен (`200` за 0.36s). → «в одном облаке» ≠ открыто: сети изолированы security-group/маршрутизацией.
+
+## Причина обрыва — НЕ кластер, а локальный прокси
+
+- На локальной машине задан `HTTP_PROXY/HTTPS_PROXY=http://172.17.192.1:10808` (v2ray/clash-тип).
+- Через прокси режется любой большой исходящий поток (~16–23 KB) — и старый стриминг через кластер, и прямое скачивание с S3.
+- Без прокси (`curl --noproxy '*'`) файл качается полностью: 13 083 236 байт за 6.3s, `unzip -t` — OK.
+- С ВМ (без прокси) тот же файл: 13 083 236 байт за 11.3s, `unzip -t` — OK.
+- **Вывод:** исходная гипотеза «кластерный шлюз режет» не подтвердилась.
+
+## Фикс registry: redirect на pre-signed S3 URL (выполнено)
+
+- `server/proxy.go`, `proxyHandler`: убраны `GetObject`/`Stat`/`io.Copy`; вместо этого
+  `PresignedGetObject(ctx, bucketName, key, 15*time.Minute, nil)` + `http.Redirect(w, r, ..., http.StatusFound)`.
+- Удалён неиспользуемый импорт `s3`.
+- `server/main.go`: `VERSION 0.0.2 → 0.0.3`.
+- Проверка: `go build ./...` — OK.
+- Коммит `422736f`, запушен в `master`.
+- Образ: `docker build` (локально, т.к. gitea недоступен с ВМ) → `gitea.services.ngcloud.ru/nail/tf_registry:latest` и `:0.0.3`.
+- Digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc50862591992792bda5`.
+- Инстанс пересоздан в UI Nubes с образом `:0.0.3`.
+
+### Проверка фикса
+
+- `GET /v1/proxy?key=...` → `HTTP 302` + `Location: https://s3.msk-1.ngcloud.ru/...?X-Amz-...` (presigned, креды reader `6DDP5...`).
+- `curl -L` — 13 083 236 байт за 6.3s (без прокси), архив валиден.
+
+## Проблема terraform init на ВМ: медленный DNS
+
+- `terraform init` на ВМ падал: `failed to retrieve authentication checksums ... context deadline exceeded` (2 попытки).
+- Причина: DNS на ВМ. `resolv.conf` = `8.8.8.8` + `1.1.1.1`, оба **недоступны** с ВМ
+  (`nslookup` → `communications error: timed out`).
+- Каждый резолв доменов Nubes висел ~10 сек: `dns=10.6s` (registry), `dns=10.0s` (s3).
+- Terraform делает много резолвов → суммарный таймаут. Сама передача файлов работала нормально.
+
+### Решение: статические записи в /etc/hosts на ВМ
+
+- Добавлено (бэкап: `/etc/hosts.bak`):
+  - `5.172.178.231 tf-registry.containerk8s.services.ngcloud.ru`
+  - `185.228.248.165 s3.msk-1.ngcloud.ru`
+- После правки резолв мгновенный: `dns=0.0003s`, registry `total=0.022s`.
+- `terraform init` в `~/tf_provider/TEST_STAND/PGwNewRegistry` — **успех**:
+  `Installed ... nubes v5.0.5 (self-signed, key ID CB3A0DF161ECC416)`, `Terraform has been successfully initialized!`.
+
+## Итоговые выводы
+
+1. Обрыв больших файлов на ~16–23 KB — локальный прокси на машине тестирования, НЕ кластер.
+2. Фикс registry (302 → presigned S3) корректен и полезен: registry больше не участвует в передаче файла.
+3. `terraform init` с ВМ ломался из-за недоступного внешнего DNS; лечится `/etc/hosts` (или рабочим внутренним DNS).
+4. Gitea с ВМ сборки недоступен по сети — для сборки образа использовать машину с доступом (локальную).
@@ -42,8 +42,8 @@
 # Сборка образа (на ВМ)
 ssh naeel@5.172.178.213
 cd ~/tf_registry && git checkout go-container
-docker build -t gitea.services.ngcloud.ru/nail/tf_registry:latest .
-docker push gitea.services.ngcloud.ru/nail/tf_registry:latest
+docker build -t gitea.services.ngcloud.ru/terraform/tf_registry:latest .
+docker push gitea.services.ngcloud.ru/terraform/tf_registry:latest

 # Редеплой — через UI modify или пересоздать инстанс
 ```
@@ -29,23 +29,22 @@ set -euo pipefail

 SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
 ROOT_DIR="${ROOT_DIR:-$(cd "${SCRIPT_DIR}/.." && pwd)}"
-PROVIDER_DIR="${PROVIDER_DIR:-${ROOT_DIR}/universal_rebuild}"
+PROVIDER_DIR="${PROVIDER_DIR:-${HOME}/tf_provider/provider}"
 BUILD_DIR="${BUILD_DIR:-${ROOT_DIR}/artifacts/provider_build}"
-GPG_KEY_FILE="${GPG_KEY_FILE:-${ROOT_DIR}/secrets/private_key.asc}"
+GPG_KEY_FILE="${GPG_KEY_FILE:-${HOME}/tf_provider/secrets/private_key.asc}"

 VERSION="${1:-2.0.2}"
-REGISTRY_HOSTNAME="${REGISTRY_HOSTNAME:-terra.k8c.ru}"
-NAMESPACE="${NAMESPACE:-nubes}"
+REGISTRY_HOSTNAME="${REGISTRY_HOSTNAME:-tf-registry.containerk8s.services.ngcloud.ru}"
+NAMESPACE="${NAMESPACE:-nubes-test}"
 PROVIDER_NAME="${PROVIDER_NAME:-nubes}"
-S3_BUCKET="${S3_BUCKET:-terraform-registry}"
+S3_BUCKET="${S3_BUCKET:-nubes-terraform-registry}"

-S3_ENDPOINT="${S3_ENDPOINT:-}"
+S3_ENDPOINT="${S3_ENDPOINT:-https://s3.msk-1.ngcloud.ru}"
 S3_ACCESS_KEY="${S3_ACCESS_KEY:-}"
 S3_SECRET_KEY="${S3_SECRET_KEY:-}"

-if [[ -z "$S3_ENDPOINT" || -z "$S3_ACCESS_KEY" || -z "$S3_SECRET_KEY" ]]; then
-  echo "Error: S3_ENDPOINT/S3_ACCESS_KEY/S3_SECRET_KEY must be set" >&2
-  echo "Hint: see ${ROOT_DIR}/secrets/.s3cfg_registry" >&2
+if [[ -z "$S3_ACCESS_KEY" || -z "$S3_SECRET_KEY" ]]; then
+  echo "Error: S3_ACCESS_KEY/S3_SECRET_KEY must be set" >&2
  exit 2
 fi

@@ -77,7 +76,7 @@ build_and_zip() {
  fi

  echo "Building for ${os}/${arch}..."
-  (cd "$PROVIDER_DIR" && CGO_ENABLED=0 GOOS="$os" GOARCH="$arch" go build -o "${BUILD_DIR}/${binary}" .)
+  (cd "$PROVIDER_DIR" && CGO_ENABLED=0 GOOS="$os" GOARCH="$arch" go build -ldflags "-X main.address=${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME} -X main.version=${VERSION}" -o "${BUILD_DIR}/${binary}" .)

  (cd "$BUILD_DIR" && python3 -m zipfile -c "terraform-provider-nubes_${VERSION}_${os}_${arch}.zip" "$binary")
  rm -f "${BUILD_DIR:?}/${binary}"
@@ -104,8 +103,8 @@ gpg --batch --yes --detach-sign --default-key "$key_id" \
  --output "${BUILD_DIR}/terraform-provider-nubes_${VERSION}_SHA256SUMS.sig" \
  "${BUILD_DIR}/terraform-provider-nubes_${VERSION}_SHA256SUMS"

-mc alias set registry "$s3_endpoint_url" "$S3_ACCESS_KEY" "$S3_SECRET_KEY" --api S3v4
-S3_PATH="registry/${S3_BUCKET}/${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME}/${VERSION}/"
+mc alias set prod-s3 "$s3_endpoint_url" "$S3_ACCESS_KEY" "$S3_SECRET_KEY" --api S3v4
+S3_PATH="prod-s3/${S3_BUCKET}/${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME}/${VERSION}/"

 echo "Uploading to: ${S3_PATH}"
 mc cp "${BUILD_DIR}"/*.zip "$S3_PATH"
@@ -1,116 +0,0 @@
-package main
-
-import (
-	"context"
-	"fmt"
-	"io"
-	"log"
-	"mime"
-	"net/http"
-	"path/filepath"
-	"strings"
-
-	s3 "github.com/minio/minio-go/v7"
-)
-
-// parseDocsRequestPath parses paths like:
-// /docs/<namespace>/<name>/<version>/...  (rest may be empty)
-func parseDocsRequestPath(p string) (namespace, name, version, rest string, err error) {
-	p = strings.TrimPrefix(p, "/")
-	p = strings.TrimPrefix(p, "docs/")
-	parts := strings.SplitN(p, "/", 4)
-	if len(parts) < 3 {
-		err = fmt.Errorf("invalid docs path: %s", p)
-		return
-	}
-	namespace = parts[0]
-	name = parts[1]
-	version = parts[2]
-	if len(parts) == 3 {
-		rest = ""
-	} else {
-		rest = parts[3]
-	}
-	return
-}
-
-// docsObjectKey builds the S3 key for a docs object given parsed parts.
-func docsObjectKey(namespace, name, version, pathPart string) string {
-	clean := strings.TrimPrefix(pathPart, "/")
-	if clean == "" {
-		return fmt.Sprintf("docs/%s/%s/%s/index.html", namespace, name, version)
-	}
-	return fmt.Sprintf("docs/%s/%s/%s/%s", namespace, name, version, clean)
-}
-
-// tryCandidateKeys returns a list of keys to attempt for a given request path.
-// Order matters: exact path first, then <path>/index.html, then top-level index.
-func tryCandidateKeys(namespace, name, version, rest string) []string {
-	keys := []string{}
-	if rest == "" {
-		keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
-		return keys
-	}
-	// exact
-	keys = append(keys, docsObjectKey(namespace, name, version, rest))
-	// if it looks like a directory or has no extension, try index under it
-	if strings.HasSuffix(rest, "/") || filepath.Ext(rest) == "" {
-		keys = append(keys, docsObjectKey(namespace, name, version, strings.TrimSuffix(rest, "/")+"/index.html"))
-	}
-	// finally, try root index
-	keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
-	return keys
-}
-
-// docsHandler serves static documentation files from S3 (public-facing via Ingress).
-func docsHandler(w http.ResponseWriter, r *http.Request) {
-	ns, name, ver, rest, err := parseDocsRequestPath(r.URL.Path)
-	if err != nil {
-		http.Error(w, "Bad docs path", http.StatusBadRequest)
-		return
-	}
-
-	ctx := context.Background()
-	candidates := tryCandidateKeys(ns, name, ver, rest)
-	log.Printf("Docs candidates (host=%s): %v", hostname, candidates)
-
-	var lastErr error
-	for _, key := range candidates {
-		obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
-		if err != nil {
-			lastErr = err
-			continue
-		}
-		stat, err := obj.Stat()
-		if err != nil {
-			lastErr = err
-			_ = obj.Close()
-			continue
-		}
-
-		// Determine content-type
-		ext := filepath.Ext(key)
-		ctype := mime.TypeByExtension(ext)
-		if ctype == "" {
-			// fallback for HTML
-			if ext == ".html" || strings.HasSuffix(key, "index.html") {
-				ctype = "text/html; charset=utf-8"
-			} else {
-				ctype = "application/octet-stream"
-			}
-		}
-
-		w.Header().Set("Content-Type", ctype)
-		w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size))
-		w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
-
-		if _, err := io.Copy(w, obj); err != nil {
-			log.Printf("Error streaming object %s: %v", key, err)
-		}
-		_ = obj.Close()
-		return
-	}
-
-	log.Printf("Docs not found in candidates: %v, lastErr: %v", candidates, lastErr)
-	http.Error(w, "Documentation not found", http.StatusNotFound)
-}
@@ -24,7 +24,7 @@ var (
 	s3Prefix   = os.Getenv("S3_PREFIX")
 )

-const VERSION = "0.0.2"
+const VERSION = "0.0.6"

 func main() {
 	if hostname == "" {
@@ -56,7 +56,6 @@ func main() {
 	http.HandleFunc("/.well-known/terraform.json", discoveryHandler)
 	http.HandleFunc("/v1/providers/", router)
 	http.HandleFunc("/v1/proxy", proxyHandler)
-	http.HandleFunc("/docs/", docsHandler)
 	http.Handle("/static/", http.StripPrefix("/static/", http.FileServer(http.FS(logoFile))))
 	http.Handle("/", http.HandlerFunc(rootHandler))
 	http.HandleFunc("/healthz", healthzHandler)
@@ -1,15 +1,9 @@
 package main

 import (
-	"context"
-	"fmt"
-	"io"
-	"log"
 	"net/http"
 	"strings"
 	"time"
-
-	s3 "github.com/minio/minio-go/v7"
 )

 func proxyHandler(w http.ResponseWriter, r *http.Request) {
@@ -24,32 +18,11 @@ func proxyHandler(w http.ResponseWriter, r *http.Request) {
 		return
 	}

-	ctx, cancel := context.WithTimeout(r.Context(), 60*time.Second)
-	defer cancel()
-
-	obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
+	presigned, err := s3Client.PresignedGetObject(r.Context(), bucketName, key, 15*time.Minute, nil)
 	if err != nil {
-		log.Printf("Error getting object %s/%s: %v", bucketName, key, err)
-		http.Error(w, "File not found", http.StatusNotFound)
-		return
-	}
-	defer obj.Close()
-
-	stat, err := obj.Stat()
-	if err != nil {
-		log.Printf("Error stating object %s/%s: %v", bucketName, key, err)
-		http.Error(w, "File not found or not accessible", http.StatusNotFound)
+		http.Error(w, "Failed to sign object", http.StatusInternalServerError)
 		return
 	}

-	w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size))
-	w.Header().Set("Content-Type", "application/octet-stream")
-	w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
-
-	written, err := io.Copy(w, obj)
-	if err != nil {
-		log.Printf("Error streaming object: %v (sent %d/%d bytes)", err, written, stat.Size)
-	} else {
-		log.Printf("Proxy: sent %d bytes for %s", written, key)
-	}
+	http.Redirect(w, r, presigned.String(), http.StatusFound)
 }
Author	SHA1	Message	Date
“Naeel”	8ee0065630	docs: migrate docker image path nail->terraform in README; add HISTORY note	2026-09-02 08:15:29 +03:00
“Naeel”	391223e61e	docs: план отдельного сервиса документации (принципы, отдельная репа)	2026-09-02 07:45:37 +03:00
“Naeel”	c3e75f11d6	docs: убрать документацию из registry (оставить только провайдеры), v0.0.6	2026-09-02 07:34:18 +03:00
“Naeel”	5e81c06124	docs: вернуть стриминг документации из S3 через registry (v0.0.5)	2026-09-02 07:19:20 +03:00
“Naeel”	8bbb5adf21	docs: redirect documentation files to S3	2026-09-01 21:16:31 +03:00
“Naeel”	35dd57c13b	chore: .gitignore для бинарника сборки server/tf-registry	2026-09-01 17:40:54 +03:00
“Naeel”	33b694f5f5	doc: инцидент 2026-09-01 — фикс proxy (302 presigned S3), DNS на ВМ	2026-09-01 17:32:07 +03:00
“Naeel”	422736f5fa	proxy: redirect 302 на pre-signed S3 URL вместо стриминга (v0.0.3)	2026-09-01 16:42:46 +03:00
“Naeel”	cf2789be76	1	2026-09-01 12:24:23 +03:00
“Naeel”	3a47b8546f	docs: зафиксирован инцидент 503 tf-registry — пустой Gitea registry, push образа 0.0.1	2026-08-31 12:14:29 +03:00
“Naeel”	c286d190ba	fix: PROVIDER_DIR и GPG_KEY_FILE указывают на ~/tf_provider вместо tf_registry	2026-08-09 15:14:59 +04:00
“Naeel”	76f70c91de	fix: build-provider.sh — обновлены все параметры под текущий прод (ngcloud, новый домен, бакет, ldflags, mc alias)	2026-08-09 15:03:25 +04:00