docs: migrate docker image path nail->terraform in README; add HISTORY note

.gitignore

@@ -10,6 +10,7 @@ dist/
 *.out
 vendor/
 go.sum.bak
+server/tf-registry
 
 # ── Python ─────────────────────────────────────────────────────────────────────
 __pycache__/

HISTORY/2026-09-02-migrate-nail-to-terraform.md

@@ -0,0 +1,34 @@
+# 2026-09-02: Перенос git-репозиториев и Docker-образов из `Nail` в организацию `terraform`
+
+## Факты
+
+- Git-репозитории `tf_provider`, `tf_registry`, `tf_docs` перенесены вручную из аккаунта `Nail` в организацию `terraform` на Gitea.
+- Старые адреса `gitea.services.ngcloud.ru/Nail/...` отдают redirect на `terraform/...`.
+- Docker-образы реестра **не переносились автоматически** — оставались в `gitea.services.ngcloud.ru/nail/tf_registry`.
+
+## Выполнено (перенос образов)
+
+Локально (Krupski) перетегированы и запушены в `gitea.services.ngcloud.ru/terraform/tf_registry` все актуальные теги:
+
+- `0.0.1`, `0.0.3`, `0.0.4`, `0.0.5`, `0.0.6`, `latest`
+- Проверено: `docker manifest inspect gitea.services.ngcloud.ru/terraform/tf_registry:0.0.6` → OK.
+- `0.0.6` digest: `sha256:0888e5bc16b8359fecc829b67f801245e7df0c355a7bc0086ab37bd21db897f2`
+- `latest` и `0.0.3` указывают на один digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc508625919927792bda5`
+- Тег `0.0.2` отсутствовал и локально, и в registry (не публиковался).
+
+## Обновления remote в локальных копиях
+
+- `tf_provider` origin → `https://gitea.services.ngcloud.ru/terraform/tf_provider.git`
+- `tf_registry` origin → `https://gitea.services.ngcloud.ru/terraform/tf_registry.git`
+- `tf_docs` origin → `https://gitea.services.ngcloud.ru/terraform/tf_docs.git`
+
+## Осталось (ручной шаг в Nubes Cloud UI)
+
+- Обновить `registryPath` инстанса реестра (`tf-registry.containerk8s.services.ngcloud.ru`) с `gitea.services.ngcloud.ru/nail/tf_registry:<тег>` на `gitea.services.ngcloud.ru/terraform/tf_registry:<тег>`.
+- Выполнить redeploy через UI `modify`.
+- Старые образы в `nail/tf_registry` можно удалить после подтверждения, что новый путь работает.
+
+## Напоминание
+
+- Docker-имя registry требует lowercase: `terraform/tf_registry`, не `Terraform/...`.
+- Команды сборки/пуша в README теперь указывают на `gitea.services.ngcloud.ru/terraform/tf_registry`.

HISTORY/docs-service-plan.md

@@ -0,0 +1,122 @@
+# План: отдельный сервис документации (Node.js)
+
+## Целевая архитектура
+
+```
+S3 (nubes-terraform-registry)  — статика документации, только docs/*
+Node.js-сервис                 — раздаёт /docs/* + кеш с TTL
+registry (Go)                  — только Terraform-протокол:
+                                 /.well-known/*, /v1/providers/*, /v1/proxy
+```
+
+## Что выносится из registry
+
+- Маршрут `/docs/` и функция `docsHandler` (удаляются из `server/main.go` и `server/docs.go`).
+- Провайдерская логика (`discoveryHandler`, `router`, `proxyHandler`, `rootHandler`, `healthz/readyz`) — НЕ меняется.
+
+## Соглашения для сервиса документации (перенос из бывшего server/docs.go)
+
+Файл `docs.go` не является уникальным активом; он описывает обычный маппинг
+URL → S3-ключ. При переносе на Node.js достаточно воспроизвести три правила:
+
+1. **Формат S3-ключей документации:**
+   ```
+   docs/<namespace>/<name>/<version>/<rest>
+   при пустом rest → docs/<namespace>/<name>/<version>/index.html
+   ```
+
+2. **Fallback-цепочка при неизвестном пути:**
+   точный путь → `<путь>/index.html` (если путь похож на каталог) → корневой `index.html`.
+
+3. **Content-Type:**
+   через `mime.TypeByExtension`; fallback на `text/html; charset=utf-8` для
+   `index.html`/`.html`, иначе `application/octet-stream`.
+
+4. **Добавить то, чего в сервисе документации будет больше, чем в docs.go:**
+   in-memory кеш с TTL (например, 60–300 сек) и заголовок `Cache-Control`.
+
+## Endpoint Node.js-сервиса
+
+```
+GET /docs/<namespace>/<name>/<version>/<rest>
+```
+
+## Переменные окружения (общие с registry)
+
+- `S3_ENDPOINT`, `S3_BUCKET`, `S3_ACCESS_KEY`, `S3_SECRET_KEY`
+  (точки доступа — как в `secrets/env.txt`).
+
+## DNS / Ingress
+
+- `/docs/*` → Node.js-сервис.
+- `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry.
+- Тот же домен `tf-registry.containerk8s.services.ngcloud.ru`, пути разводятся в Ingress.
+  (При отдельном поддомене потребуется переписывать ссылки в HTML.)
+
+## Порядок работ
+
+1. Вынести `/docs/` из registry (этот шаг).
+2. Написать Node.js-сервис (маппинг + кеш + Content-Type).
+3. Dockerfile + образ в gitea + деплой сервиса.
+4. Ingress-правило для `/docs/*`.
+5. Переписать генератор документации под новые соглашения (отдельная задача).
+6. Smoke-тесты: HTML 200, CSS/JS 200, ссылки валидны.
+
+## Статус
+
+- [x] Вынести документацию из registry (v0.0.6)
+- [ ] Node.js-сервис (отдельная репа)
+- [ ] Деплой + Ingress
+- [ ] Переписанный генератор
+
+---
+
+# План (принципиальный) — отдельная репа
+
+Код — в отдельной репе, сюда только итоговый результат.
+
+## Принципы
+
+1. **Разделение по ответственности.**
+   - registry — только Terraform-протокол (уже сделано, v0.0.6).
+   - docs-сервис — только раздача статики `/docs/*`.
+   - S3 — только хранилище статики, prefix `docs/`.
+
+2. **Сервис документации = статический сервер, не приложение.**
+   Никакого рендеринга и шаблонов. Одна функция: URL → S3-ключ → файл.
+
+3. **Язык — Node.js.**
+   Лёгкий, быстрый, встроенный кеш, тот же S3 SDK. (nginx — запасной вариант, если не нужен код.)
+
+4. **Кеш обязателен.**
+   in-memory кеш с TTL (60–300 сек) + `Cache-Control`. Это решает исходную проблему «тормозит и кеширует».
+
+5. **Один домен, пути разводятся в Ingress.**
+   - `/docs/*` → docs-сервис
+   - `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry
+   Отдельный поддомен не нужен — тогда не придётся переписывать ссылки в HTML.
+
+6. **Доступ к S3 — те же credentials, но только к `docs/*`.**
+   Ключ доступа с правом чтения `docs/`, без доступа к провайдерским артефактам.
+
+## Соглашения из бывшего docs.go (перенести на Node)
+
+- S3-ключ: `docs/<ns>/<name>/<version>/<rest>`; пустой `rest` → `index.html`.
+- Fallback: точный путь → `<путь>/index.html` → корневой `index.html`.
+- Content-Type по расширению; `index.html` → `text/html; charset=utf-8`.
+
+## Минимальный объём сервиса
+
+- `GET /docs/:ns/:name/:version/*` → S3-ключ → отдать файл + кеш.
+- Dockerfile → образ в gitea → деплой.
+- Ingress-правило для `/docs/*`.
+
+## Что отдаётся обратно в эту репу
+
+- Только ссылка на репу + итоговый Dockerfile/конфиг, если договоримся держать деплой-артефакты здесь.
+- Сам код docs-сервиса — в отдельной репе.
+
+## Генератор — отдельная задача (НЕ входит в этот план)
+
+- Переписывается отдельно, чтобы ссылки на ассеты были корректны.
+- К docs-сервису относится только как «потребитель» результата.

HISTORY/incident-2026-09-01-proxy-s3-dns.md

@@ -0,0 +1,64 @@
+# Инцидент 2026-09-01: обрыв скачивания провайдера + медленный DNS на ВМ
+
+## Симптом (исходный)
+
+- `GET /v1/proxy?key=...` отдавал `HTTP 200` + `Content-Length: 13083236`, но поток обрывался на ~18–23 KB (curl `(28) Operation timed out`).
+- `Range`-запросы игнорировались — сервер заново отдавал весь файл и зависал.
+- Гипотеза: кластерный ingress-шлюз режет исходящий streaming (по аналогии с drhider, где резались входящие тела >64 KB).
+
+## Диагностика
+
+- `s3.msk-1.ngcloud.ru` публично доступен: DNS `185.228.248.165/166/167`, `HTTP 200` (Ceph Object Gateway).
+- `gitea.services.ngcloud.ru` НЕ доступен с ВМ сборки `5.172.178.213`:
+  - публичный IP `194.31.9.41:443` — TCP таймаут;
+  - внутренний ClusterIP `10.96.52.11:443` (`gitea.mgmt.nubes.ru`) — TCP таймаут (подсеть `10.96.0.0/16` с ВМ не маршрутизируется);
+  - с локальной машины gitea доступен (`200` за 0.36s). → «в одном облаке» ≠ открыто: сети изолированы security-group/маршрутизацией.
+
+## Причина обрыва — НЕ кластер, а локальный прокси
+
+- На локальной машине задан `HTTP_PROXY/HTTPS_PROXY=http://172.17.192.1:10808` (v2ray/clash-тип).
+- Через прокси режется любой большой исходящий поток (~16–23 KB) — и старый стриминг через кластер, и прямое скачивание с S3.
+- Без прокси (`curl --noproxy '*'`) файл качается полностью: 13 083 236 байт за 6.3s, `unzip -t` — OK.
+- С ВМ (без прокси) тот же файл: 13 083 236 байт за 11.3s, `unzip -t` — OK.
+- **Вывод:** исходная гипотеза «кластерный шлюз режет» не подтвердилась.
+
+## Фикс registry: redirect на pre-signed S3 URL (выполнено)
+
+- `server/proxy.go`, `proxyHandler`: убраны `GetObject`/`Stat`/`io.Copy`; вместо этого
+  `PresignedGetObject(ctx, bucketName, key, 15*time.Minute, nil)` + `http.Redirect(w, r, ..., http.StatusFound)`.
+- Удалён неиспользуемый импорт `s3`.
+- `server/main.go`: `VERSION 0.0.2 → 0.0.3`.
+- Проверка: `go build ./...` — OK.
+- Коммит `422736f`, запушен в `master`.
+- Образ: `docker build` (локально, т.к. gitea недоступен с ВМ) → `gitea.services.ngcloud.ru/nail/tf_registry:latest` и `:0.0.3`.
+- Digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc50862591992792bda5`.
+- Инстанс пересоздан в UI Nubes с образом `:0.0.3`.
+
+### Проверка фикса
+
+- `GET /v1/proxy?key=...` → `HTTP 302` + `Location: https://s3.msk-1.ngcloud.ru/...?X-Amz-...` (presigned, креды reader `6DDP5...`).
+- `curl -L` — 13 083 236 байт за 6.3s (без прокси), архив валиден.
+
+## Проблема terraform init на ВМ: медленный DNS
+
+- `terraform init` на ВМ падал: `failed to retrieve authentication checksums ... context deadline exceeded` (2 попытки).
+- Причина: DNS на ВМ. `resolv.conf` = `8.8.8.8` + `1.1.1.1`, оба **недоступны** с ВМ
+  (`nslookup` → `communications error: timed out`).
+- Каждый резолв доменов Nubes висел ~10 сек: `dns=10.6s` (registry), `dns=10.0s` (s3).
+- Terraform делает много резолвов → суммарный таймаут. Сама передача файлов работала нормально.
+
+### Решение: статические записи в /etc/hosts на ВМ
+
+- Добавлено (бэкап: `/etc/hosts.bak`):
+  - `5.172.178.231 tf-registry.containerk8s.services.ngcloud.ru`
+  - `185.228.248.165 s3.msk-1.ngcloud.ru`
+- После правки резолв мгновенный: `dns=0.0003s`, registry `total=0.022s`.
+- `terraform init` в `~/tf_provider/TEST_STAND/PGwNewRegistry` — **успех**:
+  `Installed ... nubes v5.0.5 (self-signed, key ID CB3A0DF161ECC416)`, `Terraform has been successfully initialized!`.
+
+## Итоговые выводы
+
+1. Обрыв больших файлов на ~16–23 KB — локальный прокси на машине тестирования, НЕ кластер.
+2. Фикс registry (302 → presigned S3) корректен и полезен: registry больше не участвует в передаче файла.
+3. `terraform init` с ВМ ломался из-за недоступного внешнего DNS; лечится `/etc/hosts` (или рабочим внутренним DNS).
+4. Gitea с ВМ сборки недоступен по сети — для сборки образа использовать машину с доступом (локальную).

README.md

@@ -42,8 +42,8 @@
 # Сборка образа (на ВМ)
 ssh naeel@5.172.178.213
 cd ~/tf_registry && git checkout go-container
-docker build -t gitea.services.ngcloud.ru/nail/tf_registry:latest .
-docker push gitea.services.ngcloud.ru/nail/tf_registry:latest
+docker build -t gitea.services.ngcloud.ru/terraform/tf_registry:latest .
+docker push gitea.services.ngcloud.ru/terraform/tf_registry:latest
 
 # Редеплой — через UI modify или пересоздать инстанс
 ```

server/docs.go

@@ -1,116 +0,0 @@
-package main
-
-import (
-	"context"
-	"fmt"
-	"io"
-	"log"
-	"mime"
-	"net/http"
-	"path/filepath"
-	"strings"
-
-	s3 "github.com/minio/minio-go/v7"
-)
-
-// parseDocsRequestPath parses paths like:
-// /docs/<namespace>/<name>/<version>/...  (rest may be empty)
-func parseDocsRequestPath(p string) (namespace, name, version, rest string, err error) {
-	p = strings.TrimPrefix(p, "/")
-	p = strings.TrimPrefix(p, "docs/")
-	parts := strings.SplitN(p, "/", 4)
-	if len(parts) < 3 {
-		err = fmt.Errorf("invalid docs path: %s", p)
-		return
-	}
-	namespace = parts[0]
-	name = parts[1]
-	version = parts[2]
-	if len(parts) == 3 {
-		rest = ""
-	} else {
-		rest = parts[3]
-	}
-	return
-}
-
-// docsObjectKey builds the S3 key for a docs object given parsed parts.
-func docsObjectKey(namespace, name, version, pathPart string) string {
-	clean := strings.TrimPrefix(pathPart, "/")
-	if clean == "" {
-		return fmt.Sprintf("docs/%s/%s/%s/index.html", namespace, name, version)
-	}
-	return fmt.Sprintf("docs/%s/%s/%s/%s", namespace, name, version, clean)
-}
-
-// tryCandidateKeys returns a list of keys to attempt for a given request path.
-// Order matters: exact path first, then <path>/index.html, then top-level index.
-func tryCandidateKeys(namespace, name, version, rest string) []string {
-	keys := []string{}
-	if rest == "" {
-		keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
-		return keys
-	}
-	// exact
-	keys = append(keys, docsObjectKey(namespace, name, version, rest))
-	// if it looks like a directory or has no extension, try index under it
-	if strings.HasSuffix(rest, "/") || filepath.Ext(rest) == "" {
-		keys = append(keys, docsObjectKey(namespace, name, version, strings.TrimSuffix(rest, "/")+"/index.html"))
-	}
-	// finally, try root index
-	keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
-	return keys
-}
-
-// docsHandler serves static documentation files from S3 (public-facing via Ingress).
-func docsHandler(w http.ResponseWriter, r *http.Request) {
-	ns, name, ver, rest, err := parseDocsRequestPath(r.URL.Path)
-	if err != nil {
-		http.Error(w, "Bad docs path", http.StatusBadRequest)
-		return
-	}
-
-	ctx := context.Background()
-	candidates := tryCandidateKeys(ns, name, ver, rest)
-	log.Printf("Docs candidates (host=%s): %v", hostname, candidates)
-
-	var lastErr error
-	for _, key := range candidates {
-		obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
-		if err != nil {
-			lastErr = err
-			continue
-		}
-		stat, err := obj.Stat()
-		if err != nil {
-			lastErr = err
-			_ = obj.Close()
-			continue
-		}
-
-		// Determine content-type
-		ext := filepath.Ext(key)
-		ctype := mime.TypeByExtension(ext)
-		if ctype == "" {
-			// fallback for HTML
-			if ext == ".html" || strings.HasSuffix(key, "index.html") {
-				ctype = "text/html; charset=utf-8"
-			} else {
-				ctype = "application/octet-stream"
-			}
-		}
-
-		w.Header().Set("Content-Type", ctype)
-		w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size))
-		w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
-
-		if _, err := io.Copy(w, obj); err != nil {
-			log.Printf("Error streaming object %s: %v", key, err)
-		}
-		_ = obj.Close()
-		return
-	}
-
-	log.Printf("Docs not found in candidates: %v, lastErr: %v", candidates, lastErr)
-	http.Error(w, "Documentation not found", http.StatusNotFound)
-}

server/main.go

@@ -24,7 +24,7 @@ var (
 	s3Prefix   = os.Getenv("S3_PREFIX")
 )
 
-const VERSION = "0.0.3"
+const VERSION = "0.0.6"
 
 func main() {
 	if hostname == "" {
@@ -56,7 +56,6 @@ func main() {
 	http.HandleFunc("/.well-known/terraform.json", discoveryHandler)
 	http.HandleFunc("/v1/providers/", router)
 	http.HandleFunc("/v1/proxy", proxyHandler)
-	http.HandleFunc("/docs/", docsHandler)
 	http.Handle("/static/", http.StripPrefix("/static/", http.FileServer(http.FS(logoFile))))
 	http.Handle("/", http.HandlerFunc(rootHandler))
 	http.HandleFunc("/healthz", healthzHandler)