proxy: redirect 302 на pre-signed S3 URL вместо стриминга (v0.0.3)

HISTORY/direct-S3-load.md

@@ -0,0 +1,290 @@
+Список задач обновлен
+
+Проверялись следующие endpoint’ы registry:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/.well-known/terraform.json
+```
+
+Результат: `HTTP 200`
+
+```json
+{"providers.v1":"/v1/providers/"}
+```
+
+Список версий:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/versions
+```
+
+Результат: `HTTP 200`
+
+Опубликованы:
+
+```text
+5.0.1
+5.0.2
+5.0.3
+5.0.4
+5.0.5
+5.1.17
+```
+
+Download metadata для `5.0.5`:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/5.0.5/download/linux/amd64
+```
+
+Результат: `HTTP 200`, ответ около `8 KB`, содержит:
+
+```text
+filename:
+terraform-provider-nubes_5.0.5_linux_amd64.zip
+
+download_url:
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=...
+```
+
+Фактический proxy URL:
+
+```text
+https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=tf-registry.containerk8s.services.ngcloud.ru%2Fnubes-test%2Fnubes%2F5.0.5%2Fterraform-provider-nubes_5.0.5_linux_amd64.zip
+```
+
+Проверка proxy:
+
+```text
+HTTP: 200
+Content-Type: application/octet-stream
+Content-Length: 13083236
+```
+
+Но фактически за 40 секунд скачалось только:
+
+```text
+20983 байт
+```
+
+и затем:
+
+```text
+curl: (28) Operation timed out
+```
+
+Дополнительно проверялись:
+
+```text
+nubes-test/nubes:5.1.17
+nubes/nubes:2.0.6
+```
+
+На них результат такой же: metadata отдается быстро, а ZIP через `/v1/proxy` обрывается примерно на `18–23 KB`.
+
+Проверялся также заголовок:
+
+```text
+Range: bytes=0-1023
+```
+
+и диапазон из середины файла:
+
+```text
+Range: bytes=1048576-1049599
+```
+
+Proxy игнорирует `Range`, отвечает `HTTP 200` и снова начинает отдавать весь файл, после чего передача зависает.
+
+Проверка DNS:
+
+```text
+getent hosts tf-registry.containerk8s.services.ngcloud.ru
+```
+
+Результат:
+
+```text
+5.172.178.231
+```
+
+Также проверялся Kubernetes API:
+
+```text
+kubectl get ingress -A
+kubectl get pods -A
+kubectl get svc -A
+kubectl get deploy -A
+kubectl get configmap -A
+```
+
+Но текущий kubeconfig не имеет credentials:
+
+```text
+the server has asked for the client to provide credentials
+Unauthorized
+```
+
+Итог: API registry и metadata работают. Проблемный участок:
+
+```text
+/v1/proxy -> S3 object -> HTTP streaming через Kubernetes
+```
+
+Именно там большой ZIP возвращается с `HTTP 200`, но поток фактически обрывается на десятках килобайт.
+
+Список задач обновлен
+
+Read 
+
+Read memory 
+
+Read , lines 1 to 80
+
+Read , lines 1 to 80
+
+Read , lines 1 to 80
+
+Теперь у меня есть контекст по drhider. Давай сравню симптомы:  
+
+Read 
+
+Read 
+
+## Анализ: сравнение проблем drhider и registry
+
+### Проблема в drhider (решена)
+
+| Аспект | Детали |
+|--------|--------|
+| Симптом | POST из браузера → тело запроса обрывалось на ~64КБ (HTTP 000, ~10с) |
+| Направление | **Входящий** трафик: браузер → кластер |
+| Корень | Managed-кластер, шлюз ingress обрывает тела входящих запросов >64КБ |
+| Решение | Браузер PUT файл на ВМ-буфер (обходит шлюз) → Flask тянет с ВМ (egress, без лимита) |
+
+### Проблема в registry (сейчас)
+
+| Аспект | Детали |
+|--------|--------|
+| Симптом | `GET /v1/proxy?key=...` → HTTP 200 мгновенно, но данные обрываются на 18–23 КБ |
+| Направление | **Исходящий** трафик: кластер → Terraform клиент |
+| Корень | Тот же кластерный шлюз, но теперь режет **streaming-ответ** (буферизация / flush-лимит) |
+
+### Это та же проблема?
+
+**Да, вероятно одна и та же инфраструктура** (`services.ngcloud.ru` — managed Nubes, тот же managed-кластер что и `pythonk8s.dev.nubes.ru`). Только направление противоположное:
+- drhider: шлюз режет входящее тело
+- registry: шлюз режет исходящий stream большого файла
+
+Дополнительный признак: у вас есть ещё одна задокументированная проблема — HTTP/2 резал git push к gitea (тот же шлюз, тот же паттерн). Range-запросы игнорируются — тоже поведение промежуточного буферизующего прокси.
+
+---
+
+### Применим ли обход через ВМ?
+
+**Да, но схема зеркальная.** В drhider проблема была на входе — данные шли в кластер. Здесь проблема на выходе — данные идут из кластера к Terraform.
+
+**Варианты обхода:**
+
+**Вариант A — Redirect на S3 pre-signed URL (чище всего)**
+
+`/v1/proxy` вместо стриминга генерирует временную pre-signed S3 ссылку и возвращает `302 Location: <s3-presigned-url>`. Terraform следует редиректу и скачивает ZIP напрямую с S3, минуя кластерный шлюз полностью.
+
+```
+Terraform → /v1/proxy?key=... → 302 Location: https://s3.../object?X-Amz-Expires=...
+Terraform → S3 напрямую → 200 + 13MB ✅
+```
+
+Terraform `go-getter` (используется в `terraform init`) редиректы поддерживает.
+
+**Вариант B — Redirect на ВМ-прокси**
+
+Если S3 не публичный / нет pre-signed URL — `/v1/proxy` отдаёт `302` на эндпоинт ВМ (`contracts.kube5s.ru/tf-proxy?key=...`). ВМ скачивает файл с S3 и стримит Terraform клиенту. ВМ находится вне шлюза managed-кластера.
+
+**Вариант C — Через download_url в metadata (самое прозрачное)**
+
+Вместо того чтобы `download_url` указывал на `/v1/proxy` внутри кластера — указывать сразу на S3 pre-signed URL или ВМ-прокси. Не нужно менять `/v1/proxy` вообще.
+
+---
+
+### Рекомендация
+
+Вариант A или C — наиболее чистые. Смотреть, есть ли доступ к S3 с кредами для pre-signed URL из кода registry. Если есть — минимальное изменение: в `/v1/proxy` заменить стриминг на `redirect(presigned_url, 302)`.
+
+Нужно смотреть код registry (`/v1/proxy` handler) чтобы подтвердить технически — он в этом же репозитории или в отдельном?
+
+Создано задач: 3
+
+Список задач обновлен
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Read 
+
+Картина полная. Вот анализ:
+
+---
+
+## Диагностика: та же проблема, другая сторона
+
+**Код проблемы — `proxy.go`, `proxyHandler`:**
+
+```go
+obj, _ := s3Client.GetObject(ctx, bucketName, key, ...)
+io.Copy(w, obj)  // ← Kubernetes шлюз режет этот stream
+```
+
+Тот же managed-кластер (`containerk8s.services.ngcloud.ru` — Nubes), тот же шлюз. В drhider он резал входящие тела >64KB. Здесь режет исходящий stream с S3 (~18–23KB — это первый буфер ответа, который шлюз успел пропустить до блокировки).
+
+`Content-Length: 13083236` выставляется, но данных доходит ~20KB — шлюз буферизует и не флашит остаток.
+
+---
+
+## Решение: presigned URL redirect
+
+`minio-go` уже импортирован, он умеет генерировать pre-signed URL:
+
+```go
+// вместо GetObject + io.Copy:
+presigned, err := s3Client.PresignedGetObject(ctx, bucketName, key, 15*time.Minute, url.Values{})
+http.Redirect(w, r, presigned.String(), http.StatusFound)
+```
+
+Terraform следует 302. Terraform client скачивает ZIP **напрямую с S3**, кластерный шлюз больше не участвует.
+
+Это затрагивает только `proxy.go` — 1 файл, примерно 10 строк замены.
+
+`ShasumsURL` и `ShasumsSignatureURL` тоже идут через `/v1/proxy` — они маленькие (<10KB), работают и сейчас, но с redirect тоже будут работать корректно.
+
+---
+
+## План
+
+**Файл:** server/proxy.go
+
+**Изменение:** в `proxyHandler` — убрать `GetObject` / `Stat` / `io.Copy` / установку заголовков, заменить на `PresignedGetObject` + `http.Redirect 302`. Добавить `"net/url"` в imports.
+
+**Верификация:**
+1. `go build `nubes`.` — компиляция
+2. `curl -v 'https://...registry.../v1/proxy?key=...' -L` — должен получить 302, затем скачать 13MB полностью
+3. `terraform init` в тестовом проекте с этим провайдером
+
+Делать?
+
+Создано задач: 4
+
+НИЧЕГО НЕ ДЕЛАЙ. КРАТКО ОТВЕТ ДАВАЙ - это надо менять код регистри ? и всё ?
+
+10:03
+Да. Только server/proxy.go — заменить стриминг на redirect к pre-signed S3 URL. Больше ничего.
+

HISTORY/incident-2026-08-31.md

@@ -0,0 +1,32 @@
+# Инцидент: `tf-registry.containerk8s.services.ngcloud.ru` отдаёт 503
+
+## Зафиксированные факты
+
+- `tf-registry.containerk8s.services.ngcloud.ru` резолвится в `5.172.178.231`.
+- Запросы `GET /healthz` и `GET /readyz` возвращают `HTTP/2 503` с телом nginx `503 Service Temporarily Unavailable`.
+- Прямое подключение к `5.172.178.231:5000` не устанавливается (порт backend наружу не публикуется).
+- VM `5.172.178.213` доступна, но это ВМ для сборки — managed-контейнер к ней отношения не имеет.
+- Следовательно, запрос не доходит до Go-сервера: это недоступный или не запущенный upstream, а не ошибка обработчиков `/healthz`, `/readyz` или S3 readiness.
+
+## Диагностика образа (подтверждённые факты)
+
+- Docker Registry Gitea (`gitea.services.ngcloud.ru/nail/tf_registry`) был **пуст**: `tags=` (тегов нет).
+- `docker manifest inspect ...:latest` → `manifest unknown`; `:0.0.2` → `manifest unknown`.
+- С ВМ `5.172.178.213` доступа до Gitea **нет**: TCP `194.31.9.41:443` — `SYN-SENT`, DNS `lookup gitea.services.ngcloud.ru` — `i/o timeout`, traceroute обрывается на `100.64.24.24`. Общий интернет с ВМ работает (docker hub доступен).
+- Локальная машина (Krupski) имеет доступ до Gitea напрямую; `docker login gitea.services.ngcloud.ru --username Naeel` → `Login Succeeded`.
+- Образ собран на ВМ из текущего `master` (rsync), затем перенесён локально через `docker save`/`scp`/`load`.
+
+## Push образа 0.0.1 (выполнено)
+
+- `docker push gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` (с локальной машины) — успешно.
+- Digest: `sha256:9a00836c916e2cae597e31dff2184a08550bd1be262bdba980d17de2943aa4a7`
+- Проверка: `docker pull gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` → `PULL_OK`.
+- ID образа: `sha256:3c76e53a7213d0404932aac6b8ad0dc0c254b35f14d6d3d420a18ba4ec07b0d3`
+
+## Требуемое восстановление
+
+1. В Nubes Cloud открыть инстанс с доменом `tf-registry.containerk8s.services.ngcloud.ru` и проверить состояние deployment/реплик и событий запуска.
+2. Обновить `registryPath` на `gitea.services.ngcloud.ru/nail/tf_registry:0.0.1` (образ с этим тегом уже опубликован).
+3. Проверить, что контейнер слушает `PORT=5000`, а healthcheck использует доступный путь.
+4. Выполнить redeploy через UI `modify`.
+5. После запуска проверить `https://tf-registry.containerk8s.services.ngcloud.ru/healthz` и `/.well-known/terraform.json`.

server/build-provider.sh

@@ -29,23 +29,22 @@ set -euo pipefail
 
 SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
 ROOT_DIR="${ROOT_DIR:-$(cd "${SCRIPT_DIR}/.." && pwd)}"
-PROVIDER_DIR="${PROVIDER_DIR:-${ROOT_DIR}/universal_rebuild}"
+PROVIDER_DIR="${PROVIDER_DIR:-${HOME}/tf_provider/provider}"
 BUILD_DIR="${BUILD_DIR:-${ROOT_DIR}/artifacts/provider_build}"
-GPG_KEY_FILE="${GPG_KEY_FILE:-${ROOT_DIR}/secrets/private_key.asc}"
+GPG_KEY_FILE="${GPG_KEY_FILE:-${HOME}/tf_provider/secrets/private_key.asc}"
 
 VERSION="${1:-2.0.2}"
-REGISTRY_HOSTNAME="${REGISTRY_HOSTNAME:-terra.k8c.ru}"
-NAMESPACE="${NAMESPACE:-nubes}"
+REGISTRY_HOSTNAME="${REGISTRY_HOSTNAME:-tf-registry.containerk8s.services.ngcloud.ru}"
+NAMESPACE="${NAMESPACE:-nubes-test}"
 PROVIDER_NAME="${PROVIDER_NAME:-nubes}"
-S3_BUCKET="${S3_BUCKET:-terraform-registry}"
+S3_BUCKET="${S3_BUCKET:-nubes-terraform-registry}"
 
-S3_ENDPOINT="${S3_ENDPOINT:-}"
+S3_ENDPOINT="${S3_ENDPOINT:-https://s3.msk-1.ngcloud.ru}"
 S3_ACCESS_KEY="${S3_ACCESS_KEY:-}"
 S3_SECRET_KEY="${S3_SECRET_KEY:-}"
 
-if [[ -z "$S3_ENDPOINT" || -z "$S3_ACCESS_KEY" || -z "$S3_SECRET_KEY" ]]; then
-  echo "Error: S3_ENDPOINT/S3_ACCESS_KEY/S3_SECRET_KEY must be set" >&2
-  echo "Hint: see ${ROOT_DIR}/secrets/.s3cfg_registry" >&2
+if [[ -z "$S3_ACCESS_KEY" || -z "$S3_SECRET_KEY" ]]; then
+  echo "Error: S3_ACCESS_KEY/S3_SECRET_KEY must be set" >&2
   exit 2
 fi
 
@@ -77,7 +76,7 @@ build_and_zip() {
   fi
 
   echo "Building for ${os}/${arch}..."
-  (cd "$PROVIDER_DIR" && CGO_ENABLED=0 GOOS="$os" GOARCH="$arch" go build -o "${BUILD_DIR}/${binary}" .)
+  (cd "$PROVIDER_DIR" && CGO_ENABLED=0 GOOS="$os" GOARCH="$arch" go build -ldflags "-X main.address=${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME} -X main.version=${VERSION}" -o "${BUILD_DIR}/${binary}" .)
 
   (cd "$BUILD_DIR" && python3 -m zipfile -c "terraform-provider-nubes_${VERSION}_${os}_${arch}.zip" "$binary")
   rm -f "${BUILD_DIR:?}/${binary}"
@@ -104,8 +103,8 @@ gpg --batch --yes --detach-sign --default-key "$key_id" \
   --output "${BUILD_DIR}/terraform-provider-nubes_${VERSION}_SHA256SUMS.sig" \
   "${BUILD_DIR}/terraform-provider-nubes_${VERSION}_SHA256SUMS"
 
-mc alias set registry "$s3_endpoint_url" "$S3_ACCESS_KEY" "$S3_SECRET_KEY" --api S3v4
-S3_PATH="registry/${S3_BUCKET}/${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME}/${VERSION}/"
+mc alias set prod-s3 "$s3_endpoint_url" "$S3_ACCESS_KEY" "$S3_SECRET_KEY" --api S3v4
+S3_PATH="prod-s3/${S3_BUCKET}/${REGISTRY_HOSTNAME}/${NAMESPACE}/${PROVIDER_NAME}/${VERSION}/"
 
 echo "Uploading to: ${S3_PATH}"
 mc cp "${BUILD_DIR}"/*.zip "$S3_PATH"

server/main.go

@@ -24,7 +24,7 @@ var (
 	s3Prefix   = os.Getenv("S3_PREFIX")
 )
 
-const VERSION = "0.0.2"
+const VERSION = "0.0.3"
 
 func main() {
 	if hostname == "" {

server/proxy.go

@@ -1,15 +1,9 @@
 package main
 
 import (
-	"context"
-	"fmt"
-	"io"
-	"log"
 	"net/http"
 	"strings"
 	"time"
-
-	s3 "github.com/minio/minio-go/v7"
 )
 
 func proxyHandler(w http.ResponseWriter, r *http.Request) {
@@ -24,32 +18,11 @@ func proxyHandler(w http.ResponseWriter, r *http.Request) {
 		return
 	}
 
-	ctx, cancel := context.WithTimeout(r.Context(), 60*time.Second)
-	defer cancel()
-
-	obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
+	presigned, err := s3Client.PresignedGetObject(r.Context(), bucketName, key, 15*time.Minute, nil)
 	if err != nil {
-		log.Printf("Error getting object %s/%s: %v", bucketName, key, err)
-		http.Error(w, "File not found", http.StatusNotFound)
-		return
-	}
-	defer obj.Close()
-
-	stat, err := obj.Stat()
-	if err != nil {
-		log.Printf("Error stating object %s/%s: %v", bucketName, key, err)
-		http.Error(w, "File not found or not accessible", http.StatusNotFound)
+		http.Error(w, "Failed to sign object", http.StatusInternalServerError)
 		return
 	}
 
-	w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size))
-	w.Header().Set("Content-Type", "application/octet-stream")
-	w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
-
-	written, err := io.Copy(w, obj)
-	if err != nil {
-		log.Printf("Error streaming object: %v (sent %d/%d bytes)", err, written, stat.Size)
-	} else {
-		log.Printf("Proxy: sent %d bytes for %s", written, key)
-	}
+	http.Redirect(w, r, presigned.String(), http.StatusFound)
 }