9 Commits
9 changed files with 517 additions and 150 deletions
+1
View File
@@ -10,6 +10,7 @@ dist/
*.out *.out
vendor/ vendor/
go.sum.bak go.sum.bak
server/tf-registry
# ── Python ───────────────────────────────────────────────────────────────────── # ── Python ─────────────────────────────────────────────────────────────────────
__pycache__/ __pycache__/
@@ -0,0 +1,34 @@
# 2026-09-02: Перенос git-репозиториев и Docker-образов из `Nail` в организацию `terraform`
## Факты
- Git-репозитории `tf_provider`, `tf_registry`, `tf_docs` перенесены вручную из аккаунта `Nail` в организацию `terraform` на Gitea.
- Старые адреса `gitea.services.ngcloud.ru/Nail/...` отдают redirect на `terraform/...`.
- Docker-образы реестра **не переносились автоматически** — оставались в `gitea.services.ngcloud.ru/nail/tf_registry`.
## Выполнено (перенос образов)
Локально (Krupski) перетегированы и запушены в `gitea.services.ngcloud.ru/terraform/tf_registry` все актуальные теги:
- `0.0.1`, `0.0.3`, `0.0.4`, `0.0.5`, `0.0.6`, `latest`
- Проверено: `docker manifest inspect gitea.services.ngcloud.ru/terraform/tf_registry:0.0.6` → OK.
- `0.0.6` digest: `sha256:0888e5bc16b8359fecc829b67f801245e7df0c355a7bc0086ab37bd21db897f2`
- `latest` и `0.0.3` указывают на один digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc508625919927792bda5`
- Тег `0.0.2` отсутствовал и локально, и в registry (не публиковался).
## Обновления remote в локальных копиях
- `tf_provider` origin → `https://gitea.services.ngcloud.ru/terraform/tf_provider.git`
- `tf_registry` origin → `https://gitea.services.ngcloud.ru/terraform/tf_registry.git`
- `tf_docs` origin → `https://gitea.services.ngcloud.ru/terraform/tf_docs.git`
## Осталось (ручной шаг в Nubes Cloud UI)
- Обновить `registryPath` инстанса реестра (`tf-registry.containerk8s.services.ngcloud.ru`) с `gitea.services.ngcloud.ru/nail/tf_registry:<тег>` на `gitea.services.ngcloud.ru/terraform/tf_registry:<тег>`.
- Выполнить redeploy через UI `modify`.
- Старые образы в `nail/tf_registry` можно удалить после подтверждения, что новый путь работает.
## Напоминание
- Docker-имя registry требует lowercase: `terraform/tf_registry`, не `Terraform/...`.
- Команды сборки/пуша в README теперь указывают на `gitea.services.ngcloud.ru/terraform/tf_registry`.
+290
View File
@@ -0,0 +1,290 @@
Список задач обновлен
Проверялись следующие endpoint’ы registry:
```text
https://tf-registry.containerk8s.services.ngcloud.ru/.well-known/terraform.json
```
Результат: `HTTP 200`
```json
{"providers.v1":"/v1/providers/"}
```
Список версий:
```text
https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/versions
```
Результат: `HTTP 200`
Опубликованы:
```text
5.0.1
5.0.2
5.0.3
5.0.4
5.0.5
5.1.17
```
Download metadata для `5.0.5`:
```text
https://tf-registry.containerk8s.services.ngcloud.ru/v1/providers/nubes-test/nubes/5.0.5/download/linux/amd64
```
Результат: `HTTP 200`, ответ около `8 KB`, содержит:
```text
filename:
terraform-provider-nubes_5.0.5_linux_amd64.zip
download_url:
https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=...
```
Фактический proxy URL:
```text
https://tf-registry.containerk8s.services.ngcloud.ru/v1/proxy?key=tf-registry.containerk8s.services.ngcloud.ru%2Fnubes-test%2Fnubes%2F5.0.5%2Fterraform-provider-nubes_5.0.5_linux_amd64.zip
```
Проверка proxy:
```text
HTTP: 200
Content-Type: application/octet-stream
Content-Length: 13083236
```
Но фактически за 40 секунд скачалось только:
```text
20983 байт
```
и затем:
```text
curl: (28) Operation timed out
```
Дополнительно проверялись:
```text
nubes-test/nubes:5.1.17
nubes/nubes:2.0.6
```
На них результат такой же: metadata отдается быстро, а ZIP через `/v1/proxy` обрывается примерно на `18–23 KB`.
Проверялся также заголовок:
```text
Range: bytes=0-1023
```
и диапазон из середины файла:
```text
Range: bytes=1048576-1049599
```
Proxy игнорирует `Range`, отвечает `HTTP 200` и снова начинает отдавать весь файл, после чего передача зависает.
Проверка DNS:
```text
getent hosts tf-registry.containerk8s.services.ngcloud.ru
```
Результат:
```text
5.172.178.231
```
Также проверялся Kubernetes API:
```text
kubectl get ingress -A
kubectl get pods -A
kubectl get svc -A
kubectl get deploy -A
kubectl get configmap -A
```
Но текущий kubeconfig не имеет credentials:
```text
the server has asked for the client to provide credentials
Unauthorized
```
Итог: API registry и metadata работают. Проблемный участок:
```text
/v1/proxy -> S3 object -> HTTP streaming через Kubernetes
```
Именно там большой ZIP возвращается с `HTTP 200`, но поток фактически обрывается на десятках килобайт.
Список задач обновлен
Read
Read memory
Read , lines 1 to 80
Read , lines 1 to 80
Read , lines 1 to 80
Теперь у меня есть контекст по drhider. Давай сравню симптомы:
Read
Read
## Анализ: сравнение проблем drhider и registry
### Проблема в drhider (решена)
| Аспект | Детали |
|--------|--------|
| Симптом | POST из браузера → тело запроса обрывалось на ~64КБ (HTTP 000, ~10с) |
| Направление | **Входящий** трафик: браузер → кластер |
| Корень | Managed-кластер, шлюз ingress обрывает тела входящих запросов >64КБ |
| Решение | Браузер PUT файл на ВМ-буфер (обходит шлюз) → Flask тянет с ВМ (egress, без лимита) |
### Проблема в registry (сейчас)
| Аспект | Детали |
|--------|--------|
| Симптом | `GET /v1/proxy?key=...` → HTTP 200 мгновенно, но данные обрываются на 18–23 КБ |
| Направление | **Исходящий** трафик: кластер → Terraform клиент |
| Корень | Тот же кластерный шлюз, но теперь режет **streaming-ответ** (буферизация / flush-лимит) |
### Это та же проблема?
**Да, вероятно одна и та же инфраструктура** (`services.ngcloud.ru` — managed Nubes, тот же managed-кластер что и `pythonk8s.dev.nubes.ru`). Только направление противоположное:
- drhider: шлюз режет входящее тело
- registry: шлюз режет исходящий stream большого файла
Дополнительный признак: у вас есть ещё одна задокументированная проблема — HTTP/2 резал git push к gitea (тот же шлюз, тот же паттерн). Range-запросы игнорируются — тоже поведение промежуточного буферизующего прокси.
---
### Применим ли обход через ВМ?
**Да, но схема зеркальная.** В drhider проблема была на входе — данные шли в кластер. Здесь проблема на выходе — данные идут из кластера к Terraform.
**Варианты обхода:**
**Вариант A — Redirect на S3 pre-signed URL (чище всего)**
`/v1/proxy` вместо стриминга генерирует временную pre-signed S3 ссылку и возвращает `302 Location: <s3-presigned-url>`. Terraform следует редиректу и скачивает ZIP напрямую с S3, минуя кластерный шлюз полностью.
```
Terraform → /v1/proxy?key=... → 302 Location: https://s3.../object?X-Amz-Expires=...
Terraform → S3 напрямую → 200 + 13MB ✅
```
Terraform `go-getter` (используется в `terraform init`) редиректы поддерживает.
**Вариант B — Redirect на ВМ-прокси**
Если S3 не публичный / нет pre-signed URL — `/v1/proxy` отдаёт `302` на эндпоинт ВМ (`contracts.kube5s.ru/tf-proxy?key=...`). ВМ скачивает файл с S3 и стримит Terraform клиенту. ВМ находится вне шлюза managed-кластера.
**Вариант C — Через download_url в metadata (самое прозрачное)**
Вместо того чтобы `download_url` указывал на `/v1/proxy` внутри кластера — указывать сразу на S3 pre-signed URL или ВМ-прокси. Не нужно менять `/v1/proxy` вообще.
---
### Рекомендация
Вариант A или C — наиболее чистые. Смотреть, есть ли доступ к S3 с кредами для pre-signed URL из кода registry. Если есть — минимальное изменение: в `/v1/proxy` заменить стриминг на `redirect(presigned_url, 302)`.
Нужно смотреть код registry (`/v1/proxy` handler) чтобы подтвердить технически — он в этом же репозитории или в отдельном?
Создано задач: 3
Список задач обновлен
Read
Read
Read
Read
Read
Read
Read
Картина полная. Вот анализ:
---
## Диагностика: та же проблема, другая сторона
**Код проблемы — `proxy.go`, `proxyHandler`:**
```go
obj, _ := s3Client.GetObject(ctx, bucketName, key, ...)
io.Copy(w, obj) // ← Kubernetes шлюз режет этот stream
```
Тот же managed-кластер (`containerk8s.services.ngcloud.ru` — Nubes), тот же шлюз. В drhider он резал входящие тела >64KB. Здесь режет исходящий stream с S3 (~18–23KB — это первый буфер ответа, который шлюз успел пропустить до блокировки).
`Content-Length: 13083236` выставляется, но данных доходит ~20KB — шлюз буферизует и не флашит остаток.
---
## Решение: presigned URL redirect
`minio-go` уже импортирован, он умеет генерировать pre-signed URL:
```go
// вместо GetObject + io.Copy:
presigned, err := s3Client.PresignedGetObject(ctx, bucketName, key, 15*time.Minute, url.Values{})
http.Redirect(w, r, presigned.String(), http.StatusFound)
```
Terraform следует 302. Terraform client скачивает ZIP **напрямую с S3**, кластерный шлюз больше не участвует.
Это затрагивает только `proxy.go` — 1 файл, примерно 10 строк замены.
`ShasumsURL` и `ShasumsSignatureURL` тоже идут через `/v1/proxy` — они маленькие (<10KB), работают и сейчас, но с redirect тоже будут работать корректно.
---
## План
**Файл:** server/proxy.go
**Изменение:** в `proxyHandler` — убрать `GetObject` / `Stat` / `io.Copy` / установку заголовков, заменить на `PresignedGetObject` + `http.Redirect 302`. Добавить `"net/url"` в imports.
**Верификация:**
1. `go build `nubes`.` — компиляция
2. `curl -v 'https://...registry.../v1/proxy?key=...' -L` — должен получить 302, затем скачать 13MB полностью
3. `terraform init` в тестовом проекте с этим провайдером
Делать?
Создано задач: 4
НИЧЕГО НЕ ДЕЛАЙ. КРАТКО ОТВЕТ ДАВАЙ - это надо менять код регистри ? и всё ?
10:03
Да. Только server/proxy.go — заменить стриминг на redirect к pre-signed S3 URL. Больше ничего.
+122
View File
@@ -0,0 +1,122 @@
# План: отдельный сервис документации (Node.js)
## Целевая архитектура
```
S3 (nubes-terraform-registry) — статика документации, только docs/*
Node.js-сервис — раздаёт /docs/* + кеш с TTL
registry (Go) — только Terraform-протокол:
/.well-known/*, /v1/providers/*, /v1/proxy
```
## Что выносится из registry
- Маршрут `/docs/` и функция `docsHandler` (удаляются из `server/main.go` и `server/docs.go`).
- Провайдерская логика (`discoveryHandler`, `router`, `proxyHandler`, `rootHandler`, `healthz/readyz`) — НЕ меняется.
## Соглашения для сервиса документации (перенос из бывшего server/docs.go)
Файл `docs.go` не является уникальным активом; он описывает обычный маппинг
URL → S3-ключ. При переносе на Node.js достаточно воспроизвести три правила:
1. **Формат S3-ключей документации:**
```
docs/<namespace>/<name>/<version>/<rest>
при пустом rest → docs/<namespace>/<name>/<version>/index.html
```
2. **Fallback-цепочка при неизвестном пути:**
точный путь → `<путь>/index.html` (если путь похож на каталог) → корневой `index.html`.
3. **Content-Type:**
через `mime.TypeByExtension`; fallback на `text/html; charset=utf-8` для
`index.html`/`.html`, иначе `application/octet-stream`.
4. **Добавить то, чего в сервисе документации будет больше, чем в docs.go:**
in-memory кеш с TTL (например, 60–300 сек) и заголовок `Cache-Control`.
## Endpoint Node.js-сервиса
```
GET /docs/<namespace>/<name>/<version>/<rest>
```
## Переменные окружения (общие с registry)
- `S3_ENDPOINT`, `S3_BUCKET`, `S3_ACCESS_KEY`, `S3_SECRET_KEY`
(точки доступа — как в `secrets/env.txt`).
## DNS / Ingress
- `/docs/*` → Node.js-сервис.
- `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry.
- Тот же домен `tf-registry.containerk8s.services.ngcloud.ru`, пути разводятся в Ingress.
(При отдельном поддомене потребуется переписывать ссылки в HTML.)
## Порядок работ
1. Вынести `/docs/` из registry (этот шаг).
2. Написать Node.js-сервис (маппинг + кеш + Content-Type).
3. Dockerfile + образ в gitea + деплой сервиса.
4. Ingress-правило для `/docs/*`.
5. Переписать генератор документации под новые соглашения (отдельная задача).
6. Smoke-тесты: HTML 200, CSS/JS 200, ссылки валидны.
## Статус
- [x] Вынести документацию из registry (v0.0.6)
- [ ] Node.js-сервис (отдельная репа)
- [ ] Деплой + Ingress
- [ ] Переписанный генератор
---
# План (принципиальный) — отдельная репа
Код — в отдельной репе, сюда только итоговый результат.
## Принципы
1. **Разделение по ответственности.**
- registry — только Terraform-протокол (уже сделано, v0.0.6).
- docs-сервис — только раздача статики `/docs/*`.
- S3 — только хранилище статики, prefix `docs/`.
2. **Сервис документации = статический сервер, не приложение.**
Никакого рендеринга и шаблонов. Одна функция: URL → S3-ключ → файл.
3. **Язык — Node.js.**
Лёгкий, быстрый, встроенный кеш, тот же S3 SDK. (nginx — запасной вариант, если не нужен код.)
4. **Кеш обязателен.**
in-memory кеш с TTL (60–300 сек) + `Cache-Control`. Это решает исходную проблему «тормозит и кеширует».
5. **Один домен, пути разводятся в Ingress.**
- `/docs/*` → docs-сервис
- `/.well-known/*`, `/v1/providers/*`, `/v1/proxy` → registry
Отдельный поддомен не нужен — тогда не придётся переписывать ссылки в HTML.
6. **Доступ к S3 — те же credentials, но только к `docs/*`.**
Ключ доступа с правом чтения `docs/`, без доступа к провайдерским артефактам.
## Соглашения из бывшего docs.go (перенести на Node)
- S3-ключ: `docs/<ns>/<name>/<version>/<rest>`; пустой `rest` → `index.html`.
- Fallback: точный путь → `<путь>/index.html` → корневой `index.html`.
- Content-Type по расширению; `index.html` → `text/html; charset=utf-8`.
## Минимальный объём сервиса
- `GET /docs/:ns/:name/:version/*` → S3-ключ → отдать файл + кеш.
- Dockerfile → образ в gitea → деплой.
- Ingress-правило для `/docs/*`.
## Что отдаётся обратно в эту репу
- Только ссылка на репу + итоговый Dockerfile/конфиг, если договоримся держать деплой-артефакты здесь.
- Сам код docs-сервиса — в отдельной репе.
## Генератор — отдельная задача (НЕ входит в этот план)
- Переписывается отдельно, чтобы ссылки на ассеты были корректны.
- К docs-сервису относится только как «потребитель» результата.
@@ -0,0 +1,64 @@
# Инцидент 2026-09-01: обрыв скачивания провайдера + медленный DNS на ВМ
## Симптом (исходный)
- `GET /v1/proxy?key=...` отдавал `HTTP 200` + `Content-Length: 13083236`, но поток обрывался на ~18–23 KB (curl `(28) Operation timed out`).
- `Range`-запросы игнорировались — сервер заново отдавал весь файл и зависал.
- Гипотеза: кластерный ingress-шлюз режет исходящий streaming (по аналогии с drhider, где резались входящие тела >64 KB).
## Диагностика
- `s3.msk-1.ngcloud.ru` публично доступен: DNS `185.228.248.165/166/167`, `HTTP 200` (Ceph Object Gateway).
- `gitea.services.ngcloud.ru` НЕ доступен с ВМ сборки `5.172.178.213`:
- публичный IP `194.31.9.41:443` — TCP таймаут;
- внутренний ClusterIP `10.96.52.11:443` (`gitea.mgmt.nubes.ru`) — TCP таймаут (подсеть `10.96.0.0/16` с ВМ не маршрутизируется);
- с локальной машины gitea доступен (`200` за 0.36s). → «в одном облаке» ≠ открыто: сети изолированы security-group/маршрутизацией.
## Причина обрыва — НЕ кластер, а локальный прокси
- На локальной машине задан `HTTP_PROXY/HTTPS_PROXY=http://172.17.192.1:10808` (v2ray/clash-тип).
- Через прокси режется любой большой исходящий поток (~16–23 KB) — и старый стриминг через кластер, и прямое скачивание с S3.
- Без прокси (`curl --noproxy '*'`) файл качается полностью: 13 083 236 байт за 6.3s, `unzip -t` — OK.
- С ВМ (без прокси) тот же файл: 13 083 236 байт за 11.3s, `unzip -t` — OK.
- **Вывод:** исходная гипотеза «кластерный шлюз режет» не подтвердилась.
## Фикс registry: redirect на pre-signed S3 URL (выполнено)
- `server/proxy.go`, `proxyHandler`: убраны `GetObject`/`Stat`/`io.Copy`; вместо этого
`PresignedGetObject(ctx, bucketName, key, 15*time.Minute, nil)` + `http.Redirect(w, r, ..., http.StatusFound)`.
- Удалён неиспользуемый импорт `s3`.
- `server/main.go`: `VERSION 0.0.2 → 0.0.3`.
- Проверка: `go build ./...` — OK.
- Коммит `422736f`, запушен в `master`.
- Образ: `docker build` (локально, т.к. gitea недоступен с ВМ) → `gitea.services.ngcloud.ru/nail/tf_registry:latest` и `:0.0.3`.
- Digest: `sha256:e3f8510d521025f4980c65226507f31aa9f4defe68e3bc50862591992792bda5`.
- Инстанс пересоздан в UI Nubes с образом `:0.0.3`.
### Проверка фикса
- `GET /v1/proxy?key=...` → `HTTP 302` + `Location: https://s3.msk-1.ngcloud.ru/...?X-Amz-...` (presigned, креды reader `6DDP5...`).
- `curl -L` — 13 083 236 байт за 6.3s (без прокси), архив валиден.
## Проблема terraform init на ВМ: медленный DNS
- `terraform init` на ВМ падал: `failed to retrieve authentication checksums ... context deadline exceeded` (2 попытки).
- Причина: DNS на ВМ. `resolv.conf` = `8.8.8.8` + `1.1.1.1`, оба **недоступны** с ВМ
(`nslookup` → `communications error: timed out`).
- Каждый резолв доменов Nubes висел ~10 сек: `dns=10.6s` (registry), `dns=10.0s` (s3).
- Terraform делает много резолвов → суммарный таймаут. Сама передача файлов работала нормально.
### Решение: статические записи в /etc/hosts на ВМ
- Добавлено (бэкап: `/etc/hosts.bak`):
- `5.172.178.231 tf-registry.containerk8s.services.ngcloud.ru`
- `185.228.248.165 s3.msk-1.ngcloud.ru`
- После правки резолв мгновенный: `dns=0.0003s`, registry `total=0.022s`.
- `terraform init` в `~/tf_provider/TEST_STAND/PGwNewRegistry` — **успех**:
`Installed ... nubes v5.0.5 (self-signed, key ID CB3A0DF161ECC416)`, `Terraform has been successfully initialized!`.
## Итоговые выводы
1. Обрыв больших файлов на ~16–23 KB — локальный прокси на машине тестирования, НЕ кластер.
2. Фикс registry (302 → presigned S3) корректен и полезен: registry больше не участвует в передаче файла.
3. `terraform init` с ВМ ломался из-за недоступного внешнего DNS; лечится `/etc/hosts` (или рабочим внутренним DNS).
4. Gitea с ВМ сборки недоступен по сети — для сборки образа использовать машину с доступом (локальную).
+2 -2
View File
@@ -42,8 +42,8 @@
# Сборка образа (на ВМ) # Сборка образа (на ВМ)
ssh naeel@5.172.178.213 ssh naeel@5.172.178.213
cd ~/tf_registry && git checkout go-container cd ~/tf_registry && git checkout go-container
docker build -t gitea.services.ngcloud.ru/nail/tf_registry:latest . docker build -t gitea.services.ngcloud.ru/terraform/tf_registry:latest .
docker push gitea.services.ngcloud.ru/nail/tf_registry:latest docker push gitea.services.ngcloud.ru/terraform/tf_registry:latest
# Редеплой — через UI modify или пересоздать инстанс # Редеплой — через UI modify или пересоздать инстанс
``` ```
-116
View File
@@ -1,116 +0,0 @@
package main
import (
"context"
"fmt"
"io"
"log"
"mime"
"net/http"
"path/filepath"
"strings"
s3 "github.com/minio/minio-go/v7"
)
// parseDocsRequestPath parses paths like:
// /docs/<namespace>/<name>/<version>/... (rest may be empty)
func parseDocsRequestPath(p string) (namespace, name, version, rest string, err error) {
p = strings.TrimPrefix(p, "/")
p = strings.TrimPrefix(p, "docs/")
parts := strings.SplitN(p, "/", 4)
if len(parts) < 3 {
err = fmt.Errorf("invalid docs path: %s", p)
return
}
namespace = parts[0]
name = parts[1]
version = parts[2]
if len(parts) == 3 {
rest = ""
} else {
rest = parts[3]
}
return
}
// docsObjectKey builds the S3 key for a docs object given parsed parts.
func docsObjectKey(namespace, name, version, pathPart string) string {
clean := strings.TrimPrefix(pathPart, "/")
if clean == "" {
return fmt.Sprintf("docs/%s/%s/%s/index.html", namespace, name, version)
}
return fmt.Sprintf("docs/%s/%s/%s/%s", namespace, name, version, clean)
}
// tryCandidateKeys returns a list of keys to attempt for a given request path.
// Order matters: exact path first, then <path>/index.html, then top-level index.
func tryCandidateKeys(namespace, name, version, rest string) []string {
keys := []string{}
if rest == "" {
keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
return keys
}
// exact
keys = append(keys, docsObjectKey(namespace, name, version, rest))
// if it looks like a directory or has no extension, try index under it
if strings.HasSuffix(rest, "/") || filepath.Ext(rest) == "" {
keys = append(keys, docsObjectKey(namespace, name, version, strings.TrimSuffix(rest, "/")+"/index.html"))
}
// finally, try root index
keys = append(keys, docsObjectKey(namespace, name, version, "index.html"))
return keys
}
// docsHandler serves static documentation files from S3 (public-facing via Ingress).
func docsHandler(w http.ResponseWriter, r *http.Request) {
ns, name, ver, rest, err := parseDocsRequestPath(r.URL.Path)
if err != nil {
http.Error(w, "Bad docs path", http.StatusBadRequest)
return
}
ctx := context.Background()
candidates := tryCandidateKeys(ns, name, ver, rest)
log.Printf("Docs candidates (host=%s): %v", hostname, candidates)
var lastErr error
for _, key := range candidates {
obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
if err != nil {
lastErr = err
continue
}
stat, err := obj.Stat()
if err != nil {
lastErr = err
_ = obj.Close()
continue
}
// Determine content-type
ext := filepath.Ext(key)
ctype := mime.TypeByExtension(ext)
if ctype == "" {
// fallback for HTML
if ext == ".html" || strings.HasSuffix(key, "index.html") {
ctype = "text/html; charset=utf-8"
} else {
ctype = "application/octet-stream"
}
}
w.Header().Set("Content-Type", ctype)
w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size))
w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
if _, err := io.Copy(w, obj); err != nil {
log.Printf("Error streaming object %s: %v", key, err)
}
_ = obj.Close()
return
}
log.Printf("Docs not found in candidates: %v, lastErr: %v", candidates, lastErr)
http.Error(w, "Documentation not found", http.StatusNotFound)
}
+1 -2
View File
@@ -24,7 +24,7 @@ var (
s3Prefix = os.Getenv("S3_PREFIX") s3Prefix = os.Getenv("S3_PREFIX")
) )
const VERSION = "0.0.2" const VERSION = "0.0.6"
func main() { func main() {
if hostname == "" { if hostname == "" {
@@ -56,7 +56,6 @@ func main() {
http.HandleFunc("/.well-known/terraform.json", discoveryHandler) http.HandleFunc("/.well-known/terraform.json", discoveryHandler)
http.HandleFunc("/v1/providers/", router) http.HandleFunc("/v1/providers/", router)
http.HandleFunc("/v1/proxy", proxyHandler) http.HandleFunc("/v1/proxy", proxyHandler)
http.HandleFunc("/docs/", docsHandler)
http.Handle("/static/", http.StripPrefix("/static/", http.FileServer(http.FS(logoFile)))) http.Handle("/static/", http.StripPrefix("/static/", http.FileServer(http.FS(logoFile))))
http.Handle("/", http.HandlerFunc(rootHandler)) http.Handle("/", http.HandlerFunc(rootHandler))
http.HandleFunc("/healthz", healthzHandler) http.HandleFunc("/healthz", healthzHandler)
+3 -30
View File
@@ -1,15 +1,9 @@
package main package main
import ( import (
"context"
"fmt"
"io"
"log"
"net/http" "net/http"
"strings" "strings"
"time" "time"
s3 "github.com/minio/minio-go/v7"
) )
func proxyHandler(w http.ResponseWriter, r *http.Request) { func proxyHandler(w http.ResponseWriter, r *http.Request) {
@@ -24,32 +18,11 @@ func proxyHandler(w http.ResponseWriter, r *http.Request) {
return return
} }
ctx, cancel := context.WithTimeout(r.Context(), 60*time.Second) presigned, err := s3Client.PresignedGetObject(r.Context(), bucketName, key, 15*time.Minute, nil)
defer cancel()
obj, err := s3Client.GetObject(ctx, bucketName, key, s3.GetObjectOptions{})
if err != nil { if err != nil {
log.Printf("Error getting object %s/%s: %v", bucketName, key, err) http.Error(w, "Failed to sign object", http.StatusInternalServerError)
http.Error(w, "File not found", http.StatusNotFound)
return
}
defer obj.Close()
stat, err := obj.Stat()
if err != nil {
log.Printf("Error stating object %s/%s: %v", bucketName, key, err)
http.Error(w, "File not found or not accessible", http.StatusNotFound)
return return
} }
w.Header().Set("Content-Length", fmt.Sprintf("%d", stat.Size)) http.Redirect(w, r, presigned.String(), http.StatusFound)
w.Header().Set("Content-Type", "application/octet-stream")
w.Header().Set("Last-Modified", stat.LastModified.Format(http.TimeFormat))
written, err := io.Copy(w, obj)
if err != nil {
log.Printf("Error streaming object: %v (sent %d/%d bytes)", err, written, stat.Size)
} else {
log.Printf("Proxy: sent %d bytes for %s", written, key)
}
} }