“Naeel”
79719e078d
- controllers/function_controller.go: в ensureDeployment добавить аннотацию kubectl.kubernetes.io/restartedAt = fn.Status.LastBuiltAt при обновлении существующего Deployment — принудительный rolling restart после каждой сборки - deployments/k8s/operator.yaml: образ обновлён до v0.1.11 - doc/errors/log.md: задокументирована причина и решение - doc/decisions/log.md: добавлено правило restartedAt + :latest - doc/progress.md: версия обновлена до v0.1.11 Причина бага: imagePullPolicy=IfNotPresent + :latest — kubelet кешировал старый образ, pod не рестартовал после успешного kaniko build.
319 lines
19 KiB
Markdown
319 lines
19 KiB
Markdown
# Ошибки и решения
|
||
|
||
> Сюда записываем проблемы с которыми столкнулись и как их решили.
|
||
|
||
## Шаблон записи
|
||
|
||
```
|
||
## YYYY-MM-DD — Короткое описание проблемы
|
||
|
||
**Проблема:** ...
|
||
|
||
**Причина:** ...
|
||
|
||
**Решение:** ...
|
||
```
|
||
|
||
## 2026-03-07 — kaniko: unsupported protocol scheme ""
|
||
|
||
**Проблема:** kaniko Job падает с `unsupported protocol scheme ""` при доступе к S3.
|
||
|
||
**Причина:** В env `S3_ENDPOINT` передавался хост без схемы (`s3.msk-1.ngcloud.ru`), kaniko ожидает полный URL.
|
||
|
||
**Решение:** В `builder.go` добавить `"https://" + b.s3Endpoint` при формировании env для kaniko. Также добавить `S3_FORCE_PATH_STYLE=true` — Ceph требует path-style URLs.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Бесконечный цикл сборки (94 job'а)
|
||
|
||
**Проблема:** После upload оператор создавал сотни kaniko Job'ов.
|
||
|
||
**Причина:** Upload handler вызывал `Status().Update(phase=Pending)` ПОСЛЕ того как контроллер уже выставил `Building`. Контроллер видел `Pending` → создавал новый Job, upload снова сбрасывал → цикл.
|
||
|
||
**Решение:**
|
||
1. `startBuild()` СНАЧАЛА ставит аннотацию `last-built-s3key = spec.S3Key` (idempotency guard), затем обновляет статус.
|
||
2. Reconcile запускает сборку только если `spec.S3Key != annotations["last-built-s3key"]`.
|
||
3. Upload handler убран `Status().Update()` — контроллер сам управляет фазой.
|
||
4. `IsAlreadyExists` при создании Job не считается ошибкой (parallel reconcile).
|
||
|
||
---
|
||
|
||
## 2026-03-07 — upload.go: "object has been modified; please apply your changes"
|
||
|
||
**Проблема:** `terraform apply` падал при попытке upload кода функции:
|
||
```
|
||
status 500: {"error":"update function: Operation cannot be fulfilled on functions.sless.kube5s.ru "pg-query": the object has been modified; please apply your changes to the latest version and try again"}
|
||
```
|
||
|
||
**Причина:** В `upload.go` использовался `h.K8s.Update(ctx, fn)`. Между `Get()` и `Update()` контроллер успевал изменить объект (выставить статус/аннотации) — `resourceVersion` в памяти устаревал, API-сервер отклонял обновление.
|
||
|
||
**Решение:** Заменить `Update` на `Patch` (strategic merge patch):
|
||
```go
|
||
patch := client.MergeFrom(fn.DeepCopy())
|
||
fn.Spec.S3Key = s3Key
|
||
fn.Spec.S3Bucket = h.S3.Bucket()
|
||
h.K8s.Patch(ctx, fn, patch)
|
||
```
|
||
`MergePatch` передаёт только изменённые поля и не требует точного `resourceVersion`.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Terraform Provider: "provider produced inconsistent result" для schedule
|
||
|
||
**Проблема:** При создании `sless_trigger` с `type=http` (без поля `schedule`) terraform падал:
|
||
```
|
||
.schedule: was null, but now cty.StringVal("")
|
||
```
|
||
|
||
**Причина:** В `trToModel()` провайдера `Schedule` всегда возвращался как `types.StringValue(tr.Schedule)`. Если schedule не задан, API возвращает пустую строку `""`, провайдер сохранял `""` в state. Terraform видел расхождение: в плане было `null` (поле не задано в HCL), в state после apply стало `""`.
|
||
|
||
**Решение:** В `trToModel()` возвращать `types.StringNull()` когда schedule пустая строка:
|
||
```go
|
||
schedule := types.StringNull()
|
||
if tr.Schedule != "" {
|
||
schedule = types.StringValue(tr.Schedule)
|
||
}
|
||
```
|
||
Правило: для `Optional` computed-полей пустая строка из API → `null` в state.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Terraform Provider: "Resource Import Not Implemented"
|
||
|
||
**Проблема:** После failed `terraform apply` (Function создалась, Trigger упал) state не содержал созданных ресурсов. Повторный apply падал с `status 409: function already exists`. `terraform import` тоже не работал:
|
||
```
|
||
This resource does not support import. Please contact the provider developer
|
||
```
|
||
|
||
**Причина:** В провайдере не реализован `ImportState` для ресурса `sless_function`.
|
||
|
||
**Решение (краткосрочное):** Удалить ресурсы из кластера вручную (`kubectl delete`) и повторить apply с чистым state.
|
||
|
||
**Решение (долгосрочное / TODO):** Реализовать `ImportState` для `sless_function` и `sless_trigger`:
|
||
```go
|
||
func (r *FunctionResource) ImportState(ctx context.Context, req resource.ImportStateRequest, resp *resource.ImportStateResponse) {
|
||
// ID формат: "namespace/name"
|
||
resource.ImportStatePassthroughID(ctx, path.Root("name"), req, resp)
|
||
}
|
||
```
|
||
|
||
---
|
||
|
||
## 2026-03-07 — handler.py: column "started_at" does not exist
|
||
|
||
**Проблема:** При вызове функции pg-query в логах пода:
|
||
```
|
||
psycopg2.errors.UndefinedColumn: column "started_at" does not exist
|
||
```
|
||
|
||
**Причина:** В `examples/pg-query/handler.py` использовалось имя колонки `started_at`, но в схеме `migrations/001_initial.sql` таблицы `invocations` колонка называется `created_at`.
|
||
|
||
**Решение:** Исправить `select` и `dict()` в handler.py: `started_at` → `created_at`.
|
||
|
||
**Урок:** При написании примеров всегда сверяться со схемой в `migrations/`.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Deployment не перезапустил pod после re-build образа
|
||
|
||
**Проблема:** После `terraform apply` (re-upload + kaniko пересборка) pod продолжал использовать старый код — `curl` возвращал ошибку `started_at`.
|
||
|
||
**Причина:** Образ тегируется как `:latest`. Kubernetes не перезапускает pod автоматически если тег не изменился — даже если образ на DockerHub обновился. `imagePullPolicy` по умолчанию `IfNotPresent` для non-digest образов, только `Always` гарантирует pull при каждом запуске.
|
||
|
||
**Решение (краткосрочное):** Явный `kubectl rollout restart deployment/pg-query -n sless-fn-default`.
|
||
|
||
**Решение (долгосрочное / TODO):** В `function_controller.go` после успешной сборки добавить `rollout restart` аннотацию:
|
||
```go
|
||
// Форсируем rollout через аннотацию kubectl.kubernetes.io/restartedAt
|
||
deployment.Spec.Template.Annotations["kubectl.kubernetes.io/restartedAt"] = time.Now().Format(time.RFC3339)
|
||
```
|
||
Либо использовать версионированные теги образов вместо `:latest` (`:v{timestamp}`).
|
||
|
||
---
|
||
|
||
## 2026-03-08 — output_md5 archive провайдера не обновляется при изменении кода
|
||
|
||
**Проблема:** `terraform plan` показывал "No changes" даже после изменения JS-файла функции. Функция отдавала старый код.
|
||
|
||
**Причина:** `code_hash = data.archive_file.handler_http.output_md5` — атрибут `output_md5` в `hashicorp/archive v2.7.x` возвращает MD5 от **предыдущей** версии zip (баг порядка вычисления). `output_sha` и `output_sha256` от того же файла обновлялись корректно.
|
||
|
||
**Решение:** Заменить `output_md5` на `filesha256("${path.module}/code/handler.js")` — хэшируется исходный файл напрямую, минуя archive провайдер.
|
||
|
||
**Урок:** Не использовать `output_md5` из `archive_file`. Использовать `filesha256(source_file)`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — FunctionJob зависал в Running навсегда
|
||
|
||
**Проблема:** `terraform apply` висел на `sless_job.hello_run: Still creating...` бесконечно. k8s Job давно завершился (Complete), но FunctionJob оставался в `Running`.
|
||
|
||
**Причина:** `SetupWithManager` использовал `Owns(&batchv1.Job{})` для watch событий Job. Но Job создавался в namespace `sless-fn-default`, а FunctionJob в `default` — cross-namespace OwnerReference не работают в k8s. Reconcile после завершения Job никогда не вызывался.
|
||
|
||
**Решение:** Убрать `Owns(&batchv1.Job{})`. В `syncJobStatus` добавить `return ctrl.Result{RequeueAfter: 5 * time.Second}` когда Job ещё выполняется — polling каждые 5 сек.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — ImagePullBackOff: sless-registry-auth не копировался в sless-fn-*
|
||
|
||
**Проблема:** Pod функции падал с `ImagePullBackOff` — не мог скачать образ из registry.
|
||
|
||
**Причина:** `buildDeployment` в `function_controller.go` не устанавливал `imagePullSecrets` в PodSpec. Секрет `sless-registry-auth` существовал только в namespace `sless`, но не копировался в `sless-fn-default`.
|
||
|
||
**Решение:** Добавить `ensureRegistrySecret()` — копирует секрет из `sless` в `sless-fn-*` при каждом reconcile. В `buildDeployment` добавить `ImagePullSecrets`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — CrashLoopBackOff: Cannot find module handler.js
|
||
|
||
**Проблема:** Pod функции падал: `Cannot find module '/app/function/handler.js'`. Entrypoint был `handler-http.handle` (файл `handler-http.js`), а server.js искал хардкоженный `handler.js`.
|
||
|
||
**Причина:** `server.js` и `server.py` runtime-образов хардкодили имя модуля `handler`. Поле `SLESS_ENTRYPOINT` env var не использовалось.
|
||
|
||
**Решение:** `server.js` и `server.py` переписаны: парсят `SLESS_ENTRYPOINT` (формат `"module.funcName"`), динамически загружают нужный модуль. Runtime пересобран как `v0.1.1`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — Kaniko cache: пересобирал образ со старым server.js
|
||
|
||
**Проблема:** После исправления `server.js` kaniko продолжал собирать образы с **старым** server.js из кэша.
|
||
|
||
**Причина:** Base image тегирован как `:latest`. Kaniko кэшировал слои — `FROM naeel/sless-runtime-nodejs20:latest` не перечитывал обновлённый образ.
|
||
|
||
**Решение:** Новый тег базового образа `v0.1.1`. В `upload.go` изменить `runtimeBaseImage("nodejs20")` → `naeel/sless-runtime-nodejs20:v0.1.1`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — RBAC: secrets is forbidden: cannot list
|
||
|
||
**Проблема:** Оператор падал: `secrets is forbidden: User "system:serviceaccount:sless:sless-operator" cannot list resource "secrets"`.
|
||
|
||
**Причина:** В `rbac.yaml` для secrets были только `get;create`, нужны также `list;watch` для controller-runtime.
|
||
|
||
**Решение:** Добавить `list;watch` в ClusterRole для `resources: ["secrets"]`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — Harbor registry нестабилен (504 Gateway Timeout)
|
||
|
||
**Проблема:** Kaniko падал: `GET https://pearlharbor.registryk8s.services.ngcloud.ru/v2/: unexpected status code 504 Gateway Timeout`. Периодически `/v2/` зависал на 10+ секунд или не отвечал вовсе.
|
||
|
||
**Причина:** Harbor — внешний сервис облачного провайдера, нестабилен по независящим от нас причинам. Поведение не зависит от VPN.
|
||
|
||
**Решение:** Переключить `REGISTRY_HOST` с Harbor на DockerHub (`naeel`). Образы функций теперь пушатся как `naeel/sless-default-{namespace}-{name}:latest`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — Provider: inconsistent result — image_ref изменился после apply
|
||
|
||
**Проблема:** После `terraform apply` ошибка:
|
||
```
|
||
Provider produced inconsistent result after apply
|
||
.image_ref: was cty.StringVal("pearlharbor..."), but now cty.StringVal("naeel/...")
|
||
```
|
||
|
||
**Причина:** `image_ref` в схеме провайдера имел `UseStateForUnknown()`. При plan terraform брал значение из state (старый Harbor путь). После apply API возвращал новый DockerHub путь. Расхождение план vs результат.
|
||
|
||
**Решение:** Убрать `UseStateForUnknown()` с `image_ref`. Теперь `image_ref` = `(known after apply)` при каждом apply — честно отражает что значение неизвестно до сборки. Провайдер `v0.1.5`.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — Provider: inconsistent result — phase Failed→Ready
|
||
|
||
**Проблема:**
|
||
```
|
||
Provider produced inconsistent result after apply
|
||
.phase: was cty.StringVal("Failed"), but now cty.StringVal("Ready")
|
||
```
|
||
|
||
**Причина:** При ошибке `WaitReady` (build failed) → `AddError` → `return`. `resp.State.Set` не вызывался → state не обновлялся → в state оставалось старое значение. Затем оператор замечал новый код, пересобирал → функция становилась Ready. Следующий `Read` возвращал `phase=Ready`, terraform видел расхождение.
|
||
|
||
**Решение:** Убрать `UseStateForUnknown()` с `image_ref` (связанный фикс). Для `phase` — `UseStateForUnknown()` оставлен, т.к. при нормальном flow `Ready→Ready` предсказуем.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — Стейл-сервис hello-node блокировал proxy запросы
|
||
|
||
**Проблема:** `GET /fn/default/hello-node` возвращал `operation not permitted` — `dial tcp 10.100.77.255:8080: connect: operation not permitted`.
|
||
|
||
**Причина:** Сервис `hello-node` в `sless-fn-default` существовал 26h с ClusterIP `10.100.77.255` но без Deployment/Pod. iptables дропал пакеты на несуществующий endpoint.
|
||
|
||
**Решение:** `kubectl delete svc hello-node -n sless-fn-default`.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Docker credStore: exec "docker-credential-desktop.exe"
|
||
|
||
**Проблема:** `docker push` падал с `exec: "docker-credential-desktop.exe": executable file not found`.
|
||
|
||
**Причина:** В `~/.docker/config.json` осталась запись `"credsStore": "desktop.exe"` от Docker Desktop.
|
||
|
||
**Решение:** Удалить поле `credsStore` из `~/.docker/config.json`, оставить только `auths` с base64 credentials.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — controller-gen v0.11.1 паникует с Go 1.23
|
||
|
||
**Проблема:** `operator-sdk create api` падает с panic в `controller-gen` при `make generate`.
|
||
|
||
**Причина:** controller-tools v0.11.1 несовместим с Go 1.23 (nil pointer dereference в go/types).
|
||
|
||
**Решение:** В `Makefile` заменить `CONTROLLER_TOOLS_VERSION ?= v0.11.1` на `v0.14.0`.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Dockerfile: operator не находит migrations/ при старте
|
||
|
||
**Проблема:** Оператор в кластере сразу падает в CrashLoopBackOff:
|
||
```
|
||
level=ERROR msg="read migration file" err="open migrations/001_initial.sql: no such file or directory"
|
||
```
|
||
**Причина:** Оригинальный `Dockerfile` копировал только `api/`, `controllers/`, `main.go`. Директории `internal/` и `migrations/` в образ не попадали.
|
||
**Решение:** Добавить в оба stage Dockerfile:
|
||
```dockerfile
|
||
COPY internal/ internal/ # в builder stage
|
||
COPY migrations/ migrations/ # и в builder, и в финальный alpine stage
|
||
```
|
||
`migrations/` нужен в финальном образе — оператор читает SQL-файлы в runtime при каждом старте.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — Dockerfile: golang:1.23 несовместим с go.mod (требует 1.25)
|
||
|
||
**Проблема:** `docker build` падает на `go mod download`:
|
||
```
|
||
go: go.mod requires go >= 1.25 (running go 1.23.12; GOTOOLCHAIN=local)
|
||
```
|
||
**Причина:** В `go.mod` указан `go 1.25`, Dockerfile использовал `golang:1.23-alpine`.
|
||
**Решение:** `FROM golang:1.23-alpine` → `FROM golang:1.25-alpine`.
|
||
|
||
---
|
||
|
||
## 2026-03-07 — go.mod: прямые зависимости помечены как indirect
|
||
|
||
**Проблема:** gopls показывал ошибки в `go.mod`:
|
||
```
|
||
github.com/gorilla/mux should be direct
|
||
github.com/lib/pq should be direct
|
||
github.com/minio/minio-go/v7 should be direct
|
||
k8s.io/api should be direct
|
||
```
|
||
**Причина:** Пакеты получили `// indirect` несмотря на прямые импорты — побочный эффект scaffold-генерации operator-sdk.
|
||
**Решение:** `go mod tidy` автоматически расставил правильные аннотации.
|
||
|
||
---
|
||
|
||
## 2026-03-08 — После kaniko rebuild функция возвращает старый код
|
||
|
||
**Проблема:** `terraform apply` с изменённым кодом успешно завершал kaniko build, но функция продолжала возвращать старую версию кода.
|
||
|
||
**Причина:** `imagePullPolicy: IfNotPresent` (default в k8s) + `:latest` тег — после успешной сборки оператор обновлял `.spec.template.spec.containers[0].image`, но image tag не менялся (всегда `:latest`). Kubernetes видел что образ уже есть на ноде и не пул-ил новый. Pod оставался запущенным со старым образом.
|
||
|
||
**Решение:** В `controllers/function_controller.go`, функция `ensureDeployment`, после обновления image добавлена аннотация:
|
||
```go
|
||
existing.Spec.Template.Annotations["kubectl.kubernetes.io/restartedAt"] = fn.Status.LastBuiltAt.Time.Format(time.RFC3339)
|
||
```
|
||
Аннотация меняется при каждой новой сборке (значение = `lastBuiltAt`) → Kubernetes делает rolling restart → kubelet пул-ит свежий образ.
|
||
Оператор: **v0.1.11**.
|
||
|
||
---
|