# Ошибки и решения

> Сюда записываем проблемы с которыми столкнулись и как их решили.

## Шаблон записи

```
## YYYY-MM-DD — Короткое описание проблемы

**Проблема:** ...

**Причина:** ...

**Решение:** ...
```

## 2026-03-07 — kaniko: unsupported protocol scheme ""

**Проблема:** kaniko Job падает с `unsupported protocol scheme ""` при доступе к S3.

**Причина:** В env `S3_ENDPOINT` передавался хост без схемы (`s3.msk-1.ngcloud.ru`), kaniko ожидает полный URL.

**Решение:** В `builder.go` добавить `"https://" + b.s3Endpoint` при формировании env для kaniko. Также добавить `S3_FORCE_PATH_STYLE=true` — Ceph требует path-style URLs.

---

## 2026-03-07 — Бесконечный цикл сборки (94 job'а)

**Проблема:** После upload оператор создавал сотни kaniko Job'ов.

**Причина:** Upload handler вызывал `Status().Update(phase=Pending)` ПОСЛЕ того как контроллер уже выставил `Building`. Контроллер видел `Pending` → создавал новый Job, upload снова сбрасывал → цикл.

**Решение:**
1. `startBuild()` СНАЧАЛА ставит аннотацию `last-built-s3key = spec.S3Key` (idempotency guard), затем обновляет статус.
2. Reconcile запускает сборку только если `spec.S3Key != annotations["last-built-s3key"]`.
3. Upload handler убран `Status().Update()` — контроллер сам управляет фазой.
4. `IsAlreadyExists` при создании Job не считается ошибкой (parallel reconcile).

---

## 2026-03-07 — upload.go: "object has been modified; please apply your changes"

**Проблема:** `terraform apply` падал при попытке upload кода функции:
```
status 500: {"error":"update function: Operation cannot be fulfilled on functions.sless.kube5s.ru "pg-query": the object has been modified; please apply your changes to the latest version and try again"}
```

**Причина:** В `upload.go` использовался `h.K8s.Update(ctx, fn)`. Между `Get()` и `Update()` контроллер успевал изменить объект (выставить статус/аннотации) — `resourceVersion` в памяти устаревал, API-сервер отклонял обновление.

**Решение:** Заменить `Update` на `Patch` (strategic merge patch):
```go
patch := client.MergeFrom(fn.DeepCopy())
fn.Spec.S3Key = s3Key
fn.Spec.S3Bucket = h.S3.Bucket()
h.K8s.Patch(ctx, fn, patch)
```
`MergePatch` передаёт только изменённые поля и не требует точного `resourceVersion`.

---

## 2026-03-07 — Terraform Provider: "provider produced inconsistent result" для schedule

**Проблема:** При создании `sless_trigger` с `type=http` (без поля `schedule`) terraform падал:
```
.schedule: was null, but now cty.StringVal("")
```

**Причина:** В `trToModel()` провайдера `Schedule` всегда возвращался как `types.StringValue(tr.Schedule)`. Если schedule не задан, API возвращает пустую строку `""`, провайдер сохранял `""` в state. Terraform видел расхождение: в плане было `null` (поле не задано в HCL), в state после apply стало `""`.

**Решение:** В `trToModel()` возвращать `types.StringNull()` когда schedule пустая строка:
```go
schedule := types.StringNull()
if tr.Schedule != "" {
    schedule = types.StringValue(tr.Schedule)
}
```
Правило: для `Optional` computed-полей пустая строка из API → `null` в state.

---

## 2026-03-07 — Terraform Provider: "Resource Import Not Implemented"

**Проблема:** После failed `terraform apply` (Function создалась, Trigger упал) state не содержал созданных ресурсов. Повторный apply падал с `status 409: function already exists`. `terraform import` тоже не работал:
```
This resource does not support import. Please contact the provider developer
```

**Причина:** В провайдере не реализован `ImportState` для ресурса `sless_function`.

**Решение (краткосрочное):** Удалить ресурсы из кластера вручную (`kubectl delete`) и повторить apply с чистым state.

**Решение (долгосрочное / TODO):** Реализовать `ImportState` для `sless_function` и `sless_trigger`:
```go
func (r *FunctionResource) ImportState(ctx context.Context, req resource.ImportStateRequest, resp *resource.ImportStateResponse) {
    // ID формат: "namespace/name"
    resource.ImportStatePassthroughID(ctx, path.Root("name"), req, resp)
}
```

---

## 2026-03-07 — handler.py: column "started_at" does not exist

**Проблема:** При вызове функции pg-query в логах пода:
```
psycopg2.errors.UndefinedColumn: column "started_at" does not exist
```

**Причина:** В `examples/pg-query/handler.py` использовалось имя колонки `started_at`, но в схеме `migrations/001_initial.sql` таблицы `invocations` колонка называется `created_at`.

**Решение:** Исправить `select` и `dict()` в handler.py: `started_at` → `created_at`.

**Урок:** При написании примеров всегда сверяться со схемой в `migrations/`.

---

## 2026-03-07 — Deployment не перезапустил pod после re-build образа

**Проблема:** После `terraform apply` (re-upload + kaniko пересборка) pod продолжал использовать старый код — `curl` возвращал ошибку `started_at`.

**Причина:** Образ тегируется как `:latest`. Kubernetes не перезапускает pod автоматически если тег не изменился — даже если образ на DockerHub обновился. `imagePullPolicy` по умолчанию `IfNotPresent` для non-digest образов, только `Always` гарантирует pull при каждом запуске.

**Решение (краткосрочное):** Явный `kubectl rollout restart deployment/pg-query -n sless-fn-default`.

**Решение (долгосрочное / TODO):** В `function_controller.go` после успешной сборки добавить `rollout restart` аннотацию:
```go
// Форсируем rollout через аннотацию kubectl.kubernetes.io/restartedAt
deployment.Spec.Template.Annotations["kubectl.kubernetes.io/restartedAt"] = time.Now().Format(time.RFC3339)
```
Либо использовать версионированные теги образов вместо `:latest` (`:v{timestamp}`).

---

## 2026-03-08 — output_md5 archive провайдера не обновляется при изменении кода

**Проблема:** `terraform plan` показывал "No changes" даже после изменения JS-файла функции. Функция отдавала старый код.

**Причина:** `code_hash = data.archive_file.handler_http.output_md5` — атрибут `output_md5` в `hashicorp/archive v2.7.x` возвращает MD5 от **предыдущей** версии zip (баг порядка вычисления). `output_sha` и `output_sha256` от того же файла обновлялись корректно.

**Решение:** Заменить `output_md5` на `filesha256("${path.module}/code/handler.js")` — хэшируется исходный файл напрямую, минуя archive провайдер.

**Урок:** Не использовать `output_md5` из `archive_file`. Использовать `filesha256(source_file)`.

---

## 2026-03-08 — FunctionJob зависал в Running навсегда

**Проблема:** `terraform apply` висел на `sless_job.hello_run: Still creating...` бесконечно. k8s Job давно завершился (Complete), но FunctionJob оставался в `Running`.

**Причина:** `SetupWithManager` использовал `Owns(&batchv1.Job{})` для watch событий Job. Но Job создавался в namespace `sless-fn-default`, а FunctionJob в `default` — cross-namespace OwnerReference не работают в k8s. Reconcile после завершения Job никогда не вызывался.

**Решение:** Убрать `Owns(&batchv1.Job{})`. В `syncJobStatus` добавить `return ctrl.Result{RequeueAfter: 5 * time.Second}` когда Job ещё выполняется — polling каждые 5 сек.

---

## 2026-03-08 — ImagePullBackOff: sless-registry-auth не копировался в sless-fn-*

**Проблема:** Pod функции падал с `ImagePullBackOff` — не мог скачать образ из registry.

**Причина:** `buildDeployment` в `function_controller.go` не устанавливал `imagePullSecrets` в PodSpec. Секрет `sless-registry-auth` существовал только в namespace `sless`, но не копировался в `sless-fn-default`.

**Решение:** Добавить `ensureRegistrySecret()` — копирует секрет из `sless` в `sless-fn-*` при каждом reconcile. В `buildDeployment` добавить `ImagePullSecrets`.

---

## 2026-03-08 — CrashLoopBackOff: Cannot find module handler.js

**Проблема:** Pod функции падал: `Cannot find module '/app/function/handler.js'`. Entrypoint был `handler-http.handle` (файл `handler-http.js`), а server.js искал хардкоженный `handler.js`.

**Причина:** `server.js` и `server.py` runtime-образов хардкодили имя модуля `handler`. Поле `SLESS_ENTRYPOINT` env var не использовалось.

**Решение:** `server.js` и `server.py` переписаны: парсят `SLESS_ENTRYPOINT` (формат `"module.funcName"`), динамически загружают нужный модуль. Runtime пересобран как `v0.1.1`.

---

## 2026-03-08 — Kaniko cache: пересобирал образ со старым server.js

**Проблема:** После исправления `server.js` kaniko продолжал собирать образы с **старым** server.js из кэша.

**Причина:** Base image тегирован как `:latest`. Kaniko кэшировал слои — `FROM naeel/sless-runtime-nodejs20:latest` не перечитывал обновлённый образ.

**Решение:** Новый тег базового образа `v0.1.1`. В `upload.go` изменить `runtimeBaseImage("nodejs20")` → `naeel/sless-runtime-nodejs20:v0.1.1`.

---

## 2026-03-08 — RBAC: secrets is forbidden: cannot list

**Проблема:** Оператор падал: `secrets is forbidden: User "system:serviceaccount:sless:sless-operator" cannot list resource "secrets"`.

**Причина:** В `rbac.yaml` для secrets были только `get;create`, нужны также `list;watch` для controller-runtime.

**Решение:** Добавить `list;watch` в ClusterRole для `resources: ["secrets"]`.

---

## 2026-03-08 — Harbor registry нестабилен (504 Gateway Timeout)

**Проблема:** Kaniko падал: `GET https://pearlharbor.registryk8s.services.ngcloud.ru/v2/: unexpected status code 504 Gateway Timeout`. Периодически `/v2/` зависал на 10+ секунд или не отвечал вовсе.

**Причина:** Harbor — внешний сервис облачного провайдера, нестабилен по независящим от нас причинам. Поведение не зависит от VPN.

**Решение:** Переключить `REGISTRY_HOST` с Harbor на DockerHub (`naeel`). Образы функций теперь пушатся как `naeel/sless-default-{namespace}-{name}:latest`.

---

## 2026-03-08 — Provider: inconsistent result — image_ref изменился после apply

**Проблема:** После `terraform apply` ошибка:
```
Provider produced inconsistent result after apply
.image_ref: was cty.StringVal("pearlharbor..."), but now cty.StringVal("naeel/...")
```

**Причина:** `image_ref` в схеме провайдера имел `UseStateForUnknown()`. При plan terraform брал значение из state (старый Harbor путь). После apply API возвращал новый DockerHub путь. Расхождение план vs результат.

**Решение:** Убрать `UseStateForUnknown()` с `image_ref`. Теперь `image_ref` = `(known after apply)` при каждом apply — честно отражает что значение неизвестно до сборки. Провайдер `v0.1.5`.

---

## 2026-03-08 — Provider: inconsistent result — phase Failed→Ready

**Проблема:**
```
Provider produced inconsistent result after apply
.phase: was cty.StringVal("Failed"), but now cty.StringVal("Ready")
```

**Причина:** При ошибке `WaitReady` (build failed) → `AddError` → `return`. `resp.State.Set` не вызывался → state не обновлялся → в state оставалось старое значение. Затем оператор замечал новый код, пересобирал → функция становилась Ready. Следующий `Read` возвращал `phase=Ready`, terraform видел расхождение.

**Решение:** Убрать `UseStateForUnknown()` с `image_ref` (связанный фикс). Для `phase` — `UseStateForUnknown()` оставлен, т.к. при нормальном flow `Ready→Ready` предсказуем.

---

## 2026-03-08 — Стейл-сервис hello-node блокировал proxy запросы

**Проблема:** `GET /fn/default/hello-node` возвращал `operation not permitted` — `dial tcp 10.100.77.255:8080: connect: operation not permitted`.

**Причина:** Сервис `hello-node` в `sless-fn-default` существовал 26h с ClusterIP `10.100.77.255` но без Deployment/Pod. iptables дропал пакеты на несуществующий endpoint.

**Решение:** `kubectl delete svc hello-node -n sless-fn-default`.

---

## 2026-03-07 — Docker credStore: exec "docker-credential-desktop.exe"

**Проблема:** `docker push` падал с `exec: "docker-credential-desktop.exe": executable file not found`.

**Причина:** В `~/.docker/config.json` осталась запись `"credsStore": "desktop.exe"` от Docker Desktop.

**Решение:** Удалить поле `credsStore` из `~/.docker/config.json`, оставить только `auths` с base64 credentials.

---

## 2026-03-07 — controller-gen v0.11.1 паникует с Go 1.23

**Проблема:** `operator-sdk create api` падает с panic в `controller-gen` при `make generate`.

**Причина:** controller-tools v0.11.1 несовместим с Go 1.23 (nil pointer dereference в go/types).

**Решение:** В `Makefile` заменить `CONTROLLER_TOOLS_VERSION ?= v0.11.1` на `v0.14.0`.

---

## 2026-03-07 — Dockerfile: operator не находит migrations/ при старте

**Проблема:** Оператор в кластере сразу падает в CrashLoopBackOff:
```
level=ERROR msg="read migration file" err="open migrations/001_initial.sql: no such file or directory"
```
**Причина:** Оригинальный `Dockerfile` копировал только `api/`, `controllers/`, `main.go`. Директории `internal/` и `migrations/` в образ не попадали.
**Решение:** Добавить в оба stage Dockerfile:
```dockerfile
COPY internal/ internal/    # в builder stage
COPY migrations/ migrations/ # и в builder, и в финальный alpine stage
```
`migrations/` нужен в финальном образе — оператор читает SQL-файлы в runtime при каждом старте.

---

## 2026-03-07 — Dockerfile: golang:1.23 несовместим с go.mod (требует 1.25)

**Проблема:** `docker build` падает на `go mod download`:
```
go: go.mod requires go >= 1.25 (running go 1.23.12; GOTOOLCHAIN=local)
```
**Причина:** В `go.mod` указан `go 1.25`, Dockerfile использовал `golang:1.23-alpine`.
**Решение:** `FROM golang:1.23-alpine` → `FROM golang:1.25-alpine`.

---

## 2026-03-07 — go.mod: прямые зависимости помечены как indirect

**Проблема:** gopls показывал ошибки в `go.mod`:
```
github.com/gorilla/mux should be direct
github.com/lib/pq should be direct
github.com/minio/minio-go/v7 should be direct
k8s.io/api should be direct
```
**Причина:** Пакеты получили `// indirect` несмотря на прямые импорты — побочный эффект scaffold-генерации operator-sdk.
**Решение:** `go mod tidy` автоматически расставил правильные аннотации.

---

## 2026-03-08 — После kaniko rebuild функция возвращает старый код

**Проблема:** `terraform apply` с изменённым кодом успешно завершал kaniko build, но функция продолжала возвращать старую версию кода.

**Причина:** `imagePullPolicy: IfNotPresent` (default в k8s) + `:latest` тег — после успешной сборки оператор обновлял `.spec.template.spec.containers[0].image`, но image tag не менялся (всегда `:latest`). Kubernetes видел что образ уже есть на ноде и не пул-ил новый. Pod оставался запущенным со старым образом.

**Решение:** В `controllers/function_controller.go`, функция `ensureDeployment`, после обновления image добавлена аннотация:
```go
existing.Spec.Template.Annotations["kubectl.kubernetes.io/restartedAt"] = fn.Status.LastBuiltAt.Time.Format(time.RFC3339)
```
Аннотация меняется при каждой новой сборке (значение = `lastBuiltAt`) → Kubernetes делает rolling restart → kubelet пул-ит свежий образ.
Оператор: **v0.1.11**.

---