feat(job): merge sless_function into sless_job — self-contained build+run

- FunctionJobSpec: убран FunctionRef, добавлены Runtime/Entrypoint/Env/S3Key/MemoryMB/TimeoutSec
- FunctionJobStatus: новый ImageRef, новая фаза Building
- FunctionJobReconciler: Building фаза (kaniko), убрана зависимость от Function CRD
  Builder+OperatorNamespace как поля struct; аннотация sless.kube5s.ru/build-job guard
- main.go: Builder+OperatorNamespace переданы в FunctionJobReconciler
- jobs.go handler: jobRequest/jobResponse без FunctionRef; новый UploadJobCode handler
- router.go: /jobs/{name}/upload маршрут
- client.go: JobRequest/JobResponse обновлены; UploadJobCode; uploadCodeToURL общий хелпер
- job_resource.go: полная переработка — источник/среда встроены в JobModel, ModifyPlan,
  Create с upload, wait_timeout_sec=900 по умолчанию (kaniko + выполнение)
- examples/POSTGRES/functions.tf: раскомментирован, sless_function удалён,
  sless_job самодостаточен (inline source_dir/runtime/entrypoint/env_vars)
This commit is contained in:
Naeel
2026-03-20 21:27:35 +03:00
parent 1b3c8376c0
commit 8ca8faedd1
12 changed files with 569 additions and 185 deletions
+25 -6
View File
@@ -298,6 +298,17 @@ func (c *Client) UploadCode(ctx context.Context, ns, name, zipPath string) error
// UploadCodeReader — загружает код из произвольного io.Reader (например in-memory zip).
// filename используется только как имя файла в multipart-форме.
func (c *Client) UploadCodeReader(ctx context.Context, ns, name, filename string, r io.Reader) error {
return c.uploadCodeToURL(ctx, fmt.Sprintf("%s/v1/namespaces/%s/functions/%s/upload", c.endpoint, ns, name), filename, r)
}
// UploadJobCode — POST /v1/namespaces/{ns}/jobs/{name}/upload
// Аналогично UploadCodeReader но для FunctionJob — запускает kaniko через FunctionJob CRD.
func (c *Client) UploadJobCode(ctx context.Context, ns, name, filename string, r io.Reader) error {
return c.uploadCodeToURL(ctx, fmt.Sprintf("%s/v1/namespaces/%s/jobs/%s/upload", c.endpoint, ns, name), filename, r)
}
// uploadCodeToURL — внутренний хелпер: пакует io.Reader в multipart и POST-ит по указанному URL.
func (c *Client) uploadCodeToURL(ctx context.Context, uploadURL, filename string, r io.Reader) error {
var buf bytes.Buffer
mw := multipart.NewWriter(&buf)
fw, err := mw.CreateFormFile("code", filename)
@@ -309,8 +320,7 @@ func (c *Client) UploadCodeReader(ctx context.Context, ns, name, filename string
}
mw.Close()
url := fmt.Sprintf("%s/v1/namespaces/%s/functions/%s/upload", c.endpoint, ns, name)
req, err := http.NewRequestWithContext(ctx, http.MethodPost, url, &buf)
req, err := http.NewRequestWithContext(ctx, http.MethodPost, uploadURL, &buf)
if err != nil {
return err
}
@@ -428,10 +438,17 @@ func (c *Client) UpdateTrigger(ctx context.Context, ns, name string, req Trigger
// --- Job CRUD ---
// JobRequest — тело POST /v1/namespaces/{ns}/jobs
// Изменено: 2026-03-20 (merge: убран FunctionRef, добавлены Runtime/Entrypoint/Env)
type JobRequest struct {
Name string `json:"name"`
FunctionRef string `json:"function"`
EventJSON string `json:"event_json,omitempty"`
Name string `json:"name"`
Runtime string `json:"runtime"`
Entrypoint string `json:"entrypoint"`
MemoryMB int32 `json:"memory_mb,omitempty"`
TimeoutSec int32 `json:"timeout_sec,omitempty"`
Env map[string]string `json:"env_vars,omitempty"`
S3Bucket string `json:"s3_bucket,omitempty"`
S3Key string `json:"s3_key,omitempty"`
EventJSON string `json:"event_json,omitempty"`
// RunID: 0 = создать без запуска, >0 = запустить
RunID int64 `json:"run_id"`
}
@@ -440,10 +457,12 @@ type JobRequest struct {
type JobResponse struct {
Name string `json:"name"`
Namespace string `json:"namespace"`
FunctionRef string `json:"function"`
Runtime string `json:"runtime"`
Entrypoint string `json:"entrypoint"`
EventJSON string `json:"event_json"`
RunID int64 `json:"run_id"`
Phase string `json:"phase"`
ImageRef string `json:"image_ref"`
JobName string `json:"job_name"`
StartTime string `json:"start_time"`
CompletionTime string `json:"completion_time"`
@@ -1,21 +1,23 @@
// 2026-03-17 12:20
// 2026-03-20 (merge: убран FunctionRef, добавлены Runtime/Entrypoint/SourceDir — sless_job теперь самодостаточен)
// job_resource.go — Terraform ресурс sless_job.
//
// Lifecycle:
//
// Create: POST /v1/namespaces/{ns}/jobs → WaitJobDone (10 мин)
// Блокирует terraform apply до завершения джоба (Succeeded/Failed).
// Если Failed — terraform apply падает с ошибкой.
// Если run_id=0 — джоб создаётся в k8s, но k8s Job не запускается.
// Create: POST /v1/namespaces/{ns}/jobs
// Если source_dir задан → zipDir → UploadJobCode → контроллер запускает kaniko
// WaitJobDone покрывает: Building (kaniko) + Running (функция) + Succeeded/Failed
// Если run_id=0 — джоб создаётся в k8s, но не запускается (phase=Skipped).
// Read: GET /v1/namespaces/{ns}/jobs/{name} → sync phase/timing в state
// Delete: DELETE /v1/namespaces/{ns}/jobs/{name}
// Семантически no-op (джоб уже выполнен), но убирает CR из кластера.
//
// run_id: значение 0 = создать без запуска. >0 = запустить/перезапустить джоб.
// run_id имеет RequiresReplace: изменение значения (1→2→3) триггерирует повторный запуск.
// run_id: 0 = создать без запуска; >0 = запустить.
// RequiresReplace на run_id + code_hash: изменение кода или run_id всегда пересоздаёт джоб.
// wait_timeout_sec должен покрывать оба этапа: kaniko (~5 мин) + выполнение функции.
// По умолчанию 900 сек (15 мин).
package resources
import (
"bytes"
"context"
"errors"
"fmt"
@@ -34,11 +36,13 @@ import (
"github.com/hashicorp/terraform-plugin-framework/types"
)
// defaultWaitTimeoutSec — дефолтный таймаут ожидания завершения джоба (600 сек = 10 мин).
// Пользователь может переопределить через wait_timeout_sec.
const defaultWaitTimeoutSec = 600
// defaultJobWaitTimeoutSec — дефолтный таймаут ожидания завершения sless_job.
// Покрывает kaniko сборку (~5 мин) + выполнение функции (~остаток).
// Переопределяется через wait_timeout_sec.
const defaultJobWaitTimeoutSec = 900
var _ resource.Resource = &JobResource{}
var _ resource.ResourceWithModifyPlan = &JobResource{}
type JobResource struct {
client *client.Client
@@ -50,15 +54,24 @@ func NewJobResource() resource.Resource {
// JobModel — модель состояния terraform для sless_job.
type JobModel struct {
Name types.String `tfsdk:"name"`
Function types.String `tfsdk:"function"`
Name types.String `tfsdk:"name"`
Runtime types.String `tfsdk:"runtime"`
Entrypoint types.String `tfsdk:"entrypoint"`
MemoryMB types.Int64 `tfsdk:"memory_mb"`
TimeoutSec types.Int64 `tfsdk:"timeout_sec"`
EnvVars types.Map `tfsdk:"env_vars"`
// source_dir — директория с исходниками. Провайдер сам упакует в zip и загрузит.
SourceDir types.String `tfsdk:"source_dir"`
// code_hash — SHA256 содержимого source_dir. Computed; при изменении RequiresReplace.
CodeHash types.String `tfsdk:"code_hash"`
EventJSON types.String `tfsdk:"event_json"`
// RunID: 0 = не запускать (Skipped), 1+ = запустить/перезапустить.
// RequiresReplace: изменение = пересоздание FunctionJob → новый запуск.
RunID types.Int64 `tfsdk:"run_id"`
// wait_timeout_sec — максимальное ожидание завершения джоба. Дефолт 600 сек.
// wait_timeout_sec — максимальное ожидание (kaniko + выполнение). Дефолт 900 сек.
WaitTimeoutSec types.Int64 `tfsdk:"wait_timeout_sec"`
Phase types.String `tfsdk:"phase"`
ImageRef types.String `tfsdk:"image_ref"`
StartTime types.String `tfsdk:"start_time"`
CompletionTime types.String `tfsdk:"completion_time"`
Message types.String `tfsdk:"message"`
@@ -70,19 +83,56 @@ func (r *JobResource) Metadata(_ context.Context, req resource.MetadataRequest,
func (r *JobResource) Schema(_ context.Context, _ resource.SchemaRequest, resp *resource.SchemaResponse) {
resp.Schema = schema.Schema{
MarkdownDescription: "Одноразовый запуск serverless функции. terraform apply блокируется до завершения джоба.",
MarkdownDescription: "Одноразовый запуск serverless функции. terraform apply блокируется до завершения. Включает kaniko сборку образа.",
Attributes: map[string]schema.Attribute{
// Все input-поля immutable — джоб нельзя "изменить", только пересоздать.
"name": schema.StringAttribute{
Required: true,
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
},
"function": schema.StringAttribute{
"runtime": schema.StringAttribute{
Required: true,
MarkdownDescription: "Имя sless_function ресурса в том же namespace.",
MarkdownDescription: "Среда выполнения: python3.11, nodejs20, go1.23.",
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
},
"entrypoint": schema.StringAttribute{
Required: true,
MarkdownDescription: "Точка входа: module.function (например sql_runner.run_sql).",
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
},
"memory_mb": schema.Int64Attribute{
Optional: true,
Computed: true,
Default: int64default.StaticInt64(128),
MarkdownDescription: "Лимит оперативной памяти в MB. По умолчанию 128.",
},
"timeout_sec": schema.Int64Attribute{
Optional: true,
Computed: true,
Default: int64default.StaticInt64(30),
MarkdownDescription: "Таймаут выполнения функции в секундах. По умолчанию 30.",
},
"env_vars": schema.MapAttribute{
ElementType: types.StringType,
Optional: true,
MarkdownDescription: "Переменные окружения для функции.",
},
"source_dir": schema.StringAttribute{
Optional: true,
MarkdownDescription: "Директория с исходниками. Провайдер сам запакует zip и загрузит.",
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
},
// code_hash — вычисляется автоматически из source_dir (ModifyPlan).
// RequiresReplace: если код изменился (hash != state) → пересоздать джоб.
"code_hash": schema.StringAttribute{
Computed: true,
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
@@ -93,29 +143,36 @@ func (r *JobResource) Schema(_ context.Context, _ resource.SchemaRequest, resp *
PlanModifiers: []planmodifier.String{
stringplanmodifier.RequiresReplace(),
},
}, // run_id: 0 = создать без запуска (Skipped), >0 = запустить.
},
// run_id: 0 = создать без запуска (Skipped), >0 = запустить.
// Изменение run_id (1→2→3...) триггерирует пересоздание = новый запуск.
"run_id": schema.Int64Attribute{
Optional: true,
Computed: true,
Default: int64default.StaticInt64(0),
MarkdownDescription: "0 = не запускать; >0 = запустить. Увеличьте run_id для повторного запуска джоба.",
MarkdownDescription: "0 = не запускать; >0 = запустить. Увеличьте run_id для повторного запуска.",
PlanModifiers: []planmodifier.Int64{
int64planmodifier.RequiresReplace(),
},
Validators: []validator.Int64{
int64validator.AtLeast(0),
},
}, // wait_timeout_sec — сколько ждать завершения джоба. Увеличь если код долго работает (например миграция БД).
},
// wait_timeout_sec покрывает kaniko сборку + выполнение функции.
"wait_timeout_sec": schema.Int64Attribute{
Optional: true,
Computed: true,
MarkdownDescription: "Таймаут ожидания завершения джоба в секундах. По умолчанию 600 (10 мин).",
Default: int64default.StaticInt64(defaultJobWaitTimeoutSec),
MarkdownDescription: "Таймаут ожидания (kaniko + выполнение) в секундах. По умолчанию 900.",
},
// Computed — заполняются после завершения джоба
// Computed — заполняются контроллером и финализируются после завершения
"phase": schema.StringAttribute{
Computed: true,
MarkdownDescription: "Фаза выполнения: Pending, Running, Succeeded, Failed.",
MarkdownDescription: "Фаза: Pending, Building, Running, Succeeded, Failed.",
},
"image_ref": schema.StringAttribute{
Computed: true,
MarkdownDescription: "Docker image собранный kaniko.",
},
"start_time": schema.StringAttribute{
Computed: true,
@@ -161,24 +218,32 @@ func (r *JobResource) Create(ctx context.Context, req resource.CreateRequest, re
eventJSON = "{}"
}
// run_id=0: создаём FunctionJob в k8s, но оператор не запустит k8s Job.
// Пользователь может поменять run_id > 0 позже чтобы запустить.
envMap, diags := mapToStringMap(ctx, plan.EnvVars)
resp.Diagnostics.Append(diags...)
if resp.Diagnostics.HasError() {
return
}
runID := plan.RunID.ValueInt64()
createdJob, err := r.client.CreateJob(ctx, ns, client.JobRequest{
Name: plan.Name.ValueString(),
FunctionRef: plan.Function.ValueString(),
EventJSON: eventJSON,
RunID: runID,
Name: plan.Name.ValueString(),
Runtime: plan.Runtime.ValueString(),
Entrypoint: plan.Entrypoint.ValueString(),
MemoryMB: int32(plan.MemoryMB.ValueInt64()),
TimeoutSec: int32(plan.TimeoutSec.ValueInt64()),
Env: envMap,
EventJSON: eventJSON,
RunID: runID,
})
if err != nil {
if errors.Is(err, client.ErrJobAlreadyExists) {
existingJob, getErr := r.client.GetJob(ctx, ns, plan.Name.ValueString())
if getErr != nil {
resp.Diagnostics.AddError("create job", fmt.Sprintf("job already exists and get existing failed: %s", getErr.Error()))
resp.Diagnostics.AddError("create job", fmt.Sprintf("job already exists and get failed: %s", getErr.Error()))
return
}
if existingJob == nil {
resp.Diagnostics.AddError("create job", "job already exists but cannot be read right after conflict")
resp.Diagnostics.AddError("create job", "job already exists but cannot be read after conflict")
return
}
createdJob = existingJob
@@ -188,31 +253,30 @@ func (r *JobResource) Create(ctx context.Context, req resource.CreateRequest, re
}
}
// Если RunID=0 — не ждём завершения, пишем state сразу
if runID == 0 {
// state: Namespace/Name/Function из plan, RunID=0, Phase=Skipped, остальное empty
waitTimeoutSec := plan.WaitTimeoutSec
if waitTimeoutSec.IsNull() || waitTimeoutSec.IsUnknown() || waitTimeoutSec.ValueInt64() <= 0 {
waitTimeoutSec = types.Int64Value(defaultWaitTimeoutSec)
// Загружаем код если задан source_dir — контроллер начнёт kaniko сборку после upload
if !plan.SourceDir.IsNull() && plan.SourceDir.ValueString() != "" {
zipData, hash, err := zipDir(plan.SourceDir.ValueString())
if err != nil {
resp.Diagnostics.AddError("zip source_dir", err.Error())
return
}
resp.Diagnostics.Append(resp.State.Set(ctx, JobModel{
Name: types.StringValue(plan.Name.ValueString()),
Function: types.StringValue(plan.Function.ValueString()),
EventJSON: plan.EventJSON,
RunID: types.Int64Value(0),
WaitTimeoutSec: waitTimeoutSec,
Phase: types.StringValue(createdJob.Phase),
StartTime: types.StringValue(createdJob.StartTime),
CompletionTime: types.StringValue(createdJob.CompletionTime),
Message: types.StringValue(createdJob.Message),
})...)
if err := r.client.UploadJobCode(ctx, ns, plan.Name.ValueString(), "function.zip", bytes.NewReader(zipData)); err != nil {
resp.Diagnostics.AddError("upload job code", err.Error())
return
}
plan.CodeHash = types.StringValue(hash)
}
// run_id=0: не ждём, пишем state сразу (job в состоянии Skipped)
if runID == 0 {
resp.Diagnostics.Append(resp.State.Set(ctx, jobToModel(plan, createdJob))...)
return
}
// Блокируем apply до завершения джоба (Succeeded или Failed)
// Блокируем apply до завершения джоба (охватывает Building + Running → Succeeded/Failed)
waitSec := plan.WaitTimeoutSec.ValueInt64()
if waitSec <= 0 {
waitSec = defaultWaitTimeoutSec
waitSec = defaultJobWaitTimeoutSec
}
j, err := r.client.WaitJobDone(ctx, ns, plan.Name.ValueString(), time.Duration(waitSec)*time.Second)
if err != nil {
@@ -236,7 +300,6 @@ func (r *JobResource) Read(ctx context.Context, req resource.ReadRequest, resp *
return
}
if j == nil {
// Джоб удалён вне terraform — убираем из state
resp.State.RemoveResource(ctx)
return
}
@@ -244,10 +307,10 @@ func (r *JobResource) Read(ctx context.Context, req resource.ReadRequest, resp *
resp.Diagnostics.Append(resp.State.Set(ctx, jobToModel(state, j))...)
}
// Update не реализован — все поля поддерживают только RequiresReplace.
// Update не реализован — все input-поля имеют RequiresReplace.
// terraform-plugin-framework никогда не вызовет Update для этого ресурса.
func (r *JobResource) Update(_ context.Context, _ resource.UpdateRequest, resp *resource.UpdateResponse) {
resp.Diagnostics.AddError("update not supported", "sless_job does not support in-place updates")
resp.Diagnostics.AddError("update not supported", "sless_job does not support in-place updates; increment run_id to re-run")
}
func (r *JobResource) Delete(ctx context.Context, req resource.DeleteRequest, resp *resource.DeleteResponse) {
@@ -262,19 +325,49 @@ func (r *JobResource) Delete(ctx context.Context, req resource.DeleteRequest, re
}
}
// jobToModel конвертирует API-ответ → state модель.
// ModifyPlan вычисляет hash директории source_dir на фазе terraform plan.
// Если hash изменился относительно state — code_hash в plan будет другим,
// что вместе с RequiresReplace на code_hash триггерирует пересоздание джоба.
func (r *JobResource) ModifyPlan(ctx context.Context, req resource.ModifyPlanRequest, resp *resource.ModifyPlanResponse) {
if req.Plan.Raw.IsNull() {
return
}
var plan JobModel
resp.Diagnostics.Append(req.Plan.Get(ctx, &plan)...)
if resp.Diagnostics.HasError() {
return
}
if plan.SourceDir.IsNull() || plan.SourceDir.ValueString() == "" {
return
}
_, hash, err := zipDir(plan.SourceDir.ValueString())
if err != nil {
return // директория может не существовать при первом init — не фейлим plan
}
plan.CodeHash = types.StringValue(hash)
resp.Diagnostics.Append(resp.Plan.Set(ctx, plan)...)
}
// jobToModel конвертирует API-ответ + plan (для локальных полей) → state модель.
func jobToModel(plan JobModel, j *client.JobResponse) JobModel {
waitTimeoutSec := plan.WaitTimeoutSec
if waitTimeoutSec.IsNull() || waitTimeoutSec.IsUnknown() || waitTimeoutSec.ValueInt64() <= 0 {
waitTimeoutSec = types.Int64Value(defaultWaitTimeoutSec)
waitSec := plan.WaitTimeoutSec
if waitSec.IsNull() || waitSec.IsUnknown() || waitSec.ValueInt64() <= 0 {
waitSec = types.Int64Value(defaultJobWaitTimeoutSec)
}
return JobModel{
Name: types.StringValue(j.Name),
Function: types.StringValue(j.FunctionRef),
Runtime: types.StringValue(j.Runtime),
Entrypoint: types.StringValue(j.Entrypoint),
MemoryMB: plan.MemoryMB,
TimeoutSec: plan.TimeoutSec,
EnvVars: plan.EnvVars,
SourceDir: plan.SourceDir,
CodeHash: plan.CodeHash,
EventJSON: plan.EventJSON,
RunID: types.Int64Value(j.RunID),
WaitTimeoutSec: waitTimeoutSec,
WaitTimeoutSec: waitSec,
Phase: types.StringValue(j.Phase),
ImageRef: types.StringValue(j.ImageRef),
StartTime: types.StringValue(j.StartTime),
CompletionTime: types.StringValue(j.CompletionTime),
Message: types.StringValue(j.Message),