feat: sless_service CRD + ServiceReconciler, RBAC fix, split postgres/functions.tf, operator v0.1.41
This commit is contained in:
Naeel
@@ -1,8 +1,11 @@
|
||||
// Изменено: 2026-03-11
|
||||
// FunctionReconciler — основной контроллер оператора.
|
||||
// Следит за CRD Function и управляет lifecycle функции:
|
||||
// Pending → Building (запуск kaniko Job) → Ready (образ собран, Deployment создан) / Failed
|
||||
// Reconcile вызывается k8s при любом изменении Function объекта.
|
||||
// Изменено: 2026-03-20 (function-service-split: FunctionReconciler — только build pipeline)
|
||||
// FunctionReconciler — контроллер Function CRD (sless_function = oneshot/Job).
|
||||
// Функция = код который выполняется ОДИН РАЗ через k8s Job при каждом вызове.
|
||||
// Нет Deployment, нет постоянного URL. Вызов — через FunctionJob или invoke API.
|
||||
// Reconciler отвечает только за:
|
||||
// 1. Сборку Docker-образа через kaniko (Pending → Building → Ready/Failed)
|
||||
// 2. Очистку ресурсов при удалении (kaniko Job)
|
||||
// Deployment/Service/Ingress — в ServiceReconciler (sless_service).
|
||||
|
||||
package controllers
|
||||
|
||||
@@ -11,15 +14,11 @@ import (
|
||||
"context"
|
||||
"fmt"
|
||||
"io"
|
||||
"sort"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
appsv1 "k8s.io/api/apps/v1"
|
||||
corev1 "k8s.io/api/core/v1"
|
||||
netv1 "k8s.io/api/networking/v1"
|
||||
"k8s.io/apimachinery/pkg/api/errors"
|
||||
"k8s.io/apimachinery/pkg/api/resource"
|
||||
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
|
||||
"k8s.io/apimachinery/pkg/runtime"
|
||||
"k8s.io/client-go/kubernetes"
|
||||
@@ -97,7 +96,9 @@ func (r *FunctionReconciler) Reconcile(ctx context.Context, req ctrl.Request) (c
|
||||
case slessv1alpha1.FunctionPhaseBuilding:
|
||||
return r.checkBuild(ctx, fn)
|
||||
case slessv1alpha1.FunctionPhaseReady:
|
||||
return r.ensureDeployment(ctx, fn)
|
||||
// Function = oneshot. После успешной сборки образ готов — Deployment не создаём.
|
||||
// Вызов через FunctionJob или invoke API (Job per call).
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
return ctrl.Result{}, nil
|
||||
@@ -184,180 +185,14 @@ func (r *FunctionReconciler) checkBuild(ctx context.Context, fn *slessv1alpha1.F
|
||||
return ctrl.Result{RequeueAfter: 10 * time.Second}, nil
|
||||
}
|
||||
|
||||
// ensureDeployment создаёт или обновляет Deployment для HTTP функции.
|
||||
// Deployment запускается в отдельном namespace sless-fn-{namespace}.
|
||||
func (r *FunctionReconciler) ensureDeployment(ctx context.Context, fn *slessv1alpha1.Function) (ctrl.Result, error) {
|
||||
deployNS := "sless-fn-" + fn.Namespace
|
||||
// Создаём namespace для функций если не существует
|
||||
ns := &corev1.Namespace{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: deployNS}, ns); err != nil {
|
||||
if errors.IsNotFound(err) {
|
||||
ns = &corev1.Namespace{ObjectMeta: metav1.ObjectMeta{Name: deployNS}}
|
||||
if err := r.Create(ctx, ns); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create function namespace: %w", err)
|
||||
}
|
||||
// Создаём Harbor-проект для namespace сразу при создании k8s NS (best-effort).
|
||||
// Если не удалось — EnsureProject повторит вызов внутри Build().
|
||||
if r.HarborClient != nil {
|
||||
if err := r.HarborClient.EnsureProject(ctx, fn.Namespace); err != nil {
|
||||
log.FromContext(ctx).Error(err, "harbor ensure project on ns create", "project", fn.Namespace)
|
||||
}
|
||||
}
|
||||
} else {
|
||||
return ctrl.Result{}, fmt.Errorf("get function namespace: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
// Обеспечиваем наличие registry pull-секрета в namespace функций.
|
||||
// Без него kubelet не сможет pull-нуть private образ из Harbor.
|
||||
if r.RegistrySecret != "" && r.OperatorNamespace != "" {
|
||||
if err := r.ensureRegistrySecret(ctx, deployNS); err != nil {
|
||||
// Не фатальная ошибка — логируем, но продолжаем
|
||||
log.FromContext(ctx).Error(err, "failed to ensure registry secret", "ns", deployNS)
|
||||
}
|
||||
}
|
||||
|
||||
desired := r.buildDeployment(fn, deployNS)
|
||||
existing := &appsv1.Deployment{}
|
||||
err := r.Get(ctx, client.ObjectKey{Name: fn.Name, Namespace: deployNS}, existing)
|
||||
if errors.IsNotFound(err) {
|
||||
if err := r.Create(ctx, desired); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create deployment: %w", err)
|
||||
}
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
if err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("get deployment: %w", err)
|
||||
}
|
||||
|
||||
// Обновляем образ, env и imagePullSecrets при пересборке или изменении конфига.
|
||||
// Тег образа уникален per build (sha256 от s3Key) → imagePullPolicy: IfNotPresent
|
||||
// корректно подтягивает новый образ без дополнительных хаков.
|
||||
// Env обновляем целиком — иначе изменение entrypoint/env_vars не применяется.
|
||||
existing.Spec.Template.Spec.Containers[0].Image = fn.Status.ImageRef
|
||||
existing.Spec.Template.Spec.Containers[0].Env = desired.Spec.Template.Spec.Containers[0].Env
|
||||
existing.Spec.Template.Spec.ImagePullSecrets = desired.Spec.Template.Spec.ImagePullSecrets
|
||||
if err := r.Update(ctx, existing); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update deployment: %w", err)
|
||||
}
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
// Изменено: 2026-03-11// buildDeployment формирует Deployment манифест для функции.
|
||||
func (r *FunctionReconciler) buildDeployment(fn *slessv1alpha1.Function, namespace string) *appsv1.Deployment {
|
||||
replicas := int32(1)
|
||||
envVars := []corev1.EnvVar{
|
||||
// SLESS_ENTRYPOINT сообщает server.py/server.js какой файл и функцию загружать.
|
||||
// Формат: "module-name.funcName" (например: handler-http.handle)
|
||||
{Name: "SLESS_ENTRYPOINT", Value: fn.Spec.Entrypoint},
|
||||
}
|
||||
// Сортируем ключи env vars для стабильного порядка в Pod spec.
|
||||
// map range в Go — недетерминирован: разный порядок при каждом вызове.
|
||||
// Нестабильный порядок → k8s видит изменение контейнера → лишние rollout'ы.
|
||||
keys := make([]string, 0, len(fn.Spec.Env))
|
||||
for k := range fn.Spec.Env {
|
||||
keys = append(keys, k)
|
||||
}
|
||||
sort.Strings(keys)
|
||||
for _, k := range keys {
|
||||
envVars = append(envVars, corev1.EnvVar{Name: k, Value: fn.Spec.Env[k]})
|
||||
}
|
||||
|
||||
return &appsv1.Deployment{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: fn.Name,
|
||||
Namespace: namespace,
|
||||
Labels: map[string]string{"app": fn.Name, "managed-by": "sless"},
|
||||
},
|
||||
Spec: appsv1.DeploymentSpec{
|
||||
Replicas: &replicas,
|
||||
Selector: &metav1.LabelSelector{MatchLabels: map[string]string{"app": fn.Name}},
|
||||
Template: corev1.PodTemplateSpec{
|
||||
ObjectMeta: metav1.ObjectMeta{Labels: map[string]string{"app": fn.Name}},
|
||||
Spec: corev1.PodSpec{
|
||||
Containers: []corev1.Container{
|
||||
{
|
||||
Name: fn.Name,
|
||||
Image: fn.Status.ImageRef,
|
||||
Env: envVars,
|
||||
Resources: corev1.ResourceRequirements{
|
||||
Limits: corev1.ResourceList{
|
||||
corev1.ResourceMemory: resource.MustParse(fmt.Sprintf("%dMi", fn.Spec.MemoryMB)),
|
||||
},
|
||||
},
|
||||
},
|
||||
},
|
||||
ImagePullSecrets: func() []corev1.LocalObjectReference {
|
||||
if r.RegistrySecret != "" {
|
||||
return []corev1.LocalObjectReference{{Name: r.RegistrySecret}}
|
||||
}
|
||||
return nil
|
||||
}(),
|
||||
},
|
||||
},
|
||||
},
|
||||
}
|
||||
}
|
||||
|
||||
// ensureRegistrySecret копирует pull-секрет из namespace оператора в namespace функций.
|
||||
// Вызывается при каждом reconcile — если секрет уже есть, ничего не делает.
|
||||
func (r *FunctionReconciler) ensureRegistrySecret(ctx context.Context, targetNS string) error {
|
||||
// Проверяем что секрет уже есть в целевом namespace
|
||||
existing := &corev1.Secret{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: r.RegistrySecret, Namespace: targetNS}, existing); err == nil {
|
||||
return nil // уже есть
|
||||
} else if !errors.IsNotFound(err) {
|
||||
return fmt.Errorf("check secret: %w", err)
|
||||
}
|
||||
|
||||
// Копируем из namespace оператора
|
||||
src := &corev1.Secret{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: r.RegistrySecret, Namespace: r.OperatorNamespace}, src); err != nil {
|
||||
return fmt.Errorf("get source secret from %s: %w", r.OperatorNamespace, err)
|
||||
}
|
||||
|
||||
copy := &corev1.Secret{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: r.RegistrySecret,
|
||||
Namespace: targetNS,
|
||||
},
|
||||
Type: src.Type,
|
||||
Data: src.Data,
|
||||
}
|
||||
if err := r.Create(ctx, copy); err != nil {
|
||||
if !errors.IsAlreadyExists(err) {
|
||||
return fmt.Errorf("create secret in %s: %w", targetNS, err)
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// handleDeletion обрабатывает удаление Function: удаляет Deployment, Service, Ingress и убирает finalizer.
|
||||
// ВАЖНО: Namespace sless-fn-{userNS} НЕ удаляется — он принадлежит пользователю на всё время его существования.
|
||||
// handleDeletion обрабатывает удаление Function: убивает kaniko Job и убирает finalizer.
|
||||
// Deployment/Service/Ingress Function не создаёт — они принадлежат Service CRD.
|
||||
func (r *FunctionReconciler) handleDeletion(ctx context.Context, fn *slessv1alpha1.Function) (ctrl.Result, error) {
|
||||
deployNS := "sless-fn-" + fn.Namespace
|
||||
dep := &appsv1.Deployment{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: fn.Name, Namespace: deployNS}, dep); err == nil {
|
||||
_ = r.Delete(ctx, dep)
|
||||
}
|
||||
|
||||
// Если функция удалена в процессе сборки — убиваем kaniko Job.
|
||||
// Без этого Job продолжит работу, займёт CPU/память и запушит образ которым никто не воспользуется.
|
||||
// Убиваем kaniko Job если сборка шла в момент удаления
|
||||
if jobName := fn.Annotations["sless.kube5s.ru/build-job"]; jobName != "" {
|
||||
_ = r.Builder.Cleanup(ctx, jobName)
|
||||
}
|
||||
|
||||
// Удаляем Service и Ingress — созданы HTTP триггером, но именованы по функции.
|
||||
// Если function_controller не удалит их, Ingress остаётся после destroy → 502.
|
||||
svc := &corev1.Service{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: fn.Name, Namespace: deployNS}, svc); err == nil {
|
||||
_ = r.Delete(ctx, svc)
|
||||
}
|
||||
ing := &netv1.Ingress{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: fn.Name, Namespace: deployNS}, ing); err == nil {
|
||||
_ = r.Delete(ctx, ing)
|
||||
}
|
||||
|
||||
fn.Finalizers = removeString(fn.Finalizers, finalizerName)
|
||||
if err := r.Update(ctx, fn); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("remove finalizer: %w", err)
|
||||
|
||||
@@ -0,0 +1,459 @@
|
||||
// Создано: 2026-03-20
|
||||
// ServiceReconciler — контроллер для Service CRD (sless_service).
|
||||
// Service = долгоживущий HTTP-сервис с постоянным URL.
|
||||
// Lifecycle: Pending → Building (kaniko) → Ready (Deployment+k8s Service+Ingress, URL в Status) / Failed
|
||||
//
|
||||
// Отличие от Function:
|
||||
// Function = oneshot, запускается k8s Job через FunctionJob/invoke.
|
||||
// Service = HTTP-сервис, Deployment всегда запущен, URL доступен без отдельного sless_trigger.
|
||||
|
||||
package controllers
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"fmt"
|
||||
"io"
|
||||
"sort"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
appsv1 "k8s.io/api/apps/v1"
|
||||
corev1 "k8s.io/api/core/v1"
|
||||
netv1 "k8s.io/api/networking/v1"
|
||||
"k8s.io/apimachinery/pkg/api/errors"
|
||||
"k8s.io/apimachinery/pkg/api/resource"
|
||||
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
|
||||
"k8s.io/apimachinery/pkg/runtime"
|
||||
"k8s.io/client-go/kubernetes"
|
||||
ctrl "sigs.k8s.io/controller-runtime"
|
||||
"sigs.k8s.io/controller-runtime/pkg/client"
|
||||
"sigs.k8s.io/controller-runtime/pkg/log"
|
||||
|
||||
slessv1alpha1 "gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/api/v1alpha1"
|
||||
"gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/internal/builder"
|
||||
"gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/internal/harbor"
|
||||
)
|
||||
|
||||
// ServiceReconciler reconciles a Service object
|
||||
type ServiceReconciler struct {
|
||||
client.Client
|
||||
Scheme *runtime.Scheme
|
||||
Builder *builder.Builder
|
||||
KubeClient kubernetes.Interface // typed client для чтения логов build-подов
|
||||
RegistrySecret string // имя Secret с docker credentials
|
||||
OperatorNamespace string // откуда копируем RegistrySecret в sless-fn-*
|
||||
HarborClient *harbor.Client // nil — EnsureProject пропускается
|
||||
ExternalURL string // базовый URL для Status.URL: {ExternalURL}/fn/{ns}/{name}
|
||||
IngressHost string // fallback домен если ExternalURL не задан
|
||||
}
|
||||
|
||||
//+kubebuilder:rbac:groups=sless.kube5s.ru,resources=services,verbs=get;list;watch;create;update;patch;delete
|
||||
//+kubebuilder:rbac:groups=sless.kube5s.ru,resources=services/status,verbs=get;update;patch
|
||||
//+kubebuilder:rbac:groups=sless.kube5s.ru,resources=services/finalizers,verbs=update
|
||||
//+kubebuilder:rbac:groups=apps,resources=deployments,verbs=get;list;watch;create;update;patch;delete
|
||||
//+kubebuilder:rbac:groups="",resources=services,verbs=get;list;watch;create;update;patch;delete
|
||||
//+kubebuilder:rbac:groups=networking.k8s.io,resources=ingresses,verbs=get;list;watch;create;update;patch;delete
|
||||
|
||||
const serviceFinalizerName = "sless.kube5s.ru/service-finalizer"
|
||||
|
||||
// Reconcile — главный цикл управления Service.
|
||||
// Pending → Building (запуск kaniko) → Ready (Deployment+Service+Ingress созданы, URL в Status)
|
||||
func (r *ServiceReconciler) Reconcile(ctx context.Context, req ctrl.Request) (ctrl.Result, error) {
|
||||
logger := log.FromContext(ctx)
|
||||
|
||||
svc := &slessv1alpha1.Service{}
|
||||
if err := r.Get(ctx, req.NamespacedName, svc); err != nil {
|
||||
if errors.IsNotFound(err) {
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
return ctrl.Result{}, fmt.Errorf("get service: %w", err)
|
||||
}
|
||||
|
||||
if !svc.DeletionTimestamp.IsZero() {
|
||||
return r.handleServiceDeletion(ctx, svc)
|
||||
}
|
||||
|
||||
if !containsString(svc.Finalizers, serviceFinalizerName) {
|
||||
svc.Finalizers = append(svc.Finalizers, serviceFinalizerName)
|
||||
if err := r.Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("add service finalizer: %w", err)
|
||||
}
|
||||
return ctrl.Result{Requeue: true}, nil
|
||||
}
|
||||
|
||||
// Идентичная логике FunctionReconciler: если s3Key изменился — пересобираем образ.
|
||||
builtKey := svc.Annotations["sless.kube5s.ru/last-built-s3key"]
|
||||
needsBuild := svc.Spec.S3Key != "" && builtKey != svc.Spec.S3Key
|
||||
|
||||
if needsBuild && svc.Status.Phase != slessv1alpha1.ServicePhaseBuilding {
|
||||
logger.Info("starting service build", "service", svc.Name)
|
||||
return r.startServiceBuild(ctx, svc)
|
||||
}
|
||||
|
||||
switch svc.Status.Phase {
|
||||
case slessv1alpha1.ServicePhaseBuilding:
|
||||
return r.checkServiceBuild(ctx, svc)
|
||||
case slessv1alpha1.ServicePhaseReady:
|
||||
return r.ensureServiceDeployment(ctx, svc)
|
||||
}
|
||||
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
// startServiceBuild запускает kaniko Job и помечает сервис как Building.
|
||||
func (r *ServiceReconciler) startServiceBuild(ctx context.Context, svc *slessv1alpha1.Service) (ctrl.Result, error) {
|
||||
jobName, err := r.Builder.Build(ctx, svc.Namespace, svc.Name, svc.Spec.S3Key)
|
||||
if err != nil {
|
||||
return r.setServiceFailed(ctx, svc, fmt.Sprintf("failed to start build: %v", err))
|
||||
}
|
||||
|
||||
if svc.Annotations == nil {
|
||||
svc.Annotations = map[string]string{}
|
||||
}
|
||||
svc.Annotations["sless.kube5s.ru/build-job"] = jobName
|
||||
svc.Annotations["sless.kube5s.ru/last-built-s3key"] = svc.Spec.S3Key
|
||||
if err := r.Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service build annotations: %w", err)
|
||||
}
|
||||
|
||||
svc.Status.Phase = slessv1alpha1.ServicePhaseBuilding
|
||||
svc.Status.Message = "Building image: " + jobName
|
||||
if err := r.Status().Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service status to building: %w", err)
|
||||
}
|
||||
|
||||
return ctrl.Result{RequeueAfter: 10 * time.Second}, nil
|
||||
}
|
||||
|
||||
// checkServiceBuild проверяет статус kaniko Job.
|
||||
func (r *ServiceReconciler) checkServiceBuild(ctx context.Context, svc *slessv1alpha1.Service) (ctrl.Result, error) {
|
||||
jobName := svc.Annotations["sless.kube5s.ru/build-job"]
|
||||
if jobName == "" {
|
||||
svc.Status.Phase = slessv1alpha1.ServicePhasePending
|
||||
_ = r.Status().Update(ctx, svc)
|
||||
return ctrl.Result{Requeue: true}, nil
|
||||
}
|
||||
|
||||
status, err := r.Builder.JobStatus(ctx, jobName)
|
||||
if err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("check service build job: %w", err)
|
||||
}
|
||||
|
||||
switch status {
|
||||
case "running":
|
||||
return ctrl.Result{RequeueAfter: 10 * time.Second}, nil
|
||||
case "succeeded":
|
||||
imageRef := r.Builder.ImageRef(svc.Namespace, svc.Name, svc.Spec.S3Key)
|
||||
svc.Status.Phase = slessv1alpha1.ServicePhaseReady
|
||||
svc.Status.ImageRef = imageRef
|
||||
svc.Status.Message = ""
|
||||
now := metav1.Now()
|
||||
svc.Status.LastBuiltAt = &now
|
||||
if err := r.Status().Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service status to ready: %w", err)
|
||||
}
|
||||
_ = r.Builder.Cleanup(ctx, jobName)
|
||||
return ctrl.Result{Requeue: true}, nil
|
||||
case "failed":
|
||||
logs := getServiceBuildPodLogs(ctx, r.KubeClient, r.OperatorNamespace, jobName)
|
||||
msg := "build job failed"
|
||||
if logs != "" {
|
||||
msg = "build job failed:\n" + logs
|
||||
}
|
||||
return r.setServiceFailed(ctx, svc, msg)
|
||||
}
|
||||
|
||||
return ctrl.Result{RequeueAfter: 10 * time.Second}, nil
|
||||
}
|
||||
|
||||
// ensureServiceDeployment создаёт или обновляет Deployment + k8s Service + Ingress.
|
||||
// URL записывается в svc.Status.URL — доступен сразу без отдельного sless_trigger.
|
||||
func (r *ServiceReconciler) ensureServiceDeployment(ctx context.Context, svc *slessv1alpha1.Service) (ctrl.Result, error) {
|
||||
deployNS := "sless-fn-" + svc.Namespace
|
||||
|
||||
// Создаём namespace для функций/сервисов если не существует
|
||||
ns := &corev1.Namespace{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: deployNS}, ns); err != nil {
|
||||
if errors.IsNotFound(err) {
|
||||
ns = &corev1.Namespace{ObjectMeta: metav1.ObjectMeta{Name: deployNS}}
|
||||
if err := r.Create(ctx, ns); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create service namespace: %w", err)
|
||||
}
|
||||
if r.HarborClient != nil {
|
||||
if err := r.HarborClient.EnsureProject(ctx, svc.Namespace); err != nil {
|
||||
log.FromContext(ctx).Error(err, "harbor ensure project", "project", svc.Namespace)
|
||||
}
|
||||
}
|
||||
} else {
|
||||
return ctrl.Result{}, fmt.Errorf("get service namespace: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
// Копируем pull-секрет чтобы kubelet мог скачать образ из приватного registry
|
||||
if r.RegistrySecret != "" && r.OperatorNamespace != "" {
|
||||
if err := r.ensureServiceRegistrySecret(ctx, deployNS); err != nil {
|
||||
log.FromContext(ctx).Error(err, "failed to ensure registry secret", "ns", deployNS)
|
||||
}
|
||||
}
|
||||
|
||||
// Deployment
|
||||
desired := r.buildServiceDeployment(svc, deployNS)
|
||||
existing := &appsv1.Deployment{}
|
||||
err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, existing)
|
||||
if errors.IsNotFound(err) {
|
||||
if err := r.Create(ctx, desired); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create service deployment: %w", err)
|
||||
}
|
||||
} else if err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("get service deployment: %w", err)
|
||||
} else {
|
||||
existing.Spec.Template.Spec.Containers[0].Image = svc.Status.ImageRef
|
||||
existing.Spec.Template.Spec.Containers[0].Env = desired.Spec.Template.Spec.Containers[0].Env
|
||||
existing.Spec.Template.Spec.ImagePullSecrets = desired.Spec.Template.Spec.ImagePullSecrets
|
||||
if err := r.Update(ctx, existing); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service deployment: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
// k8s Service — направляет трафик к Deployment
|
||||
wantSvc := &corev1.Service{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: svc.Name,
|
||||
Namespace: deployNS,
|
||||
Labels: map[string]string{"managed-by": "sless"},
|
||||
},
|
||||
Spec: corev1.ServiceSpec{
|
||||
Selector: map[string]string{"app": svc.Name},
|
||||
Ports: []corev1.ServicePort{{Port: 8080, Protocol: corev1.ProtocolTCP}},
|
||||
},
|
||||
}
|
||||
existingSvc := &corev1.Service{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, existingSvc); err != nil {
|
||||
if errors.IsNotFound(err) {
|
||||
if err := r.Create(ctx, wantSvc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create k8s service: %w", err)
|
||||
}
|
||||
} else {
|
||||
return ctrl.Result{}, fmt.Errorf("get k8s service: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
// URL и Ingress формируются либо через ExternalURL (прокси через API), либо через Ingress
|
||||
var funcURL string
|
||||
if r.ExternalURL != "" {
|
||||
// ExternalURL/fn/{ns}/{name} — работает через sless-api прокси, без wildcard DNS
|
||||
funcURL = fmt.Sprintf("%s/fn/%s/%s", r.ExternalURL, svc.Namespace, svc.Name)
|
||||
} else {
|
||||
// Fallback: Ingress с поддоменом (требует wildcard DNS *.IngressHost)
|
||||
host := fmt.Sprintf("%s-%s.%s", svc.Name, svc.Namespace, r.IngressHost)
|
||||
pathType := netv1.PathTypePrefix
|
||||
wantIng := &netv1.Ingress{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: svc.Name,
|
||||
Namespace: deployNS,
|
||||
Annotations: map[string]string{
|
||||
"kubernetes.io/ingress.class": "nginx",
|
||||
},
|
||||
},
|
||||
Spec: netv1.IngressSpec{
|
||||
Rules: []netv1.IngressRule{{
|
||||
Host: host,
|
||||
IngressRuleValue: netv1.IngressRuleValue{
|
||||
HTTP: &netv1.HTTPIngressRuleValue{
|
||||
Paths: []netv1.HTTPIngressPath{{
|
||||
Path: "/",
|
||||
PathType: &pathType,
|
||||
Backend: netv1.IngressBackend{
|
||||
Service: &netv1.IngressServiceBackend{
|
||||
Name: svc.Name,
|
||||
Port: netv1.ServiceBackendPort{Number: 8080},
|
||||
},
|
||||
},
|
||||
}},
|
||||
},
|
||||
},
|
||||
}},
|
||||
},
|
||||
}
|
||||
existingIng := &netv1.Ingress{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, existingIng); err != nil {
|
||||
if errors.IsNotFound(err) {
|
||||
if err := r.Create(ctx, wantIng); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("create service ingress: %w", err)
|
||||
}
|
||||
} else {
|
||||
return ctrl.Result{}, fmt.Errorf("get service ingress: %w", err)
|
||||
}
|
||||
}
|
||||
funcURL = "https://" + host
|
||||
}
|
||||
|
||||
// Записываем URL в Status если изменился
|
||||
if svc.Status.URL != funcURL {
|
||||
svc.Status.URL = funcURL
|
||||
if err := r.Status().Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service status url: %w", err)
|
||||
}
|
||||
}
|
||||
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
// buildServiceDeployment формирует Deployment манифест.
|
||||
func (r *ServiceReconciler) buildServiceDeployment(svc *slessv1alpha1.Service, namespace string) *appsv1.Deployment {
|
||||
replicas := int32(1)
|
||||
envVars := []corev1.EnvVar{
|
||||
{Name: "SLESS_ENTRYPOINT", Value: svc.Spec.Entrypoint},
|
||||
}
|
||||
// Сортируем ключи для стабильного порядка — нестабильный порядок env vars вызывает лишние rollout'ы
|
||||
keys := make([]string, 0, len(svc.Spec.Env))
|
||||
for k := range svc.Spec.Env {
|
||||
keys = append(keys, k)
|
||||
}
|
||||
sort.Strings(keys)
|
||||
for _, k := range keys {
|
||||
envVars = append(envVars, corev1.EnvVar{Name: k, Value: svc.Spec.Env[k]})
|
||||
}
|
||||
|
||||
return &appsv1.Deployment{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: svc.Name,
|
||||
Namespace: namespace,
|
||||
Labels: map[string]string{"app": svc.Name, "managed-by": "sless"},
|
||||
},
|
||||
Spec: appsv1.DeploymentSpec{
|
||||
Replicas: &replicas,
|
||||
Selector: &metav1.LabelSelector{MatchLabels: map[string]string{"app": svc.Name}},
|
||||
Template: corev1.PodTemplateSpec{
|
||||
ObjectMeta: metav1.ObjectMeta{Labels: map[string]string{"app": svc.Name}},
|
||||
Spec: corev1.PodSpec{
|
||||
Containers: []corev1.Container{{
|
||||
Name: svc.Name,
|
||||
Image: svc.Status.ImageRef,
|
||||
Env: envVars,
|
||||
Resources: corev1.ResourceRequirements{
|
||||
Limits: corev1.ResourceList{
|
||||
corev1.ResourceMemory: resource.MustParse(fmt.Sprintf("%dMi", svc.Spec.MemoryMB)),
|
||||
},
|
||||
},
|
||||
}},
|
||||
ImagePullSecrets: func() []corev1.LocalObjectReference {
|
||||
if r.RegistrySecret != "" {
|
||||
return []corev1.LocalObjectReference{{Name: r.RegistrySecret}}
|
||||
}
|
||||
return nil
|
||||
}(),
|
||||
},
|
||||
},
|
||||
},
|
||||
}
|
||||
}
|
||||
|
||||
// ensureServiceRegistrySecret копирует pull-секрет в namespace сервисов.
|
||||
func (r *ServiceReconciler) ensureServiceRegistrySecret(ctx context.Context, targetNS string) error {
|
||||
existing := &corev1.Secret{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: r.RegistrySecret, Namespace: targetNS}, existing); err == nil {
|
||||
return nil
|
||||
} else if !errors.IsNotFound(err) {
|
||||
return fmt.Errorf("check secret: %w", err)
|
||||
}
|
||||
src := &corev1.Secret{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: r.RegistrySecret, Namespace: r.OperatorNamespace}, src); err != nil {
|
||||
return fmt.Errorf("get source secret from %s: %w", r.OperatorNamespace, err)
|
||||
}
|
||||
copy := &corev1.Secret{
|
||||
ObjectMeta: metav1.ObjectMeta{
|
||||
Name: r.RegistrySecret,
|
||||
Namespace: targetNS,
|
||||
},
|
||||
Type: src.Type,
|
||||
Data: src.Data,
|
||||
}
|
||||
if err := r.Create(ctx, copy); err != nil {
|
||||
if !errors.IsAlreadyExists(err) {
|
||||
return fmt.Errorf("create secret in %s: %w", targetNS, err)
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// handleServiceDeletion удаляет Deployment, k8s Service, Ingress и убирает finalizer.
|
||||
func (r *ServiceReconciler) handleServiceDeletion(ctx context.Context, svc *slessv1alpha1.Service) (ctrl.Result, error) {
|
||||
deployNS := "sless-fn-" + svc.Namespace
|
||||
|
||||
dep := &appsv1.Deployment{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, dep); err == nil {
|
||||
_ = r.Delete(ctx, dep)
|
||||
}
|
||||
|
||||
// Убиваем kaniko Job если сборка шла в момент удаления
|
||||
if jobName := svc.Annotations["sless.kube5s.ru/build-job"]; jobName != "" {
|
||||
_ = r.Builder.Cleanup(ctx, jobName)
|
||||
}
|
||||
|
||||
k8sSvc := &corev1.Service{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, k8sSvc); err == nil {
|
||||
_ = r.Delete(ctx, k8sSvc)
|
||||
}
|
||||
|
||||
ing := &netv1.Ingress{}
|
||||
if err := r.Get(ctx, client.ObjectKey{Name: svc.Name, Namespace: deployNS}, ing); err == nil {
|
||||
_ = r.Delete(ctx, ing)
|
||||
}
|
||||
|
||||
svc.Finalizers = removeString(svc.Finalizers, serviceFinalizerName)
|
||||
if err := r.Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("remove service finalizer: %w", err)
|
||||
}
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
// setServiceFailed переводит сервис в фазу Failed.
|
||||
func (r *ServiceReconciler) setServiceFailed(ctx context.Context, svc *slessv1alpha1.Service, msg string) (ctrl.Result, error) {
|
||||
svc.Status.Phase = slessv1alpha1.ServicePhaseFailed
|
||||
svc.Status.Message = msg
|
||||
if err := r.Status().Update(ctx, svc); err != nil {
|
||||
return ctrl.Result{}, fmt.Errorf("update service status to failed: %w", err)
|
||||
}
|
||||
return ctrl.Result{}, nil
|
||||
}
|
||||
|
||||
// getServiceBuildPodLogs читает логи kaniko пода (последние 50 строк).
|
||||
// Идентична getBuildPodLogs из function_controller.go, но вынесена в service_controller
|
||||
// чтобы не создавать shared-помощника ради двух вызовов.
|
||||
func getServiceBuildPodLogs(ctx context.Context, kube kubernetes.Interface, namespace, jobName string) string {
|
||||
if kube == nil {
|
||||
return ""
|
||||
}
|
||||
pods, err := kube.CoreV1().Pods(namespace).List(ctx, metav1.ListOptions{
|
||||
LabelSelector: "job-name=" + jobName,
|
||||
})
|
||||
if err != nil || len(pods.Items) == 0 {
|
||||
return ""
|
||||
}
|
||||
req := kube.CoreV1().Pods(namespace).GetLogs(pods.Items[0].Name, &corev1.PodLogOptions{})
|
||||
stream, err := req.Stream(ctx)
|
||||
if err != nil {
|
||||
return ""
|
||||
}
|
||||
defer stream.Close()
|
||||
buf := new(bytes.Buffer)
|
||||
_, _ = io.Copy(buf, stream)
|
||||
raw := strings.TrimSpace(buf.String())
|
||||
if raw == "" {
|
||||
return ""
|
||||
}
|
||||
lines := strings.Split(raw, "\n")
|
||||
if len(lines) > 50 {
|
||||
lines = lines[len(lines)-50:]
|
||||
}
|
||||
return strings.Join(lines, "\n")
|
||||
}
|
||||
|
||||
// SetupWithManager sets up the controller with the Manager.
|
||||
func (r *ServiceReconciler) SetupWithManager(mgr ctrl.Manager) error {
|
||||
return ctrl.NewControllerManagedBy(mgr).
|
||||
For(&slessv1alpha1.Service{}).
|
||||
Complete(r)
|
||||
}
|
||||
Reference in New Issue
Block a user