From 1a94241c62420bf3f8b65abb2865c3eaaa31c1ab Mon Sep 17 00:00:00 2001 From: Naeel Date: Sun, 12 Apr 2026 14:29:43 +0300 Subject: [PATCH] =?UTF-8?q?feat:=20=D0=BF=D0=B5=D1=80=D0=B5=D0=BD=D0=BE?= =?UTF-8?q?=D1=81=20IoT=20managed=20service=20=D0=B8=D0=B7=20sless=20?= =?UTF-8?q?=D0=B2=20=D0=BE=D1=82=D0=B4=D0=B5=D0=BB=D1=8C=D0=BD=D1=83=D1=8E?= =?UTF-8?q?=20=D1=80=D0=B5=D0=BF=D1=83?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Компоненты: - iot-operator: controller-manager (IoTDevice CRD) + REST API (порт 9090) - mqtt-bridge: MQTT (EMQX) → Kafka bridge - kafka-consumer: Kafka → Postgres pipeline Модуль: gitea.services.ngcloud.ru/Nail/IoT Все 3 бинарника собираются, import paths адаптированы. --- .gitignore | 21 + Dockerfile | 39 + Makefile | 40 + api/v1alpha1/device_types.go | 99 ++ api/v1alpha1/groupversion_info.go | 30 + api/v1alpha1/zz_generated.deepcopy.go | 109 ++ .../crd/bases/iot.kube5s.ru_iotdevices.yaml | 123 ++ controllers/iotdevice_controller.go | 175 +++ deployments/k8s/iot-kafka-consumer.yaml | 48 + deployments/k8s/iot-mqtt-bridge.yaml | 71 + deployments/k8s/iot-postgres.yaml | 66 + deployments/k8s/kafka.yaml | 150 ++ doc/deployment.md | 306 ++++ doc/iot-mvp-plan.md | 1400 +++++++++++++++++ examples/README.md | 83 + examples/handler.py | 57 + examples/main.tf | 102 ++ go.mod | 76 + go.sum | 640 ++++++++ internal/api/admin_embed.go | 27 + internal/api/console_embed.go | 32 + internal/api/handler/handler.go | 61 + .../api/handler/iot_admin_stats_handler.go | 214 +++ internal/api/handler/iot_device_handler.go | 454 ++++++ internal/api/handler/iot_telemetry_handler.go | 55 + internal/api/middleware/auth.go | 165 ++ internal/api/middleware/logging.go | 38 + internal/api/router.go | 67 + internal/api/ui/iot-admin.html | 547 +++++++ internal/api/ui/iot-console.html | 1330 ++++++++++++++++ internal/storage/iotpg/iot_telemetry_store.go | 398 +++++ 31 files changed, 7023 insertions(+) create mode 100644 .gitignore create mode 100644 Dockerfile create mode 100644 Makefile create mode 100644 api/v1alpha1/device_types.go create mode 100644 api/v1alpha1/groupversion_info.go create mode 100644 api/v1alpha1/zz_generated.deepcopy.go create mode 100644 config/crd/bases/iot.kube5s.ru_iotdevices.yaml create mode 100644 controllers/iotdevice_controller.go create mode 100644 deployments/k8s/iot-kafka-consumer.yaml create mode 100644 deployments/k8s/iot-mqtt-bridge.yaml create mode 100644 deployments/k8s/iot-postgres.yaml create mode 100644 deployments/k8s/kafka.yaml create mode 100644 doc/deployment.md create mode 100644 doc/iot-mvp-plan.md create mode 100644 examples/README.md create mode 100644 examples/handler.py create mode 100644 examples/main.tf create mode 100644 go.mod create mode 100644 go.sum create mode 100644 internal/api/admin_embed.go create mode 100644 internal/api/console_embed.go create mode 100644 internal/api/handler/handler.go create mode 100644 internal/api/handler/iot_admin_stats_handler.go create mode 100644 internal/api/handler/iot_device_handler.go create mode 100644 internal/api/handler/iot_telemetry_handler.go create mode 100644 internal/api/middleware/auth.go create mode 100644 internal/api/middleware/logging.go create mode 100644 internal/api/router.go create mode 100644 internal/api/ui/iot-admin.html create mode 100644 internal/api/ui/iot-console.html create mode 100644 internal/storage/iotpg/iot_telemetry_store.go diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..38f0efb --- /dev/null +++ b/.gitignore @@ -0,0 +1,21 @@ +# Бинарники +iot-operator +mqtt-bridge +kafka-consumer +bin/ + +# Go +*.exe +*.test +*.out + +# IDE +.idea/ +.vscode/ +*.swp +*.swo +*~ + +# OS +.DS_Store +Thumbs.db diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 0000000..7396a3a --- /dev/null +++ b/Dockerfile @@ -0,0 +1,39 @@ +# Создано: 2026-04-12 +# Dockerfile для IoT managed service. +# Multi-stage build: 3 бинарника (iot-operator, mqtt-bridge, kafka-consumer). +# Образ: naeel/iot-operator (Docker Hub). + +FROM golang:1.25 AS builder +WORKDIR /workspace + +# Кэширование зависимостей +COPY go.mod go.sum ./ +RUN go mod download + +# Исходный код +COPY api/ api/ +COPY controllers/ controllers/ +COPY cmd/ cmd/ +COPY internal/ internal/ + +# iot-operator — controller-manager + REST API +RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o iot-operator ./cmd/iot-operator/ + +# mqtt-bridge — MQTT (EMQX) → Kafka +RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o mqtt-bridge ./cmd/mqtt-bridge/ + +# kafka-consumer — Kafka → Postgres +RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o kafka-consumer ./cmd/kafka-consumer/ + +# --- Runtime --- +FROM gcr.io/distroless/static:nonroot +WORKDIR / + +# Все три бинарника в одном образе. +# Какой запускать — определяется command в k8s Deployment. +COPY --from=builder /workspace/iot-operator . +COPY --from=builder /workspace/mqtt-bridge . +COPY --from=builder /workspace/kafka-consumer . + +USER 65532:65532 +ENTRYPOINT ["/iot-operator"] diff --git a/Makefile b/Makefile new file mode 100644 index 0000000..485c879 --- /dev/null +++ b/Makefile @@ -0,0 +1,40 @@ +# Создано: 2026-04-12 +# Makefile для IoT managed service. + +IMG ?= naeel/iot-operator:latest + +.PHONY: build build-all docker-build docker-push test tidy + +# Собрать все бинарники +build-all: build-operator build-bridge build-consumer + +build-operator: +CGO_ENABLED=0 go build -o bin/iot-operator ./cmd/iot-operator/ + +build-bridge: +CGO_ENABLED=0 go build -o bin/mqtt-bridge ./cmd/mqtt-bridge/ + +build-consumer: +CGO_ENABLED=0 go build -o bin/kafka-consumer ./cmd/kafka-consumer/ + +# Docker +docker-build: +docker build -t $(IMG) . + +docker-push: +docker push $(IMG) + +# Тесты и go mod +test: +go test ./... + +tidy: +go mod tidy + +# Применить CRD в кластер +install-crd: +kubectl apply -f config/crd/bases/ + +# Деплой всех компонентов +deploy: +kubectl apply -f deployments/k8s/ diff --git a/api/v1alpha1/device_types.go b/api/v1alpha1/device_types.go new file mode 100644 index 0000000..73057d0 --- /dev/null +++ b/api/v1alpha1/device_types.go @@ -0,0 +1,99 @@ +// Создано: 2026-04-04 +// Описание CRD IoTDevice — регистрация IoT-устройства в платформе sless. +// Пользователь создаёт IoTDevice, контроллер автоматически генерирует MQTT-credentials +// и сохраняет их в k8s Secret в том же namespace. +// При удалении IoTDevice — Secret удаляется каскадно через OwnerReference. + +package v1alpha1 + +import ( + metav1 "k8s.io/apimachinery/pkg/apis/meta/v1" +) + +// IoTDeviceSpec — желаемое состояние IoT-устройства. +type IoTDeviceSpec struct { + // DeviceID — уникальный идентификатор устройства внутри namespace. + // Используется как часть MQTT username и имени Secret. + // Разрешены только строчные буквы, цифры и дефис — для совместимости с k8s именами. + // +kubebuilder:validation:Required + // +kubebuilder:validation:Pattern=`^[a-z0-9][a-z0-9-]*[a-z0-9]$` + // +kubebuilder:validation:MaxLength=48 + DeviceID string `json:"deviceId"` + + // Metadata — произвольные метаданные устройства (модель, локация и т.д.). + // Хранятся только в CRD, не влияют на логику контроллера. + // +optional + Metadata map[string]string `json:"metadata,omitempty"` + + // Enabled — активно ли устройство (может подключаться к MQTT). + // Если false — контроллер устанавливает phase=Disabled, EMQX auth отклоняет подключение. + // Secret с credentials НЕ удаляется — при re-enable пароль остаётся прежним. + // +kubebuilder:default=true + Enabled bool `json:"enabled"` +} + +// IoTDevicePhase — текущая фаза жизненного цикла устройства. +type IoTDevicePhase string + +const ( + // IoTDevicePhaseActive — устройство активно, credentials выданы, может подключаться к MQTT. + IoTDevicePhaseActive IoTDevicePhase = "Active" + // IoTDevicePhaseDisabled — устройство отключено (spec.enabled=false). EMQX отклоняет подключения. + IoTDevicePhaseDisabled IoTDevicePhase = "Disabled" + // IoTDevicePhasePending — устройство создано, контроллер ещё не успел сгенерировать credentials. + IoTDevicePhasePending IoTDevicePhase = "Pending" + // IoTDevicePhaseError — ошибка при создании credentials (см. status.message). + IoTDevicePhaseError IoTDevicePhase = "Error" +) + +// IoTDeviceStatus — наблюдаемое состояние IoT-устройства (заполняет контроллер). +type IoTDeviceStatus struct { + // Phase — текущее состояние: Active, Disabled, Pending, Error. + Phase IoTDevicePhase `json:"phase,omitempty"` + + // MQTTUsername — имя пользователя для подключения к MQTT-брокеру. + // Формат: {namespace}_{deviceId} — глобально уникален в рамках EMQX. + MQTTUsername string `json:"mqttUsername,omitempty"` + + // SecretName — имя k8s Secret в том же namespace, содержащего mqtt-username и mqtt-password. + SecretName string `json:"secretName,omitempty"` + + // TopicPrefix — MQTT topic prefix, на который разрешена публикация. + // Формат: {namespace}/ — устройство не может публиковать в чужие namespace. + TopicPrefix string `json:"topicPrefix,omitempty"` + + // LastConnected — время последнего MQTT-подключения устройства. + // Заполняется MQTT auth-сервисом при каждом успешном CONNECT. + // +optional + LastConnected *metav1.Time `json:"lastConnected,omitempty"` + + // Message — человекочитаемое сообщение о текущем статусе или ошибке. + Message string `json:"message,omitempty"` +} + +// +kubebuilder:object:root=true +// +kubebuilder:subresource:status +// +kubebuilder:printcolumn:name="DeviceID",type=string,JSONPath=`.spec.deviceId` +// +kubebuilder:printcolumn:name="Phase",type=string,JSONPath=`.status.phase` +// +kubebuilder:printcolumn:name="Enabled",type=boolean,JSONPath=`.spec.enabled` +// +kubebuilder:printcolumn:name="MQTTUser",type=string,JSONPath=`.status.mqttUsername` +// +kubebuilder:printcolumn:name="Age",type=date,JSONPath=`.metadata.creationTimestamp` + +// IoTDevice — ресурс для регистрации IoT-устройства в платформе. +// Контроллер автоматически создаёт k8s Secret с MQTT-credentials. +type IoTDevice struct { + metav1.TypeMeta `json:",inline"` + metav1.ObjectMeta `json:"metadata,omitempty"` + + Spec IoTDeviceSpec `json:"spec,omitempty"` + Status IoTDeviceStatus `json:"status,omitempty"` +} + +// +kubebuilder:object:root=true + +// IoTDeviceList — список IoTDevice объектов. +type IoTDeviceList struct { + metav1.TypeMeta `json:",inline"` + metav1.ListMeta `json:"metadata,omitempty"` + Items []IoTDevice `json:"items"` +} diff --git a/api/v1alpha1/groupversion_info.go b/api/v1alpha1/groupversion_info.go new file mode 100644 index 0000000..a89d39e --- /dev/null +++ b/api/v1alpha1/groupversion_info.go @@ -0,0 +1,30 @@ +// Создано: 2026-04-04 +// groupversion_info.go — регистрация API group iot.kube5s.ru/v1alpha1. +// ВАЖНО: группа намеренно отдельная от sless.kube5s.ru — при выносе IoT в +// отдельную репу CRD не будет конфликтовать с sless CRD. + +// Package v1alpha1 содержит API Schema definitions для группы iot.kube5s.ru. +// +kubebuilder:object:generate=true +// +groupName=iot.kube5s.ru +package v1alpha1 + +import ( + "k8s.io/apimachinery/pkg/runtime/schema" + "sigs.k8s.io/controller-runtime/pkg/scheme" +) + +var ( + // GroupVersion — API group/version для IoT ресурсов. + // Отдельный от sless.kube5s.ru — для изоляции и будущего разделения репозиториев. + GroupVersion = schema.GroupVersion{Group: "iot.kube5s.ru", Version: "v1alpha1"} + + // SchemeBuilder регистрирует Go-типы в GroupVersionKind scheme. + SchemeBuilder = &scheme.Builder{GroupVersion: GroupVersion} + + // AddToScheme добавляет типы этой API группы в scheme manager'а. + AddToScheme = SchemeBuilder.AddToScheme +) + +func init() { + SchemeBuilder.Register(&IoTDevice{}, &IoTDeviceList{}) +} diff --git a/api/v1alpha1/zz_generated.deepcopy.go b/api/v1alpha1/zz_generated.deepcopy.go new file mode 100644 index 0000000..501a8c8 --- /dev/null +++ b/api/v1alpha1/zz_generated.deepcopy.go @@ -0,0 +1,109 @@ +//go:build !ignore_autogenerated + +// Code generated by controller-gen. DO NOT EDIT. + +package v1alpha1 + +import ( + runtime "k8s.io/apimachinery/pkg/runtime" +) + +// DeepCopyInto is an autogenerated deepcopy function, copying the receiver, writing into out. in must be non-nil. +func (in *IoTDevice) DeepCopyInto(out *IoTDevice) { + *out = *in + out.TypeMeta = in.TypeMeta + in.ObjectMeta.DeepCopyInto(&out.ObjectMeta) + in.Spec.DeepCopyInto(&out.Spec) + in.Status.DeepCopyInto(&out.Status) +} + +// DeepCopy is an autogenerated deepcopy function, copying the receiver, creating a new IoTDevice. +func (in *IoTDevice) DeepCopy() *IoTDevice { + if in == nil { + return nil + } + out := new(IoTDevice) + in.DeepCopyInto(out) + return out +} + +// DeepCopyObject is an autogenerated deepcopy function, copying the receiver, creating a new runtime.Object. +func (in *IoTDevice) DeepCopyObject() runtime.Object { + if c := in.DeepCopy(); c != nil { + return c + } + return nil +} + +// DeepCopyInto is an autogenerated deepcopy function, copying the receiver, writing into out. in must be non-nil. +func (in *IoTDeviceList) DeepCopyInto(out *IoTDeviceList) { + *out = *in + out.TypeMeta = in.TypeMeta + in.ListMeta.DeepCopyInto(&out.ListMeta) + if in.Items != nil { + in, out := &in.Items, &out.Items + *out = make([]IoTDevice, len(*in)) + for i := range *in { + (*in)[i].DeepCopyInto(&(*out)[i]) + } + } +} + +// DeepCopy is an autogenerated deepcopy function, copying the receiver, creating a new IoTDeviceList. +func (in *IoTDeviceList) DeepCopy() *IoTDeviceList { + if in == nil { + return nil + } + out := new(IoTDeviceList) + in.DeepCopyInto(out) + return out +} + +// DeepCopyObject is an autogenerated deepcopy function, copying the receiver, creating a new runtime.Object. +func (in *IoTDeviceList) DeepCopyObject() runtime.Object { + if c := in.DeepCopy(); c != nil { + return c + } + return nil +} + +// DeepCopyInto is an autogenerated deepcopy function, copying the receiver, writing into out. in must be non-nil. +func (in *IoTDeviceSpec) DeepCopyInto(out *IoTDeviceSpec) { + *out = *in + if in.Metadata != nil { + in, out := &in.Metadata, &out.Metadata + *out = make(map[string]string, len(*in)) + for key, val := range *in { + (*out)[key] = val + } + } +} + +// DeepCopy is an autogenerated deepcopy function, copying the receiver, creating a new IoTDeviceSpec. +func (in *IoTDeviceSpec) DeepCopy() *IoTDeviceSpec { + if in == nil { + return nil + } + out := new(IoTDeviceSpec) + in.DeepCopyInto(out) + return out +} + +// DeepCopyInto is an autogenerated deepcopy function, copying the receiver, writing into out. in must be non-nil. +func (in *IoTDeviceStatus) DeepCopyInto(out *IoTDeviceStatus) { + *out = *in + if in.LastConnected != nil { + in, out := &in.LastConnected, &out.LastConnected + *out = (*in).DeepCopy() + } +} + +// DeepCopy is an autogenerated deepcopy function, copying the receiver, creating a new IoTDeviceStatus. +func (in *IoTDeviceStatus) DeepCopy() *IoTDeviceStatus { + if in == nil { + return nil + } + out := new(IoTDeviceStatus) + in.DeepCopyInto(out) + return out +} diff --git a/config/crd/bases/iot.kube5s.ru_iotdevices.yaml b/config/crd/bases/iot.kube5s.ru_iotdevices.yaml new file mode 100644 index 0000000..45ad7e5 --- /dev/null +++ b/config/crd/bases/iot.kube5s.ru_iotdevices.yaml @@ -0,0 +1,123 @@ +--- +apiVersion: apiextensions.k8s.io/v1 +kind: CustomResourceDefinition +metadata: + annotations: + controller-gen.kubebuilder.io/version: v0.14.0 + name: iotdevices.iot.kube5s.ru +spec: + group: iot.kube5s.ru + names: + kind: IoTDevice + listKind: IoTDeviceList + plural: iotdevices + singular: iotdevice + scope: Namespaced + versions: + - additionalPrinterColumns: + - jsonPath: .spec.deviceId + name: DeviceID + type: string + - jsonPath: .status.phase + name: Phase + type: string + - jsonPath: .spec.enabled + name: Enabled + type: boolean + - jsonPath: .status.mqttUsername + name: MQTTUser + type: string + - jsonPath: .metadata.creationTimestamp + name: Age + type: date + name: v1alpha1 + schema: + openAPIV3Schema: + description: |- + IoTDevice — ресурс для регистрации IoT-устройства в платформе. + Контроллер автоматически создаёт k8s Secret с MQTT-credentials. + properties: + apiVersion: + description: |- + APIVersion defines the versioned schema of this representation of an object. + Servers should convert recognized schemas to the latest internal value, and + may reject unrecognized values. + More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resources + type: string + kind: + description: |- + Kind is a string value representing the REST resource this object represents. + Servers may infer this from the endpoint the client submits requests to. + Cannot be updated. + In CamelCase. + More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds + type: string + metadata: + type: object + spec: + description: IoTDeviceSpec — желаемое состояние IoT-устройства. + properties: + deviceId: + description: |- + DeviceID — уникальный идентификатор устройства внутри namespace. + Используется как часть MQTT username и имени Secret. + Разрешены только строчные буквы, цифры и дефис — для совместимости с k8s именами. + maxLength: 48 + pattern: ^[a-z0-9][a-z0-9-]*[a-z0-9]$ + type: string + enabled: + default: true + description: |- + Enabled — активно ли устройство (может подключаться к MQTT). + Если false — контроллер устанавливает phase=Disabled, EMQX auth отклоняет подключение. + Secret с credentials НЕ удаляется — при re-enable пароль остаётся прежним. + type: boolean + metadata: + additionalProperties: + type: string + description: |- + Metadata — произвольные метаданные устройства (модель, локация и т.д.). + Хранятся только в CRD, не влияют на логику контроллера. + type: object + required: + - deviceId + - enabled + type: object + status: + description: IoTDeviceStatus — наблюдаемое состояние IoT-устройства (заполняет + контроллер). + properties: + lastConnected: + description: |- + LastConnected — время последнего MQTT-подключения устройства. + Заполняется MQTT auth-сервисом при каждом успешном CONNECT. + format: date-time + type: string + message: + description: Message — человекочитаемое сообщение о текущем статусе + или ошибке. + type: string + mqttUsername: + description: |- + MQTTUsername — имя пользователя для подключения к MQTT-брокеру. + Формат: {namespace}_{deviceId} — глобально уникален в рамках EMQX. + type: string + phase: + description: 'Phase — текущее состояние: Active, Disabled, Pending, + Error.' + type: string + secretName: + description: SecretName — имя k8s Secret в том же namespace, содержащего + mqtt-username и mqtt-password. + type: string + topicPrefix: + description: |- + TopicPrefix — MQTT topic prefix, на который разрешена публикация. + Формат: {namespace}/ — устройство не может публиковать в чужие namespace. + type: string + type: object + type: object + served: true + storage: true + subresources: + status: {} diff --git a/controllers/iotdevice_controller.go b/controllers/iotdevice_controller.go new file mode 100644 index 0000000..2e63c79 --- /dev/null +++ b/controllers/iotdevice_controller.go @@ -0,0 +1,175 @@ +// Создано: 2026-04-04 +// iotdevice_controller.go — контроллер IoTDevice CRD. +// Логика Reconcile: +// 1. Добавить finalizer при первом создании +// 2. При удалении (DeletionTimestamp != nil) — убрать finalizer. +// Secret удалится автоматически по OwnerReference (cascade GC). +// 3. Если spec.enabled=false — установить phase=Disabled, не создавать Secret. +// Если Secret уже существует — НЕ удалять (при re-enable пароль сохранится). +// 4. Если Secret не существует — сгенерировать пароль, создать Secret с OwnerRef. +// 5. Обновить status: phase, mqttUsername, secretName, topicPrefix. + +package controllers + +import ( + "context" + "crypto/rand" + "encoding/hex" + "fmt" + + corev1 "k8s.io/api/core/v1" + "k8s.io/apimachinery/pkg/api/errors" + metav1 "k8s.io/apimachinery/pkg/apis/meta/v1" + "k8s.io/apimachinery/pkg/runtime" + ctrl "sigs.k8s.io/controller-runtime" + "sigs.k8s.io/controller-runtime/pkg/client" + "sigs.k8s.io/controller-runtime/pkg/controller/controllerutil" + "sigs.k8s.io/controller-runtime/pkg/log" + + iotv1alpha1 "gitea.services.ngcloud.ru/Nail/IoT/api/v1alpha1" +) + +// iotDeviceFinalizer — имя finalizer для IoTDevice. +// Гарантирует что контроллер обработает удаление до того как k8s удалит объект. +const iotDeviceFinalizer = "iot.kube5s.ru/device-cleanup" + +// IoTDeviceReconciler управляет жизненным циклом IoTDevice CRD. +type IoTDeviceReconciler struct { + client.Client + Scheme *runtime.Scheme +} + +// +kubebuilder:rbac:groups=iot.kube5s.ru,resources=iotdevices,verbs=get;list;watch;create;update;patch;delete +// +kubebuilder:rbac:groups=iot.kube5s.ru,resources=iotdevices/status,verbs=get;update;patch +// +kubebuilder:rbac:groups=iot.kube5s.ru,resources=iotdevices/finalizers,verbs=update +// +kubebuilder:rbac:groups="",resources=secrets,verbs=get;list;watch;create;delete + +// Reconcile — главный цикл управления IoTDevice. +func (r *IoTDeviceReconciler) Reconcile(ctx context.Context, req ctrl.Request) (ctrl.Result, error) { + logger := log.FromContext(ctx) + + // Читаем IoTDevice из k8s + device := &iotv1alpha1.IoTDevice{} + if err := r.Get(ctx, req.NamespacedName, device); err != nil { + if errors.IsNotFound(err) { + // Объект удалён — финализация уже завершена + return ctrl.Result{}, nil + } + return ctrl.Result{}, fmt.Errorf("get iotdevice: %w", err) + } + + // Если объект помечен к удалению — убираем finalizer. + // Secret удалится каскадно через OwnerReference — явно удалять не нужно. + if !device.DeletionTimestamp.IsZero() { + if controllerutil.ContainsFinalizer(device, iotDeviceFinalizer) { + controllerutil.RemoveFinalizer(device, iotDeviceFinalizer) + if err := r.Update(ctx, device); err != nil { + return ctrl.Result{}, fmt.Errorf("remove finalizer: %w", err) + } + logger.Info("removed finalizer from IoTDevice", "device", req.Name) + } + return ctrl.Result{}, nil + } + + // Добавляем finalizer при первом создании объекта + if !controllerutil.ContainsFinalizer(device, iotDeviceFinalizer) { + controllerutil.AddFinalizer(device, iotDeviceFinalizer) + if err := r.Update(ctx, device); err != nil { + return ctrl.Result{}, fmt.Errorf("add finalizer: %w", err) + } + // Requeue — обязательно, чтобы продолжить reconcile с обновлённым объектом + return ctrl.Result{Requeue: true}, nil + } + + // Если устройство отключено — обновляем статус, не создаём Secret + if !device.Spec.Enabled { + return ctrl.Result{}, r.setStatus(ctx, device, iotv1alpha1.IoTDevicePhaseDisabled, "Device is disabled") + } + + // Имя Secret и MQTT username по формату из плана + secretName := "iot-" + device.Spec.DeviceID + mqttUsername := fmt.Sprintf("%s_%s", device.Namespace, device.Spec.DeviceID) + + // Проверяем наличие Secret — если нет, создаём с новыми credentials + existingSecret := &corev1.Secret{} + err := r.Get(ctx, client.ObjectKey{Namespace: device.Namespace, Name: secretName}, existingSecret) + if errors.IsNotFound(err) { + // Генерируем криптографически стойкий пароль: 32 байта = 64 hex символа + password, genErr := generateMQTTPassword() + if genErr != nil { + setErr := r.setStatus(ctx, device, iotv1alpha1.IoTDevicePhaseError, fmt.Sprintf("generate password: %v", genErr)) + return ctrl.Result{}, setErr + } + + secret := &corev1.Secret{ + ObjectMeta: metav1.ObjectMeta{ + Name: secretName, + Namespace: device.Namespace, + }, + Data: map[string][]byte{ + "mqtt-username": []byte(mqttUsername), + "mqtt-password": []byte(password), + }, + } + + // OwnerReference — Secret принадлежит IoTDevice. + // При удалении IoTDevice k8s каскадно удалит Secret. + if ownerErr := controllerutil.SetControllerReference(device, secret, r.Scheme); ownerErr != nil { + return ctrl.Result{}, fmt.Errorf("set owner reference: %w", ownerErr) + } + + if createErr := r.Create(ctx, secret); createErr != nil { + setErr := r.setStatus(ctx, device, iotv1alpha1.IoTDevicePhaseError, fmt.Sprintf("create secret: %v", createErr)) + return ctrl.Result{}, setErr + } + logger.Info("created MQTT credentials Secret", "secret", secretName, "device", device.Spec.DeviceID) + + } else if err != nil { + // Неожиданная ошибка при чтении Secret + return ctrl.Result{}, fmt.Errorf("get secret: %w", err) + } + // else — Secret уже существует, ничего не делаем (пароль не меняем) + + // Обновляем status — отражаем актуальное состояние устройства + device.Status.Phase = iotv1alpha1.IoTDevicePhaseActive + device.Status.MQTTUsername = mqttUsername + device.Status.SecretName = secretName + device.Status.TopicPrefix = device.Namespace + "/" + device.Status.Message = "" + + if statusErr := r.Status().Update(ctx, device); statusErr != nil { + return ctrl.Result{}, fmt.Errorf("update status: %w", statusErr) + } + + return ctrl.Result{}, nil +} + +// setStatus — вспомогательная функция для обновления status.Phase и status.Message. +// Используется для промежуточных состояний (Disabled, Error). +func (r *IoTDeviceReconciler) setStatus(ctx context.Context, device *iotv1alpha1.IoTDevice, phase iotv1alpha1.IoTDevicePhase, message string) error { + device.Status.Phase = phase + device.Status.Message = message + if err := r.Status().Update(ctx, device); err != nil { + return fmt.Errorf("update status to %s: %w", phase, err) + } + return nil +} + +// generateMQTTPassword генерирует криптографически стойкий пароль для MQTT. +// 32 байта случайных данных → hex строка 64 символа = 256 бит энтропии. +func generateMQTTPassword() (string, error) { + buf := make([]byte, 32) + if _, err := rand.Read(buf); err != nil { + return "", fmt.Errorf("rand.Read: %w", err) + } + return hex.EncodeToString(buf), nil +} + +// SetupWithManager регистрирует контроллер в manager'е. +// Watches только IoTDevice — secrets обновляются через reconcile loop при необходимости. +func (r *IoTDeviceReconciler) SetupWithManager(mgr ctrl.Manager) error { + return ctrl.NewControllerManagedBy(mgr). + For(&iotv1alpha1.IoTDevice{}). + Owns(&corev1.Secret{}). + Complete(r) +} diff --git a/deployments/k8s/iot-kafka-consumer.yaml b/deployments/k8s/iot-kafka-consumer.yaml new file mode 100644 index 0000000..7a8c42b --- /dev/null +++ b/deployments/k8s/iot-kafka-consumer.yaml @@ -0,0 +1,48 @@ +# Создано: 2026-04-06 +# Deployment iot-kafka-consumer — читает IoT телеметрию из Kafka → пишет в IoT Postgres. +# +# Consumer group "iot-pg-consumer" — можно масштабировать горизонтально без дублирования. +# Offset коммитится ТОЛЬКО после успешной записи в Postgres (at-least-once гарантия). +# +# Применение: kubectl apply -f deployments/k8s/iot-kafka-consumer.yaml + +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: iot-kafka-consumer + namespace: sless + labels: + app: iot-kafka-consumer +spec: + replicas: 1 + selector: + matchLabels: + app: iot-kafka-consumer + template: + metadata: + labels: + app: iot-kafka-consumer + spec: + containers: + - name: kafka-consumer + # Тот же образ что и оператор — все IoT бинари в одном образе. + image: pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.69 + imagePullPolicy: Always + command: ["/iot-kafka-consumer"] + env: + - name: KAFKA_BROKERS + value: "kafka.sless.svc.cluster.local:9092" + envFrom: + # IOT_PG_DSN — master DSN для IoT Postgres (per-tenant DB) + - secretRef: + name: iot-postgres-secret + resources: + requests: + memory: "32Mi" + cpu: "25m" + limits: + memory: "64Mi" + cpu: "100m" + imagePullSecrets: + - name: sless-registry-auth diff --git a/deployments/k8s/iot-mqtt-bridge.yaml b/deployments/k8s/iot-mqtt-bridge.yaml new file mode 100644 index 0000000..5495625 --- /dev/null +++ b/deployments/k8s/iot-mqtt-bridge.yaml @@ -0,0 +1,71 @@ +# Создано: 2026-04-04 +# Изменено: 2026-04-06 (MQTT→Kafka: убран RABBITMQ_URL, добавлен KAFKA_BROKERS, v0.1.67) +# Deployment iot-mqtt-bridge — MQTT→Kafka мост для IoT. +# +# Получает MQTT сообщения от EMQX (подписка на "+/telemetry/+") +# и публикует в Kafka топик "iot.telemetry" (ключ = namespace). +# +# Credentials для MQTT подключения берутся из Secret iot-bridge-credentials. +# Этот Secret нужно создать вручную ДО деплоя: +# +# # 1. Создать IoTDevice для bridge через API: +# curl -X POST .../v1/namespaces/sless-bridge/iot/devices \ +# -d '{"name":"bridge","device_id":"bridge","enabled":true}' +# +# # 2. Получить credentials: +# MQTT_USERNAME=$(kubectl get secret iot-bridge -n sless-bridge -o jsonpath='{.data.mqtt-username}' | base64 -d) +# MQTT_PASSWORD=$(kubectl get secret iot-bridge -n sless-bridge -o jsonpath='{.data.mqtt-password}' | base64 -d) +# +# # 3. Создать Secret для bridge Deployment (один раз): +# kubectl create secret generic iot-bridge-credentials -n sless \ +# --from-literal=MQTT_USERNAME="$MQTT_USERNAME" \ +# --from-literal=MQTT_PASSWORD="$MQTT_PASSWORD" +# +# Применение: kubectl apply -f deployments/k8s/iot-mqtt-bridge.yaml + +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: iot-mqtt-bridge + namespace: sless + labels: + app: iot-mqtt-bridge +spec: + replicas: 1 + selector: + matchLabels: + app: iot-mqtt-bridge + template: + metadata: + labels: + app: iot-mqtt-bridge + spec: + containers: + - name: mqtt-bridge + # Тот же образ что и оператор — оба бинаря в одном слое (manager + iot-mqtt-bridge). + # При смене версии оператора — менять тег и здесь. + image: pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.69 + imagePullPolicy: Always + command: ["/iot-mqtt-bridge"] + env: + - name: MQTT_BROKER_URL + value: "tcp://emqx.sless.svc:1883" + - name: KAFKA_BROKERS + value: "kafka.sless.svc.cluster.local:9092" + envFrom: + - secretRef: + name: iot-bridge-credentials + # IOT_PG_DSN — сохранение телеметрии в Postgres (опционально) + - secretRef: + name: iot-postgres-secret + optional: true + resources: + requests: + memory: "32Mi" + cpu: "25m" + limits: + memory: "64Mi" + cpu: "100m" + imagePullSecrets: + - name: sless-registry-auth diff --git a/deployments/k8s/iot-postgres.yaml b/deployments/k8s/iot-postgres.yaml new file mode 100644 index 0000000..3f36573 --- /dev/null +++ b/deployments/k8s/iot-postgres.yaml @@ -0,0 +1,66 @@ +# Создано: 2026-04-05 +# Postgres для IoT телеметрии — отдельный от sless postgres (тот для invocations логов). +# Deployment (не StatefulSet) — для dev/demo. В prod заменить на managed Postgres. +# +# Суперюзер iot_admin используется оператором для: +# - CREATE USER tenant_{ns} + CREATE DATABASE tenant_{ns} +# - CREATE TABLE iot_telemetry в tenant DB +# Клиенты НЕ имеют прямого доступа — только через REST API платформы. +--- +apiVersion: v1 +kind: Secret +metadata: + name: iot-postgres-secret + namespace: sless +stringData: + # Суперпользователь — для управления tenant databases + POSTGRES_USER: "iot_admin" + POSTGRES_PASSWORD: "iot-pg-super-2026" + POSTGRES_DB: "iot_platform" + # DSN для оператора и mqtt-bridge (superuser к management DB) + IOT_PG_DSN: "postgresql://iot_admin:iot-pg-super-2026@iot-postgres.sless.svc:5432/iot_platform?sslmode=disable" +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: iot-postgres + namespace: sless + labels: + app: iot-postgres +spec: + replicas: 1 + selector: + matchLabels: + app: iot-postgres + template: + metadata: + labels: + app: iot-postgres + spec: + containers: + - name: postgres + image: postgres:16-alpine + ports: + - containerPort: 5432 + envFrom: + - secretRef: + name: iot-postgres-secret + resources: + requests: + memory: "128Mi" + cpu: "100m" + limits: + memory: "512Mi" + cpu: "500m" +--- +apiVersion: v1 +kind: Service +metadata: + name: iot-postgres + namespace: sless +spec: + selector: + app: iot-postgres + ports: + - port: 5432 + targetPort: 5432 diff --git a/deployments/k8s/kafka.yaml b/deployments/k8s/kafka.yaml new file mode 100644 index 0000000..daa02dd --- /dev/null +++ b/deployments/k8s/kafka.yaml @@ -0,0 +1,150 @@ +# Изменено: 2026-04-06 (добавлен postStart hook для предсоздания топика iot.telemetry) +# kafka.yaml — минимальный деплой Apache Kafka в KRaft mode (без Zookeeper). +# Образ: apache/kafka (официальный, бесплатный). +# Используется для IoT telemetry pipeline: mqtt-bridge → Kafka → iot-kafka-consumer → Postgres. +# Для prod: заменить на managed Kafka (Confluent/Aiven) — только изменить KAFKA_BROKERS в Secret. +--- +apiVersion: v1 +kind: ConfigMap +metadata: + name: kafka-config + namespace: sless +data: + # server.properties для KRaft mode (без Zookeeper). + # Нода совмещает роли controller + broker. + server.properties: | + process.roles=broker,controller + node.id=1 + controller.quorum.voters=1@localhost:9093 + listeners=PLAINTEXT://:9092,CONTROLLER://:9093 + inter.broker.listener.name=PLAINTEXT + controller.listener.names=CONTROLLER + listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT + advertised.listeners=PLAINTEXT://kafka.sless.svc.cluster.local:9092 + log.dirs=/var/kafka-data/logs + num.partitions=1 + default.replication.factor=1 + offsets.topic.replication.factor=1 + transaction.state.log.replication.factor=1 + transaction.state.log.min.isr=1 + log.retention.hours=168 + log.retention.check.interval.ms=300000 + auto.create.topics.enable=true +--- +apiVersion: apps/v1 +kind: StatefulSet +metadata: + name: kafka + namespace: sless + labels: + app: kafka +spec: + serviceName: kafka-headless + replicas: 1 + selector: + matchLabels: + app: kafka + template: + metadata: + labels: + app: kafka + spec: + # apache/kafka образ запускается как UID 1000 (kafka user). + # fsGroup=1000 — позволяет писать в PVC смонтированный как root. + securityContext: + fsGroup: 1000 + initContainers: + # Форматирует хранилище KRaft если ещё не отформатировано. + # KAFKA_CLUSTER_ID должен быть уникальным UUID — генерируется один раз. + - name: kafka-init + image: apache/kafka:3.7.0 + command: + - /bin/sh + - -c + - | + if [ ! -f /var/kafka-data/logs/meta.properties ]; then + echo "Formatting Kafka storage..." + /opt/kafka/bin/kafka-storage.sh format \ + -t "$(cat /var/kafka-data/cluster.id 2>/dev/null || \ + /opt/kafka/bin/kafka-storage.sh random-uuid | tee /var/kafka-data/cluster.id)" \ + -c /tmp/kafka-config/server.properties + fi + volumeMounts: + - name: kafka-data + mountPath: /var/kafka-data + - name: kafka-config + mountPath: /tmp/kafka-config + containers: + - name: kafka + image: apache/kafka:3.7.0 + command: + - /opt/kafka/bin/kafka-server-start.sh + - /tmp/kafka-config/server.properties + ports: + - containerPort: 9092 + name: client + - containerPort: 9093 + name: controller + resources: + requests: + cpu: 100m + memory: 256Mi + limits: + cpu: 500m + memory: 512Mi + volumeMounts: + - name: kafka-data + mountPath: /var/kafka-data + - name: kafka-config + mountPath: /tmp/kafka-config + readinessProbe: + tcpSocket: + port: 9092 + initialDelaySeconds: 30 + periodSeconds: 10 + failureThreshold: 6 + volumes: + - name: kafka-config + configMap: + name: kafka-config + volumeClaimTemplates: + - metadata: + name: kafka-data + spec: + accessModes: [ReadWriteOnce] + storageClassName: vcd-disk-ext4 + resources: + requests: + storage: 1Gi +--- +apiVersion: v1 +kind: Service +metadata: + name: kafka + namespace: sless + labels: + app: kafka +spec: + ports: + - name: client + port: 9092 + targetPort: 9092 + selector: + app: kafka +--- +apiVersion: v1 +kind: Service +metadata: + name: kafka-headless + namespace: sless + labels: + app: kafka +spec: + clusterIP: None + ports: + - name: client + port: 9092 + - name: controller + port: 9093 + selector: + app: kafka diff --git a/doc/deployment.md b/doc/deployment.md new file mode 100644 index 0000000..daf482a --- /dev/null +++ b/doc/deployment.md @@ -0,0 +1,306 @@ +# IoT MVP — Инженерная документация деплоя + +> Создано: 2026-04-04 +> Ветка: Ioter +> Автор: GitHub Copilot (Claude Sonnet 4.6) + +--- + +## Архитектура IoT стека + +``` +IoT Device (физическое) + │ MQTT CONNECT (username="{ns}_{deviceId}", password=hex) + ▼ +EMQX 5.5.1 (sless/emqx) + │ HTTP POST /internal/mqtt/auth → sless-operator:9090 + │ (auth backend: проверяет Secret iot-{deviceId} в k8s) + ▼ + │ MQTT PUBLISH → topic: "{ns}/telemetry/{deviceId}" + ▼ +iot-mqtt-bridge (sless/iot-mqtt-bridge) + │ paho.mqtt.golang, подписка на "+/telemetry/+" + │ parse topic → namespace из первого сегмента + ▼ +RabbitMQ (sless/rabbitmq) + │ queue: "iot.{namespace}.telemetry" + ▼ +event-dispatcher (sless/event-dispatcher) + │ Trigger type=event, queue=iot.{namespace}.telemetry + ▼ +Serverless Function (пользовательский handler) +``` + +--- + +## Компоненты + +### 1. CRD IoTDevice + +**Расположение:** `iot/api/v1alpha1/device_types.go` +**API group:** `iot.kube5s.ru/v1alpha1` +**Манифест:** `iot/config/crd/bases/iot.kube5s.ru_iotdevices.yaml` + +Поля Spec: +| Поле | Тип | Обязательное | Описание | +|------|-----|--------------|----------| +| `deviceId` | string | да | Идентификатор устройства. Pattern: `^[a-z0-9][a-z0-9-]*[a-z0-9]$` | +| `enabled` | bool | нет | Активно ли устройство (default: true) | +| `metadata` | map[string]string | нет | Произвольные метаданные (модель, локация) | + +Поля Status: +| Поле | Описание | +|------|----------| +| `phase` | `Active` / `Disabled` / `Pending` / `Error` | +| `mqttUsername` | `{namespace}_{deviceId}` | +| `secretName` | Имя k8s Secret с credentials | +| `topicPrefix` | `{namespace}/` | +| `message` | Сообщение об ошибке если phase=Error | + +### 2. IoT Controller + +**Файл:** `iot/controllers/iotdevice_controller.go` +**Логика Reconcile:** + +``` +IoTDevice CREATE/UPDATE + 1. Добавить finalizer "iot.kube5s.ru/device-cleanup" + 2. Если Secret iot-{deviceId} не существует: + - Сгенерировать пароль: crypto/rand 32 bytes → hex (64 символа) + - OwnerReference → Secret удаляется каскадно при удалении IoTDevice + - Secret keys: mqtt-username, mqtt-password, device-id + 3. Обновить Status: phase=Active, mqttUsername, secretName, topicPrefix + 4. Если enabled=false → phase=Disabled + +IoTDevice DELETE + 1. Проверить finalizer + 2. Secret удаляется каскадно (OwnerReference) + 3. Убрать finalizer → k8s завершает удаление +``` + +### 3. IoT REST API + +**Файл:** `internal/api/handler/iot_device_handler.go` + +| Endpoint | Auth | Описание | +|----------|------|----------| +| `POST /internal/mqtt/auth` | Нет (internal) | MQTT auth backend для EMQX | +| `POST /v1/namespaces/{ns}/iot/devices` | JWT | Создать IoTDevice | +| `GET /v1/namespaces/{ns}/iot/devices` | JWT | Список (без паролей) | +| `GET /v1/namespaces/{ns}/iot/devices/{name}` | JWT | Получить (включая mqtt_password из Secret) | +| `DELETE /v1/namespaces/{ns}/iot/devices/{name}` | JWT | Удалить | +| `PATCH /v1/namespaces/{ns}/iot/devices/{name}` | JWT | Обновить enabled | + +**MQTT Auth endpoint:** +- Всегда HTTP 200 (EMQX игнорирует non-200) +- Парсит `username` → `{namespace}_{deviceId}` (разделитель первый `_`) +- Ищет k8s Secret `iot-{deviceId}` в namespace +- `crypto/subtle.ConstantTimeCompare` для защиты от timing attack + +### 4. EMQX 5.5.1 + +**Манифест:** `deployments/k8s/emqx.yaml` +**Конфиг:** HOCON `emqx.conf`, монтируется как ConfigMap volume + +**Критически важные поля (без них EMQX 5.x не стартует):** +```hocon +node { + name = "emqx@127.0.0.1" # Обязательно для single-node + cookie = "..." # Erlang cluster cookie (любая строка для single-node) + data_dir = "/opt/emqx/data" # Директория данных Mnesia +} +``` + +> ⚠️ EMQX 5.x: поля `node.cookie` и `node.data_dir` — **обязательные** (mandatory), +> в отличие от 4.x где были значения по умолчанию. +> При обновлении ConfigMap нужен `kubectl rollout restart` — Deployment не перезапускается автоматически. + +**Auth backend:** +```hocon +authentication = [{ + mechanism = password_based + backend = http + method = post + url = "http://sless-operator.sless.svc:9090/internal/mqtt/auth" +}] +``` + +### 5. iot-mqtt-bridge + +**Код:** `iot/cmd/mqtt-bridge/main.go` +**Манифест:** `deployments/k8s/iot-mqtt-bridge.yaml` +**Образ:** тот же что и оператор (`sless-operator:v0.1.50`), бинарь `/iot-mqtt-bridge` + +**Логика:** +1. Подключиться к EMQX как MQTT клиент (credentials из Secret `iot-bridge-credentials`) +2. Подписаться на `+/telemetry/+` (все namespace, все устройства) +3. При получении: извлечь namespace из topic[0], publish в RabbitMQ `iot.{namespace}.telemetry` +4. Reconnect loop при обрыве соединения + +**Envelope в RabbitMQ:** +```json +{ + "namespace": "sless-user123", + "device_id": "sensor-01", + "topic": "sless-user123/telemetry/sensor-01", + "payload": "", + "received_at": "2026-04-04T07:19:30Z" +} +``` + +### 6. Terraform Provider + +**Файл:** `terraform/provider/internal/resources/iot_device_resource.go` +**Ресурс:** `sless_iot_device` +**Версия провайдера:** `0.1.2` + +```hcl +resource "sless_iot_device" "temperature_sensor" { + name = "temp-sensor-01" + device_id = "temp-sensor-01" + enabled = true + metadata = { + model = "DHT22" + location = "Warehouse A" + } +} + +output "mqtt_password" { + value = sless_iot_device.temperature_sensor.mqtt_password + sensitive = true +} +``` + +--- + +## Процедура первого деплоя + +### Предварительные условия +- Кластер с namespace `sless` +- sless-operator запущен (или будет запущен в шаге 3) +- RabbitMQ доступен в кластере + +### Шаги + +**1. Применить CRD (один раз, cluster-wide)** +```bash +kubectl apply -f iot/config/crd/bases/iot.kube5s.ru_iotdevices.yaml +``` + +**2. Обновить RBAC (добавить права на iot.kube5s.ru)** +```bash +kubectl apply -f deployments/k8s/rbac.yaml +``` + +**3. Применить EMQX** +```bash +kubectl apply -f deployments/k8s/emqx.yaml +kubectl rollout status deployment/emqx -n sless +``` + +**4. Применить оператор (с IoT поддержкой)** +```bash +kubectl apply -f deployments/k8s/operator.yaml +kubectl rollout status deployment/sless-operator -n sless +``` + +**5. Bootstrap credentials для mqtt-bridge** + +Создать системное IoTDevice устройство для bridge: +```bash +TOKEN=$(kubectl get secret sless-operator-secret -n sless \ + -o jsonpath="{.data.SLESS_API_TOKEN}" | base64 -d) + +# Создать IoTDevice +curl -X POST https://sless.kube5s.ru/v1/namespaces/sless/iot/devices \ + -H "Authorization: Bearer $TOKEN" \ + -H "Content-Type: application/json" \ + -d '{"name":"iot-bridge","device_id":"iot-bridge","enabled":true}' + +# Подождать 5с пока контроллер создаст Secret +sleep 5 + +# Получить credentials +CREDS=$(curl -s https://sless.kube5s.ru/v1/namespaces/sless/iot/devices/iot-bridge \ + -H "Authorization: Bearer $TOKEN") +MQTT_USER=$(echo $CREDS | jq -r .mqtt_username) +MQTT_PASS=$(echo $CREDS | jq -r .mqtt_password) + +# Создать Secret для bridge Deployment +kubectl create secret generic iot-bridge-credentials -n sless \ + --from-literal=MQTT_USERNAME="$MQTT_USER" \ + --from-literal=MQTT_PASSWORD="$MQTT_PASS" +``` + +**6. Применить mqtt-bridge** +```bash +kubectl apply -f deployments/k8s/iot-mqtt-bridge.yaml +kubectl rollout status deployment/iot-mqtt-bridge -n sless +``` + +### Ожидаемый результат +``` +emqx-xxx 1/1 Running +iot-mqtt-bridge-xxx 1/1 Running +sless-operator-xxx 1/1 Running +``` + +--- + +## Известные ошибки и решения + +### EMQX CrashLoopBackOff: required_field node.cookie/node.data_dir + +**Симптом:** `escript: exception throw: {emqx_conf_schema, [{kind=>validation_error, path=>"node.cookie", reason=>required_field}]}` + +**Причина:** EMQX 5.x требует явного задания `node { cookie, data_dir }` в конфиге. + +**Решение:** Добавить в `emqx.conf`: +```hocon +node { + name = "emqx@127.0.0.1" + cookie = "your-cookie-string" + data_dir = "/opt/emqx/data" +} +``` +После `kubectl apply` — сделать `kubectl rollout restart deployment/emqx -n sless`. + +--- + +### RBAC forbidden: iotdevices.iot.kube5s.ru + +**Симптом:** `{"error":"iotdevices.iot.kube5s.ru is forbidden: User \"system:serviceaccount:sless:sless-operator\" cannot create resource"}` + +**Причина:** ClusterRole `sless-operator` не включает API group `iot.kube5s.ru`. + +**Решение:** Добавить в `deployments/k8s/rbac.yaml` и применить: +```yaml +- apiGroups: ["iot.kube5s.ru"] + resources: ["iotdevices"] + verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] +- apiGroups: ["iot.kube5s.ru"] + resources: ["iotdevices/status"] + verbs: ["get", "update", "patch"] +- apiGroups: ["iot.kube5s.ru"] + resources: ["iotdevices/finalizers"] + verbs: ["update"] +``` + +--- + +### mqtt-bridge: multiple restarts при старте + +**Симптом:** `iot-mqtt-bridge RESTARTS=3` + +**Причина:** bridge пытается подключиться к EMQX который ещё не готов. Нормальное поведение. + +**Решение:** Bridge имеет reconnect loop — после старта EMQX подключение восстанавливается автоматически. Ничего делать не нужно. + +--- + +## Версии образов + +| Версия | Дата | Изменения | +|--------|------|-----------| +| v0.1.50 | 2026-04-04 | IoT controller + IoT API + iot-mqtt-bridge бинарь | +| v0.1.49 | ранее | До IoT | diff --git a/doc/iot-mvp-plan.md b/doc/iot-mvp-plan.md new file mode 100644 index 0000000..3c12526 --- /dev/null +++ b/doc/iot-mvp-plan.md @@ -0,0 +1,1400 @@ +# IoT MVP — План реализации для Sonnet + +> **Автор плана**: GitHub Copilot (Claude Opus 4.6) +> **Дата**: 2026-04-04 +> **Исполнитель**: Claude Sonnet +> **Ход рассуждений**: `doc/thinking/2026-04-04.md` + +--- + +## Контекст + +Платформа **sless** — managed serverless functions. Нужно добавить **managed IoT service** как демо с возможностью усложнения. + +### Согласованные решения + +| Вопрос | Решение | Обоснование | +|--------|---------|-------------| +| Репозиторий | Та же репа, код в `iot/` | Легко вынести потом, удобно для демо | +| Message broker IoT | RabbitMQ (MVP), потом Kafka | RabbitMQ уже есть, архитектура broker-agnostic | +| Message broker sless | RabbitMQ (не трогать) | Работает, отдельный fault domain | +| MQTT-брокер | EMQX, деплой plain YAML | Не Helm, не Operator — достаточно для демо | +| IoT-логика | CRD + controller (Go operator) | Консистентно с sless, сразу правильно | +| Terraform | Расширяем текущий sless provider | Для демо ОК, переименование потом | +| Device auth | EMQX HTTP Auth Backend → наш API | Динамическое добавление устройств | + +### Что НЕ делаем (отложено) + +- Device Shadow / Digital Twin +- Rules Engine (для демо — простая маршрутизация topic→queue) +- Time-series storage (функция сама пишет в Postgres) +- Cloud→Device commands +- Client certificates (для демо: username/password) +- Dashboard + +--- + +## Существующая архитектура (НЕ ТРОГАТЬ) + +``` +Go module: gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless +API Group: sless.kube5s.ru/v1alpha1 +Namespace pattern: sless-{sha256(jwt.sub)[:16]} + +Контроллеры (main.go, строки 153-184): + - FunctionReconciler + - ServiceReconciler + - TriggerReconciler + - FunctionJobReconciler + +API-сервер: internal/api/router.go (gorilla/mux), порт cfg.APIPort + - JWT auth middleware → namespace validation + - Routes: /v1/namespaces/{namespace}/functions|services|triggers|jobs + +Trigger types: "http", "cron", "event" (api/v1alpha1/trigger_types.go) +Event-dispatcher: services/event-dispatcher/ (AMQP consumer → POST в функцию) +RabbitMQ: deployments/k8s/rabbitmq.yaml (namespace: sless) +``` + +--- + +## Целевая архитектура MVP + +``` +IoT Device + → MQTT connect (username=deviceId, password=deviceSecret) + → EMQX (topic: {namespace}/telemetry/{deviceId}) + → EMQX RabbitMQ Bridge → RabbitMQ (queue: iot.{namespace}) + → event-dispatcher (существующий!) → POST → serverless function + → function обрабатывает данные + +Аутентификация устройств: + EMQX HTTP Auth Plugin → GET http://sless-iot-auth.sless.svc:8080/mqtt/auth + → проверка credentials из k8s Secret → ACL (только свой namespace в topics) +``` + +--- + +## Этапы реализации + +### Этап 1: CRD IoTDevice и контроллер + +**Цель**: зарегистрировать IoT-устройство через CRD, автоматически создать credentials. + +#### 1.1. Создать CRD типы + +Файл: `iot/api/v1alpha1/device_types.go` + +```go +package v1alpha1 + +import ( + metav1 "k8s.io/apimachinery/pkg/apis/meta/v1" +) + +// IoTDeviceSpec — спецификация IoT-устройства +type IoTDeviceSpec struct { + // DeviceID — уникальный идентификатор устройства внутри namespace + DeviceID string `json:"deviceId"` + + // Metadata — произвольные метаданные устройства (модель, локация и т.д.) + // +optional + Metadata map[string]string `json:"metadata,omitempty"` + + // Enabled — активно ли устройство (может подключаться к MQTT) + // +kubebuilder:default=true + Enabled bool `json:"enabled"` +} + +// IoTDeviceStatus — статус IoT-устройства +type IoTDeviceStatus struct { + // Phase — текущее состояние: Pending, Active, Disabled, Error + Phase string `json:"phase,omitempty"` + + // MQTTUsername — имя пользователя для подключения к MQTT + MQTTUsername string `json:"mqttUsername,omitempty"` + + // SecretName — имя k8s Secret с credentials + SecretName string `json:"secretName,omitempty"` + + // TopicPrefix — разрешённый prefix для MQTT topics + TopicPrefix string `json:"topicPrefix,omitempty"` + + // LastConnected — время последнего подключения (заполняется auth-сервисом) + // +optional + LastConnected *metav1.Time `json:"lastConnected,omitempty"` + + // Message — человекочитаемое сообщение о статусе + Message string `json:"message,omitempty"` +} + +// +kubebuilder:object:root=true +// +kubebuilder:subresource:status +// +kubebuilder:printcolumn:name="DeviceID",type=string,JSONPath=`.spec.deviceId` +// +kubebuilder:printcolumn:name="Phase",type=string,JSONPath=`.status.phase` +// +kubebuilder:printcolumn:name="Enabled",type=boolean,JSONPath=`.spec.enabled` +type IoTDevice struct { + metav1.TypeMeta `json:",inline"` + metav1.ObjectMeta `json:"metadata,omitempty"` + Spec IoTDeviceSpec `json:"spec,omitempty"` + Status IoTDeviceStatus `json:"status,omitempty"` +} + +// +kubebuilder:object:root=true +type IoTDeviceList struct { + metav1.TypeMeta `json:",inline"` + metav1.ListMeta `json:"metadata,omitempty"` + Items []IoTDevice `json:"items"` +} +``` + +Файл: `iot/api/v1alpha1/groupversion_info.go` + +```go +package v1alpha1 + +import ( + "k8s.io/apimachinery/pkg/runtime/schema" + "sigs.k8s.io/controller-runtime/pkg/scheme" +) + +var ( + // GroupVersion — API group для IoT ресурсов + // ВАЖНО: отдельный group от sless.kube5s.ru — для будущего разделения + GroupVersion = schema.GroupVersion{Group: "iot.kube5s.ru", Version: "v1alpha1"} + + SchemeBuilder = &scheme.Builder{GroupVersion: GroupVersion} + AddToScheme = SchemeBuilder.AddToScheme +) + +func init() { + SchemeBuilder.Register(&IoTDevice{}, &IoTDeviceList{}) +} +``` + +**ВАЖНО**: API group `iot.kube5s.ru` — отдельная от `sless.kube5s.ru`. Причина: при разделении на отдельную репу CRD не будет конфликтовать. + +#### 1.2. Сгенерировать deepcopy и CRD манифесты + +```bash +# Из корня проекта: +controller-gen object paths=./iot/api/v1alpha1/... +controller-gen crd paths=./iot/api/v1alpha1/... output:crd:dir=iot/config/crd/bases +``` + +#### 1.3. Создать контроллер IoTDevice + +Файл: `iot/controllers/iotdevice_controller.go` + +Логика Reconcile: +1. Получить IoTDevice из пришедшего запроса +2. Если `DeletionTimestamp != nil` → удалить Secret, убрать finalizer +3. Добавить finalizer `iot.kube5s.ru/device-cleanup` если нет +4. Если `spec.enabled == false`: + - Установить `status.phase = "Disabled"` + - НЕ удалять Secret (устройство может быть включено обратно) +5. Если Secret не существует: + - Сгенерировать пароль (32 байта crypto/rand → hex) + - MQTTUsername = `{namespace}_{deviceId}` (namespace включён для уникальности MQTT username) + - Создать Secret `iot-{deviceId}` в том же namespace с полями: + - `mqtt-username`: `{namespace}_{deviceId}` + - `mqtt-password`: сгенерированный пароль + - Установить OwnerReference на IoTDevice (каскадное удаление) +6. Заполнить status: + - `phase = "Active"` (или "Disabled" если !enabled) + - `mqttUsername = {namespace}_{deviceId}` + - `secretName = iot-{deviceId}` + - `topicPrefix = {namespace}/` (устройство может публиковать только в topics с этим prefix) + +#### 1.4. Зарегистрировать контроллер в main.go + +Добавить в `main.go` после существующих SetupWithManager вызовов: + +```go +if err = (&iotcontrollers.IoTDeviceReconciler{ + Client: mgr.GetClient(), + Scheme: mgr.GetScheme(), + Log: ctrl.Log.WithName("controllers").WithName("IoTDevice"), +}).SetupWithManager(mgr); err != nil { + setupLog.Error(err, "unable to create controller", "controller", "IoTDevice") + os.Exit(1) +} +``` + +Добавить в import: +```go +iotv1alpha1 "gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/iot/api/v1alpha1" +iotcontrollers "gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/iot/controllers" +``` + +Добавить schema registration в init/scheme: +```go +utilruntime.Must(iotv1alpha1.AddToScheme(scheme)) +``` + +--- + +### Этап 2: MQTT Auth Service + +**Цель**: EMQX при каждом MQTT CONNECT проверяет credentials через наш HTTP-сервис. + +#### 2.1. Создать auth handler + +Файл: `iot/internal/mqttauth/mqtt_auth_handler.go` + +HTTP-сервис, отдельный порт (например 8081) или sub-router в основном API. + +**Эндпоинт**: `POST /mqtt/auth` (вызывается EMQX HTTP Auth Plugin) + +EMQX присылает JSON: +```json +{ + "username": "sless-abc123def456_sensor-01", + "password": "hex-encoded-secret", + "clientid": "...", + "peerhost": "10.0.0.5" +} +``` + +Логика: +1. Распарсить username: `{namespace}_{deviceId}` +2. Найти Secret `iot-{deviceId}` в namespace `{namespace}` +3. Сравнить password с `mqtt-password` из Secret (constant-time comparison!) +4. Если совпало: + - Проверить что IoTDevice существует и `enabled == true` + - Вернуть 200 + JSON с ACL: + ```json + { + "result": "allow", + "is_superuser": false, + "acl": [ + {"permission": "allow", "action": "publish", "topic": "{namespace}/#"}, + {"permission": "allow", "action": "subscribe", "topic": "{namespace}/#"}, + {"permission": "deny", "action": "all", "topic": "#"} + ] + } + ``` +5. Если не совпало → вернуть 200 + `{"result": "deny"}` + +**ВАЖНО**: НЕ возвращать 401/403 — EMQX интерпретирует HTTP-ошибки как "ignore this backend, try next". Всегда 200, result = "allow"/"deny". + +#### 2.2. Запустить auth-сервис + +Два варианта (решить при реализации): +- **Вариант A**: отдельный binary `iot/cmd/mqtt-auth/main.go` + Deployment +- **Вариант B**: добавить route в существующий API-сервер (проще для демо) + +Для демо — **вариант B**: добавить роут `/internal/mqtt/auth` в `internal/api/router.go`. Prefix `/internal/` = не защищён JWT (доступен только из кластера). + +--- + +### Этап 3: Развёртывание EMQX + +**Цель**: MQTT-брокер, принимающий подключения от IoT-устройств. + +#### 3.1. Создать YAML + +Файл: `deployments/k8s/emqx.yaml` + +По аналогии с `deployments/k8s/rabbitmq.yaml`: + +```yaml +# Деплой EMQX MQTT-брокера для IoT-сервиса +# 2026-04-04 +apiVersion: v1 +kind: ConfigMap +metadata: + name: emqx-config + namespace: sless +data: + # HTTP Auth Backend — аутентификация устройств через наш API + EMQX_AUTH__HTTP__AUTH_REQ__URL: "http://sless-api.sless.svc:8080/internal/mqtt/auth" + EMQX_AUTH__HTTP__AUTH_REQ__METHOD: "post" + EMQX_AUTH__HTTP__AUTH_REQ__CONTENT_TYPE: "json" + + # RabbitMQ Bridge (MVP) — маршрутизация MQTT → RabbitMQ + # ПОТОМ заменится на Kafka bridge — только этот ConfigMap + EMQX_BRIDGE__RABBIT__SERVER: "amqp://sless:sless123@rabbitmq.sless.svc.cluster.local:5672" +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: emqx + namespace: sless +spec: + replicas: 1 + selector: + matchLabels: + app: emqx + template: + metadata: + labels: + app: emqx + spec: + containers: + - name: emqx + image: emqx/emqx:5.5.1 + ports: + - name: mqtt + containerPort: 1883 + - name: mqttssl + containerPort: 8883 + - name: ws + containerPort: 8083 + - name: dashboard + containerPort: 18083 + resources: + requests: + memory: "256Mi" + cpu: "100m" + limits: + memory: "512Mi" + cpu: "500m" + envFrom: + - configMapRef: + name: emqx-config + readinessProbe: + tcpSocket: + port: 1883 + initialDelaySeconds: 15 + periodSeconds: 10 +--- +apiVersion: v1 +kind: Service +metadata: + name: emqx + namespace: sless +spec: + selector: + app: emqx + ports: + - name: mqtt + port: 1883 + targetPort: 1883 + - name: ws + port: 8083 + targetPort: 8083 + - name: dashboard + port: 18083 + targetPort: 18083 +``` + +**ВНИМАНИЕ**: конфиг EMQX 5.x сильно отличается от 4.x. При реализации: +- Проверить актуальный формат env-переменных для EMQX 5.5 +- HTTP Auth Plugin в EMQX 5 конфигурируется через Dashboard API или файл `etc/emqx.conf` +- Возможно понадобится volume mount для `emqx.conf` вместо env + +#### 3.2. Настроить EMQX Rule + RabbitMQ Bridge + +EMQX Rule Engine (конфигурируется через EMQX HTTP API или Dashboard): + +``` +Rule SQL: + SELECT * FROM '{namespace}/+/+' + +Action: + Bridge to RabbitMQ + Exchange: amq.topic + Routing Key: iot.{namespace} + Queue: iot.{namespace}.telemetry +``` + +Для MVP — можно сконфигурировать одно правило вручную или через EMQX REST API при старте (init-container или наш контроллер). + +**ВАЖНО для Sonnet**: EMQX 5.x использует `bridges` API — изучить документацию EMQX 5.5: +- `POST /api/v5/bridges` — создание bridge +- `POST /api/v5/rules` — создание правил +- Или файл `etc/emqx.conf` (HOCON формат) + +--- + +### Этап 4: API-эндпоинты для IoT + +**Цель**: REST API для управления устройствами (Terraform provider будет вызывать их). + +#### 4.1. Добавить IoT-роуты в router.go + +Файл: `internal/api/router.go` + +Новые routes (защищены JWT, как существующие): +``` +POST /v1/namespaces/{namespace}/iot/devices → CreateIoTDevice +GET /v1/namespaces/{namespace}/iot/devices → ListIoTDevices +GET /v1/namespaces/{namespace}/iot/devices/{name} → GetIoTDevice +DELETE /v1/namespaces/{namespace}/iot/devices/{name} → DeleteIoTDevice +PATCH /v1/namespaces/{namespace}/iot/devices/{name} → UpdateIoTDevice (enable/disable) +``` + +Internal route (без JWT, только для EMQX из кластера): +``` +POST /internal/mqtt/auth → MQTTAuth +``` + +#### 4.2. Создать IoT handler + +Файл: `iot/internal/api/iot_device_handler.go` (или добавить в `internal/api/handler/`) + +Хендлеры = тонкая обёртка над k8s API: +- `CreateIoTDevice`: создаёт IoTDevice CRD объект → контроллер reconcile → Secret +- `GetIoTDevice`: читает IoTDevice CRD + возвращает credentials из Secret +- `DeleteIoTDevice`: удаляет IoTDevice CRD → контроллер cleanup через finalizer +- `ListIoTDevices`: list IoTDevice в namespace +- `UpdateIoTDevice`: patch spec.enabled + +**GET /devices/{name}** должен возвращать credentials (mqtt_username, mqtt_password) из Secret. Они нужны пользователю для конфигурации устройства. Credentials возвращаются **только при GET**, не хранятся в CRD status. + +--- + +### Этап 5: Связь MQTT → Serverless Function + +**Цель**: IoT-устройство отправляет MQTT → вызывается serverless function. + +#### 5.1. Цепочка + +Пользователь создаёт через Terraform: +1. `sless_iot_device` → IoTDevice CRD → MQTT credentials +2. `sless_function` → Function → готовая serverless функция +3. `sless_trigger` type=event, queue="iot.{namespace}.telemetry" → event-dispatcher подписывается + +Event-dispatcher (уже работает!) читает из RabbitMQ queue → POST в функцию. + +#### 5.2. Автоматическое создание RabbitMQ queue + +IoT-контроллер при reconcile должен обеспечить (ensure) существование queue `iot.{namespace}.telemetry` в RabbitMQ. + +Варианты: +- **A**: Контроллер создаёт queue через RMQ Management API (HTTP) — явно +- **B**: Queue создаётся автоматически EMQX bridge + event-dispatcher consumer (declare on consume) + +Для MVP — **вариант B**: и EMQX bridge, и event-dispatcher делают QueueDeclare — кто первый, тот и создаст. Дурак-proof. + +--- + +### Этап 6: Terraform Provider + +**Цель**: управление IoT-устройствами через Terraform. + +Terraform provider sless находится в **отдельной репе**. Нужно расширить его. + +Новый ресурс: `sless_iot_device` + +```hcl +resource "sless_iot_device" "sensor_01" { + namespace = sless_namespace.my_ns.name + name = "temperature-sensor" + device_id = "sensor-01" + enabled = true + + metadata = { + model = "DHT22" + location = "room-1" + } +} + +output "mqtt_username" { + value = sless_iot_device.sensor_01.mqtt_username +} + +output "mqtt_password" { + value = sless_iot_device.sensor_01.mqtt_password + sensitive = true +} +``` + +CRUD маппинг: +- Create → `POST /v1/namespaces/{ns}/iot/devices` +- Read → `GET /v1/namespaces/{ns}/iot/devices/{name}` +- Update → `PATCH /v1/namespaces/{ns}/iot/devices/{name}` +- Delete → `DELETE /v1/namespaces/{ns}/iot/devices/{name}` + +--- + +### Этап 7: E2E Demo + +**Цель**: показать полную цепочку device → function. + +#### Demo Terraform: + +```hcl +# 1. Функция-обработчик IoT данных +resource "sless_function" "iot_handler" { + namespace = var.namespace + name = "iot-handler" + runtime = "python3.11" + source_dir = "./iot-handler" +} + +# 2. Event trigger: подписка на IoT queue +resource "sless_trigger" "iot_events" { + namespace = var.namespace + name = "iot-telemetry" + type = "event" + function_ref = sless_function.iot_handler.name + queue = "iot.${var.namespace}.telemetry" + enabled = true +} + +# 3. IoT устройство +resource "sless_iot_device" "sensor" { + namespace = var.namespace + name = "demo-sensor" + device_id = "sensor-001" + enabled = true +} + +output "mqtt_host" { + value = "emqx.sless.svc.cluster.local" +} +output "mqtt_username" { + value = sless_iot_device.sensor.mqtt_username +} +output "mqtt_password" { + value = sless_iot_device.sensor.mqtt_password + sensitive = true +} +``` + +#### Demo Python IoT handler (`iot-handler/handler.py`): + +```python +def handler(event, context): + """Обработчик IoT-телеметрии. Вызывается event-dispatcher при новом MQTT сообщении.""" + import json + data = json.loads(event["body"]) + print(f"Telemetry from device: {data}") + return {"statusCode": 200, "body": json.dumps({"processed": True})} +``` + +#### Demo MQTT client (для тестирования): + +```bash +# Отправить MQTT сообщение (mosquitto_pub) +mosquitto_pub \ + -h emqx.sless.svc.cluster.local \ + -p 1883 \ + -u "sless-abc123_sensor-001" \ + -P "generated-password" \ + -t "sless-abc123/telemetry/sensor-001" \ + -m '{"temperature": 22.5, "humidity": 65}' +``` + +--- + +## Структура файлов (итого) + +``` +iot/ + api/v1alpha1/ + device_types.go # CRD IoTDevice + groupversion_info.go # API group iot.kube5s.ru/v1alpha1 + zz_generated.deepcopy.go # сгенерировано controller-gen + config/ + crd/bases/ # сгенерированные CRD YAML + controllers/ + iotdevice_controller.go # Reconcile: Secret, credentials + internal/ + mqttauth/ + mqtt_auth_handler.go # HTTP Auth Backend для EMQX + +deployments/k8s/ + emqx.yaml # EMQX deployment (новый файл) + +internal/api/ + handler/ + iot_devices.go # REST handlers для IoT devices (новый файл) + router.go # + IoT routes (редактирование) + +main.go # + IoTDevice controller registration (редактирование) + +examples/ + IOT/ # Demo пример + main.tf + handler.py +``` + +--- + +## Порядок выполнения + +``` +1. CRD types + deepcopy + manifests (iot/api/) +2. IoTDevice controller (iot/controllers/) +3. Register controller в main.go (main.go) +4. CRD apply в кластер (kubectl apply) +5. MQTT Auth handler (iot/internal/mqttauth/) +6. REST API endpoints для IoT (internal/api/) +7. EMQX deployment YAML (deployments/k8s/emqx.yaml) +8. EMQX конфигурация (auth backend + RMQ bridge) +9. Terraform provider resource (отдельная репа) +10. E2E demo (examples/IOT/) +11. Тестирование: device → MQTT → function +``` + +--- + +## Что менять при переходе на Kafka (потом) + +| Компонент | Изменение | +|-----------|-----------| +| EMQX bridge config | `rabbitmq` → `kafka` (ConfigMap) | +| Consumer | Новый `iot-event-consumer` (~200 строк Go) вместо event-dispatcher | +| Kafka deploy | Managed сервис или Strimzi в кластере | +| CRD / Controller | **БЕЗ ИЗМЕНЕНИЙ** | +| MQTT Auth | **БЕЗ ИЗМЕНЕНИЙ** | +| API endpoints | **БЕЗ ИЗМЕНЕНИЙ** | +| Terraform | **БЕЗ ИЗМЕНЕНИЙ** | + +--- + +## Правила для Sonnet + +1. **Читай `doc/thinking/2026-04-04.md`** — там полный ход рассуждений и обоснования +2. **Читай `.github/copilot-instructions.md`** — правила проекта +3. **НЕ трогай** существующий код sless (controllers/, services/, internal/) без крайней необходимости +4. **Комментарии обязательны** — дата, назначение функций, "почему" для нетривиальной логики +5. **Именование** — уникальные осмысленные имена (iot_device_handler, NOT handler) +6. **Пиши в `doc/thinking/`** свои мысли при решении +7. **EMQX конфиг** — обязательно проверить актуальный формат для EMQX 5.5.x +8. **Security**: constant-time password comparison, не логировать credentials, ACL-изоляция по namespace + +--- + +## Справка для нового агента (чтобы не искать) + +### Terraform provider +- Расположен **в этой же репе**: `terraform/provider/` +- Go module: `terraform-provider-sless` (свой go.mod: `terraform/provider/go.mod`) +- Структура: + ``` + terraform/provider/ + main.go + go.mod + internal/ + client/ # HTTP-клиент к sless API + provider/ # provider.go — регистрация ресурсов + resources/ # function_resource.go, trigger_resource.go, service_resource.go, job_resource.go + hack/ + build-and-publish.sh + ``` +- Новый ресурс `sless_iot_device` добавлять в `terraform/provider/internal/resources/iot_device_resource.go` +- Зарегистрировать в `terraform/provider/internal/provider/provider.go` + +### controller-gen +- Бинарь: `bin/controller-gen` (в корне репы) +- Генерация deepcopy: `./bin/controller-gen object paths=./iot/api/v1alpha1/...` +- Генерация CRD: `./bin/controller-gen crd paths=./iot/api/v1alpha1/... output:crd:dir=iot/config/crd/bases` + +### Как зарегистрированы существующие контроллеры (пример из main.go) +```go +// main.go строки ~153-184 +if err = (&controllers.FunctionReconciler{ + Client: mgr.GetClient(), + Scheme: mgr.GetScheme(), + S3Client: s3Client, + Config: cfg, +}).SetupWithManager(mgr); err != nil { + setupLog.Error(err, "unable to create controller", "controller", "Function") + os.Exit(1) +} +``` +Новый IoT контроллер регистрируется аналогично, после этого блока. + +### Scheme registration (main.go) +```go +// Существующие: +utilruntime.Must(slessv1alpha1.AddToScheme(scheme)) +// Добавить: +utilruntime.Must(iotv1alpha1.AddToScheme(scheme)) +``` + +### Существующий handler паттерн (internal/api/handler/handler.go) +```go +type Handler struct { + K8s client.Client + Scheme *runtime.Scheme + S3 *minio.Client + PG *sql.DB + Log logr.Logger + Config *config.Config +} +``` +IoT-хендлеры добавлять как методы того же Handler или создать отдельный IoTHandler. + +### RabbitMQ connection string +- Dev: `amqp://sless:sless123@rabbitmq.sless.svc.cluster.local:5672/` +- Secret: `sless-operator-secret`, ключ `RABBITMQ_URL` + +### Event-dispatcher — как он подписывается на queue +- Файл: `services/event-dispatcher/dispatcher.go` +- QueueDeclare (durable=true) при Subscribe +- Consumer на queue → POST в `http://{functionRef}.{namespace}.svc.cluster.local:8080/` +- Ack при 2xx, Nack+requeue при ошибке + +### EMQX 5.x — ключевые отличия от 4.x +- Конфиг: HOCON формат в `/opt/emqx/etc/emqx.conf`, NOT env variables для plugins +- Auth: конфигурируется через `authentication` секцию в emqx.conf или REST API `POST /api/v5/authentication` +- Bridges: REST API `POST /api/v5/bridges` или секция `bridges` в emqx.conf +- Rules: REST API `POST /api/v5/rules` +- Dashboard: порт 18083, default login admin/public +- **Sonnet должен зайти на https://www.emqx.io/docs/en/v5.5/ и проверить формат конфигурации** + + +--- + +# ПЛАН: Telemetry Pipeline — Postgres → REST API → UI + +> **Автор плана**: GitHub Copilot (Claude Opus 4.6) +> **Дата**: 2026-04-05 +> **Исполнитель**: Claude Sonnet +> **Ветка**: `iot-pg-telemetry` +> **Предусловия**: все компоненты до этого этапа РЕАЛИЗОВАНЫ и задеплоены (CRD, controller, EMQX, mqtt-bridge, IoT Console UI) + +--- + +## Цель + +Полная цепочка: IoT устройство (или эмулятор в UI) → MQTT → INSERT в Postgres → REST API → отображение в таблице на вкладке «Телеметрия» в IoT Console. + +**User story**: юзер входит токеном, регистрирует устройство, запускает эмулятор (рандомные temp/humidity), переходит на вкладку Телеметрия и видит таблицу с данными: время | устройство | payload. + +--- + +## Что уже готово (НЕ ТРОГАТЬ без крайней необходимости) + +| Компонент | Файл(ы) | Статус | +|-----------|---------|--------| +| IoTDevice CRD + types | `iot/api/v1alpha1/device_types.go` | ✅ | +| IoTDevice controller | `iot/controllers/iotdevice_controller.go` | ✅ | +| MQTT Auth + ACL | `internal/api/handler/iot_device_handler.go` | ✅ | +| IoT API CRUD | `internal/api/router.go` + handler | ✅ | +| EMQX deploy | `deployments/k8s/emqx.yaml` | ✅ | +| mqtt-bridge MQTT→RabbitMQ | `iot/cmd/mqtt-bridge/main.go` | ✅ | +| IoT Console UI | `internal/api/ui/iot-console.html` | ✅ | +| TLS (HTTPS + WSS) | `deployments/k8s/emqx-ws-ingress.yaml` | ✅ | +| Nubes branding | UI CSS | ✅ | +| Existing Postgres (invocations) | `deployments/k8s/postgres.yaml` | ✅ | + +--- + +## Архитектурное решение (принято 2026-04-04) + +Подробности: `doc/decisions/iot-telemetry-storage-2026-04-04.md` + +- **Один Postgres инстанс** для IoT (отдельный от sless Postgres для invocations) +- **Отдельная DATABASE per tenant** (не одна таблица с tenant_id!) +- Tenant DB: `tenant_{namespace_hash}`, User: `tenant_{namespace_hash}`, Password: UUID в k8s Secret +- Таблица: `iot_telemetry(id BIGSERIAL, device_id TEXT, ts TIMESTAMPTZ, payload JSONB)` +- Клиент читает ТОЛЬКО через REST API, не через прямой доступ к Postgres + +--- + +## Шаги реализации (порядок критичен!) + +### ШАГ 1: Postgres Deployment для IoT (namespace: sless) + +**Файл**: `deployments/k8s/iot-postgres.yaml` + +**Почему отдельный от sless postgres**: разные данные, разная нагрузка. Sless postgres хранит invocations логи. IoT postgres хранит телеметрию — может быть значительно больше по объёму. + +**Почему в namespace `sless`, а НЕ `iot`**: пока всё живёт в одном namespace `sless`. Отдельный namespace `iot` только усложнит без выигрыша. Отдельный Deployment с другим именем (`iot-postgres`) достаточно для изоляции. + +**YAML манифест**: + +```yaml +apiVersion: v1 +kind: Secret +metadata: + name: iot-postgres-secret + namespace: sless +stringData: + POSTGRES_PASSWORD: "iot-pg-super-2026" + POSTGRES_USER: "iot_admin" + POSTGRES_DB: "iot_platform" + IOT_PG_DSN: "postgresql://iot_admin:iot-pg-super-2026@iot-postgres.sless.svc:5432/iot_platform?sslmode=disable" +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: iot-postgres + namespace: sless +spec: + replicas: 1 + selector: + matchLabels: + app: iot-postgres + template: + metadata: + labels: + app: iot-postgres + spec: + containers: + - name: postgres + image: postgres:16-alpine + ports: + - containerPort: 5432 + envFrom: + - secretRef: + name: iot-postgres-secret + resources: + requests: + memory: "128Mi" + cpu: "100m" + limits: + memory: "512Mi" + cpu: "500m" +--- +apiVersion: v1 +kind: Service +metadata: + name: iot-postgres + namespace: sless +spec: + selector: + app: iot-postgres + ports: + - port: 5432 + targetPort: 5432 +``` + +**Действие**: `kubectl apply -f deployments/k8s/iot-postgres.yaml` + +**Проверка**: `kubectl exec -n sless deploy/iot-postgres -- psql -U iot_admin -d iot_platform -c "SELECT 1"` + +--- + +### ШАГ 2: Go-пакет IoT Postgres storage + +**Файл**: `internal/storage/iotpg/iot_telemetry_store.go` + +**Назначение**: управление tenant databases + CRUD телеметрии. Один пакет, одна структура. + +**Структура**: + +```go +package iotpg + +type IoTPostgresStore struct { + adminDB *sql.DB // подключение к iot_platform (суперюзер) + tenants sync.Map // кэш *sql.DB per tenant namespace + log *slog.Logger +} + +type TelemetryRow struct { + ID int64 `json:"id"` + DeviceID string `json:"device_id"` + Ts time.Time `json:"ts"` + Payload json.RawMessage `json:"payload"` +} +``` + +**Методы (все обязательные)**: + +1. `New(adminDSN string, log *slog.Logger) (*IoTPostgresStore, error)` — подключение к iot_platform DB. При старте создать таблицу tenant_credentials если не существует. +2. `EnsureTenantDB(ctx, namespace string) error` — создать DATABASE + USER + таблицу если не существуют: + - `SELECT 1 FROM pg_database WHERE datname = 'tenant_{ns}'` + - Если нет: `CREATE USER tenant_{ns} WITH PASSWORD '{uuid}'` + - `CREATE DATABASE tenant_{ns} OWNER tenant_{ns}` + - Подключиться к tenant_{ns} и: `CREATE TABLE IF NOT EXISTS iot_telemetry (...)` + - Индекс: `CREATE INDEX IF NOT EXISTS idx_iot_telemetry_device_ts ON iot_telemetry(device_id, ts DESC)` + - Записать пароль в tenant_credentials +3. `InsertTelemetry(ctx, namespace, deviceID string, payload json.RawMessage) error` — INSERT одной записи в tenant DB +4. `QueryTelemetry(ctx, namespace string, deviceID string, limit int) ([]TelemetryRow, error)` — SELECT из tenant DB +5. `Close() error` + +**Таблица tenant_credentials** (в iot_platform DB): +```sql +CREATE TABLE IF NOT EXISTS tenant_credentials ( + namespace TEXT PRIMARY KEY, + pg_password TEXT NOT NULL, + created_at TIMESTAMPTZ DEFAULT now() +); +``` + +**Кэширование**: `sync.Map` для `*sql.DB` per tenant. Lazy init при первом обращении. +DSN для tenant: `postgresql://tenant_{ns}:{password}@iot-postgres.sless.svc:5432/tenant_{ns}?sslmode=disable` + +--- + +### ШАГ 3: Модифицировать mqtt-bridge — добавить INSERT в Postgres + +**Файл**: `iot/cmd/mqtt-bridge/main.go` + +**Текущее поведение**: MQTT message → envelope → RabbitMQ. +**Новое поведение**: MQTT message → INSERT в Postgres (tenant DB) + publish в RabbitMQ (как было). + +**Изменения**: + +1. Добавить env var: `IOT_PG_DSN` (admin DSN для iot-postgres) +2. При старте: если IOT_PG_DSN задан → подключиться к IoTPostgresStore +3. В `buildMQTTMessageHandler`: + - После парсинга namespace и deviceID из topic + - Если store != nil: + - `store.EnsureTenantDB(ctx, namespace)` — идемпотентно, кэшируется + - `store.InsertTelemetry(ctx, namespace, deviceID, payload)` + - При ошибке INSERT → логировать, НЕ останавливать publish в RabbitMQ + - RabbitMQ publish остаётся как было + +**YAML обновление**: `deployments/k8s/iot-mqtt-bridge.yaml` — добавить env: +```yaml +- name: IOT_PG_DSN + valueFrom: + secretKeyRef: + name: iot-postgres-secret + key: IOT_PG_DSN +``` + +--- + +### ШАГ 4: REST API endpoint для чтения телеметрии + +**Файл**: `internal/api/handler/iot_telemetry_handler.go` (НОВЫЙ) + +**Endpoint**: +``` +GET /v1/namespaces/{namespace}/iot/telemetry?device={deviceId}&limit={N} +``` + +**Параметры**: +- `device` — фильтр по device_id (опционален: если нет — все устройства namespace) +- `limit` — максимум записей (default: 50, max: 1000) +- Авторизация: Bearer JWT → namespace validation (как все /v1/ маршруты) + +**Response**: +```json +{ + "items": [ + { + "id": 1, + "device_id": "sensor-01", + "ts": "2026-04-05T08:15:30Z", + "payload": {"temperature": 22.5, "humidity": 65} + } + ], + "count": 1 +} +``` + +**Порядок сортировки**: `ts DESC` (новые сверху). + +**Реализация в handler**: +```go +func (h *Handler) ListIoTTelemetry(w http.ResponseWriter, r *http.Request) { + ns := mux.Vars(r)["namespace"] + deviceID := r.URL.Query().Get("device") + limitStr := r.URL.Query().Get("limit") + // парсинг limit, default=50, max=1000 + rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit) + // writeJSON +} +``` + +--- + +### ШАГ 5: Инициализация IoTPostgresStore в main.go и handler + +**Файл handler.go** — добавить поле: +```go +type Handler struct { + K8s client.Client + Scheme *runtime.Scheme + S3 *s3.Client + PG *postgres.Store + IoTPG *iotpg.IoTPostgresStore // ← НОВОЕ + Log *slog.Logger +} +``` + +**Файл main.go** — после создания Handler: +```go +var iotPGStore *iotpg.IoTPostgresStore +if iotDSN := os.Getenv("IOT_PG_DSN"); iotDSN != "" { + iotPGStore, err = iotpg.New(iotDSN, log) + if err != nil { + log.Error("failed to connect to IoT Postgres", "err", err) + os.Exit(1) + } + defer iotPGStore.Close() +} +``` + +**Файл router.go** — добавить route: +```go +v1.HandleFunc("/namespaces/{namespace}/iot/telemetry", h.ListIoTTelemetry).Methods(http.MethodGet) +``` + +**YAML**: `deployments/k8s/operator.yaml` — добавить env IOT_PG_DSN из iot-postgres-secret + +--- + +### ШАГ 6: Обновить IoT Console UI — вкладка «Телеметрия» + +**Файл**: `internal/api/ui/iot-console.html` + +**Заменить** заглушку `
` на реальную таблицу. + +**HTML**: +```html +
+
+

Телеметрия

+
+ + + +
+
+ + + + + +
ВремяУстройствоДанные
Нет данных
+
+``` + +**CSS**: таблица в стиле Nubes — navy фон, бордеры #0b2d50, текст #e2ecf6. + +**JavaScript**: +- `loadTelemetry()` — fetch GET `/v1/namespaces/{ns}/iot/telemetry?limit=100` → заполнить tbody +- Авто-обновление каждые 5с (чекбокс) +- Фильтр по устройству (select из списка devices) +- При переключении на вкладку → автоматический loadTelemetry() + +--- + +### ШАГ 7: Улучшить эмулятор — рандомные temp/humidity + +**Файл**: `internal/api/ui/iot-console.html` (секция эмулятора) + +**Новое поведение**: +- Чекбокс: «Генерировать случайные данные (temp/humidity)» — по умолчанию ON +- Если ON: при каждой отправке payload = `{temperature: random(18-28), humidity: random(40-80), ts: ISO}` +- Если OFF: используется текстовое поле как сейчас + +```javascript +function generateSensorPayload() { + return JSON.stringify({ + temperature: +(18 + Math.random() * 10).toFixed(1), + humidity: +(40 + Math.random() * 40).toFixed(1), + ts: new Date().toISOString() + }); +} +``` + +--- + +## Деплой и тестирование + +### Сборка +```bash +cd ~/terra/sless +CGO_ENABLED=0 go build -o sless ./main.go +CGO_ENABLED=0 go build -o iot-mqtt-bridge ./iot/cmd/mqtt-bridge/ +# УВЕЛИЧИТЬ ВЕРСИЮ! +docker build --no-cache -t pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.59 . +docker push pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.59 +``` + +### Обновить версии в YAML +```bash +sed -i 's/v0\.1\.58/v0.1.59/g' deployments/k8s/operator.yaml +sed -i 's/v0\.1\.53/v0.1.59/g' deployments/k8s/iot-mqtt-bridge.yaml +``` + +### Деплой +```bash +kubectl apply -f deployments/k8s/iot-postgres.yaml +kubectl wait -n sless deploy/iot-postgres --for=condition=available --timeout=60s +kubectl apply -f deployments/k8s/operator.yaml +kubectl apply -f deployments/k8s/iot-mqtt-bridge.yaml +kubectl rollout restart -n sless deploy/sless-operator deploy/iot-mqtt-bridge +``` + +### Проверка (E2E) +1. `kubectl exec -n sless deploy/iot-postgres -- psql -U iot_admin -d iot_platform -c "SELECT 1"` +2. `kubectl logs -n sless deploy/sless-operator | grep "IoT Postgres"` +3. Открыть `https://iot.kube5s.ru/console` +4. Ввести токен → вкладка Credentials → должно быть устройство +5. Вкладка Emulator → подключиться, включить «случайные данные», запустить авто-отправку +6. Вкладка Telemetry → должны появляться строки в таблице (avto-refresh 5с) + +--- + +## Файлы СОЗДАТЬ + +| # | Файл | Описание | +|---|------|----------| +| 1 | `deployments/k8s/iot-postgres.yaml` | Deployment + Secret + Service | +| 2 | `internal/storage/iotpg/iot_telemetry_store.go` | Go: tenant DB management + telemetry CRUD | +| 3 | `internal/api/handler/iot_telemetry_handler.go` | REST handler GET telemetry | + +## Файлы ИЗМЕНИТЬ + +| # | Файл | Что менять | +|---|------|-----------| +| 1 | `internal/api/handler/handler.go` | Добавить поле `IoTPG *iotpg.IoTPostgresStore` | +| 2 | `internal/api/router.go` | Route `/namespaces/{ns}/iot/telemetry` | +| 3 | `main.go` | Init IoTPostgresStore + передача в Handler | +| 4 | `iot/cmd/mqtt-bridge/main.go` | INSERT в Postgres при MQTT message | +| 5 | `deployments/k8s/operator.yaml` | env IOT_PG_DSN + версия | +| 6 | `deployments/k8s/iot-mqtt-bridge.yaml` | env IOT_PG_DSN + версия | +| 7 | `internal/api/ui/iot-console.html` | Telemetry tab + emulator random data | + +## Чего НЕ ДЕЛАТЬ + +- НЕ трогать CRD / controller / EMQX / RabbitMQ — всё работает +- НЕ создавать namespace `iot` — пока всё в `sless` +- НЕ делать processing данных — пока RAW payload +- НЕ добавлять from/to фильтры по времени — хватит limit +- НЕ трогать Terraform provider — это следующий этап +- НЕ рефакторить существующие файлы +- НЕ запускать команды локально — только SSH + +--- + +## Правила для Sonnet (напоминание) + +1. Читай `.github/copilot-instructions.md` — правила проекта +2. Читай `doc/decisions/iot-telemetry-storage-2026-04-04.md` — принятое решение +3. Все команды — через SSH: `ssh -i /home/naeel/remote_dev/common/id_ed25519.txt naeel@5.172.178.213` +4. Файлы редактировать можно — sshfs mount видна на VM +5. ПЕРЕД go build — проверить .gitignore +6. Комментарии: дата + назначение + «почему» +7. Thinking log: `doc/thinking/2026-04-05.md` +8. progress.md: обновлять до и после каждого шага +9. Коммит + пуш после каждого завершённого шага +10. ВЕРСИЮ ПОДНИМАТЬ перед каждой сборкой! + + +--- + +# ПЛАН: Telemetry Pipeline — Postgres -> REST API -> UI + +> **Автор плана**: GitHub Copilot (Claude Opus 4.6) +> **Дата**: 2026-04-05 +> **Исполнитель**: Claude Sonnet +> **Ветка**: iot-pg-telemetry +> **Предусловия**: все компоненты до этого этапа РЕАЛИЗОВАНЫ и задеплоены (CRD, controller, EMQX, mqtt-bridge, IoT Console UI) + +--- + +## Цель + +Полная цепочка: IoT устройство (или эмулятор в UI) -> MQTT -> INSERT в Postgres -> REST API -> отображение в таблице на вкладке Телеметрия в IoT Console. + +**User story**: юзер входит токеном, регистрирует устройство, запускает эмулятор (рандомные temp/humidity), переходит на вкладку Телеметрия и видит таблицу с данными: время | устройство | payload. + +--- + +## Что уже готово (НЕ ТРОГАТЬ без крайней необходимости) + +| Компонент | Файл(ы) | Статус | +|-----------|---------|--------| +| IoTDevice CRD + types | iot/api/v1alpha1/device_types.go | DONE | +| IoTDevice controller | iot/controllers/iotdevice_controller.go | DONE | +| MQTT Auth + ACL | internal/api/handler/iot_device_handler.go | DONE | +| IoT API CRUD | internal/api/router.go + handler | DONE | +| EMQX deploy | deployments/k8s/emqx.yaml | DONE | +| mqtt-bridge MQTT->RabbitMQ | iot/cmd/mqtt-bridge/main.go | DONE | +| IoT Console UI | internal/api/ui/iot-console.html | DONE | +| TLS (HTTPS + WSS) | deployments/k8s/emqx-ws-ingress.yaml | DONE | +| Nubes branding | UI CSS | DONE | +| Existing Postgres (invocations) | deployments/k8s/postgres.yaml | DONE | + +--- + +## Архитектурное решение (принято 2026-04-04) + +Подробности: doc/decisions/iot-telemetry-storage-2026-04-04.md + +- **Один Postgres инстанс** для IoT (отдельный от sless Postgres для invocations) +- **Отдельная DATABASE per tenant** (не одна таблица с tenant_id!) +- Tenant DB: tenant_{namespace_hash}, User: tenant_{namespace_hash}, Password: UUID в k8s Secret +- Таблица: iot_telemetry(id BIGSERIAL, device_id TEXT, ts TIMESTAMPTZ, payload JSONB) +- Клиент читает ТОЛЬКО через REST API, не через прямой доступ к Postgres + +--- + +## Шаги реализации (порядок критичен!) + +### ШАГ 1: Postgres Deployment для IoT (namespace: sless) + +**Файл**: deployments/k8s/iot-postgres.yaml + +**Почему отдельный от sless postgres**: разные данные, разная нагрузка. +**Почему в namespace sless, а НЕ iot**: всё живёт в одном namespace, упрощение. + +**YAML манифест**: + + + +**Действие**: kubectl apply -f deployments/k8s/iot-postgres.yaml +**Проверка**: kubectl exec -n sless deploy/iot-postgres -- psql -U iot_admin -d iot_platform -c "SELECT 1" + +--- + +### ШАГ 2: Go-пакет IoT Postgres storage + +**Файл**: internal/storage/iotpg/iot_telemetry_store.go + +**Структура**: + +{ is a shell keyword + +**Методы (все обязательные)**: + +1. New(adminDSN string, log) (*IoTPostgresStore, error) -- подключение к iot_platform DB +2. EnsureTenantDB(ctx, namespace) error -- создать DATABASE + USER + таблицу если не существуют: + - SELECT 1 FROM pg_database WHERE datname = tenant_{ns} + - Если нет: CREATE USER, CREATE DATABASE, подключиться и CREATE TABLE + - Сохранить пароль в tenant_credentials таблице в iot_platform + - Таблица: iot_telemetry(id BIGSERIAL PK, device_id TEXT, ts TIMESTAMPTZ DEFAULT now(), payload JSONB) + - Индекс: idx_iot_telemetry_device_ts ON iot_telemetry(device_id, ts DESC) +3. InsertTelemetry(ctx, namespace, deviceID, payload json.RawMessage) error +4. QueryTelemetry(ctx, namespace, deviceID string, limit int) ([]TelemetryRow, error) +5. Close() error + +**Tenant DB provisioning**: таблица tenant_credentials в iot_platform: + + +**Кэширование**: sync.Map для *sql.DB per tenant. Lazy init при первом обращении. + +--- + +### ШАГ 3: Модифицировать mqtt-bridge -- добавить INSERT в Postgres + +**Файл**: iot/cmd/mqtt-bridge/main.go + +**Текущее поведение**: MQTT message -> envelope -> RabbitMQ. +**Новое поведение**: MQTT message -> INSERT в Postgres (tenant DB) + RabbitMQ (как было). + +**Изменения**: +1. Добавить env var IOT_PG_DSN +2. Подключиться к IoTPostgresStore при старте +3. В buildMQTTMessageHandler: + - store.EnsureTenantDB(ctx, namespace) -- идемпотентно + - store.InsertTelemetry(ctx, namespace, deviceID, payload) + - При ошибке INSERT -- логировать, НЕ блокировать RabbitMQ publish +4. RabbitMQ publish остаётся как было + +**YAML**: deployments/k8s/iot-mqtt-bridge.yaml -- добавить env IOT_PG_DSN из iot-postgres-secret + +--- + +### ШАГ 4: REST API endpoint для чтения телеметрии + +**Файл**: internal/api/handler/iot_telemetry_handler.go (НОВЫЙ) + +**Endpoint**: + + +**Параметры**: +- device -- фильтр по device_id (опционален) +- limit -- максимум записей (default: 50, max: 1000) + +**Response**: + + +**Сортировка**: ts DESC (новые сверху). + +--- + +### ШАГ 5: Инициализация IoTPostgresStore в main.go + +**Файл**: main.go + +1. Добавить поле IoTPG в handler.Handler struct (handler.go) +2. В main.go: if IOT_PG_DSN задан -> iotpg.New() -> передать в Handler +3. В router.go: зарегистрировать route /namespaces/{ns}/iot/telemetry + +**YAML**: deployments/k8s/operator.yaml -- добавить env IOT_PG_DSN + +--- + +### ШАГ 6: Обновить IoT Console UI -- вкладка Телеметрия + +**Файл**: internal/api/ui/iot-console.html + +**Заменить** заглушку coming-soon на реальную таблицу: + +| Время | Устройство | Данные | +|-------|-----------|--------| +| 2026-04-05 08:15 | sensor-01 | {"temperature": 22.5, "humidity": 65} | + +**JavaScript**: +- loadTelemetry() -- fetch GET /v1/.../iot/telemetry -> заполнить tbody +- Авто-обновление каждые 5с (чекбокс) +- Фильтр по устройству (select из списка devices) +- При переключении на вкладку -- автоматический loadTelemetry() + +**CSS**: таблица в стиле Nubes (navy фон, бордеры #0b2d50, текст #e2ecf6) + +--- + +### ШАГ 7: Улучшить эмулятор -- рандомные temp/humidity + +**Файл**: internal/api/ui/iot-console.html (секция эмулятора) + +**Новое поведение**: +- Чекбокс: "Генерировать случайные данные (temp/humidity)" (по умолчанию ON) +- Если ON: при каждой отправке payload = {temperature: random(18-28), humidity: random(40-80), ts: ISO} +- Если OFF: используется текстовое поле как сейчас + + + +--- + +## Деплой + +deployment.apps/iot-postgres condition met +deployment.apps/sless-operator restarted +deployment.apps/iot-mqtt-bridge restarted + +--- + +## Файлы СОЗДАТЬ + +| Файл | Описание | +|------|----------| +| deployments/k8s/iot-postgres.yaml | Deployment + Secret + Service | +| internal/storage/iotpg/iot_telemetry_store.go | Go: управление tenant DB + CRUD телеметрии | +| internal/api/handler/iot_telemetry_handler.go | REST handler GET /v1/.../iot/telemetry | + +## Файлы ИЗМЕНИТЬ + +| Файл | Что менять | +|------|-----------| +| internal/api/handler/handler.go | Добавить поле IoTPG *iotpg.IoTPostgresStore | +| internal/api/router.go | Route /namespaces/{ns}/iot/telemetry | +| main.go | Init IoTPostgresStore + передача в Handler | +| iot/cmd/mqtt-bridge/main.go | INSERT в Postgres при MQTT message | +| deployments/k8s/operator.yaml | env IOT_PG_DSN + версия v0.1.59 | +| deployments/k8s/iot-mqtt-bridge.yaml | env IOT_PG_DSN + версия v0.1.59 | +| internal/api/ui/iot-console.html | Telemetry tab + emulator random data | + +## Чего НЕ ДЕЛАТЬ + +- НЕ трогать CRD / controller / EMQX / RabbitMQ +- НЕ создавать namespace iot -- всё в sless +- НЕ делать processing данных -- RAW payload +- НЕ добавлять from/to фильтры -- хватит limit +- НЕ трогать Terraform provider +- НЕ рефакторить существующие файлы +- НЕ запускать команды локально -- только SSH + +--- + +## Правила для Sonnet + +1. Читай .github/copilot-instructions.md +2. Читай doc/decisions/iot-telemetry-storage-2026-04-04.md +3. Команды через SSH: ssh -i /home/naeel/remote_dev/common/id_ed25519.txt naeel@5.172.178.213 +4. Файлы редактировать можно -- sshfs mount +5. ПЕРЕД go build -- проверить .gitignore +6. Комментарии: дата + назначение + почему +7. Thinking log: doc/thinking/2026-04-05.md +8. progress.md: обновлять до и после каждого шага +9. Коммит + пуш после каждого завершённого шага +10. ВЕРСИЮ ПОДНИМАТЬ перед каждой сборкой! diff --git a/examples/README.md b/examples/README.md new file mode 100644 index 0000000..ebd4ec3 --- /dev/null +++ b/examples/README.md @@ -0,0 +1,83 @@ +# IoT MVP — E2E Demo + +## Что делает этот пример + +Показывает полную цепочку: + +``` +IoT Device (mosquitto_pub) + → MQTT PUBLISH → EMQX (HTTP auth → sless-operator) + → [iot-mqtt-bridge подписан на "+/telemetry/+"] + → RabbitMQ queue "iot.{namespace}.telemetry" + → event-dispatcher + → POST → serverless function (handler.py) +``` + +## Предусловия + +1. EMQX запущен: `kubectl apply -f deployments/k8s/emqx.yaml` +2. iot-mqtt-bridge запущен: `kubectl apply -f deployments/k8s/iot-mqtt-bridge.yaml` +3. event-dispatcher запущен (уже должен работать) + +## Запуск + +```bash +# Установить переменные +export API_TOKEN="your-jwt-token" +export NAMESPACE="sless-abc123def456" # твой namespace + +# Инициализировать +terraform init +terraform apply \ + -var="namespace=${NAMESPACE}" \ + -var="api_token=${API_TOKEN}" + +# Получить credentials +MQTT_USER=$(terraform output -raw mqtt_username) +MQTT_PASS=$(terraform output -raw mqtt_password) +MQTT_TOPIC=$(terraform output -raw mqtt_topic) + +echo "MQTT user: ${MQTT_USER}" +echo "MQTT topic: ${MQTT_TOPIC}" +``` + +## Отправить тестовое сообщение + +```bash +# Через mosquitto_pub (из пода внутри кластера) +kubectl run mqtt-test --rm -i --image=eclipse-mosquitto --restart=Never -- \ + mosquitto_pub \ + -h emqx.sless.svc \ + -p 1883 \ + -u "${MQTT_USER}" \ + -P "${MQTT_PASS}" \ + -t "${MQTT_TOPIC}" \ + -m '{"temperature": 22.5, "humidity": 65, "unit": "celsius"}' +``` + +## Проверить что функция вызвалась + +```bash +# Логи event-dispatcher +kubectl logs -n sless deployment/event-dispatcher -f + +# Логи функции (через invocations API) +curl -H "Authorization: Bearer ${API_TOKEN}" \ + https://sless.kube5s.ru/v1/namespaces/${NAMESPACE}/functions/iot-telemetry-handler/invocations +``` + +## Структура файлов + +``` +examples/IOT/ + main.tf # Terraform: function + trigger + iot_device + handler.py # Python обработчик телеметрии + README.md # Этот файл +``` + +## Известные ограничения MVP + +- `sless_iot_device` Terraform ресурс требует реализации в terraform-provider-sless (Этап 6) +- EMQX TLS отключён — включить для prod (настроить cert-manager secret) +- iot-mqtt-bridge credentials создаются вручную (автоматизировать в будущем) +- Нет обратного канала: Cloud → Device команды (Device Shadow — вне MVP) diff --git a/examples/handler.py b/examples/handler.py new file mode 100644 index 0000000..f50b0a1 --- /dev/null +++ b/examples/handler.py @@ -0,0 +1,57 @@ +""" +Создано: 2026-04-04 +handler.py — обработчик IoT-телеметрии для демонстрации IoT MVP. + +Вызывается event-dispatcher при каждом MQTT сообщении от устройства. +Входящий event.body содержит JSON сформированный mqtt-bridge: +{ + "namespace": "sless-abc123", + "device_id": "temp-sensor-01", + "topic": "sless-abc123/telemetry/temp-sensor-01", + "payload": {"temperature": 22.5, "humidity": 65}, + "received_at": "2026-04-04T12:00:00Z" +} +""" + +import json +import os + + +def handle(event, context): + """Обработчик телеметрии IoT-устройства. + + Логирует данные и возвращает подтверждение. + В реальном сценарии здесь: сохранение в БД, алертинг, управляющие команды. + """ + log_level = os.getenv("LOG_LEVEL", "INFO") + + try: + body = json.loads(event.get("body", "{}")) + except json.JSONDecodeError as e: + return { + "statusCode": 400, + "body": json.dumps({"error": f"invalid JSON: {e}"}) + } + + namespace = body.get("namespace", "unknown") + device_id = body.get("device_id", "unknown") + payload = body.get("payload", {}) + received_at = body.get("received_at", "") + + if log_level == "INFO": + print(f"[IoT] namespace={namespace} device={device_id} at={received_at}") + print(f"[IoT] payload={json.dumps(payload)}") + + # Здесь добавить бизнес-логику: + # - Запись в PostgreSQL (через POSTGRES_DSN из env) + # - Проверка порогов и алертинг + # - Публикация управляющей команды обратно на устройство + + return { + "statusCode": 200, + "body": json.dumps({ + "processed": True, + "device_id": device_id, + "namespace": namespace, + }) + } diff --git a/examples/main.tf b/examples/main.tf new file mode 100644 index 0000000..bb1386f --- /dev/null +++ b/examples/main.tf @@ -0,0 +1,102 @@ +# Создано: 2026-04-04 +# E2E Demo: IoT Device → MQTT → RabbitMQ → Serverless Function +# +# Порядок применения: +# 1. terraform init +# 2. terraform apply +# 3. Получить credentials: terraform output mqtt_password +# 4. Отправить тестовое MQTT сообщение (см. README.md ниже) + +terraform { + required_providers { + sless = { + source = "kube5s.ru/naeel/sless" + version = ">= 0.1" + } + } +} + +# Адрес API sless оператора +provider "sless" { + api_url = "https://sless.kube5s.ru" +} + +# Переменные +variable "namespace" { + description = "Namespace пользователя (создаётся через EnsureNamespace)" + type = string +} + +variable "api_token" { + description = "JWT токен для аутентификации в sless API" + type = string + sensitive = true +} + +# Python функция-обработчик IoT-телеметрии +resource "sless_function" "iot_telemetry_handler" { + namespace = var.namespace + name = "iot-telemetry-handler" + runtime = "python3.11" + entrypoint = "handler.handle" + memory_mb = 128 + timeout_sec = 30 + + env_vars = { + LOG_LEVEL = "INFO" + } +} + +# Event Trigger: подписка на IoT telemetry queue +# event-dispatcher читает из этой очереди и вызывает функцию +resource "sless_trigger" "iot_telemetry_trigger" { + namespace = var.namespace + name = "iot-telemetry-events" + type = "event" + function_ref = sless_function.iot_telemetry_handler.name + # queue = "iot.{namespace}.telemetry" — формируется mqtt-bridge автоматически + queue = "iot.${var.namespace}.telemetry" + enabled = true +} + +# IoT устройство — температурный датчик +resource "sless_iot_device" "temperature_sensor" { + namespace = var.namespace + name = "temperature-sensor" + device_id = "temp-sensor-01" + enabled = true + + metadata = { + model = "DHT22" + location = "server-room" + owner = "ops-team" + } +} + +# ——— Outputs ——— + +output "mqtt_broker" { + value = "emqx.sless.svc:1883" + description = "MQTT broker адрес (доступен внутри кластера)" +} + +output "mqtt_username" { + value = sless_iot_device.temperature_sensor.mqtt_username + description = "MQTT username для устройства" +} + +output "mqtt_password" { + value = sless_iot_device.temperature_sensor.mqtt_password + sensitive = true + description = "MQTT пароль для устройства (sensitive)" +} + +output "mqtt_topic" { + value = "${var.namespace}/telemetry/temp-sensor-01" + description = "MQTT topic для публикации телеметрии" +} + +output "iot_device_phase" { + value = sless_iot_device.temperature_sensor.phase + description = "Статус IoT устройства (Active/Pending/Disabled/Error)" +} diff --git a/go.mod b/go.mod new file mode 100644 index 0000000..e7160cc --- /dev/null +++ b/go.mod @@ -0,0 +1,76 @@ +module gitea.services.ngcloud.ru/Nail/IoT + +go 1.25 + +require ( + github.com/eclipse/paho.mqtt.golang v1.5.1 + github.com/google/uuid v1.6.0 + github.com/gorilla/mux v1.8.1 + github.com/lib/pq v1.11.2 + github.com/segmentio/kafka-go v0.4.50 + k8s.io/api v0.26.0 + k8s.io/apimachinery v0.26.0 + k8s.io/client-go v0.26.0 + sigs.k8s.io/controller-runtime v0.14.1 +) + +require ( + github.com/beorn7/perks v1.0.1 // indirect + github.com/cespare/xxhash/v2 v2.1.2 // indirect + github.com/davecgh/go-spew v1.1.1 // indirect + github.com/emicklei/go-restful/v3 v3.9.0 // indirect + github.com/evanphx/json-patch/v5 v5.6.0 // indirect + github.com/fsnotify/fsnotify v1.6.0 // indirect + github.com/go-logr/logr v1.2.3 // indirect + github.com/go-logr/zapr v1.2.3 // indirect + github.com/go-openapi/jsonpointer v0.19.5 // indirect + github.com/go-openapi/jsonreference v0.20.0 // indirect + github.com/go-openapi/swag v0.19.14 // indirect + github.com/gogo/protobuf v1.3.2 // indirect + github.com/golang/groupcache v0.0.0-20210331224755-41bb18bfe9da // indirect + github.com/golang/protobuf v1.5.2 // indirect + github.com/google/gnostic v0.5.7-v3refs // indirect + github.com/google/go-cmp v0.5.9 // indirect + github.com/google/gofuzz v1.1.0 // indirect + github.com/gorilla/websocket v1.5.3 // indirect + github.com/imdario/mergo v0.3.6 // indirect + github.com/josharian/intern v1.0.0 // indirect + github.com/json-iterator/go v1.1.12 // indirect + github.com/klauspost/compress v1.15.9 // indirect + github.com/mailru/easyjson v0.7.6 // indirect + github.com/matttproud/golang_protobuf_extensions v1.0.2 // indirect + github.com/modern-go/concurrent v0.0.0-20180306012644-bacd9c7ef1dd // indirect + github.com/modern-go/reflect2 v1.0.2 // indirect + github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822 // indirect + github.com/pierrec/lz4/v4 v4.1.15 // indirect + github.com/pkg/errors v0.9.1 // indirect + github.com/prometheus/client_golang v1.14.0 // indirect + github.com/prometheus/client_model v0.3.0 // indirect + github.com/prometheus/common v0.37.0 // indirect + github.com/prometheus/procfs v0.8.0 // indirect + github.com/spf13/pflag v1.0.5 // indirect + go.uber.org/atomic v1.7.0 // indirect + go.uber.org/multierr v1.6.0 // indirect + go.uber.org/zap v1.24.0 // indirect + golang.org/x/net v0.44.0 // indirect + golang.org/x/oauth2 v0.0.0-20220223155221-ee480838109b // indirect + golang.org/x/sync v0.17.0 // indirect + golang.org/x/sys v0.36.0 // indirect + golang.org/x/term v0.35.0 // indirect + golang.org/x/text v0.29.0 // indirect + golang.org/x/time v0.3.0 // indirect + gomodules.xyz/jsonpatch/v2 v2.2.0 // indirect + google.golang.org/appengine v1.6.7 // indirect + google.golang.org/protobuf v1.28.1 // indirect + gopkg.in/inf.v0 v0.9.1 // indirect + gopkg.in/yaml.v2 v2.4.0 // indirect + gopkg.in/yaml.v3 v3.0.1 // indirect + k8s.io/apiextensions-apiserver v0.26.0 // indirect + k8s.io/component-base v0.26.0 // indirect + k8s.io/klog/v2 v2.80.1 // indirect + k8s.io/kube-openapi v0.0.0-20221012153701-172d655c2280 // indirect + k8s.io/utils v0.0.0-20221128185143-99ec85e7a448 // indirect + sigs.k8s.io/json v0.0.0-20220713155537-f223a00ba0e2 // indirect + sigs.k8s.io/structured-merge-diff/v4 v4.2.3 // indirect + sigs.k8s.io/yaml v1.3.0 // indirect +) diff --git a/go.sum b/go.sum new file mode 100644 index 0000000..695678f --- /dev/null +++ b/go.sum @@ -0,0 +1,640 @@ +cloud.google.com/go v0.26.0/go.mod h1:aQUYkXzVsufM+DwF1aE+0xfcU+56JwCaLick0ClmMTw= +cloud.google.com/go v0.34.0/go.mod h1:aQUYkXzVsufM+DwF1aE+0xfcU+56JwCaLick0ClmMTw= +cloud.google.com/go v0.38.0/go.mod h1:990N+gfupTy94rShfmMCWGDn0LpTmnzTp2qbd1dvSRU= +cloud.google.com/go v0.44.1/go.mod h1:iSa0KzasP4Uvy3f1mN/7PiObzGgflwredwwASm/v6AU= +cloud.google.com/go v0.44.2/go.mod h1:60680Gw3Yr4ikxnPRS/oxxkBccT6SA1yMk63TGekxKY= +cloud.google.com/go v0.45.1/go.mod h1:RpBamKRgapWJb87xiFSdk4g1CME7QZg3uwTez+TSTjc= +cloud.google.com/go v0.46.3/go.mod h1:a6bKKbmY7er1mI7TEI4lsAkts/mkhTSZK8w33B4RAg0= +cloud.google.com/go v0.50.0/go.mod h1:r9sluTvynVuxRIOHXQEHMFffphuXHOMZMycpNR5e6To= +cloud.google.com/go v0.52.0/go.mod h1:pXajvRH/6o3+F9jDHZWQ5PbGhn+o8w9qiu/CffaVdO4= +cloud.google.com/go v0.53.0/go.mod h1:fp/UouUEsRkN6ryDKNW/Upv/JBKnv6WDthjR6+vze6M= +cloud.google.com/go v0.54.0/go.mod h1:1rq2OEkV3YMf6n/9ZvGWI3GWw0VoqH/1x2nd8Is/bPc= +cloud.google.com/go v0.56.0/go.mod h1:jr7tqZxxKOVYizybht9+26Z/gUq7tiRzu+ACVAMbKVk= +cloud.google.com/go v0.57.0/go.mod h1:oXiQ6Rzq3RAkkY7N6t3TcE6jE+CIBBbA36lwQ1JyzZs= +cloud.google.com/go v0.62.0/go.mod h1:jmCYTdRCQuc1PHIIJ/maLInMho30T/Y0M4hTdTShOYc= +cloud.google.com/go v0.65.0/go.mod h1:O5N8zS7uWy9vkA9vayVHs65eM1ubvY4h553ofrNHObY= +cloud.google.com/go/bigquery v1.0.1/go.mod h1:i/xbL2UlR5RvWAURpBYZTtm/cXjCha9lbfbpx4poX+o= +cloud.google.com/go/bigquery v1.3.0/go.mod h1:PjpwJnslEMmckchkHFfq+HTD2DmtT67aNFKH1/VBDHE= +cloud.google.com/go/bigquery v1.4.0/go.mod h1:S8dzgnTigyfTmLBfrtrhyYhwRxG72rYxvftPBK2Dvzc= +cloud.google.com/go/bigquery v1.5.0/go.mod h1:snEHRnqQbz117VIFhE8bmtwIDY80NLUZUMb4Nv6dBIg= +cloud.google.com/go/bigquery v1.7.0/go.mod h1://okPTzCYNXSlb24MZs83e2Do+h+VXtc4gLoIoXIAPc= +cloud.google.com/go/bigquery v1.8.0/go.mod h1:J5hqkt3O0uAFnINi6JXValWIb1v0goeZM77hZzJN/fQ= +cloud.google.com/go/datastore v1.0.0/go.mod h1:LXYbyblFSglQ5pkeyhO+Qmw7ukd3C+pD7TKLgZqpHYE= +cloud.google.com/go/datastore v1.1.0/go.mod h1:umbIZjpQpHh4hmRpGhH4tLFup+FVzqBi1b3c64qFpCk= +cloud.google.com/go/pubsub v1.0.1/go.mod h1:R0Gpsv3s54REJCy4fxDixWD93lHJMoZTyQ2kNxGRt3I= +cloud.google.com/go/pubsub v1.1.0/go.mod h1:EwwdRX2sKPjnvnqCa270oGRyludottCI76h+R3AArQw= +cloud.google.com/go/pubsub v1.2.0/go.mod h1:jhfEVHT8odbXTkndysNHCcx0awwzvfOlguIAii9o8iA= +cloud.google.com/go/pubsub v1.3.1/go.mod h1:i+ucay31+CNRpDW4Lu78I4xXG+O1r/MAHgjpRVR+TSU= +cloud.google.com/go/storage v1.0.0/go.mod h1:IhtSnM/ZTZV8YYJWCY8RULGVqBDmpoyjwiyrjsg+URw= +cloud.google.com/go/storage v1.5.0/go.mod h1:tpKbwo567HUNpVclU5sGELwQWBDZ8gh0ZeosJ0Rtdos= +cloud.google.com/go/storage v1.6.0/go.mod h1:N7U0C8pVQ/+NIKOBQyamJIeKQKkZ+mxpohlUTyfDhBk= +cloud.google.com/go/storage v1.8.0/go.mod h1:Wv1Oy7z6Yz3DshWRJFhqM/UCfaWIRTdp0RXyy7KQOVs= +cloud.google.com/go/storage v1.10.0/go.mod h1:FLPqc6j+Ki4BU591ie1oL6qBQGu2Bl/tZ9ullr3+Kg0= +dmitri.shuralyov.com/gpu/mtl v0.0.0-20190408044501-666a987793e9/go.mod h1:H6x//7gZCb22OMCxBHrMx7a5I7Hp++hsVxbQ4BYO7hU= +github.com/BurntSushi/toml v0.3.1/go.mod h1:xHWCNGjB5oqiDr8zfno3MHue2Ht5sIBksp03qcyfWMU= +github.com/BurntSushi/xgb v0.0.0-20160522181843-27f122750802/go.mod h1:IVnqGOEym/WlBOVXweHU+Q+/VP0lqqI8lqeDx9IjBqo= +github.com/alecthomas/template v0.0.0-20160405071501-a0175ee3bccc/go.mod h1:LOuyumcjzFXgccqObfd/Ljyb9UuFJ6TxHnclSeseNhc= +github.com/alecthomas/template v0.0.0-20190718012654-fb15b899a751/go.mod h1:LOuyumcjzFXgccqObfd/Ljyb9UuFJ6TxHnclSeseNhc= +github.com/alecthomas/units v0.0.0-20151022065526-2efee857e7cf/go.mod h1:ybxpYRFXyAe+OPACYpWeL0wqObRcbAqCMya13uyzqw0= +github.com/alecthomas/units v0.0.0-20190717042225-c3de453c63f4/go.mod h1:ybxpYRFXyAe+OPACYpWeL0wqObRcbAqCMya13uyzqw0= +github.com/alecthomas/units v0.0.0-20190924025748-f65c72e2690d/go.mod h1:rBZYJk541a8SKzHPHnH3zbiI+7dagKZ0cgpgrD7Fyho= +github.com/benbjohnson/clock v1.1.0 h1:Q92kusRqC1XV2MjkWETPvjJVqKetz1OzxZB7mHJLju8= +github.com/benbjohnson/clock v1.1.0/go.mod h1:J11/hYXuz8f4ySSvYwY0FKfm+ezbsZBKZxNJlLklBHA= +github.com/beorn7/perks v0.0.0-20180321164747-3a771d992973/go.mod h1:Dwedo/Wpr24TaqPxmxbtue+5NUziq4I4S80YR8gNf3Q= +github.com/beorn7/perks v1.0.0/go.mod h1:KWe93zE9D1o94FZ5RNwFwVgaQK1VOXiVxmqh+CedLV8= +github.com/beorn7/perks v1.0.1 h1:VlbKKnNfV8bJzeqoa4cOKqO6bYr3WgKZxO8Z16+hsOM= +github.com/beorn7/perks v1.0.1/go.mod h1:G2ZrVWU2WbWT9wwq4/hrbKbnv/1ERSJQ0ibhJ6rlkpw= +github.com/census-instrumentation/opencensus-proto v0.2.1/go.mod h1:f6KPmirojxKA12rnyqOA5BBL4O983OfeGPqjHWSTneU= +github.com/cespare/xxhash/v2 v2.1.1/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/cespare/xxhash/v2 v2.1.2 h1:YRXhKfTDauu4ajMg1TPgFO5jnlC2HCbmLXMcTG5cbYE= +github.com/cespare/xxhash/v2 v2.1.2/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/chzyer/logex v1.1.10/go.mod h1:+Ywpsq7O8HXn0nuIou7OrIPyXbp3wmkHB+jjWRnGsAI= +github.com/chzyer/readline v0.0.0-20180603132655-2972be24d48e/go.mod h1:nSuG5e5PlCu98SY8svDHJxuZscDgtXS6KTTbou5AhLI= +github.com/chzyer/test v0.0.0-20180213035817-a1ea475d72b1/go.mod h1:Q3SI9o4m/ZMnBNeIyt5eFwwo7qiLfzFZmjNmxjkiQlU= +github.com/client9/misspell v0.3.4/go.mod h1:qj6jICC3Q7zFZvVWo7KLAzC3yx5G7kyvSDkc90ppPyw= +github.com/cncf/udpa/go v0.0.0-20191209042840-269d4d468f6f/go.mod h1:M8M6+tZqaGXZJjfX53e64911xZQV5JYwmTeXPW+k8Sc= +github.com/creack/pty v1.1.9/go.mod h1:oKZEueFk5CKHvIhNR5MUki03XCEU+Q6VDXinZuGJ33E= +github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c= +github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/docopt/docopt-go v0.0.0-20180111231733-ee0de3bc6815/go.mod h1:WwZ+bS3ebgob9U8Nd0kOddGdZWjyMGR8Wziv+TBNwSE= +github.com/eclipse/paho.mqtt.golang v1.5.1 h1:/VSOv3oDLlpqR2Epjn1Q7b2bSTplJIeV2ISgCl2W7nE= +github.com/eclipse/paho.mqtt.golang v1.5.1/go.mod h1:1/yJCneuyOoCOzKSsOTUc0AJfpsItBGWvYpBLimhArU= +github.com/emicklei/go-restful/v3 v3.9.0 h1:XwGDlfxEnQZzuopoqxwSEllNcCOM9DhhFyhFIIGKwxE= +github.com/emicklei/go-restful/v3 v3.9.0/go.mod h1:6n3XBCmQQb25CM2LCACGz8ukIrRry+4bhvbpWn3mrbc= +github.com/envoyproxy/go-control-plane v0.9.0/go.mod h1:YTl/9mNaCwkRvm6d1a2C3ymFceY/DCBVvsKhRF0iEA4= +github.com/envoyproxy/go-control-plane v0.9.1-0.20191026205805-5f8ba28d4473/go.mod h1:YTl/9mNaCwkRvm6d1a2C3ymFceY/DCBVvsKhRF0iEA4= +github.com/envoyproxy/go-control-plane v0.9.4/go.mod h1:6rpuAdCZL397s3pYoYcLgu1mIlRU8Am5FuJP05cCM98= +github.com/envoyproxy/protoc-gen-validate v0.1.0/go.mod h1:iSmxcyjqTsJpI2R4NaDN7+kN2VEUnK/pcBlmesArF7c= +github.com/evanphx/json-patch v0.5.2/go.mod h1:ZWS5hhDbVDyob71nXKNL0+PWn6ToqBHMikGIFbs31qQ= +github.com/evanphx/json-patch v4.12.0+incompatible h1:4onqiflcdA9EOZ4RxV643DvftH5pOlLGNtQ5lPWQu84= +github.com/evanphx/json-patch v4.12.0+incompatible/go.mod h1:50XU6AFN0ol/bzJsmQLiYLvXMP4fmwYFNcr97nuDLSk= +github.com/evanphx/json-patch/v5 v5.6.0 h1:b91NhWfaz02IuVxO9faSllyAtNXHMPkC5J8sJCLunww= +github.com/evanphx/json-patch/v5 v5.6.0/go.mod h1:G79N1coSVB93tBe7j6PhzjmR3/2VvlbKOFpnXhI9Bw4= +github.com/fsnotify/fsnotify v1.6.0 h1:n+5WquG0fcWoWp6xPWfHdbskMCQaFnG6PfBrh1Ky4HY= +github.com/fsnotify/fsnotify v1.6.0/go.mod h1:sl3t1tCWJFWoRz9R8WJCbQihKKwmorjAbSClcnxKAGw= +github.com/go-gl/glfw v0.0.0-20190409004039-e6da0acd62b1/go.mod h1:vR7hzQXu2zJy9AVAgeJqvqgH9Q5CA+iKCZ2gyEVpxRU= +github.com/go-gl/glfw/v3.3/glfw v0.0.0-20191125211704-12ad95a8df72/go.mod h1:tQ2UAYgL5IevRw8kRxooKSPJfGvJ9fJQFa0TUsXzTg8= +github.com/go-gl/glfw/v3.3/glfw v0.0.0-20200222043503-6f7a984d4dc4/go.mod h1:tQ2UAYgL5IevRw8kRxooKSPJfGvJ9fJQFa0TUsXzTg8= +github.com/go-kit/kit v0.8.0/go.mod h1:xBxKIO96dXMWWy0MnWVtmwkA9/13aqxPnvrjFYMA2as= +github.com/go-kit/kit v0.9.0/go.mod h1:xBxKIO96dXMWWy0MnWVtmwkA9/13aqxPnvrjFYMA2as= +github.com/go-kit/log v0.1.0/go.mod h1:zbhenjAZHb184qTLMA9ZjW7ThYL0H2mk7Q6pNt4vbaY= +github.com/go-kit/log v0.2.0/go.mod h1:NwTd00d/i8cPZ3xOwwiv2PO5MOcx78fFErGNcVmBjv0= +github.com/go-logfmt/logfmt v0.3.0/go.mod h1:Qt1PoO58o5twSAckw1HlFXLmHsOX5/0LbT9GBnD5lWE= +github.com/go-logfmt/logfmt v0.4.0/go.mod h1:3RMwSq7FuexP4Kalkev3ejPJsZTpXXBr9+V4qmtdjCk= +github.com/go-logfmt/logfmt v0.5.0/go.mod h1:wCYkCAKZfumFQihp8CzCvQ3paCTfi41vtzG1KdI/P7A= +github.com/go-logfmt/logfmt v0.5.1/go.mod h1:WYhtIu8zTZfxdn5+rREduYbwxfcBr/Vr6KEVveWlfTs= +github.com/go-logr/logr v1.2.0/go.mod h1:jdQByPbusPIv2/zmleS9BjJVeZ6kBagPoEUsqbVz/1A= +github.com/go-logr/logr v1.2.2/go.mod h1:jdQByPbusPIv2/zmleS9BjJVeZ6kBagPoEUsqbVz/1A= +github.com/go-logr/logr v1.2.3 h1:2DntVwHkVopvECVRSlL5PSo9eG+cAkDCuckLubN+rq0= +github.com/go-logr/logr v1.2.3/go.mod h1:jdQByPbusPIv2/zmleS9BjJVeZ6kBagPoEUsqbVz/1A= +github.com/go-logr/zapr v1.2.3 h1:a9vnzlIBPQBBkeaR9IuMUfmVOrQlkoC4YfPoFkX3T7A= +github.com/go-logr/zapr v1.2.3/go.mod h1:eIauM6P8qSvTw5o2ez6UEAfGjQKrxQTl5EoK+Qa2oG4= +github.com/go-openapi/jsonpointer v0.19.3/go.mod h1:Pl9vOtqEWErmShwVjC8pYs9cog34VGT37dQOVbmoatg= +github.com/go-openapi/jsonpointer v0.19.5 h1:gZr+CIYByUqjcgeLXnQu2gHYQC9o73G2XUeOFYEICuY= +github.com/go-openapi/jsonpointer v0.19.5/go.mod h1:Pl9vOtqEWErmShwVjC8pYs9cog34VGT37dQOVbmoatg= +github.com/go-openapi/jsonreference v0.20.0 h1:MYlu0sBgChmCfJxxUKZ8g1cPWFOB37YSZqewK7OKeyA= +github.com/go-openapi/jsonreference v0.20.0/go.mod h1:Ag74Ico3lPc+zR+qjn4XBUmXymS4zJbYVCZmcgkasdo= +github.com/go-openapi/swag v0.19.5/go.mod h1:POnQmlKehdgb5mhVOsnJFsivZCEZ/vjK9gh66Z9tfKk= +github.com/go-openapi/swag v0.19.14 h1:gm3vOOXfiuw5i9p5N9xJvfjvuofpyvLA9Wr6QfK5Fng= +github.com/go-openapi/swag v0.19.14/go.mod h1:QYRuS/SOXUCsnplDa677K7+DxSOj6IPNl/eQntq43wQ= +github.com/go-stack/stack v1.8.0/go.mod h1:v0f6uXyyMGvRgIKkXu+yp6POWl0qKG85gN/melR3HDY= +github.com/gogo/protobuf v1.1.1/go.mod h1:r8qH/GZQm5c6nD/R0oafs1akxWv10x8SbQlK7atdtwQ= +github.com/gogo/protobuf v1.3.2 h1:Ov1cvc58UF3b5XjBnZv7+opcTcQFZebYjWzi34vdm4Q= +github.com/gogo/protobuf v1.3.2/go.mod h1:P1XiOD3dCwIKUDQYPy72D8LYyHL2YPYrpS2s69NZV8Q= +github.com/golang/glog v0.0.0-20160126235308-23def4e6c14b/go.mod h1:SBH7ygxi8pfUlaOkMMuAQtPIUF8ecWP5IEl/CR7VP2Q= +github.com/golang/groupcache v0.0.0-20190702054246-869f871628b6/go.mod h1:cIg4eruTrX1D+g88fzRXU5OdNfaM+9IcxsU14FzY7Hc= +github.com/golang/groupcache v0.0.0-20191227052852-215e87163ea7/go.mod h1:cIg4eruTrX1D+g88fzRXU5OdNfaM+9IcxsU14FzY7Hc= +github.com/golang/groupcache v0.0.0-20200121045136-8c9f03a8e57e/go.mod h1:cIg4eruTrX1D+g88fzRXU5OdNfaM+9IcxsU14FzY7Hc= +github.com/golang/groupcache v0.0.0-20210331224755-41bb18bfe9da h1:oI5xCqsCo564l8iNU+DwB5epxmsaqB+rhGL0m5jtYqE= +github.com/golang/groupcache v0.0.0-20210331224755-41bb18bfe9da/go.mod h1:cIg4eruTrX1D+g88fzRXU5OdNfaM+9IcxsU14FzY7Hc= +github.com/golang/mock v1.1.1/go.mod h1:oTYuIxOrZwtPieC+H1uAHpcLFnEyAGVDL/k47Jfbm0A= +github.com/golang/mock v1.2.0/go.mod h1:oTYuIxOrZwtPieC+H1uAHpcLFnEyAGVDL/k47Jfbm0A= +github.com/golang/mock v1.3.1/go.mod h1:sBzyDLLjw3U8JLTeZvSv8jJB+tU5PVekmnlKIyFUx0Y= +github.com/golang/mock v1.4.0/go.mod h1:UOMv5ysSaYNkG+OFQykRIcU/QvvxJf3p21QfJ2Bt3cw= +github.com/golang/mock v1.4.1/go.mod h1:UOMv5ysSaYNkG+OFQykRIcU/QvvxJf3p21QfJ2Bt3cw= +github.com/golang/mock v1.4.3/go.mod h1:UOMv5ysSaYNkG+OFQykRIcU/QvvxJf3p21QfJ2Bt3cw= +github.com/golang/mock v1.4.4/go.mod h1:l3mdAwkq5BuhzHwde/uurv3sEJeZMXNpwsxVWU71h+4= +github.com/golang/protobuf v1.2.0/go.mod h1:6lQm79b+lXiMfvg/cZm0SGofjICqVBUtrP5yJMmIC1U= +github.com/golang/protobuf v1.3.1/go.mod h1:6lQm79b+lXiMfvg/cZm0SGofjICqVBUtrP5yJMmIC1U= +github.com/golang/protobuf v1.3.2/go.mod h1:6lQm79b+lXiMfvg/cZm0SGofjICqVBUtrP5yJMmIC1U= +github.com/golang/protobuf v1.3.3/go.mod h1:vzj43D7+SQXF/4pzW/hwtAqwc6iTitCiVSaWz5lYuqw= +github.com/golang/protobuf v1.3.4/go.mod h1:vzj43D7+SQXF/4pzW/hwtAqwc6iTitCiVSaWz5lYuqw= +github.com/golang/protobuf v1.3.5/go.mod h1:6O5/vntMXwX2lRkT1hjjk0nAC1IDOTvTlVgjlRvqsdk= +github.com/golang/protobuf v1.4.0-rc.1/go.mod h1:ceaxUfeHdC40wWswd/P6IGgMaK3YpKi5j83Wpe3EHw8= +github.com/golang/protobuf v1.4.0-rc.1.0.20200221234624-67d41d38c208/go.mod h1:xKAWHe0F5eneWXFV3EuXVDTCmh+JuBKY0li0aMyXATA= +github.com/golang/protobuf v1.4.0-rc.2/go.mod h1:LlEzMj4AhA7rCAGe4KMBDvJI+AwstrUpVNzEA03Pprs= +github.com/golang/protobuf v1.4.0-rc.4.0.20200313231945-b860323f09d0/go.mod h1:WU3c8KckQ9AFe+yFwt9sWVRKCVIyN9cPHBJSNnbL67w= +github.com/golang/protobuf v1.4.0/go.mod h1:jodUvKwWbYaEsadDk5Fwe5c77LiNKVO9IDvqG2KuDX0= +github.com/golang/protobuf v1.4.1/go.mod h1:U8fpvMrcmy5pZrNK1lt4xCsGvpyWQ/VVv6QDs8UjoX8= +github.com/golang/protobuf v1.4.2/go.mod h1:oDoupMAO8OvCJWAcko0GGGIgR6R6ocIYbsSw735rRwI= +github.com/golang/protobuf v1.4.3/go.mod h1:oDoupMAO8OvCJWAcko0GGGIgR6R6ocIYbsSw735rRwI= +github.com/golang/protobuf v1.5.0/go.mod h1:FsONVRAS9T7sI+LIUmWTfcYkHO4aIWwzhcaSAoJOfIk= +github.com/golang/protobuf v1.5.2 h1:ROPKBNFfQgOUMifHyP+KYbvpjbdoFNs+aK7DXlji0Tw= +github.com/golang/protobuf v1.5.2/go.mod h1:XVQd3VNwM+JqD3oG2Ue2ip4fOMUkwXdXDdiuN0vRsmY= +github.com/google/btree v0.0.0-20180813153112-4030bb1f1f0c/go.mod h1:lNA+9X1NB3Zf8V7Ke586lFgjr2dZNuvo3lPJSGZ5JPQ= +github.com/google/btree v1.0.0/go.mod h1:lNA+9X1NB3Zf8V7Ke586lFgjr2dZNuvo3lPJSGZ5JPQ= +github.com/google/gnostic v0.5.7-v3refs h1:FhTMOKj2VhjpouxvWJAV1TL304uMlb9zcDqkl6cEI54= +github.com/google/gnostic v0.5.7-v3refs/go.mod h1:73MKFl6jIHelAJNaBGFzt3SPtZULs9dYrGFt8OiIsHQ= +github.com/google/go-cmp v0.2.0/go.mod h1:oXzfMopK8JAjlY9xF4vHSVASa0yLyX7SntLO5aqRK0M= +github.com/google/go-cmp v0.3.0/go.mod h1:8QqcDgzrUqlUb/G2PQTWiueGozuR1884gddMywk6iLU= +github.com/google/go-cmp v0.3.1/go.mod h1:8QqcDgzrUqlUb/G2PQTWiueGozuR1884gddMywk6iLU= +github.com/google/go-cmp v0.4.0/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.4.1/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.5.0/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.5.1/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.5.4/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.5.5/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/google/go-cmp v0.5.9 h1:O2Tfq5qg4qc4AmwVlvv0oLiVAGB7enBSJ2x2DqQFi38= +github.com/google/go-cmp v0.5.9/go.mod h1:17dUlkBOakJ0+DkrSSNjCkIjxS6bF9zb3elmeNGIjoY= +github.com/google/gofuzz v1.0.0/go.mod h1:dBl0BpW6vV/+mYPU4Po3pmUjxk6FQPldtuIdl/M65Eg= +github.com/google/gofuzz v1.1.0 h1:Hsa8mG0dQ46ij8Sl2AYJDUv1oA9/d6Vk+3LG99Oe02g= +github.com/google/gofuzz v1.1.0/go.mod h1:dBl0BpW6vV/+mYPU4Po3pmUjxk6FQPldtuIdl/M65Eg= +github.com/google/martian v2.1.0+incompatible/go.mod h1:9I4somxYTbIHy5NJKHRl3wXiIaQGbYVAs8BPL6v8lEs= +github.com/google/martian/v3 v3.0.0/go.mod h1:y5Zk1BBys9G+gd6Jrk0W3cC1+ELVxBWuIGO+w/tUAp0= +github.com/google/pprof v0.0.0-20181206194817-3ea8567a2e57/go.mod h1:zfwlbNMJ+OItoe0UupaVj+oy1omPYYDuagoSzA8v9mc= +github.com/google/pprof v0.0.0-20190515194954-54271f7e092f/go.mod h1:zfwlbNMJ+OItoe0UupaVj+oy1omPYYDuagoSzA8v9mc= +github.com/google/pprof v0.0.0-20191218002539-d4f498aebedc/go.mod h1:ZgVRPoUq/hfqzAqh7sHMqb3I9Rq5C59dIz2SbBwJ4eM= +github.com/google/pprof v0.0.0-20200212024743-f11f1df84d12/go.mod h1:ZgVRPoUq/hfqzAqh7sHMqb3I9Rq5C59dIz2SbBwJ4eM= +github.com/google/pprof v0.0.0-20200229191704-1ebb73c60ed3/go.mod h1:ZgVRPoUq/hfqzAqh7sHMqb3I9Rq5C59dIz2SbBwJ4eM= +github.com/google/pprof v0.0.0-20200430221834-fc25d7d30c6d/go.mod h1:ZgVRPoUq/hfqzAqh7sHMqb3I9Rq5C59dIz2SbBwJ4eM= +github.com/google/pprof v0.0.0-20200708004538-1a94d8640e99/go.mod h1:ZgVRPoUq/hfqzAqh7sHMqb3I9Rq5C59dIz2SbBwJ4eM= +github.com/google/renameio v0.1.0/go.mod h1:KWCgfxg9yswjAJkECMjeO8J8rahYeXnNhOm40UhjYkI= +github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0= +github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= +github.com/googleapis/gax-go/v2 v2.0.4/go.mod h1:0Wqv26UfaUD9n4G6kQubkQ+KchISgw+vpHVxEJEs9eg= +github.com/googleapis/gax-go/v2 v2.0.5/go.mod h1:DWXyrwAJ9X0FpwwEdw+IPEYBICEFu5mhpdKc/us6bOk= +github.com/gorilla/mux v1.8.1 h1:TuBL49tXwgrFYWhqrNgrUNEY92u81SPhu7sTdzQEiWY= +github.com/gorilla/mux v1.8.1/go.mod h1:AKf9I4AEqPTmMytcMc0KkNouC66V3BtZ4qD5fmWSiMQ= +github.com/gorilla/websocket v1.5.3 h1:saDtZ6Pbx/0u+bgYQ3q96pZgCzfhKXGPqt7kZ72aNNg= +github.com/gorilla/websocket v1.5.3/go.mod h1:YR8l580nyteQvAITg2hZ9XVh4b55+EU/adAjf1fMHhE= +github.com/hashicorp/golang-lru v0.5.0/go.mod h1:/m3WP610KZHVQ1SGc6re/UDhFvYD7pJ4Ao+sR/qLZy8= +github.com/hashicorp/golang-lru v0.5.1/go.mod h1:/m3WP610KZHVQ1SGc6re/UDhFvYD7pJ4Ao+sR/qLZy8= +github.com/ianlancetaylor/demangle v0.0.0-20181102032728-5e5cf60278f6/go.mod h1:aSSvb/t6k1mPoxDqO4vJh6VOCGPwU4O0C2/Eqndh1Sc= +github.com/imdario/mergo v0.3.6 h1:xTNEAn+kxVO7dTZGu0CegyqKZmoWFI0rF8UxjlB2d28= +github.com/imdario/mergo v0.3.6/go.mod h1:2EnlNZ0deacrJVfApfmtdGgDfMuh/nq6Ok1EcJh5FfA= +github.com/jessevdk/go-flags v1.4.0/go.mod h1:4FA24M0QyGHXBuZZK/XkWh8h0e1EYbRYJSGM75WSRxI= +github.com/josharian/intern v1.0.0 h1:vlS4z54oSdjm0bgjRigI+G1HpF+tI+9rE5LLzOg8HmY= +github.com/josharian/intern v1.0.0/go.mod h1:5DoeVV0s6jJacbCEi61lwdGj/aVlrQvzHFFd8Hwg//Y= +github.com/jpillora/backoff v1.0.0/go.mod h1:J/6gKK9jxlEcS3zixgDgUAsiuZ7yrSoa/FX5e0EB2j4= +github.com/json-iterator/go v1.1.6/go.mod h1:+SdeFBvtyEkXs7REEP0seUULqWtbJapLOCVDaaPEHmU= +github.com/json-iterator/go v1.1.10/go.mod h1:KdQUCv79m/52Kvf8AW2vK1V8akMuk1QjK/uOdHXbAo4= +github.com/json-iterator/go v1.1.11/go.mod h1:KdQUCv79m/52Kvf8AW2vK1V8akMuk1QjK/uOdHXbAo4= +github.com/json-iterator/go v1.1.12 h1:PV8peI4a0ysnczrg+LtxykD8LfKY9ML6u2jnxaEnrnM= +github.com/json-iterator/go v1.1.12/go.mod h1:e30LSqwooZae/UwlEbR2852Gd8hjQvJoHmT4TnhNGBo= +github.com/jstemmer/go-junit-report v0.0.0-20190106144839-af01ea7f8024/go.mod h1:6v2b51hI/fHJwM22ozAgKL4VKDeJcHhJFhtBdhmNjmU= +github.com/jstemmer/go-junit-report v0.9.1/go.mod h1:Brl9GWCQeLvo8nXZwPNNblvFj/XSXhF0NWZEnDohbsk= +github.com/julienschmidt/httprouter v1.2.0/go.mod h1:SYymIcj16QtmaHHD7aYtjjsJG7VTCxuUUipMqKk8s4w= +github.com/julienschmidt/httprouter v1.3.0/go.mod h1:JR6WtHb+2LUe8TCKY3cZOxFyyO8IZAc4RVcycCCAKdM= +github.com/kisielk/errcheck v1.5.0/go.mod h1:pFxgyoBC7bSaBwPgfKdkLd5X25qrDl4LWUI2bnpBCr8= +github.com/kisielk/gotool v1.0.0/go.mod h1:XhKaO+MFFWcvkIS/tQcRk01m1F5IRFswLeQ+oQHNcck= +github.com/klauspost/compress v1.15.9 h1:wKRjX6JRtDdrE9qwa4b/Cip7ACOshUI4smpCQanqjSY= +github.com/klauspost/compress v1.15.9/go.mod h1:PhcZ0MbTNciWF3rruxRgKxI5NkcHHrHUDtV4Yw2GlzU= +github.com/konsorten/go-windows-terminal-sequences v1.0.1/go.mod h1:T0+1ngSBFLxvqU3pZ+m/2kptfBszLMUkC4ZK/EgS/cQ= +github.com/konsorten/go-windows-terminal-sequences v1.0.3/go.mod h1:T0+1ngSBFLxvqU3pZ+m/2kptfBszLMUkC4ZK/EgS/cQ= +github.com/kr/logfmt v0.0.0-20140226030751-b84e30acd515/go.mod h1:+0opPa2QZZtGFBFZlji/RkVcI2GknAs/DXo4wKdlNEc= +github.com/kr/pretty v0.1.0/go.mod h1:dAy3ld7l9f0ibDNOQOHHMYYIIbhfbHSm3C4ZsoJORNo= +github.com/kr/pretty v0.2.0/go.mod h1:ipq/a2n7PKx3OHsz4KJII5eveXtPO4qwEXGdVfWzfnI= +github.com/kr/pty v1.1.1/go.mod h1:pFQYn66WHrOpPYNljwOMqo10TkYh1fy3cYio2l3bCsQ= +github.com/kr/text v0.1.0/go.mod h1:4Jbv+DJW3UT/LiOwJeYQe1efqtUx/iVham/4vfdArNI= +github.com/kr/text v0.2.0 h1:5Nx0Ya0ZqY2ygV366QzturHI13Jq95ApcVaJBhpS+AY= +github.com/kr/text v0.2.0/go.mod h1:eLer722TekiGuMkidMxC/pM04lWEeraHUUmBw8l2grE= +github.com/lib/pq v1.11.2 h1:x6gxUeu39V0BHZiugWe8LXZYZ+Utk7hSJGThs8sdzfs= +github.com/lib/pq v1.11.2/go.mod h1:/p+8NSbOcwzAEI7wiMXFlgydTwcgTr3OSKMsD2BitpA= +github.com/mailru/easyjson v0.0.0-20190614124828-94de47d64c63/go.mod h1:C1wdFJiN94OJF2b5HbByQZoLdCWB1Yqtg26g4irojpc= +github.com/mailru/easyjson v0.0.0-20190626092158-b2ccc519800e/go.mod h1:C1wdFJiN94OJF2b5HbByQZoLdCWB1Yqtg26g4irojpc= +github.com/mailru/easyjson v0.7.6 h1:8yTIVnZgCoiM1TgqoeTl+LfU5Jg6/xL3QhGQnimLYnA= +github.com/mailru/easyjson v0.7.6/go.mod h1:xzfreul335JAWq5oZzymOObrkdz5UnU4kGfJJLY9Nlc= +github.com/matttproud/golang_protobuf_extensions v1.0.1/go.mod h1:D8He9yQNgCq6Z5Ld7szi9bcBfOoFv/3dc6xSMkL2PC0= +github.com/matttproud/golang_protobuf_extensions v1.0.2 h1:hAHbPm5IJGijwng3PWk09JkG9WeqChjprR5s9bBZ+OM= +github.com/matttproud/golang_protobuf_extensions v1.0.2/go.mod h1:BSXmuO+STAnVfrANrmjBb36TMTDstsz7MSK+HVaYKv4= +github.com/modern-go/concurrent v0.0.0-20180228061459-e0a39a4cb421/go.mod h1:6dJC0mAP4ikYIbvyc7fijjWJddQyLn8Ig3JB5CqoB9Q= +github.com/modern-go/concurrent v0.0.0-20180306012644-bacd9c7ef1dd h1:TRLaZ9cD/w8PVh93nsPXa1VrQ6jlwL5oN8l14QlcNfg= +github.com/modern-go/concurrent v0.0.0-20180306012644-bacd9c7ef1dd/go.mod h1:6dJC0mAP4ikYIbvyc7fijjWJddQyLn8Ig3JB5CqoB9Q= +github.com/modern-go/reflect2 v0.0.0-20180701023420-4b7aa43c6742/go.mod h1:bx2lNnkwVCuqBIxFjflWJWanXIb3RllmbCylyMrvgv0= +github.com/modern-go/reflect2 v1.0.1/go.mod h1:bx2lNnkwVCuqBIxFjflWJWanXIb3RllmbCylyMrvgv0= +github.com/modern-go/reflect2 v1.0.2 h1:xBagoLtFs94CBntxluKeaWgTMpvLxC4ur3nMaC9Gz0M= +github.com/modern-go/reflect2 v1.0.2/go.mod h1:yWuevngMOJpCy52FWWMvUC8ws7m/LJsjYzDa0/r8luk= +github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822 h1:C3w9PqII01/Oq1c1nUAm88MOHcQC9l5mIlSMApZMrHA= +github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822/go.mod h1:+n7T8mK8HuQTcFwEeznm/DIxMOiR9yIdICNftLE1DvQ= +github.com/mwitkow/go-conntrack v0.0.0-20161129095857-cc309e4a2223/go.mod h1:qRWi+5nqEBWmkhHvq77mSJWrCKwh8bxhgT7d/eI7P4U= +github.com/mwitkow/go-conntrack v0.0.0-20190716064945-2f068394615f/go.mod h1:qRWi+5nqEBWmkhHvq77mSJWrCKwh8bxhgT7d/eI7P4U= +github.com/niemeyer/pretty v0.0.0-20200227124842-a10e7caefd8e h1:fD57ERR4JtEqsWbfPhv4DMiApHyliiK5xCTNVSPiaAs= +github.com/niemeyer/pretty v0.0.0-20200227124842-a10e7caefd8e/go.mod h1:zD1mROLANZcx1PVRCS0qkT7pwLkGfwJo4zjcN/Tysno= +github.com/onsi/ginkgo/v2 v2.6.0 h1:9t9b9vRUbFq3C4qKFCGkVuq/fIHji802N1nrtkh1mNc= +github.com/onsi/ginkgo/v2 v2.6.0/go.mod h1:63DOGlLAH8+REH8jUGdL3YpCpu7JODesutUjdENfUAc= +github.com/onsi/gomega v1.24.1 h1:KORJXNNTzJXzu4ScJWssJfJMnJ+2QJqhoQSRwNlze9E= +github.com/onsi/gomega v1.24.1/go.mod h1:3AOiACssS3/MajrniINInwbfOOtfZvplPzuRSmvt1jM= +github.com/pierrec/lz4/v4 v4.1.15 h1:MO0/ucJhngq7299dKLwIMtgTfbkoSPF6AoMYDd8Q4q0= +github.com/pierrec/lz4/v4 v4.1.15/go.mod h1:gZWDp/Ze/IJXGXf23ltt2EXimqmTUXEy0GFuRQyBid4= +github.com/pkg/errors v0.8.0/go.mod h1:bwawxfHBFNV+L2hUp1rHADufV3IMtnDRdf1r5NINEl0= +github.com/pkg/errors v0.8.1/go.mod h1:bwawxfHBFNV+L2hUp1rHADufV3IMtnDRdf1r5NINEl0= +github.com/pkg/errors v0.9.1 h1:FEBLx1zS214owpjy7qsBeixbURkuhQAwrK5UwLGTwt4= +github.com/pkg/errors v0.9.1/go.mod h1:bwawxfHBFNV+L2hUp1rHADufV3IMtnDRdf1r5NINEl0= +github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM= +github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= +github.com/prometheus/client_golang v0.9.1/go.mod h1:7SWBe2y4D6OKWSNQJUaRYU/AaXPKyh/dDVn+NZz0KFw= +github.com/prometheus/client_golang v1.0.0/go.mod h1:db9x61etRT2tGnBNRi70OPL5FsnadC4Ky3P0J6CfImo= +github.com/prometheus/client_golang v1.7.1/go.mod h1:PY5Wy2awLA44sXw4AOSfFBetzPP4j5+D6mVACh+pe2M= +github.com/prometheus/client_golang v1.11.0/go.mod h1:Z6t4BnS23TR94PD6BsDNk8yVqroYurpAkEiz0P2BEV0= +github.com/prometheus/client_golang v1.12.1/go.mod h1:3Z9XVyYiZYEO+YQWt3RD2R3jrbd179Rt297l4aS6nDY= +github.com/prometheus/client_golang v1.14.0 h1:nJdhIvne2eSX/XRAFV9PcvFFRbrjbcTUj0VP62TMhnw= +github.com/prometheus/client_golang v1.14.0/go.mod h1:8vpkKitgIVNcqrRBWh1C4TIUQgYNtG/XQE4E/Zae36Y= +github.com/prometheus/client_model v0.0.0-20180712105110-5c3871d89910/go.mod h1:MbSGuTsp3dbXC40dX6PRTWyKYBIrTGTE9sqQNg2J8bo= +github.com/prometheus/client_model v0.0.0-20190129233127-fd36f4220a90/go.mod h1:xMI15A0UPsDsEKsMN9yxemIoYk6Tm2C1GtYGdfGttqA= +github.com/prometheus/client_model v0.0.0-20190812154241-14fe0d1b01d4/go.mod h1:xMI15A0UPsDsEKsMN9yxemIoYk6Tm2C1GtYGdfGttqA= +github.com/prometheus/client_model v0.2.0/go.mod h1:xMI15A0UPsDsEKsMN9yxemIoYk6Tm2C1GtYGdfGttqA= +github.com/prometheus/client_model v0.3.0 h1:UBgGFHqYdG/TPFD1B1ogZywDqEkwp3fBMvqdiQ7Xew4= +github.com/prometheus/client_model v0.3.0/go.mod h1:LDGWKZIo7rky3hgvBe+caln+Dr3dPggB5dvjtD7w9+w= +github.com/prometheus/common v0.4.1/go.mod h1:TNfzLD0ON7rHzMJeJkieUDPYmFC7Snx/y86RQel1bk4= +github.com/prometheus/common v0.10.0/go.mod h1:Tlit/dnDKsSWFlCLTWaA1cyBgKHSMdTB80sz/V91rCo= +github.com/prometheus/common v0.26.0/go.mod h1:M7rCNAaPfAosfx8veZJCuw84e35h3Cfd9VFqTh1DIvc= +github.com/prometheus/common v0.32.1/go.mod h1:vu+V0TpY+O6vW9J44gczi3Ap/oXXR10b+M/gUGO4Hls= +github.com/prometheus/common v0.37.0 h1:ccBbHCgIiT9uSoFY0vX8H3zsNR5eLt17/RQLUvn8pXE= +github.com/prometheus/common v0.37.0/go.mod h1:phzohg0JFMnBEFGxTDbfu3QyL5GI8gTQJFhYO5B3mfA= +github.com/prometheus/procfs v0.0.0-20181005140218-185b4288413d/go.mod h1:c3At6R/oaqEKCNdg8wHV1ftS6bRYblBhIjjI8uT2IGk= +github.com/prometheus/procfs v0.0.2/go.mod h1:TjEm7ze935MbeOT/UhFTIMYKhuLP4wbCsTZCD3I8kEA= +github.com/prometheus/procfs v0.1.3/go.mod h1:lV6e/gmhEcM9IjHGsFOCxxuZ+z1YqCvr4OA4YeYWdaU= +github.com/prometheus/procfs v0.6.0/go.mod h1:cz+aTbrPOrUb4q7XlbU9ygM+/jj0fzG6c1xBZuNvfVA= +github.com/prometheus/procfs v0.7.3/go.mod h1:cz+aTbrPOrUb4q7XlbU9ygM+/jj0fzG6c1xBZuNvfVA= +github.com/prometheus/procfs v0.8.0 h1:ODq8ZFEaYeCaZOJlZZdJA2AbQR98dSHSM1KW/You5mo= +github.com/prometheus/procfs v0.8.0/go.mod h1:z7EfXMXOkbkqb9IINtpCn86r/to3BnA0uaxHdg830/4= +github.com/rogpeppe/go-internal v1.3.0/go.mod h1:M8bDsm7K2OlrFYOpmOWEs/qY81heoFRclV5y23lUDJ4= +github.com/segmentio/kafka-go v0.4.50 h1:mcyC3tT5WeyWzrFbd6O374t+hmcu1NKt2Pu1L3QaXmc= +github.com/segmentio/kafka-go v0.4.50/go.mod h1:Y1gn60kzLEEaW28YshXyk2+VCUKbJ3Qr6DrnT3i4+9E= +github.com/sirupsen/logrus v1.2.0/go.mod h1:LxeOpSwHxABJmUn/MG1IvRgCAasNZTLOkJPxbbu5VWo= +github.com/sirupsen/logrus v1.4.2/go.mod h1:tLMulIdttU9McNUspp0xgXVQah82FyeX6MwdIuYE2rE= +github.com/sirupsen/logrus v1.6.0/go.mod h1:7uNnSEd1DgxDLC74fIahvMZmmYsHGZGEOFrfsX/uA88= +github.com/spf13/pflag v1.0.5 h1:iy+VFUOCP1a+8yFto/drg2CJ5u0yRoB7fZw3DKv/JXA= +github.com/spf13/pflag v1.0.5/go.mod h1:McXfInJRrz4CZXVZOBLb0bTZqETkiAhM9Iw0y3An2Bg= +github.com/stoewer/go-strcase v1.2.0/go.mod h1:IBiWB2sKIp3wVVQ3Y035++gc+knqhUQag1KpM8ahLw8= +github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/objx v0.1.1/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/testify v1.2.2/go.mod h1:a8OnRcib4nhh0OaRAV+Yts87kKdq0PP7pXfy6kDkUVs= +github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI= +github.com/stretchr/testify v1.4.0/go.mod h1:j7eGeouHqKxXV5pUuKE4zz7dFj8WfuZ+81PSLYec5m4= +github.com/stretchr/testify v1.5.1/go.mod h1:5W2xD1RspED5o8YsWQXVCued0rvSQ+mT+I5cxcmMvtA= +github.com/stretchr/testify v1.6.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.8.0 h1:pSgiaMZlXftHpm5L7V1+rVB+AZJydKsMxsQBIJw4PKk= +github.com/stretchr/testify v1.8.0/go.mod h1:yNjHg4UonilssWZ8iaSj1OCr/vHnekPRkoO+kdMU+MU= +github.com/xdg-go/pbkdf2 v1.0.0 h1:Su7DPu48wXMwC3bs7MCNG+z4FhcyEuz5dlvchbq0B0c= +github.com/xdg-go/pbkdf2 v1.0.0/go.mod h1:jrpuAogTd400dnrH08LKmI/xc1MbPOebTwRqcT5RDeI= +github.com/xdg-go/scram v1.1.2 h1:FHX5I5B4i4hKRVRBCFRxq1iQRej7WO3hhBuJf+UUySY= +github.com/xdg-go/scram v1.1.2/go.mod h1:RT/sEzTbU5y00aCK8UOx6R7YryM0iF1N2MOmC3kKLN4= +github.com/xdg-go/stringprep v1.0.4 h1:XLI/Ng3O1Atzq0oBs3TWm+5ZVgkq2aqdlvP9JtoZ6c8= +github.com/xdg-go/stringprep v1.0.4/go.mod h1:mPGuuIYwz7CmR2bT9j4GbQqutWS1zV24gijq1dTyGkM= +github.com/yuin/goldmark v1.1.25/go.mod h1:3hX8gzYuyVAZsxl0MRgGTJEmQBFcNTphYh9decYSb74= +github.com/yuin/goldmark v1.1.27/go.mod h1:3hX8gzYuyVAZsxl0MRgGTJEmQBFcNTphYh9decYSb74= +github.com/yuin/goldmark v1.1.32/go.mod h1:3hX8gzYuyVAZsxl0MRgGTJEmQBFcNTphYh9decYSb74= +github.com/yuin/goldmark v1.2.1/go.mod h1:3hX8gzYuyVAZsxl0MRgGTJEmQBFcNTphYh9decYSb74= +go.opencensus.io v0.21.0/go.mod h1:mSImk1erAIZhrmZN+AvHh14ztQfjbGwt4TtuofqLduU= +go.opencensus.io v0.22.0/go.mod h1:+kGneAE2xo2IficOXnaByMWTGM9T73dGwxeWcUqIpI8= +go.opencensus.io v0.22.2/go.mod h1:yxeiOL68Rb0Xd1ddK5vPZ/oVn4vY4Ynel7k9FzqtOIw= +go.opencensus.io v0.22.3/go.mod h1:yxeiOL68Rb0Xd1ddK5vPZ/oVn4vY4Ynel7k9FzqtOIw= +go.opencensus.io v0.22.4/go.mod h1:yxeiOL68Rb0Xd1ddK5vPZ/oVn4vY4Ynel7k9FzqtOIw= +go.uber.org/atomic v1.7.0 h1:ADUqmZGgLDDfbSL9ZmPxKTybcoEYHgpYfELNoN+7hsw= +go.uber.org/atomic v1.7.0/go.mod h1:fEN4uk6kAWBTFdckzkM89CLk9XfWZrxpCo0nPH17wJc= +go.uber.org/goleak v1.1.10/go.mod h1:8a7PlsEVH3e/a/GLqe5IIrQx6GzcnRmZEufDUTk4A7A= +go.uber.org/goleak v1.2.0 h1:xqgm/S+aQvhWFTtR0XK3Jvg7z8kGV8P4X14IzwN3Eqk= +go.uber.org/goleak v1.2.0/go.mod h1:XJYK+MuIchqpmGmUSAzotztawfKvYLUIgg7guXrwVUo= +go.uber.org/multierr v1.6.0 h1:y6IPFStTAIT5Ytl7/XYmHvzXQ7S3g/IeZW9hyZ5thw4= +go.uber.org/multierr v1.6.0/go.mod h1:cdWPpRnG4AhwMwsgIHip0KRBQjJy5kYEpYjJxpXp9iU= +go.uber.org/zap v1.19.0/go.mod h1:xg/QME4nWcxGxrpdeYfq7UvYrLh66cuVKdrbD1XF/NI= +go.uber.org/zap v1.24.0 h1:FiJd5l1UOLj0wCgbSE0rwwXHzEdAZS6hiiSnxJN/D60= +go.uber.org/zap v1.24.0/go.mod h1:2kMP+WWQ8aoFoedH3T2sq6iJ2yDWpHbP0f6MQbS9Gkg= +golang.org/x/crypto v0.0.0-20180904163835-0709b304e793/go.mod h1:6SG95UA2DQfeDnfUPMdvaQW0Q7yPrPDi9nlGo2tz2b4= +golang.org/x/crypto v0.0.0-20190308221718-c2843e01d9a2/go.mod h1:djNgcEr1/C05ACkg1iLfiJU5Ep61QUkGW8qpdssI0+w= +golang.org/x/crypto v0.0.0-20190510104115-cbcb75029529/go.mod h1:yigFU9vqHzYiE8UmvKecakEJjdnWj3jj499lnFckfCI= +golang.org/x/crypto v0.0.0-20190605123033-f99c8df09eb5/go.mod h1:yigFU9vqHzYiE8UmvKecakEJjdnWj3jj499lnFckfCI= +golang.org/x/crypto v0.0.0-20191011191535-87dc89f01550/go.mod h1:yigFU9vqHzYiE8UmvKecakEJjdnWj3jj499lnFckfCI= +golang.org/x/crypto v0.0.0-20200622213623-75b288015ac9/go.mod h1:LzIPMQfyMNhhGPhUkYOs5KpL4U8rLKemX1yGLhDgUto= +golang.org/x/exp v0.0.0-20190121172915-509febef88a4/go.mod h1:CJ0aWSM057203Lf6IL+f9T1iT9GByDxfZKAQTCR3kQA= +golang.org/x/exp v0.0.0-20190306152737-a1d7652674e8/go.mod h1:CJ0aWSM057203Lf6IL+f9T1iT9GByDxfZKAQTCR3kQA= +golang.org/x/exp v0.0.0-20190510132918-efd6b22b2522/go.mod h1:ZjyILWgesfNpC6sMxTJOJm9Kp84zZh5NQWvqDGG3Qr8= +golang.org/x/exp v0.0.0-20190829153037-c13cbed26979/go.mod h1:86+5VVa7VpoJ4kLfm080zCjGlMRFzhUhsZKEZO7MGek= +golang.org/x/exp v0.0.0-20191030013958-a1ab85dbe136/go.mod h1:JXzH8nQsPlswgeRAPE3MuO9GYsAcnJvJ4vnMwN/5qkY= +golang.org/x/exp v0.0.0-20191129062945-2f5052295587/go.mod h1:2RIsYlXP63K8oxa1u096TMicItID8zy7Y6sNkU49FU4= +golang.org/x/exp v0.0.0-20191227195350-da58074b4299/go.mod h1:2RIsYlXP63K8oxa1u096TMicItID8zy7Y6sNkU49FU4= +golang.org/x/exp v0.0.0-20200119233911-0405dc783f0a/go.mod h1:2RIsYlXP63K8oxa1u096TMicItID8zy7Y6sNkU49FU4= +golang.org/x/exp v0.0.0-20200207192155-f17229e696bd/go.mod h1:J/WKrq2StrnmMY6+EHIKF9dgMWnmCNThgcyBT1FY9mM= +golang.org/x/exp v0.0.0-20200224162631-6cc2880d07d6/go.mod h1:3jZMyOhIsHpP37uCMkUooju7aAi5cS1Q23tOzKc+0MU= +golang.org/x/image v0.0.0-20190227222117-0694c2d4d067/go.mod h1:kZ7UVZpmo3dzQBMxlp+ypCbDeSB+sBbTgSJuh5dn5js= +golang.org/x/image v0.0.0-20190802002840-cff245a6509b/go.mod h1:FeLwcggjj3mMvU+oOTbSwawSJRM1uh48EjtB4UJZlP0= +golang.org/x/lint v0.0.0-20181026193005-c67002cb31c3/go.mod h1:UVdnD1Gm6xHRNCYTkRU2/jEulfH38KcIWyp/GAMgvoE= +golang.org/x/lint v0.0.0-20190227174305-5b3e6a55c961/go.mod h1:wehouNa3lNwaWXcvxsM5YxQ5yQlVC4a0KAMCusXpPoU= +golang.org/x/lint v0.0.0-20190301231843-5614ed5bae6f/go.mod h1:UVdnD1Gm6xHRNCYTkRU2/jEulfH38KcIWyp/GAMgvoE= +golang.org/x/lint v0.0.0-20190313153728-d0100b6bd8b3/go.mod h1:6SW0HCj/g11FgYtHlgUYUwCkIfeOF89ocIRzGO/8vkc= +golang.org/x/lint v0.0.0-20190409202823-959b441ac422/go.mod h1:6SW0HCj/g11FgYtHlgUYUwCkIfeOF89ocIRzGO/8vkc= +golang.org/x/lint v0.0.0-20190909230951-414d861bb4ac/go.mod h1:6SW0HCj/g11FgYtHlgUYUwCkIfeOF89ocIRzGO/8vkc= +golang.org/x/lint v0.0.0-20190930215403-16217165b5de/go.mod h1:6SW0HCj/g11FgYtHlgUYUwCkIfeOF89ocIRzGO/8vkc= +golang.org/x/lint v0.0.0-20191125180803-fdd1cda4f05f/go.mod h1:5qLYkcX4OjUUV8bRuDixDT3tpyyb+LUpUlRWLxfhWrs= +golang.org/x/lint v0.0.0-20200130185559-910be7a94367/go.mod h1:3xt1FjdF8hUf6vQPIChWIBhFzV8gjjsPE/fR3IyQdNY= +golang.org/x/lint v0.0.0-20200302205851-738671d3881b/go.mod h1:3xt1FjdF8hUf6vQPIChWIBhFzV8gjjsPE/fR3IyQdNY= +golang.org/x/mobile v0.0.0-20190312151609-d3739f865fa6/go.mod h1:z+o9i4GpDbdi3rU15maQ/Ox0txvL9dWGYEHz965HBQE= +golang.org/x/mobile v0.0.0-20190719004257-d2bd2a29d028/go.mod h1:E/iHnbuqvinMTCcRqshq8CkpyQDoeVncDDYHnLhea+o= +golang.org/x/mod v0.0.0-20190513183733-4bf6d317e70e/go.mod h1:mXi4GBBbnImb6dmsKGUJ2LatrhH/nqhxcFungHvyanc= +golang.org/x/mod v0.1.0/go.mod h1:0QHyrYULN0/3qlju5TqG8bIK38QM8yzMo5ekMj3DlcY= +golang.org/x/mod v0.1.1-0.20191105210325-c90efee705ee/go.mod h1:QqPTAvyqsEbceGzBzNggFXnrqF1CaUcvgkdR5Ot7KZg= +golang.org/x/mod v0.1.1-0.20191107180719-034126e5016b/go.mod h1:QqPTAvyqsEbceGzBzNggFXnrqF1CaUcvgkdR5Ot7KZg= +golang.org/x/mod v0.2.0/go.mod h1:s0Qsj1ACt9ePp/hMypM3fl4fZqREWJwdYDEqhRiZZUA= +golang.org/x/mod v0.3.0/go.mod h1:s0Qsj1ACt9ePp/hMypM3fl4fZqREWJwdYDEqhRiZZUA= +golang.org/x/net v0.0.0-20180724234803-3673e40ba225/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4= +golang.org/x/net v0.0.0-20180826012351-8a410e7b638d/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4= +golang.org/x/net v0.0.0-20181114220301-adae6a3d119a/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4= +golang.org/x/net v0.0.0-20190108225652-1e06a53dbb7e/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4= +golang.org/x/net v0.0.0-20190213061140-3a22650c66bd/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4= +golang.org/x/net v0.0.0-20190311183353-d8887717615a/go.mod h1:t9HGtf8HONx5eT2rtn7q6eTqICYqUVnKs3thJo3Qplg= +golang.org/x/net v0.0.0-20190404232315-eb5bcb51f2a3/go.mod h1:t9HGtf8HONx5eT2rtn7q6eTqICYqUVnKs3thJo3Qplg= +golang.org/x/net v0.0.0-20190501004415-9ce7a6920f09/go.mod h1:t9HGtf8HONx5eT2rtn7q6eTqICYqUVnKs3thJo3Qplg= +golang.org/x/net v0.0.0-20190503192946-f4e77d36d62c/go.mod h1:t9HGtf8HONx5eT2rtn7q6eTqICYqUVnKs3thJo3Qplg= +golang.org/x/net v0.0.0-20190603091049-60506f45cf65/go.mod h1:HSz+uSET+XFnRR8LxR5pz3Of3rY3CfYBVs4xY44aLks= +golang.org/x/net v0.0.0-20190613194153-d28f0bde5980/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20190620200207-3b0461eec859/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20190628185345-da137c7871d7/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20190724013045-ca1201d0de80/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20191209160850-c0dbc17a3553/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200114155413-6afb5195e5aa/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200202094626-16171245cfb2/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200222125558-5a598a2470a0/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200226121028-0de0cce0169b/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200301022130-244492dfa37a/go.mod h1:z5CRVTTTmAJ677TzLLGU+0bjPO0LkuOLi4/5GtJWs/s= +golang.org/x/net v0.0.0-20200324143707-d3edc9973b7e/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A= +golang.org/x/net v0.0.0-20200501053045-e0ff5e5a1de5/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A= +golang.org/x/net v0.0.0-20200506145744-7e3656a0809f/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A= +golang.org/x/net v0.0.0-20200513185701-a91f0712d120/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A= +golang.org/x/net v0.0.0-20200520182314-0ba52f642ac2/go.mod h1:qpuaurCH72eLCgpAm/N6yyVIVM9cpaDIP3A8BGJEC5A= +golang.org/x/net v0.0.0-20200625001655-4c5254603344/go.mod h1:/O7V0waA8r7cgGh81Ro3o1hOxt32SMVPicZroKQ2sZA= +golang.org/x/net v0.0.0-20200707034311-ab3426394381/go.mod h1:/O7V0waA8r7cgGh81Ro3o1hOxt32SMVPicZroKQ2sZA= +golang.org/x/net v0.0.0-20200822124328-c89045814202/go.mod h1:/O7V0waA8r7cgGh81Ro3o1hOxt32SMVPicZroKQ2sZA= +golang.org/x/net v0.0.0-20201021035429-f5854403a974/go.mod h1:sp8m0HH+o8qH0wwXwYZr8TS3Oi6o0r6Gce1SSxlDquU= +golang.org/x/net v0.0.0-20210525063256-abc453219eb5/go.mod h1:9nx3DQGgdP8bBQD5qxJ1jj9UTztislL4KSBs9R2vV5Y= +golang.org/x/net v0.0.0-20220127200216-cd36cc0744dd/go.mod h1:CfG3xpIq0wQ8r1q4Su4UZFWDARRcnwPjda9FqA0JpMk= +golang.org/x/net v0.0.0-20220225172249-27dd8689420f/go.mod h1:CfG3xpIq0wQ8r1q4Su4UZFWDARRcnwPjda9FqA0JpMk= +golang.org/x/net v0.44.0 h1:evd8IRDyfNBMBTTY5XRF1vaZlD+EmWx6x8PkhR04H/I= +golang.org/x/net v0.44.0/go.mod h1:ECOoLqd5U3Lhyeyo/QDCEVQ4sNgYsqvCZ722XogGieY= +golang.org/x/oauth2 v0.0.0-20180821212333-d2e6202438be/go.mod h1:N/0e6XlmueqKjAGxoOufVs8QHGRruUQn6yWY3a++T0U= +golang.org/x/oauth2 v0.0.0-20190226205417-e64efc72b421/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw= +golang.org/x/oauth2 v0.0.0-20190604053449-0f29369cfe45/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw= +golang.org/x/oauth2 v0.0.0-20191202225959-858c2ad4c8b6/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw= +golang.org/x/oauth2 v0.0.0-20200107190931-bf48bf16ab8d/go.mod h1:gOpvHmFTYa4IltrdGE7lF6nIHvwfUNPOp7c8zoXwtLw= +golang.org/x/oauth2 v0.0.0-20210514164344-f6687ab2804c/go.mod h1:KelEdhl1UZF7XfJ4dDtk6s++YSgaE7mD/BuKKDLBl4A= +golang.org/x/oauth2 v0.0.0-20220223155221-ee480838109b h1:clP8eMhB30EHdc0bd2Twtq6kgU7yl5ub2cQLSdrv1Dg= +golang.org/x/oauth2 v0.0.0-20220223155221-ee480838109b/go.mod h1:DAh4E804XQdzx2j+YRIaUnCqCV2RuMz24cGBJ5QYIrc= +golang.org/x/sync v0.0.0-20180314180146-1d60e4601c6f/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20181108010431-42b317875d0f/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20181221193216-37e7f081c4d4/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20190227155943-e225da77a7e6/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20190423024810-112230192c58/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20190911185100-cd5d95a43a6e/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20200317015054-43a5402ce75a/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20200625203802-6e8e738ad208/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20201020160332-67f06af15bc9/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.0.0-20201207232520-09787c993a3a/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM= +golang.org/x/sync v0.17.0 h1:l60nONMj9l5drqw6jlhIELNv9I0A4OFgRsG9k2oT9Ug= +golang.org/x/sync v0.17.0/go.mod h1:9KTHXmSnoGruLpwFjVSX0lNNA75CykiMECbovNTZqGI= +golang.org/x/sys v0.0.0-20180830151530-49385e6e1522/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY= +golang.org/x/sys v0.0.0-20180905080454-ebe1bf3edb33/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY= +golang.org/x/sys v0.0.0-20181116152217-5ac8a444bdc5/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY= +golang.org/x/sys v0.0.0-20190215142949-d0b11bdaac8a/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY= +golang.org/x/sys v0.0.0-20190312061237-fead79001313/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190412213103-97732733099d/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190422165155-953cdadca894/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190502145724-3ef323f4f1fd/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190507160741-ecd444e8653b/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190606165138-5da285871e9c/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190624142023-c5567b49c5d0/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20190726091711-fc99dfbffb4e/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20191001151750-bb3f8db39f24/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20191204072324-ce4227a45e2e/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20191228213918-04cbcbbfeed8/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200106162015-b016eb3dc98e/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200113162924-86b910548bc1/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200122134326-e047566fdf82/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200202164722-d101bd2416d5/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200212091648-12a6c2dcc1e4/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200223170610-d5e6a3e2c0ae/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200302150141-5c8b2ff67527/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200323222414-85ca7c5b95cd/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200331124033-c3d80250170d/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200501052902-10377860bb8e/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200511232937-7e40ca221e25/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200515095857-1151b9dac4a9/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200523222454-059865788121/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200615200032-f1bc736245b1/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200625212154-ddb9806d33ae/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200803210538-64077c9b5642/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20200930185726-fdedc70b468f/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20201119102817-f84b799fce68/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20210124154548-22da62e12c0c/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20210423082822-04245dca01da/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20210603081109-ebe580a85c40/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.0.0-20210615035016-665e8c7367d1/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.0.0-20211216021012-1d35b9e2eb4e/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.0.0-20220114195835-da31bd327af9/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.0.0-20220908164124-27713097b956/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.36.0 h1:KVRy2GtZBrk1cBYA7MKu5bEZFxQk4NIDV6RLVcC8o0k= +golang.org/x/sys v0.36.0/go.mod h1:OgkHotnGiDImocRcuBABYBEXf8A9a87e/uXjp9XT3ks= +golang.org/x/term v0.0.0-20201126162022-7de9c90e9dd1/go.mod h1:bj7SfCRtBDWHUb9snDiAeCFNEtKQo2Wmx5Cou7ajbmo= +golang.org/x/term v0.0.0-20210927222741-03fcf44c2211/go.mod h1:jbD1KX2456YbFQfuXm/mYQcufACuNUgVhRMnK/tPxf8= +golang.org/x/term v0.35.0 h1:bZBVKBudEyhRcajGcNc3jIfWPqV4y/Kt2XcoigOWtDQ= +golang.org/x/term v0.35.0/go.mod h1:TPGtkTLesOwf2DE8CgVYiZinHAOuy5AYUYT1lENIZnA= +golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c/go.mod h1:NqM8EUOU14njkJ3fqMW+pc6Ldnwhi/IjpwHt7yyuwOQ= +golang.org/x/text v0.3.0/go.mod h1:NqM8EUOU14njkJ3fqMW+pc6Ldnwhi/IjpwHt7yyuwOQ= +golang.org/x/text v0.3.1-0.20180807135948-17ff2d5776d2/go.mod h1:NqM8EUOU14njkJ3fqMW+pc6Ldnwhi/IjpwHt7yyuwOQ= +golang.org/x/text v0.3.2/go.mod h1:bEr9sfX3Q8Zfm5fL9x+3itogRgK3+ptLWKqgva+5dAk= +golang.org/x/text v0.3.3/go.mod h1:5Zoc/QRtKVWzQhOtBMvqHzDpF6irO9z98xDceosuGiQ= +golang.org/x/text v0.3.6/go.mod h1:5Zoc/QRtKVWzQhOtBMvqHzDpF6irO9z98xDceosuGiQ= +golang.org/x/text v0.3.7/go.mod h1:u+2+/6zg+i71rQMx5EYifcz6MCKuco9NR6JIITiCfzQ= +golang.org/x/text v0.29.0 h1:1neNs90w9YzJ9BocxfsQNHKuAT4pkghyXc4nhZ6sJvk= +golang.org/x/text v0.29.0/go.mod h1:7MhJOA9CD2qZyOKYazxdYMF85OwPdEr9jTtBpO7ydH4= +golang.org/x/time v0.0.0-20181108054448-85acf8d2951c/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ= +golang.org/x/time v0.0.0-20190308202827-9d24e82272b4/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ= +golang.org/x/time v0.0.0-20191024005414-555d28b269f0/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ= +golang.org/x/time v0.3.0 h1:rg5rLMjNzMS1RkNLzCG38eapWhnYLFYXDXj2gOlr8j4= +golang.org/x/time v0.3.0/go.mod h1:tRJNPiyCQ0inRvYxbN9jk5I+vvW/OXSQhTDSoE431IQ= +golang.org/x/tools v0.0.0-20180917221912-90fa682c2a6e/go.mod h1:n7NCudcB/nEzxVGmLbDWY5pfWTLqBcC2KZ6jyYvM4mQ= +golang.org/x/tools v0.0.0-20190114222345-bf090417da8b/go.mod h1:n7NCudcB/nEzxVGmLbDWY5pfWTLqBcC2KZ6jyYvM4mQ= +golang.org/x/tools v0.0.0-20190226205152-f727befe758c/go.mod h1:9Yl7xja0Znq3iFh3HoIrodX9oNMXvdceNzlUR8zjMvY= +golang.org/x/tools v0.0.0-20190311212946-11955173bddd/go.mod h1:LCzVGOaR6xXOjkQ3onu1FJEFr0SW1gC7cKk1uF8kGRs= +golang.org/x/tools v0.0.0-20190312151545-0bb0c0a6e846/go.mod h1:LCzVGOaR6xXOjkQ3onu1FJEFr0SW1gC7cKk1uF8kGRs= +golang.org/x/tools v0.0.0-20190312170243-e65039ee4138/go.mod h1:LCzVGOaR6xXOjkQ3onu1FJEFr0SW1gC7cKk1uF8kGRs= +golang.org/x/tools v0.0.0-20190425150028-36563e24a262/go.mod h1:RgjU9mgBXZiqYHBnxXauZ1Gv1EHHAz9KjViQ78xBX0Q= +golang.org/x/tools v0.0.0-20190506145303-2d16b83fe98c/go.mod h1:RgjU9mgBXZiqYHBnxXauZ1Gv1EHHAz9KjViQ78xBX0Q= +golang.org/x/tools v0.0.0-20190524140312-2c0ae7006135/go.mod h1:RgjU9mgBXZiqYHBnxXauZ1Gv1EHHAz9KjViQ78xBX0Q= +golang.org/x/tools v0.0.0-20190606124116-d0a3d012864b/go.mod h1:/rFqwRUd4F7ZHNgwSSTFct+R/Kf4OFW1sUzUTQQTgfc= +golang.org/x/tools v0.0.0-20190621195816-6e04913cbbac/go.mod h1:/rFqwRUd4F7ZHNgwSSTFct+R/Kf4OFW1sUzUTQQTgfc= +golang.org/x/tools v0.0.0-20190628153133-6cdbf07be9d0/go.mod h1:/rFqwRUd4F7ZHNgwSSTFct+R/Kf4OFW1sUzUTQQTgfc= +golang.org/x/tools v0.0.0-20190816200558-6889da9d5479/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20190911174233-4f2ddba30aff/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191012152004-8de300cfc20a/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191108193012-7d206e10da11/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191113191852-77e3bb0ad9e7/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191115202509-3a792d9c32b2/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191119224855-298f0cb1881e/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191125144606-a911d9008d1f/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191130070609-6e064ea0cf2d/go.mod h1:b+2E5dAYhXwXZwtnZ6UAqBI28+e2cm9otk0dWdXHAEo= +golang.org/x/tools v0.0.0-20191216173652-a0e659d51361/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20191227053925-7b8e75db28f4/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200117161641-43d50277825c/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200122220014-bf1340f18c4a/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200130002326-2f3ba24bd6e7/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200204074204-1cc6d1ef6c74/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200207183749-b753a1ba74fa/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200212150539-ea181f53ac56/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200224181240-023911ca70b2/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200227222343-706bc42d1f0d/go.mod h1:TB2adYChydJhpapKDTa4BR/hXlZSLoq2Wpct/0txZ28= +golang.org/x/tools v0.0.0-20200304193943-95d2e580d8eb/go.mod h1:o4KQGtdN14AW+yjsvvwRTJJuXz8XRtIHtEnmAXLyFUw= +golang.org/x/tools v0.0.0-20200312045724-11d5b4c81c7d/go.mod h1:o4KQGtdN14AW+yjsvvwRTJJuXz8XRtIHtEnmAXLyFUw= +golang.org/x/tools v0.0.0-20200331025713-a30bf2db82d4/go.mod h1:Sl4aGygMT6LrqrWclx+PTx3U+LnKx/seiNR+3G19Ar8= +golang.org/x/tools v0.0.0-20200501065659-ab2804fb9c9d/go.mod h1:EkVYQZoAsY45+roYkvgYkIh4xh/qjgUK9TdY2XT94GE= +golang.org/x/tools v0.0.0-20200512131952-2bc93b1c0c88/go.mod h1:EkVYQZoAsY45+roYkvgYkIh4xh/qjgUK9TdY2XT94GE= +golang.org/x/tools v0.0.0-20200515010526-7d3b6ebf133d/go.mod h1:EkVYQZoAsY45+roYkvgYkIh4xh/qjgUK9TdY2XT94GE= +golang.org/x/tools v0.0.0-20200618134242-20370b0cb4b2/go.mod h1:EkVYQZoAsY45+roYkvgYkIh4xh/qjgUK9TdY2XT94GE= +golang.org/x/tools v0.0.0-20200619180055-7c47624df98f/go.mod h1:EkVYQZoAsY45+roYkvgYkIh4xh/qjgUK9TdY2XT94GE= +golang.org/x/tools v0.0.0-20200729194436-6467de6f59a7/go.mod h1:njjCfa9FT2d7l9Bc6FUM5FLjQPp3cFF28FI3qnDFljA= +golang.org/x/tools v0.0.0-20200804011535-6c149bb5ef0d/go.mod h1:njjCfa9FT2d7l9Bc6FUM5FLjQPp3cFF28FI3qnDFljA= +golang.org/x/tools v0.0.0-20200825202427-b303f430e36d/go.mod h1:njjCfa9FT2d7l9Bc6FUM5FLjQPp3cFF28FI3qnDFljA= +golang.org/x/tools v0.0.0-20210106214847-113979e3529a/go.mod h1:emZCQorbCU4vsT4fOWvOPXz4eW1wZW4PmDk9uLelYpA= +golang.org/x/xerrors v0.0.0-20190717185122-a985d3407aa7/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +golang.org/x/xerrors v0.0.0-20191011141410-1b5146add898/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +golang.org/x/xerrors v0.0.0-20200804184101-5ec99f83aff1/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +gomodules.xyz/jsonpatch/v2 v2.2.0 h1:4pT439QV83L+G9FkcCriY6EkpcK6r6bK+A5FBUMI7qY= +gomodules.xyz/jsonpatch/v2 v2.2.0/go.mod h1:WXp+iVDkoLQqPudfQ9GBlwB2eZ5DKOnjQZCYdOS8GPY= +google.golang.org/api v0.4.0/go.mod h1:8k5glujaEP+g9n7WNsDg8QP6cUVNI86fCNMcbazEtwE= +google.golang.org/api v0.7.0/go.mod h1:WtwebWUNSVBH/HAw79HIFXZNqEvBhG+Ra+ax0hx3E3M= +google.golang.org/api v0.8.0/go.mod h1:o4eAsZoiT+ibD93RtjEohWalFOjRDx6CVaqeizhEnKg= +google.golang.org/api v0.9.0/go.mod h1:o4eAsZoiT+ibD93RtjEohWalFOjRDx6CVaqeizhEnKg= +google.golang.org/api v0.13.0/go.mod h1:iLdEw5Ide6rF15KTC1Kkl0iskquN2gFfn9o9XIsbkAI= +google.golang.org/api v0.14.0/go.mod h1:iLdEw5Ide6rF15KTC1Kkl0iskquN2gFfn9o9XIsbkAI= +google.golang.org/api v0.15.0/go.mod h1:iLdEw5Ide6rF15KTC1Kkl0iskquN2gFfn9o9XIsbkAI= +google.golang.org/api v0.17.0/go.mod h1:BwFmGc8tA3vsd7r/7kR8DY7iEEGSU04BFxCo5jP/sfE= +google.golang.org/api v0.18.0/go.mod h1:BwFmGc8tA3vsd7r/7kR8DY7iEEGSU04BFxCo5jP/sfE= +google.golang.org/api v0.19.0/go.mod h1:BwFmGc8tA3vsd7r/7kR8DY7iEEGSU04BFxCo5jP/sfE= +google.golang.org/api v0.20.0/go.mod h1:BwFmGc8tA3vsd7r/7kR8DY7iEEGSU04BFxCo5jP/sfE= +google.golang.org/api v0.22.0/go.mod h1:BwFmGc8tA3vsd7r/7kR8DY7iEEGSU04BFxCo5jP/sfE= +google.golang.org/api v0.24.0/go.mod h1:lIXQywCXRcnZPGlsd8NbLnOjtAoL6em04bJ9+z0MncE= +google.golang.org/api v0.28.0/go.mod h1:lIXQywCXRcnZPGlsd8NbLnOjtAoL6em04bJ9+z0MncE= +google.golang.org/api v0.29.0/go.mod h1:Lcubydp8VUV7KeIHD9z2Bys/sm/vGKnG1UHuDBSrHWM= +google.golang.org/api v0.30.0/go.mod h1:QGmEvQ87FHZNiUVJkT14jQNYJ4ZJjdRF23ZXz5138Fc= +google.golang.org/appengine v1.1.0/go.mod h1:EbEs0AVv82hx2wNQdGPgUI5lhzA/G0D9YwlJXL52JkM= +google.golang.org/appengine v1.4.0/go.mod h1:xpcJRLb0r/rnEns0DIKYYv+WjYCduHsrkT7/EB5XEv4= +google.golang.org/appengine v1.5.0/go.mod h1:xpcJRLb0r/rnEns0DIKYYv+WjYCduHsrkT7/EB5XEv4= +google.golang.org/appengine v1.6.1/go.mod h1:i06prIuMbXzDqacNJfV5OdTW448YApPu5ww/cMBSeb0= +google.golang.org/appengine v1.6.5/go.mod h1:8WjMMxjGQR8xUklV/ARdw2HLXBOI7O7uCIDZVag1xfc= +google.golang.org/appengine v1.6.6/go.mod h1:8WjMMxjGQR8xUklV/ARdw2HLXBOI7O7uCIDZVag1xfc= +google.golang.org/appengine v1.6.7 h1:FZR1q0exgwxzPzp/aF+VccGrSfxfPpkBqjIIEq3ru6c= +google.golang.org/appengine v1.6.7/go.mod h1:8WjMMxjGQR8xUklV/ARdw2HLXBOI7O7uCIDZVag1xfc= +google.golang.org/genproto v0.0.0-20180817151627-c66870c02cf8/go.mod h1:JiN7NxoALGmiZfu7CAH4rXhgtRTLTxftemlI0sWmxmc= +google.golang.org/genproto v0.0.0-20190307195333-5fe7a883aa19/go.mod h1:VzzqZJRnGkLBvHegQrXjBqPurQTc5/KpmUdxsrq26oE= +google.golang.org/genproto v0.0.0-20190418145605-e7d98fc518a7/go.mod h1:VzzqZJRnGkLBvHegQrXjBqPurQTc5/KpmUdxsrq26oE= +google.golang.org/genproto v0.0.0-20190425155659-357c62f0e4bb/go.mod h1:VzzqZJRnGkLBvHegQrXjBqPurQTc5/KpmUdxsrq26oE= +google.golang.org/genproto v0.0.0-20190502173448-54afdca5d873/go.mod h1:VzzqZJRnGkLBvHegQrXjBqPurQTc5/KpmUdxsrq26oE= +google.golang.org/genproto v0.0.0-20190801165951-fa694d86fc64/go.mod h1:DMBHOl98Agz4BDEuKkezgsaosCRResVns1a3J2ZsMNc= +google.golang.org/genproto v0.0.0-20190819201941-24fa4b261c55/go.mod h1:DMBHOl98Agz4BDEuKkezgsaosCRResVns1a3J2ZsMNc= +google.golang.org/genproto v0.0.0-20190911173649-1774047e7e51/go.mod h1:IbNlFCBrqXvoKpeg0TB2l7cyZUmoaFKYIwrEpbDKLA8= +google.golang.org/genproto v0.0.0-20191108220845-16a3f7862a1a/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20191115194625-c23dd37a84c9/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20191216164720-4f79533eabd1/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20191230161307-f3c370f40bfb/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20200115191322-ca5a22157cba/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20200122232147-0452cf42e150/go.mod h1:n3cpQtvxv34hfy77yVDNjmbRyujviMdxYliBSkLhpCc= +google.golang.org/genproto v0.0.0-20200204135345-fa8e72b47b90/go.mod h1:GmwEX6Z4W5gMy59cAlVYjN9JhxgbQH6Gn+gFDQe2lzA= +google.golang.org/genproto v0.0.0-20200212174721-66ed5ce911ce/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200224152610-e50cd9704f63/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200228133532-8c2c7df3a383/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200305110556-506484158171/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200312145019-da6875a35672/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200331122359-1ee6d9798940/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200430143042-b979b6f78d84/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200511104702-f5ebc3bea380/go.mod h1:55QSHmfGQM9UVYDPBsyGGes0y52j32PQ3BqQfXhyH3c= +google.golang.org/genproto v0.0.0-20200515170657-fc4c6c6a6587/go.mod h1:YsZOwe1myG/8QRHRsmBRE1LrgQY60beZKjly0O1fX9U= +google.golang.org/genproto v0.0.0-20200526211855-cb27e3aa2013/go.mod h1:NbSheEEYHJ7i3ixzK3sjbqSGDJWnxyFXZblF3eUsNvo= +google.golang.org/genproto v0.0.0-20200618031413-b414f8b61790/go.mod h1:jDfRM7FcilCzHH/e9qn6dsT145K34l5v+OpcnNgKAAA= +google.golang.org/genproto v0.0.0-20200729003335-053ba62fc06f/go.mod h1:FWY/as6DDZQgahTzZj3fqbO1CbirC29ZNUFHwi0/+no= +google.golang.org/genproto v0.0.0-20200804131852-c06518451d9c/go.mod h1:FWY/as6DDZQgahTzZj3fqbO1CbirC29ZNUFHwi0/+no= +google.golang.org/genproto v0.0.0-20200825200019-8632dd797987/go.mod h1:FWY/as6DDZQgahTzZj3fqbO1CbirC29ZNUFHwi0/+no= +google.golang.org/genproto v0.0.0-20201019141844-1ed22bb0c154/go.mod h1:FWY/as6DDZQgahTzZj3fqbO1CbirC29ZNUFHwi0/+no= +google.golang.org/grpc v1.19.0/go.mod h1:mqu4LbDTu4XGKhr4mRzUsmM4RtVoemTSY81AxZiDr8c= +google.golang.org/grpc v1.20.1/go.mod h1:10oTOabMzJvdu6/UiuZezV6QK5dSlG84ov/aaiqXj38= +google.golang.org/grpc v1.21.1/go.mod h1:oYelfM1adQP15Ek0mdvEgi9Df8B9CZIaU1084ijfRaM= +google.golang.org/grpc v1.23.0/go.mod h1:Y5yQAOtifL1yxbo5wqy6BxZv8vAUGQwXBOALyacEbxg= +google.golang.org/grpc v1.25.1/go.mod h1:c3i+UQWmh7LiEpx4sFZnkU36qjEYZ0imhYfXVyQciAY= +google.golang.org/grpc v1.26.0/go.mod h1:qbnxyOmOxrQa7FizSgH+ReBfzJrCY1pSN7KXBS8abTk= +google.golang.org/grpc v1.27.0/go.mod h1:qbnxyOmOxrQa7FizSgH+ReBfzJrCY1pSN7KXBS8abTk= +google.golang.org/grpc v1.27.1/go.mod h1:qbnxyOmOxrQa7FizSgH+ReBfzJrCY1pSN7KXBS8abTk= +google.golang.org/grpc v1.28.0/go.mod h1:rpkK4SK4GF4Ach/+MFLZUBavHOvF2JJB5uozKKal+60= +google.golang.org/grpc v1.29.1/go.mod h1:itym6AZVZYACWQqET3MqgPpjcuV5QH3BxFS3IjizoKk= +google.golang.org/grpc v1.30.0/go.mod h1:N36X2cJ7JwdamYAgDz+s+rVMFjt3numwzf/HckM8pak= +google.golang.org/grpc v1.31.0/go.mod h1:N36X2cJ7JwdamYAgDz+s+rVMFjt3numwzf/HckM8pak= +google.golang.org/protobuf v0.0.0-20200109180630-ec00e32a8dfd/go.mod h1:DFci5gLYBciE7Vtevhsrf46CRTquxDuWsQurQQe4oz8= +google.golang.org/protobuf v0.0.0-20200221191635-4d8936d0db64/go.mod h1:kwYJMbMJ01Woi6D6+Kah6886xMZcty6N08ah7+eCXa0= +google.golang.org/protobuf v0.0.0-20200228230310-ab0ca4ff8a60/go.mod h1:cfTl7dwQJ+fmap5saPgwCLgHXTUD7jkjRqWcaiX5VyM= +google.golang.org/protobuf v1.20.1-0.20200309200217-e05f789c0967/go.mod h1:A+miEFZTKqfCUM6K7xSMQL9OKL/b6hQv+e19PK+JZNE= +google.golang.org/protobuf v1.21.0/go.mod h1:47Nbq4nVaFHyn7ilMalzfO3qCViNmqZ2kzikPIcrTAo= +google.golang.org/protobuf v1.22.0/go.mod h1:EGpADcykh3NcUnDUJcl1+ZksZNG86OlYog2l/sGQquU= +google.golang.org/protobuf v1.23.0/go.mod h1:EGpADcykh3NcUnDUJcl1+ZksZNG86OlYog2l/sGQquU= +google.golang.org/protobuf v1.23.1-0.20200526195155-81db48ad09cc/go.mod h1:EGpADcykh3NcUnDUJcl1+ZksZNG86OlYog2l/sGQquU= +google.golang.org/protobuf v1.24.0/go.mod h1:r/3tXBNzIEhYS9I1OUVjXDlt8tc493IdKGjtUeSXeh4= +google.golang.org/protobuf v1.25.0/go.mod h1:9JNX74DMeImyA3h4bdi1ymwjUzf21/xIlbajtzgsN7c= +google.golang.org/protobuf v1.26.0-rc.1/go.mod h1:jlhhOSvTdKEhbULTjvd4ARK9grFBp09yW+WbY/TyQbw= +google.golang.org/protobuf v1.26.0/go.mod h1:9q0QmTI4eRPtz6boOQmLYwt+qCgq0jsYwAQnmE0givc= +google.golang.org/protobuf v1.28.1 h1:d0NfwRgPtno5B1Wa6L2DAG+KivqkdutMf1UhdNx175w= +google.golang.org/protobuf v1.28.1/go.mod h1:HV8QOd/L58Z+nl8r43ehVNZIU/HEI6OcFqwMG9pJV4I= +gopkg.in/alecthomas/kingpin.v2 v2.2.6/go.mod h1:FMv+mEhP44yOT+4EoQTLFTRgOQ1FBLkstjWtayDeSgw= +gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/check.v1 v1.0.0-20180628173108-788fd7840127/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/check.v1 v1.0.0-20190902080502-41f04d3bba15/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/check.v1 v1.0.0-20200227125254-8fa46927fb4f h1:BLraFXnmrev5lT+xlilqcH8XK9/i0At2xKjWk4p6zsU= +gopkg.in/check.v1 v1.0.0-20200227125254-8fa46927fb4f/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/errgo.v2 v2.1.0/go.mod h1:hNsd1EY+bozCKY1Ytp96fpM3vjJbqLJn88ws8XvfDNI= +gopkg.in/inf.v0 v0.9.1 h1:73M5CoZyi3ZLMOyDlQh031Cx6N9NDJ2Vvfl76EDAgDc= +gopkg.in/inf.v0 v0.9.1/go.mod h1:cWUDdTG/fYaXco+Dcufb5Vnc6Gp2YChqWtbxRZE0mXw= +gopkg.in/yaml.v2 v2.2.1/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.2.2/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.2.4/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.2.5/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.2.8/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.3.0/go.mod h1:hI93XBmqTisBFMUTm0b8Fm+jr3Dg1NNxqwp+5A1VGuI= +gopkg.in/yaml.v2 v2.4.0 h1:D8xgwECY7CYvx+Y2n4sBz93Jn9JRvxdiyyo8CTfuKaY= +gopkg.in/yaml.v2 v2.4.0/go.mod h1:RDklbk79AGWmwhnvt/jBztapEOGDOx6ZbXqjP6csGnQ= +gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.0-20200615113413-eeeca48fe776/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.0-20210107192922-496545a6307b/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA= +gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +honnef.co/go/tools v0.0.0-20190102054323-c2f93a96b099/go.mod h1:rf3lG4BRIbNafJWhAfAdb/ePZxsR/4RtNHQocxwk9r4= +honnef.co/go/tools v0.0.0-20190106161140-3f1c8253044a/go.mod h1:rf3lG4BRIbNafJWhAfAdb/ePZxsR/4RtNHQocxwk9r4= +honnef.co/go/tools v0.0.0-20190418001031-e561f6794a2a/go.mod h1:rf3lG4BRIbNafJWhAfAdb/ePZxsR/4RtNHQocxwk9r4= +honnef.co/go/tools v0.0.0-20190523083050-ea95bdfd59fc/go.mod h1:rf3lG4BRIbNafJWhAfAdb/ePZxsR/4RtNHQocxwk9r4= +honnef.co/go/tools v0.0.1-2019.2.3/go.mod h1:a3bituU0lyd329TUQxRnasdCoJDkEUEAqEt0JzvZhAg= +honnef.co/go/tools v0.0.1-2020.1.3/go.mod h1:X/FiERA/W4tHapMX5mGpAtMSVEeEUOyHaw9vFzvIQ3k= +honnef.co/go/tools v0.0.1-2020.1.4/go.mod h1:X/FiERA/W4tHapMX5mGpAtMSVEeEUOyHaw9vFzvIQ3k= +k8s.io/api v0.26.0 h1:IpPlZnxBpV1xl7TGk/X6lFtpgjgntCg8PJ+qrPHAC7I= +k8s.io/api v0.26.0/go.mod h1:k6HDTaIFC8yn1i6pSClSqIwLABIcLV9l5Q4EcngKnQg= +k8s.io/apiextensions-apiserver v0.26.0 h1:Gy93Xo1eg2ZIkNX/8vy5xviVSxwQulsnUdQ00nEdpDo= +k8s.io/apiextensions-apiserver v0.26.0/go.mod h1:7ez0LTiyW5nq3vADtK6C3kMESxadD51Bh6uz3JOlqWQ= +k8s.io/apimachinery v0.26.0 h1:1feANjElT7MvPqp0JT6F3Ss6TWDwmcjLypwoPpEf7zg= +k8s.io/apimachinery v0.26.0/go.mod h1:tnPmbONNJ7ByJNz9+n9kMjNP8ON+1qoAIIC70lztu74= +k8s.io/client-go v0.26.0 h1:lT1D3OfO+wIi9UFolCrifbjUUgu7CpLca0AD8ghRLI8= +k8s.io/client-go v0.26.0/go.mod h1:I2Sh57A79EQsDmn7F7ASpmru1cceh3ocVT9KlX2jEZg= +k8s.io/component-base v0.26.0 h1:0IkChOCohtDHttmKuz+EP3j3+qKmV55rM9gIFTXA7Vs= +k8s.io/component-base v0.26.0/go.mod h1:lqHwlfV1/haa14F/Z5Zizk5QmzaVf23nQzCwVOQpfC8= +k8s.io/klog/v2 v2.80.1 h1:atnLQ121W371wYYFawwYx1aEY2eUfs4l3J72wtgAwV4= +k8s.io/klog/v2 v2.80.1/go.mod h1:y1WjHnz7Dj687irZUWR/WLkLc5N1YHtjLdmgWjndZn0= +k8s.io/kube-openapi v0.0.0-20221012153701-172d655c2280 h1:+70TFaan3hfJzs+7VK2o+OGxg8HsuBr/5f6tVAjDu6E= +k8s.io/kube-openapi v0.0.0-20221012153701-172d655c2280/go.mod h1:+Axhij7bCpeqhklhUTe3xmOn6bWxolyZEeyaFpjGtl4= +k8s.io/utils v0.0.0-20221128185143-99ec85e7a448 h1:KTgPnR10d5zhztWptI952TNtt/4u5h3IzDXkdIMuo2Y= +k8s.io/utils v0.0.0-20221128185143-99ec85e7a448/go.mod h1:OLgZIPagt7ERELqWJFomSt595RzquPNLL48iOWgYOg0= +rsc.io/binaryregexp v0.2.0/go.mod h1:qTv7/COck+e2FymRvadv62gMdZztPaShugOCi3I+8D8= +rsc.io/quote/v3 v3.1.0/go.mod h1:yEA65RcK8LyAZtP9Kv3t0HmxON59tX3rD+tICJqUlj0= +rsc.io/sampler v1.3.0/go.mod h1:T1hPZKmBbMNahiBKFy5HrXp6adAjACjK9JXDnKaTXpA= +sigs.k8s.io/controller-runtime v0.14.1 h1:vThDes9pzg0Y+UbCPY3Wj34CGIYPgdmspPm2GIpxpzM= +sigs.k8s.io/controller-runtime v0.14.1/go.mod h1:GaRkrY8a7UZF0kqFFbUKG7n9ICiTY5T55P1RiE3UZlU= +sigs.k8s.io/json v0.0.0-20220713155537-f223a00ba0e2 h1:iXTIw73aPyC+oRdyqqvVJuloN1p0AC/kzH07hu3NE+k= +sigs.k8s.io/json v0.0.0-20220713155537-f223a00ba0e2/go.mod h1:B8JuhiUyNFVKdsE8h686QcCxMaH6HrOAZj4vswFpcB0= +sigs.k8s.io/structured-merge-diff/v4 v4.2.3 h1:PRbqxJClWWYMNV1dhaG4NsibJbArud9kFxnAMREiWFE= +sigs.k8s.io/structured-merge-diff/v4 v4.2.3/go.mod h1:qjx8mGObPmV2aSZepjQjbmb2ihdVs8cGKBraizNC69E= +sigs.k8s.io/yaml v1.3.0 h1:a2VclLzOGrwOHDiV8EfBGhvjHvP46CtW5j6POvhYGGo= +sigs.k8s.io/yaml v1.3.0/go.mod h1:GeOyir5tyXNByN85N/dRIT9es5UQNerPYEKK56eTBm8= diff --git a/internal/api/admin_embed.go b/internal/api/admin_embed.go new file mode 100644 index 0000000..892f3ec --- /dev/null +++ b/internal/api/admin_embed.go @@ -0,0 +1,27 @@ +// Создано: 2026-04-06 +// admin_embed.go — встраивает HTML страницы администратора IoT в бинарник через go:embed. +// +// Страница /iot-admin доступна без JWT — данные не содержит. +// Все данные загружаются через /iot-admin/stats (защищён ADMIN_STATS_TOKEN). +// Почему go:embed: единый деплой, нет отдельных pod-ов, нет nginx drift. + +package api + +import ( + _ "embed" + "net/http" +) + +// iotAdminHTML — бинарное содержимое страницы администратора IoT, встроенное при сборке. +// +//go:embed ui/iot-admin.html +var iotAdminHTML []byte + +// ServeIoTAdmin обрабатывает GET /iot-admin — отдаёт HTML страницу администратора. +// Auth не нужен для HTML — сама страница ничего не содержит, только UI оболочка. +func ServeIoTAdmin(w http.ResponseWriter, r *http.Request) { + w.Header().Set("Content-Type", "text/html; charset=utf-8") + w.Header().Set("Cache-Control", "no-cache, must-revalidate") + w.WriteHeader(http.StatusOK) + _, _ = w.Write(iotAdminHTML) +} diff --git a/internal/api/console_embed.go b/internal/api/console_embed.go new file mode 100644 index 0000000..6e45c5f --- /dev/null +++ b/internal/api/console_embed.go @@ -0,0 +1,32 @@ +// Создано: 2026-04-04 +// console_embed.go — встраивает HTML-файл IoT консоли в бинарник оператора через go:embed. +// +// Файл ui/iot-console.html встраивается при компиляции и раздаётся по GET /console. +// Путь /console доступен без JWT — это публичная статическая страница. +// Авторизация в UI происходит через Bearer-токен который пользователь вводит сам. +// +// Почему go:embed а не отдельный nginx: нет лишних pod'ов, единый деплой, нет drift. +// Почему /console без auth: HTML файл не содержит секретов, токен вводит пользователь. + +package api + +import ( + _ "embed" + "net/http" +) + +// iotConsoleHTML — бинарное содержимое IoT консоли, встроенное при сборке. +// При изменении HTML-файла достаточно пересобрать оператор. +// +//go:embed ui/iot-console.html +var iotConsoleHTML []byte + +// ServeIoTConsole обрабатывает GET /console — отдаёт HTML SPA без JWT-проверки. +// Браузер кэширует HTML; API-запросы из JS защищены Bearer-токеном. +func ServeIoTConsole(w http.ResponseWriter, r *http.Request) { + w.Header().Set("Content-Type", "text/html; charset=utf-8") + // Не кэшировать агрессивно — консоль обновляется вместе с оператором + w.Header().Set("Cache-Control", "no-cache, must-revalidate") + w.WriteHeader(http.StatusOK) + _, _ = w.Write(iotConsoleHTML) +} diff --git a/internal/api/handler/handler.go b/internal/api/handler/handler.go new file mode 100644 index 0000000..c0f1165 --- /dev/null +++ b/internal/api/handler/handler.go @@ -0,0 +1,61 @@ +// Создано: 2026-04-12 +// Handler — контейнер зависимостей для IoT REST handlers. +// Упрощённая версия из sless — только IoT-специфичные поля. +// +// Бизнес-логика: +// - iot_device_handler.go — CRUD устройств + MQTT auth +// - iot_telemetry_handler.go — чтение телеметрии +// - iot_admin_stats_handler.go — админ-статистика + +package handler + +import ( +"encoding/json" +"log/slog" +"net/http" + +"github.com/gorilla/mux" +"k8s.io/apimachinery/pkg/runtime" +"sigs.k8s.io/controller-runtime/pkg/client" + +"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg" +) + +// defaultNamespace — fallback namespace для dev/тестов. +const defaultNamespace = "default" + +// Handler содержит зависимости для всех IoT REST-обработчиков. +type Handler struct { +K8s client.Client +Scheme *runtime.Scheme +// IoTPG — хранилище IoT телеметрии (per-tenant Postgres). nil если IOT_PG_DSN не задан. +IoTPG *iotpg.IoTPostgresStore +// KafkaBrokers — адреса Kafka брокеров для чтения consumer lag на admin странице. +KafkaBrokers string +Log *slog.Logger +} + +// writeJSON отправляет JSON-ответ с указанным статусом. +func writeJSON(w http.ResponseWriter, status int, v any) { +w.Header().Set("Content-Type", "application/json") +w.WriteHeader(status) +_ = json.NewEncoder(w).Encode(v) +} + +// errResp возвращает структуру ошибки для JSON. +func errResp(msg string) map[string]string { +return map[string]string{"error": msg} +} + +// pathVar читает переменную пути из gorilla/mux. +func pathVar(r *http.Request, key string) string { +return mux.Vars(r)[key] +} + +// namespace читает {namespace} из пути URL. +func namespace(r *http.Request) string { +if ns := mux.Vars(r)["namespace"]; ns != "" { +return ns +} +return defaultNamespace +} diff --git a/internal/api/handler/iot_admin_stats_handler.go b/internal/api/handler/iot_admin_stats_handler.go new file mode 100644 index 0000000..15072ad --- /dev/null +++ b/internal/api/handler/iot_admin_stats_handler.go @@ -0,0 +1,214 @@ +// Создано: 2026-04-06 +// iot_admin_stats_handler.go — handler для страницы администратора IoT. +// +// Endpoints: +// GET /iot-admin/stats — JSON с агрегированной статистикой (защищён ADMIN_STATS_TOKEN) +// +// Источники данных: +// - PostgreSQL (IoTPG): counts per tenant, last 1h/24h, latest rows +// - Kafka: consumer lag (latest offset - committed offset для group iot-pg-consumer) +// - K8s: статус подов iot-mqtt-bridge и iot-kafka-consumer +// +// Авторизация: Bearer из env ADMIN_STATS_TOKEN. +// Если ADMIN_STATS_TOKEN не задан — endpoint возвращает 503. + +package handler + +import ( + "context" + "fmt" + "net/http" + "os" + "strings" + "time" + + kafka "github.com/segmentio/kafka-go" + corev1 "k8s.io/api/core/v1" + "sigs.k8s.io/controller-runtime/pkg/client" +) + +// iotAdminPodStatus — краткая информация о k8s pod для страницы администратора. +type iotAdminPodStatus struct { + Name string `json:"name"` + Phase string `json:"phase"` + Ready bool `json:"ready"` + Restarts int32 `json:"restarts"` + Age string `json:"age"` +} + +// iotAdminKafkaStats — информация о Kafka топике и consumer lag. +type iotAdminKafkaStats struct { + LatestOffset int64 `json:"latest_offset"` + CommittedOffset int64 `json:"committed_offset"` + ConsumerLag int64 `json:"consumer_lag"` + Error string `json:"error,omitempty"` +} + +// AdminStats обрабатывает GET /iot-admin/stats. +// Проверяет Bearer-токен из ADMIN_STATS_TOKEN, затем собирает и возвращает статистику. +func (h *Handler) AdminStats(w http.ResponseWriter, r *http.Request) { + adminToken := os.Getenv("ADMIN_STATS_TOKEN") + if adminToken == "" { + writeJSON(w, http.StatusServiceUnavailable, errResp("admin stats not configured: ADMIN_STATS_TOKEN not set")) + return + } + + authHeader := r.Header.Get("Authorization") + if !strings.HasPrefix(authHeader, "Bearer ") || strings.TrimPrefix(authHeader, "Bearer ") != adminToken { + writeJSON(w, http.StatusUnauthorized, errResp("unauthorized")) + return + } + + ctx, cancel := context.WithTimeout(r.Context(), 15*time.Second) + defer cancel() + + result := map[string]any{ + "collected_at": time.Now().UTC(), + } + + // PostgreSQL: статистика по всем tenant + if h.IoTPG != nil { + pgStats, err := h.IoTPG.GetAdminStats(ctx) + if err != nil { + result["postgres"] = map[string]any{"reachable": false, "error": err.Error()} + } else { + result["postgres"] = pgStats + } + } else { + result["postgres"] = map[string]any{"reachable": false, "error": "IoTPG not configured"} + } + + // Kafka: consumer lag для топика iot.telemetry / группы iot-pg-consumer + result["kafka"] = h.collectIotKafkaLag(ctx) + + // K8s: статус подов bridge и consumer + result["pods"] = h.collectIotPodStatuses(ctx) + + writeJSON(w, http.StatusOK, result) +} + +// collectIotKafkaLag получает latest offset топика и committed offset consumer group, +// вычисляет lag = latest - committed. +// Topic: "iot.telemetry", Consumer Group: "iot-pg-consumer". +func (h *Handler) collectIotKafkaLag(ctx context.Context) iotAdminKafkaStats { + if h.KafkaBrokers == "" { + return iotAdminKafkaStats{Error: "KAFKA_BROKERS not configured"} + } + + brokers := strings.Split(h.KafkaBrokers, ",") + brokerAddr := kafka.TCP(brokers...) + + kc := &kafka.Client{ + Addr: brokerAddr, + Timeout: 5 * time.Second, + } + + const topic = "iot.telemetry" + const group = "iot-pg-consumer" + + // Получаем latest offset (конец лога — сколько всего сообщений прошло) + offsetsResp, err := kc.ListOffsets(ctx, &kafka.ListOffsetsRequest{ + Addr: brokerAddr, + Topics: map[string][]kafka.OffsetRequest{ + topic: {kafka.LastOffsetOf(0)}, + }, + }) + if err != nil { + return iotAdminKafkaStats{Error: fmt.Sprintf("list offsets: %v", err)} + } + + var latestOffset int64 + if partitions, ok := offsetsResp.Topics[topic]; ok && len(partitions) > 0 { + if partitions[0].Error == nil { + latestOffset = partitions[0].LastOffset + } + } + + // Получаем committed offset consumer group (что consumer уже обработал) + fetchResp, err := kc.OffsetFetch(ctx, &kafka.OffsetFetchRequest{ + Addr: brokerAddr, + GroupID: group, + Topics: map[string][]int{topic: {0}}, + }) + if err != nil { + return iotAdminKafkaStats{ + LatestOffset: latestOffset, + Error: fmt.Sprintf("offset fetch: %v", err), + } + } + + var committedOffset int64 + if partitions, ok := fetchResp.Topics[topic]; ok && len(partitions) > 0 { + if partitions[0].Error == nil { + committedOffset = partitions[0].CommittedOffset + } + } + + lag := latestOffset - committedOffset + if lag < 0 { + lag = 0 + } + + return iotAdminKafkaStats{ + LatestOffset: latestOffset, + CommittedOffset: committedOffset, + ConsumerLag: lag, + } +} + +// collectIotPodStatuses собирает статус k8s pods для bridge и consumer по label app={name}. +func (h *Handler) collectIotPodStatuses(ctx context.Context) map[string]any { + result := map[string]any{} + + for _, appLabel := range []string{"iot-mqtt-bridge", "iot-kafka-consumer"} { + podList := &corev1.PodList{} + if err := h.K8s.List(ctx, podList, + client.InNamespace("sless"), + client.MatchingLabels{"app": appLabel}, + ); err != nil { + result[appLabel] = map[string]any{"error": err.Error()} + continue + } + if len(podList.Items) == 0 { + result[appLabel] = map[string]any{"status": "not found"} + continue + } + + pod := podList.Items[0] + var restarts int32 + for _, cs := range pod.Status.ContainerStatuses { + restarts += cs.RestartCount + } + ready := false + for _, cond := range pod.Status.Conditions { + if cond.Type == corev1.PodReady && cond.Status == corev1.ConditionTrue { + ready = true + } + } + + result[appLabel] = iotAdminPodStatus{ + Name: pod.Name, + Phase: string(pod.Status.Phase), + Ready: ready, + Restarts: restarts, + Age: iotFormatAge(pod.CreationTimestamp.Time), + } + } + + return result +} + +// iotFormatAge возвращает человекочитаемый возраст (s/m/h/d) pod-а. +func iotFormatAge(created time.Time) string { + d := time.Since(created) + switch { + case d < time.Minute: + return fmt.Sprintf("%ds", int(d.Seconds())) + case d < time.Hour: + return fmt.Sprintf("%dm", int(d.Minutes())) + case d < 24*time.Hour: + return fmt.Sprintf("%dh", int(d.Hours())) + default: + return fmt.Sprintf("%dd", int(d.Hours()/24)) + } +} diff --git a/internal/api/handler/iot_device_handler.go b/internal/api/handler/iot_device_handler.go new file mode 100644 index 0000000..ec61ad6 --- /dev/null +++ b/internal/api/handler/iot_device_handler.go @@ -0,0 +1,454 @@ +// Создано: 2026-04-04 +// iot_device_handler.go — HTTP handlers для IoT-устройств (CRUD) и MQTT auth. +// +// Endpoints: +// POST /internal/mqtt/auth → MQTTAuth (без JWT, для EMQX) +// POST /v1/namespaces/{ns}/iot/devices → CreateIoTDevice +// GET /v1/namespaces/{ns}/iot/devices → ListIoTDevices +// GET /v1/namespaces/{ns}/iot/devices/{name} → GetIoTDevice (включает credentials) +// DELETE /v1/namespaces/{ns}/iot/devices/{name} → DeleteIoTDevice +// PATCH /v1/namespaces/{ns}/iot/devices/{name} → UpdateIoTDevice +// +// MQTTAuth вызывается EMQX при каждом MQTT CONNECT: +// - всегда возвращает HTTP 200 (non-200 = EMQX игнорирует backend) +// - {"result": "allow"|"deny"} в теле +// +// GetIoTDevice — единственный endpoint возвращающий mqtt-password. +// ListIoTDevices — без паролей (security by design). + +package handler + +import ( + "crypto/subtle" + "encoding/json" + "net/http" + "strings" + "time" + + corev1 "k8s.io/api/core/v1" + "k8s.io/apimachinery/pkg/api/errors" + metav1 "k8s.io/apimachinery/pkg/apis/meta/v1" + "sigs.k8s.io/controller-runtime/pkg/client" + + iotv1alpha1 "gitea.services.ngcloud.ru/Nail/IoT/api/v1alpha1" +) + +// —————————————————————————————————————————— +// Типы запросов / ответов +// —————————————————————————————————————————— + +// iotDeviceCreateRequest — тело POST при создании IoTDevice. +type iotDeviceCreateRequest struct { + // Name — имя k8s объекта IoTDevice (должно быть уникальным в namespace) + Name string `json:"name"` + // DeviceID — идентификатор устройства, используется в MQTT username и имени Secret + DeviceID string `json:"device_id"` + // Enabled — активно ли устройство с момента создания + Enabled *bool `json:"enabled"` + // Metadata — произвольные метаданные (модель, локация и т.д.) + Metadata map[string]string `json:"metadata,omitempty"` +} + +// iotDeviceUpdateRequest — тело PATCH при обновлении IoTDevice. +type iotDeviceUpdateRequest struct { + // Enabled — включить/отключить устройство + Enabled *bool `json:"enabled"` +} + +// iotDeviceResponse — ответ при чтении одного IoTDevice. +// MQTTPassword заполняется только из GetIoTDevice (чтение из Secret). +type iotDeviceResponse struct { + Name string `json:"name"` + Namespace string `json:"namespace"` + DeviceID string `json:"device_id"` + Enabled bool `json:"enabled"` + Phase iotv1alpha1.IoTDevicePhase `json:"phase"` + MQTTUsername string `json:"mqtt_username,omitempty"` + MQTTPassword string `json:"mqtt_password,omitempty"` // только в GET /devices/{name} + SecretName string `json:"secret_name,omitempty"` + TopicPrefix string `json:"topic_prefix,omitempty"` + LastConnected string `json:"last_connected,omitempty"` + Message string `json:"message,omitempty"` + Metadata map[string]string `json:"metadata,omitempty"` + CreatedAt string `json:"created_at,omitempty"` +} + +// mqttAuthRequest — тело запроса от EMQX при MQTT CONNECT. +// EMQX 5.x посылает JSON: username, password, clientid, peerhost. +type mqttAuthRequest struct { + Username string `json:"username"` + Password string `json:"password"` + ClientID string `json:"clientid"` + PeerHost string `json:"peerhost"` +} + +// mqttAuthResponse — ответ для EMQX. Всегда HTTP 200. +// result = "allow" | "deny" +// ACL — список правил pub/sub, изолирует топики по устройству. +type mqttAuthResponse struct { + Result string `json:"result"` + ACL []aclRule `json:"acl,omitempty"` +} + +// aclRule — одно правило ACL для EMQX HTTP auth plugin. +// permission: "allow" | "deny" +// action: "publish" | "subscribe" | "all" +// topic: точный топик или wildcard (#, +) +type aclRule struct { + Permission string `json:"permission"` + Action string `json:"action"` + Topic string `json:"topic"` +} + +// —————————————————————————————————————————— +// Вспомогательные функции +// —————————————————————————————————————————— + +// deviceToResponse конвертирует IoTDevice CRD в ответ API. +// password передаётся отдельно — берётся из Secret только в GetIoTDevice. +func deviceToResponse(d *iotv1alpha1.IoTDevice, password string) iotDeviceResponse { + resp := iotDeviceResponse{ + Name: d.Name, + Namespace: d.Namespace, + DeviceID: d.Spec.DeviceID, + Enabled: d.Spec.Enabled, + Phase: d.Status.Phase, + MQTTUsername: d.Status.MQTTUsername, + MQTTPassword: password, + SecretName: d.Status.SecretName, + TopicPrefix: d.Status.TopicPrefix, + Message: d.Status.Message, + Metadata: d.Spec.Metadata, + } + if d.Status.LastConnected != nil && !d.Status.LastConnected.IsZero() { + resp.LastConnected = d.Status.LastConnected.UTC().Format(time.RFC3339) + } + if !d.CreationTimestamp.IsZero() { + resp.CreatedAt = d.CreationTimestamp.UTC().Format("2006-01-02 15:04:05 UTC") + } + return resp +} + +// —————————————————————————————————————————— +// MQTT Auth — Этап 2 +// —————————————————————————————————————————— + +// MQTTAuth — POST /internal/mqtt/auth +// Вызывается EMQX при каждом MQTT CONNECT. +// НЕ защищён JWT middleware — доступен только из кластера (путь /internal/). +// +// Логика аутентификации: +// 1. Распарсить username → namespace + deviceId +// 2. Получить Secret iot-{deviceId} в namespace +// 3. Constant-time сравнение пароля (защита от timing attacks) +// 4. Проверить что IoTDevice существует и enabled=true +// 5. Обновить status.lastConnected в IoTDevice +func (h *Handler) MQTTAuth(w http.ResponseWriter, r *http.Request) { + var req mqttAuthRequest + if err := json.NewDecoder(r.Body).Decode(&req); err != nil { + // Плохой JSON от EMQX — deny, но не 400 (EMQX игнорирует non-200) + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Парсим username: "{namespace}_{deviceId}" + // Namespace содержит только [a-z0-9-], первый "_" — разделитель. + idx := strings.Index(req.Username, "_") + if idx < 0 { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + ns := req.Username[:idx] + deviceID := req.Username[idx+1:] + if ns == "" || deviceID == "" { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Читаем Secret с MQTT credentials + secretName := "iot-" + deviceID + secret := &corev1.Secret{} + if err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: secretName}, secret); err != nil { + // Secret не найден или ошибка k8s — deny + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Constant-time сравнение пароля — защита от timing attacks + storedPassword := secret.Data["mqtt-password"] + if subtle.ConstantTimeCompare(storedPassword, []byte(req.Password)) != 1 { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Проверяем что IoTDevice активно + device := &iotv1alpha1.IoTDevice{} + if err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: deviceID}, device); err != nil { + // IoTDevice не найден (или удалён) — deny + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + if !device.Spec.Enabled { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Обновляем lastConnected в статусе устройства (best-effort, ошибка не критична) + now := metav1.NewTime(time.Now().UTC()) + device.Status.LastConnected = &now + if err := h.K8s.Status().Update(r.Context(), device); err != nil { + h.Log.Warn("mqtt auth: failed to update lastConnected", "device", deviceID, "err", err) + // Продолжаем — это некритично, устройство всё равно авторизовано + } + + // Формируем ACL правила для этого подключения. + // Топик устройства: "{namespace}/telemetry/{deviceId}" + // Это то что строит эмулятор: topicPrefix + "telemetry/" + device_id + // topicPrefix = "{ns}/" → итого "{ns}/telemetry/{deviceId}" + deviceTopic := ns + "/telemetry/" + deviceID + + var aclRules []aclRule + + if req.ClientID == "sless-iot-bridge" { + // Bridge подписывается на "+/telemetry/+" (все тенанты) — разрешаем + // Bridge НЕ публикует через MQTT — только читает + aclRules = []aclRule{ + {Permission: "allow", Action: "subscribe", Topic: "+/telemetry/+"}, + {Permission: "deny", Action: "all", Topic: "#"}, + } + } else { + // Обычное IoT устройство: только свой топик + aclRules = []aclRule{ + {Permission: "allow", Action: "publish", Topic: deviceTopic}, + {Permission: "allow", Action: "subscribe", Topic: deviceTopic}, + {Permission: "deny", Action: "all", Topic: "#"}, + } + } + + writeJSON(w, http.StatusOK, mqttAuthResponse{ + Result: "allow", + ACL: aclRules, + }) +} + +// —————————————————————————————————————————— +// IoT Device CRUD — Этап 4 +// —————————————————————————————————————————— + +// CreateIoTDevice — POST /v1/namespaces/{namespace}/iot/devices +// Создаёт IoTDevice CRD. Контроллер асинхронно сгенерирует MQTT credentials. +// credentials доступны через GET /devices/{name} после reconcile (phase=Active). +func (h *Handler) CreateIoTDevice(w http.ResponseWriter, r *http.Request) { + ns := namespace(r) + var req iotDeviceCreateRequest + if err := json.NewDecoder(r.Body).Decode(&req); err != nil { + writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error())) + return + } + if req.Name == "" { + writeJSON(w, http.StatusBadRequest, errResp("name is required")) + return + } + if req.DeviceID == "" { + writeJSON(w, http.StatusBadRequest, errResp("device_id is required")) + return + } + + enabled := true + if req.Enabled != nil { + enabled = *req.Enabled + } + + device := &iotv1alpha1.IoTDevice{ + ObjectMeta: metav1.ObjectMeta{ + Name: req.Name, + Namespace: ns, + }, + Spec: iotv1alpha1.IoTDeviceSpec{ + DeviceID: req.DeviceID, + Enabled: enabled, + Metadata: req.Metadata, + }, + } + + if err := h.K8s.Create(r.Context(), device); err != nil { + if errors.IsAlreadyExists(err) { + writeJSON(w, http.StatusConflict, errResp("iot device already exists")) + return + } + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + writeJSON(w, http.StatusCreated, deviceToResponse(device, "")) +} + +// ListIoTDevices — GET /v1/namespaces/{namespace}/iot/devices +// Возвращает список устройств БЕЗ паролей (security by design). +func (h *Handler) ListIoTDevices(w http.ResponseWriter, r *http.Request) { + ns := namespace(r) + list := &iotv1alpha1.IoTDeviceList{} + if err := h.K8s.List(r.Context(), list, client.InNamespace(ns)); err != nil { + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + result := make([]iotDeviceResponse, 0, len(list.Items)) + for i := range list.Items { + result = append(result, deviceToResponse(&list.Items[i], "")) + } + writeJSON(w, http.StatusOK, result) +} + +// GetIoTDevice — GET /v1/namespaces/{namespace}/iot/devices/{name} +// Возвращает устройство включая mqtt_password из Secret. +// mqtt_password нужен пользователю для конфигурации физического устройства. +func (h *Handler) GetIoTDevice(w http.ResponseWriter, r *http.Request) { + ns := namespace(r) + name := pathVar(r, "name") + + device := &iotv1alpha1.IoTDevice{} + if err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: name}, device); err != nil { + if errors.IsNotFound(err) { + writeJSON(w, http.StatusNotFound, errResp("iot device not found")) + return + } + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + // Читаем пароль из Secret — если ещё не создан (phase=Pending), password будет пустым + password := "" + if device.Status.SecretName != "" { + secret := &corev1.Secret{} + err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: device.Status.SecretName}, secret) + if err == nil { + password = string(secret.Data["mqtt-password"]) + } + // Если Secret не найден — просто передаём пустой пароль (устройство ещё provisioning) + } + + writeJSON(w, http.StatusOK, deviceToResponse(device, password)) +} + +// DeleteIoTDevice — DELETE /v1/namespaces/{namespace}/iot/devices/{name} +// Удаляет IoTDevice CRD. Контроллер через finalizer удалит Secret каскадно. +func (h *Handler) DeleteIoTDevice(w http.ResponseWriter, r *http.Request) { + ns := namespace(r) + name := pathVar(r, "name") + + device := &iotv1alpha1.IoTDevice{} + if err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: name}, device); err != nil { + if errors.IsNotFound(err) { + writeJSON(w, http.StatusNotFound, errResp("iot device not found")) + return + } + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + if err := h.K8s.Delete(r.Context(), device); err != nil { + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + w.WriteHeader(http.StatusNoContent) +} + +// UpdateIoTDevice — PATCH /v1/namespaces/{namespace}/iot/devices/{name} +// Позволяет включить/отключить устройство (spec.enabled). +// Контроллер увидит изменение и обновит status.phase. +func (h *Handler) UpdateIoTDevice(w http.ResponseWriter, r *http.Request) { + ns := namespace(r) + name := pathVar(r, "name") + + var req iotDeviceUpdateRequest + if err := json.NewDecoder(r.Body).Decode(&req); err != nil { + writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error())) + return + } + if req.Enabled == nil { + writeJSON(w, http.StatusBadRequest, errResp("enabled field is required")) + return + } + + device := &iotv1alpha1.IoTDevice{} + if err := h.K8s.Get(r.Context(), client.ObjectKey{Namespace: ns, Name: name}, device); err != nil { + if errors.IsNotFound(err) { + writeJSON(w, http.StatusNotFound, errResp("iot device not found")) + return + } + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + device.Spec.Enabled = *req.Enabled + if err := h.K8s.Update(r.Context(), device); err != nil { + writeJSON(w, http.StatusInternalServerError, errResp(err.Error())) + return + } + + writeJSON(w, http.StatusOK, deviceToResponse(device, "")) +} + +// —————————————————————————————————————————— +// MQTT ACL — авторизация pub/sub +// —————————————————————————————————————————— + +// mqttAclRequest — тело запроса от EMQX при каждом publish/subscribe. +type mqttAclRequest struct { + Username string `json:"username"` + ClientID string `json:"clientid"` + Action string `json:"action"` // "publish" | "subscribe" + Topic string `json:"topic"` +} + +// MQTTAcl — POST /internal/mqtt/acl +// Вызывается EMQX для каждого pub/sub действия. +// НЕ защищён JWT — доступен только из кластера. +// +// Логика разрешений: +// 1. Bridge clientid "sless-iot-bridge" — subscribe на любой топик (нужен для "+/telemetry/+") +// 2. IoT Device (username "{ns}_{deviceId}") — publish/subscribe на "{ns}/telemetry/{deviceId}" +func (h *Handler) MQTTAcl(w http.ResponseWriter, r *http.Request) { + var req mqttAclRequest + if err := json.NewDecoder(r.Body).Decode(&req); err != nil { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Специальный случай: mqtt-bridge подписывается на "+/telemetry/+" (все тенанты). + // Публикация bridge НЕ разрешена — только чтение. + if req.ClientID == "sless-iot-bridge" { + if req.Action == "subscribe" { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"}) + } else { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + } + return + } + + // Парсим username → namespace + deviceId (формат: "{ns}_{deviceId}") + // strings.Index находит ПЕРВЫЙ '_' — namespace содержит только дефисы + idx := strings.Index(req.Username, "_") + if idx < 0 { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + ns := req.Username[:idx] + deviceID := req.Username[idx+1:] + if ns == "" || deviceID == "" { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) + return + } + + // Разрешённый топик: "{ns}/telemetry/{deviceId}" + // Это то что эмулятор строит как: topicPrefix + "telemetry/" + device_id + // topicPrefix = "{ns}/" → итого "{ns}/telemetry/{deviceId}" + allowedTopic := ns + "/telemetry/" + deviceID + if req.Topic == allowedTopic { + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"}) + return + } + + writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"}) +} diff --git a/internal/api/handler/iot_telemetry_handler.go b/internal/api/handler/iot_telemetry_handler.go new file mode 100644 index 0000000..c8cffa0 --- /dev/null +++ b/internal/api/handler/iot_telemetry_handler.go @@ -0,0 +1,55 @@ +// Создано: 2026-04-05 +// iot_telemetry_handler.go — REST handler для чтения IoT телеметрии. +// +// Endpoint: +// GET /v1/namespaces/{namespace}/iot/telemetry?device={id}&limit={n} +// +// Авторизация: Bearer JWT → namespace validation (как все /v1/ маршруты). +// Данные берутся из per-tenant Postgres DB через IoTPostgresStore. +// Если IoTPG не инициализирован (IOT_PG_DSN не задан) — возвращает 503. + +package handler + +import ( + "net/http" + "strconv" + + "github.com/gorilla/mux" + + "gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg" +) + +// ListIoTTelemetry обрабатывает GET /v1/namespaces/{namespace}/iot/telemetry. +// Параметры: device (опционально), limit (default 50, max 1000). +func (h *Handler) ListIoTTelemetry(w http.ResponseWriter, r *http.Request) { + if h.IoTPG == nil { + writeJSON(w, http.StatusServiceUnavailable, errResp("IoT telemetry storage not configured")) + return + } + + ns := mux.Vars(r)["namespace"] + deviceID := r.URL.Query().Get("device") + limit := 50 + if ls := r.URL.Query().Get("limit"); ls != "" { + if n, err := strconv.Atoi(ls); err == nil && n > 0 { + limit = n + } + } + + rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit) + if err != nil { + h.Log.Error("query IoT telemetry", "namespace", ns, "device", deviceID, "err", err) + writeJSON(w, http.StatusInternalServerError, errResp("failed to query telemetry")) + return + } + + // Возвращаем пустой массив вместо null — удобнее для JS + if rows == nil { + rows = []iotpg.TelemetryRow{} + } + + writeJSON(w, http.StatusOK, map[string]any{ + "items": rows, + "count": len(rows), + }) +} diff --git a/internal/api/middleware/auth.go b/internal/api/middleware/auth.go new file mode 100644 index 0000000..a79e7eb --- /dev/null +++ b/internal/api/middleware/auth.go @@ -0,0 +1,165 @@ +// Изменено: 2026-04-05 +// Auth middleware — проверяет Bearer JWT-токен из заголовка Authorization. +// +// Архитектура аутентификации: +// - В v1 токен — это JWT облака (nubes), выданный при логине. +// - Оператор НЕ проверяет подпись JWT (публичный ключ nubes недоступен внутри кластера). +// - Проверяется только структура JWT и claim "sub" (не пустой) и "exp" (не истёк). +// - Полная проверка подлинности токена происходит в провайдере terraform через PingNubesAPI. +// - Такой подход называют "trusted perimeter": оператор доступен только внутри кластера, +// внешний доступ — через Ingress, где токен уже проверен на уровне API-шлюза. +// +// TODO v2: получать публичный ключ из nubes JWKS endpoint и проверять подпись RS256. +// +// ────────────────────────────────────────────────────────────────────────────── +// ТЕСТОВЫЙ РЕЖИМ (authTestMode = true): +// Принимается ЛЮБАЯ строка без пробелов — не обязательно JWT. +// Это позволяет тестировать UI/API без реального токена nubes. +// Строка используется как идентификатор пользователя (аналог JWT.sub), +// namespace выводится из неё так же: SHA256 → первые 16 байт hex → "sless-{hex}". +// +// ⚠️ ПЕРЕД ВЫХОДОМ В ПРОД: установить authTestMode = false. +// Для возврата к строгой JWT-валидации: одна строка ниже. +// ────────────────────────────────────────────────────────────────────────────── + +package middleware + +import ( + "encoding/base64" + "encoding/json" + "log/slog" + "net/http" + "strings" + "time" +) + +// authTestMode — ТЕСТОВЫЙ РЕЖИМ аутентификации. +// +// true → принимается любая строка без пробелов (не обязательно JWT). +// +// Используется при разработке UI когда реальный токен nubes не нужен. +// +// false → строгая проверка JWT (структура + sub + exp). +// +// Необходимо установить перед деплоем в прод. +// +// Чтобы вернуться к JWT: изменить на false. +const authTestMode = true + +// Auth возвращает middleware которое требует заголовок: +// +// Authorization: Bearer +// +// В тестовом режиме (authTestMode=true): принимает любую строку без пробелов. +// В боевом режиме (authTestMode=false): требует валидный JWT (sub + exp). +func Auth(log *slog.Logger, next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + header := r.Header.Get("Authorization") + if header == "" { + log.Warn("auth: missing authorization header", "remote", r.RemoteAddr, "path", r.URL.Path) + http.Error(w, `{"error":"authorization required"}`, http.StatusUnauthorized) + return + } + parts := strings.SplitN(header, " ", 2) + if len(parts) != 2 || !strings.EqualFold(parts[0], "bearer") { + log.Warn("auth: invalid authorization format", "remote", r.RemoteAddr) + http.Error(w, `{"error":"invalid authorization format, use Bearer "}`, http.StatusUnauthorized) + return + } + token := parts[1] + + // ── ТЕСТОВЫЙ РЕЖИМ ─────────────────────────────────────────────────── + // Если authTestMode=true и токен — просто строка без пробелов (не JWT), + // пропускаем JWT-валидацию. Строка обрабатывается как произвольный sub. + // Чтобы вернуть строгую проверку: установить authTestMode = false. + if authTestMode && isPlainToken(token) { + log.Info("auth: test mode — plain token accepted", "remote", r.RemoteAddr, "path", r.URL.Path) + next.ServeHTTP(w, r) + return + } + // ── БОЕВОЙ РЕЖИМ / JWT ─────────────────────────────────────────────── + + if err := validateJWT(token); err != nil { + log.Warn("auth: invalid token", "remote", r.RemoteAddr, "path", r.URL.Path, "reason", err.Error()) + http.Error(w, `{"error":"invalid token"}`, http.StatusForbidden) + return + } + next.ServeHTTP(w, r) + }) +} + +// isPlainToken возвращает true если токен — непустая строка без пробелов и НЕ является JWT. +// JWT определяется по наличию ровно двух точек (xxx.yyy.zzz). +// Логика: если строка выглядит как JWT — проверять через validateJWT (даже в testMode). +func isPlainToken(token string) bool { + if token == "" || strings.ContainsAny(token, " \t\n\r") { + return false + } + // Если три части через точку — скорее всего JWT, проверять нормально + parts := strings.Split(token, ".") + return len(parts) != 3 +} + +// validateJWT проверяет структуру JWT и claim "sub" и "exp". +// Подпись НЕ проверяется — см. комментарий к файлу. +func validateJWT(token string) error { + jwtParts := strings.Split(token, ".") + if len(jwtParts) != 3 { + return &jwtError{"not a JWT: expected 3 parts"} + } + payload := jwtParts[1] + // JWT использует base64url без padding + switch len(payload) % 4 { + case 2: + payload += "==" + case 3: + payload += "=" + } + decoded, err := base64.URLEncoding.DecodeString(payload) + if err != nil { + decoded, err = base64.StdEncoding.DecodeString(payload) + if err != nil { + return &jwtError{"cannot decode JWT payload"} + } + } + var claims struct { + Sub string `json:"sub"` + Exp int64 `json:"exp"` + } + if err := json.Unmarshal(decoded, &claims); err != nil { + return &jwtError{"cannot parse JWT claims"} + } + if claims.Sub == "" { + return &jwtError{"missing sub claim"} + } + if claims.Exp > 0 && claims.Exp < time.Now().Unix() { + return &jwtError{"token expired"} + } + return nil +} + +type jwtError struct{ msg string } + +func (e *jwtError) Error() string { return e.msg } + +// verifySignature — точка вставки для проверки подписи JWT (v2). +// +// Текущее состояние (v1): подпись НЕ проверяется. +// Причина: публичный ключ nubes недоступен внутри кластера без JWKS endpoint. +// Безопасность обеспечивается "trusted perimeter" — оператор доступен только изнутри кластера. +// +// Когда nubes предоставит JWKS endpoint, реализация: +// +// func verifySignature(token string) error { +// // 1. Получить JWKS: GET {NUBES_JWKS_URL}/.well-known/jwks.json +// // 2. Найти ключ по "kid" из JWT header +// // 3. Проверить подпись RS256/ES256 +// // Пример: github.com/lestrrat-go/jwx/v2/jwk + jwt.Parse +// return nil +// } +// +// После реализации добавить вызов в validateJWT после проверки структуры: +// +// if err := verifySignature(token); err != nil { +// return &jwtError{"signature verification failed: " + err.Error()} +// } diff --git a/internal/api/middleware/logging.go b/internal/api/middleware/logging.go new file mode 100644 index 0000000..184c6d5 --- /dev/null +++ b/internal/api/middleware/logging.go @@ -0,0 +1,38 @@ +// Изменено: 2026-03-07 +// Logging middleware — логирует каждый HTTP запрос через slog. +// Записывает метод, путь, статус и длительность. + +package middleware + +import ( + "log/slog" + "net/http" + "time" +) + +// responseWriter оборачивает http.ResponseWriter чтобы захватить статус ответа. +type responseWriter struct { + http.ResponseWriter + status int +} + +func (rw *responseWriter) WriteHeader(code int) { + rw.status = code + rw.ResponseWriter.WriteHeader(code) +} + +// Logging возвращает middleware которое логирует все запросы через slog. +func Logging(log *slog.Logger, next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + start := time.Now() + rw := &responseWriter{ResponseWriter: w, status: http.StatusOK} + next.ServeHTTP(rw, r) + log.Info("http", + "method", r.Method, + "path", r.URL.Path, + "status", rw.status, + "duration_ms", time.Since(start).Milliseconds(), + "remote", r.RemoteAddr, + ) + }) +} diff --git a/internal/api/router.go b/internal/api/router.go new file mode 100644 index 0000000..3df466b --- /dev/null +++ b/internal/api/router.go @@ -0,0 +1,67 @@ +// Создано: 2026-04-12 +// router.go — регистрация IoT REST-маршрутов. +// Перенесено из sless — только IoT-специфичные маршруты. +// CORS для https://iot.kube5s.ru, JWT auth через middleware.Auth. + +package api + +import ( +"log/slog" +"net/http" + +"github.com/gorilla/mux" + +"gitea.services.ngcloud.ru/Nail/IoT/internal/api/handler" +"gitea.services.ngcloud.ru/Nail/IoT/internal/api/middleware" +) + +// corsMiddleware добавляет CORS-заголовки для IoT Консоли на https://iot.kube5s.ru. +func corsMiddleware(next http.Handler) http.Handler { +return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { +w.Header().Set("Access-Control-Allow-Origin", "https://iot.kube5s.ru") +w.Header().Set("Access-Control-Allow-Methods", "GET, POST, PUT, PATCH, DELETE, OPTIONS") +w.Header().Set("Access-Control-Allow-Headers", "Authorization, Content-Type") +w.Header().Set("Access-Control-Max-Age", "600") +if r.Method == http.MethodOptions { +w.WriteHeader(http.StatusNoContent) +return +} +next.ServeHTTP(w, r) +}) +} + +// NewRouter собирает gorilla/mux роутер со всеми IoT маршрутами. +func NewRouter(h *handler.Handler, log *slog.Logger) http.Handler { +r := mux.NewRouter() + +// IoT Консоль — публичный HTML +r.HandleFunc("/console", ServeIoTConsole).Methods(http.MethodGet) + +// IoT Admin — страница администратора +r.HandleFunc("/iot-admin", ServeIoTAdmin).Methods(http.MethodGet) +r.HandleFunc("/iot-admin/stats", h.AdminStats).Methods(http.MethodGet) + +// /v1 — API маршруты, защищены JWT +v1 := r.PathPrefix("/v1").Subrouter() + +// IoT Devices CRUD +v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.ListIoTDevices).Methods(http.MethodGet) +v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.CreateIoTDevice).Methods(http.MethodPost) +v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.GetIoTDevice).Methods(http.MethodGet) +v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.DeleteIoTDevice).Methods(http.MethodDelete) +v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.UpdateIoTDevice).Methods(http.MethodPatch) + +// IoT Telemetry +v1.HandleFunc("/namespaces/{namespace}/iot/telemetry", h.ListIoTTelemetry).Methods(http.MethodGet) + +// MQTT Auth — без JWT, вызывается EMQX из кластера +r.HandleFunc("/internal/mqtt/auth", h.MQTTAuth).Methods(http.MethodPost) +r.HandleFunc("/internal/mqtt/acl", h.MQTTAcl).Methods(http.MethodPost) + +// JWT auth middleware для /v1/ +v1.Use(func(next http.Handler) http.Handler { +return middleware.Auth(log, next) +}) + +return corsMiddleware(middleware.Logging(log, r)) +} diff --git a/internal/api/ui/iot-admin.html b/internal/api/ui/iot-admin.html new file mode 100644 index 0000000..2195a13 --- /dev/null +++ b/internal/api/ui/iot-admin.html @@ -0,0 +1,547 @@ + + + + + + + Nubes IoT Admin + + + + + + + + + +
+ +
+

Доступ для администратора

+

Введите ADMIN_STATS_TOKEN для просмотра статистики IoT pipeline.

+ + + +
+ + + +
+ + + + diff --git a/internal/api/ui/iot-console.html b/internal/api/ui/iot-console.html new file mode 100644 index 0000000..01ffe16 --- /dev/null +++ b/internal/api/ui/iot-console.html @@ -0,0 +1,1330 @@ + + + + + + + Nubes IoT Console + + + + +
+ + + + + + + diff --git a/internal/storage/iotpg/iot_telemetry_store.go b/internal/storage/iotpg/iot_telemetry_store.go new file mode 100644 index 0000000..798b9e3 --- /dev/null +++ b/internal/storage/iotpg/iot_telemetry_store.go @@ -0,0 +1,398 @@ +// Создано: 2026-04-05 +// iot_telemetry_store.go — управление per-tenant PostgreSQL databases для IoT телеметрии. +// +// Архитектура (принято 2026-04-04, см. doc/decisions/iot-telemetry-storage-2026-04-04.md): +// - Один Postgres инстанс (iot-postgres.sless.svc) — отдельный от sless postgres +// - Отдельная DATABASE per tenant: tenant_{namespace} (дефисы → подчёркивания) +// - Suперюзер iot_admin управляет всеми DBs; клиенты читают только через REST API +// - Пароли tenant хранятся в таблице tenant_credentials в management DB iot_platform +// +// Почему tenant_credentials в БД, а не в k8s Secret: +// mqtt-bridge вызывает InsertTelemetry в горячем пути MQTT. +// k8s API round-trip на каждое сообщение — неприемлемо. +// +// Подключение к tenant DB: суперюзер iot_admin, DSN строится заменой db name в adminDSN. +// Кэширование: sync.Map для *sql.DB per tenant (lazy init при первом обращении). + +package iotpg + +import ( + "context" + "database/sql" + "encoding/json" + "errors" + "fmt" + "log/slog" + "os" + "strings" + "sync" + "time" + + "github.com/google/uuid" + "github.com/lib/pq" +) + +// IoTPostgresStore управляет per-tenant Postgres databases для IoT телеметрии. +type IoTPostgresStore struct { + adminDB *sql.DB + adminDSN string + tenants sync.Map + log *slog.Logger +} + +// TelemetryRow — одна запись телеметрии из таблицы iot_telemetry. +type TelemetryRow struct { + ID int64 `json:"id"` + DeviceID string `json:"device_id"` + Ts time.Time `json:"ts"` + Payload json.RawMessage `json:"payload"` +} + +// New подключается к management DB (iot_platform) и создаёт служебные таблицы. +func New(adminDSN string, log *slog.Logger) (*IoTPostgresStore, error) { + db, err := sql.Open("postgres", adminDSN) + if err != nil { + return nil, fmt.Errorf("iotpg: open admin DB: %w", err) + } + ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second) + defer cancel() + if err := db.PingContext(ctx); err != nil { + db.Close() + return nil, fmt.Errorf("iotpg: ping admin DB: %w", err) + } + db.SetMaxOpenConns(5) + db.SetMaxIdleConns(2) + db.SetConnMaxLifetime(5 * time.Minute) + + store := &IoTPostgresStore{adminDB: db, adminDSN: adminDSN, log: log} + if err := store.initManagementSchema(ctx); err != nil { + db.Close() + return nil, fmt.Errorf("iotpg: init management schema: %w", err) + } + log.Info("iotpg: connected to IoT Postgres management DB") + return store, nil +} + +// NewFromEnv создаёт store из env var IOT_PG_DSN. +// Возвращает (nil, nil) если переменная не задана — IoT Postgres опционален. +func NewFromEnv(log *slog.Logger) (*IoTPostgresStore, error) { + dsn := os.Getenv("IOT_PG_DSN") + if dsn == "" { + log.Info("iotpg: IOT_PG_DSN not set, IoT telemetry disabled") + return nil, nil + } + return New(dsn, log) +} + +// initManagementSchema создаёт таблицу tenant_credentials в iot_platform. +func (s *IoTPostgresStore) initManagementSchema(ctx context.Context) error { + _, err := s.adminDB.ExecContext(ctx, ` +CREATE TABLE IF NOT EXISTS tenant_credentials ( +namespace TEXT PRIMARY KEY, +pg_password TEXT NOT NULL, +created_at TIMESTAMPTZ DEFAULT now() +) +`) + return err +} + +// EnsureTenantDB создаёт DATABASE, USER и таблицу iot_telemetry для namespace. +// Идемпотентен — повторный вызов безопасен. +// Вызывается mqtt-bridge при первом сообщении от нового tenant. +func (s *IoTPostgresStore) EnsureTenantDB(ctx context.Context, namespace string) error { + dbName := tenantDBName(namespace) + userName := dbName + + var exists bool + err := s.adminDB.QueryRowContext(ctx, + `SELECT EXISTS(SELECT 1 FROM pg_database WHERE datname = $1)`, dbName, + ).Scan(&exists) + if err != nil { + return fmt.Errorf("iotpg: check tenant DB %s: %w", dbName, err) + } + + if !exists { + password := uuid.New().String() + + // CREATE USER через DO block — pg не поддерживает CREATE USER IF NOT EXISTS + _, err = s.adminDB.ExecContext(ctx, fmt.Sprintf( + `DO $$ BEGIN + IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = '%s') THEN + CREATE USER %s WITH PASSWORD '%s'; + END IF; + END $$`, userName, userName, password, + )) + if err != nil { + return fmt.Errorf("iotpg: create user %s: %w", userName, err) + } + + // CREATE DATABASE нельзя в транзакции + if _, err = s.adminDB.ExecContext(ctx, + fmt.Sprintf(`CREATE DATABASE %s OWNER %s`, dbName, userName), + ); err != nil { + return fmt.Errorf("iotpg: create database %s: %w", dbName, err) + } + + if _, err = s.adminDB.ExecContext(ctx, + `INSERT INTO tenant_credentials (namespace, pg_password) VALUES ($1, $2) + ON CONFLICT (namespace) DO NOTHING`, + namespace, password, + ); err != nil { + return fmt.Errorf("iotpg: save credentials %s: %w", namespace, err) + } + s.log.Info("iotpg: created tenant DB", "namespace", namespace, "db", dbName) + } + + // Создаём таблицу в tenant DB (суперюзер имеет доступ) + tenantDB, err := s.getTenantDB(ctx, namespace) + if err != nil { + return err + } + _, err = tenantDB.ExecContext(ctx, ` +CREATE TABLE IF NOT EXISTS iot_telemetry ( +id BIGSERIAL PRIMARY KEY, +device_id TEXT NOT NULL, +ts TIMESTAMPTZ NOT NULL DEFAULT now(), +payload JSONB NOT NULL +); +CREATE INDEX IF NOT EXISTS idx_iot_telemetry_device_ts +ON iot_telemetry (device_id, ts DESC); +`) + return err +} + +// InsertTelemetry записывает строку телеметрии в tenant DB. +func (s *IoTPostgresStore) InsertTelemetry(ctx context.Context, namespace, deviceID string, payload json.RawMessage) error { + tenantDB, err := s.getTenantDB(ctx, namespace) + if err != nil { + return fmt.Errorf("iotpg: get tenant DB for insert: %w", err) + } + _, err = tenantDB.ExecContext(ctx, + `INSERT INTO iot_telemetry (device_id, payload) VALUES ($1, $2)`, + deviceID, []byte(payload), + ) + return err +} + +// QueryTelemetry читает телеметрию из tenant DB (ts DESC). +// deviceID — фильтр (пустая строка = все устройства). limit — max записей (50..1000). +// Если tenant DB не существует (данных ещё нет) — возвращает пустой срез без ошибки. +func (s *IoTPostgresStore) QueryTelemetry(ctx context.Context, namespace, deviceID string, limit int) ([]TelemetryRow, error) { + if limit <= 0 { + limit = 50 + } + if limit > 1000 { + limit = 1000 + } + tenantDB, err := s.getTenantDB(ctx, namespace) + if err != nil { + // Если DB не существует — тенант ещё не отправлял данные, это нормально + if isDBNotExistErr(err) { + return []TelemetryRow{}, nil + } + return nil, fmt.Errorf("iotpg: get tenant DB for query: %w", err) + } + + var rows *sql.Rows + if deviceID != "" { + rows, err = tenantDB.QueryContext(ctx, + `SELECT id, device_id, ts, payload FROM iot_telemetry + WHERE device_id = $1 ORDER BY ts DESC LIMIT $2`, + deviceID, limit, + ) + } else { + rows, err = tenantDB.QueryContext(ctx, + `SELECT id, device_id, ts, payload FROM iot_telemetry + ORDER BY ts DESC LIMIT $1`, + limit, + ) + } + if err != nil { + return nil, fmt.Errorf("iotpg: query telemetry for %s: %w", namespace, err) + } + defer rows.Close() + + var result []TelemetryRow + for rows.Next() { + var r TelemetryRow + var rawPayload []byte + if err := rows.Scan(&r.ID, &r.DeviceID, &r.Ts, &rawPayload); err != nil { + return nil, fmt.Errorf("iotpg: scan row: %w", err) + } + r.Payload = json.RawMessage(rawPayload) + result = append(result, r) + } + return result, rows.Err() +} + +// TenantPGStats — статистика телеметрии одного tenant за разные периоды. +type TenantPGStats struct { + Namespace string `json:"namespace"` + DBName string `json:"db_name"` + Total int64 `json:"total"` + Last1h int64 `json:"last_1h"` + Last24h int64 `json:"last_24h"` + Latest []TelemetryRow `json:"latest"` + Error string `json:"error,omitempty"` +} + +// PostgresAdminStats — агрегированная статистика по всем tenant для страницы администратора. +type PostgresAdminStats struct { + Tenants []TenantPGStats `json:"tenants"` + TotalAll int64 `json:"total_all"` + Reachable bool `json:"reachable"` +} + +// GetAdminStats собирает статистику по всем tenant из management DB. +// Используется только страницей администратора — не для tenant API. +func (s *IoTPostgresStore) GetAdminStats(ctx context.Context) (*PostgresAdminStats, error) { + // Список всех тенантов из management DB + nsRows, err := s.adminDB.QueryContext(ctx, `SELECT namespace FROM tenant_credentials ORDER BY namespace`) + if err != nil { + return nil, fmt.Errorf("iotpg: list tenants: %w", err) + } + defer nsRows.Close() + + var namespaces []string + for nsRows.Next() { + var ns string + if err := nsRows.Scan(&ns); err != nil { + return nil, err + } + namespaces = append(namespaces, ns) + } + if err := nsRows.Err(); err != nil { + return nil, err + } + + result := &PostgresAdminStats{ + Reachable: true, + Tenants: make([]TenantPGStats, 0, len(namespaces)), + } + + for _, ns := range namespaces { + stats := TenantPGStats{ + Namespace: ns, + DBName: tenantDBName(ns), + } + + tenantDB, err := s.getTenantDB(ctx, ns) + if err != nil { + stats.Error = err.Error() + result.Tenants = append(result.Tenants, stats) + continue + } + + // Counts: total, last 1h, last 24h — одним запросом + err = tenantDB.QueryRowContext(ctx, ` +SELECT + COUNT(*), + COUNT(*) FILTER (WHERE ts > NOW() - INTERVAL '1 hour'), + COUNT(*) FILTER (WHERE ts > NOW() - INTERVAL '24 hours') +FROM iot_telemetry`).Scan(&stats.Total, &stats.Last1h, &stats.Last24h) + if err != nil { + stats.Error = err.Error() + result.Tenants = append(result.Tenants, stats) + continue + } + result.TotalAll += stats.Total + + // Последние 5 сообщений для предпросмотра + latestRows, err := tenantDB.QueryContext(ctx, + `SELECT id, device_id, ts, payload FROM iot_telemetry ORDER BY ts DESC LIMIT 5`) + if err == nil { + defer latestRows.Close() + for latestRows.Next() { + var r TelemetryRow + var rawPayload []byte + if err := latestRows.Scan(&r.ID, &r.DeviceID, &r.Ts, &rawPayload); err == nil { + r.Payload = json.RawMessage(rawPayload) + stats.Latest = append(stats.Latest, r) + } + } + } + + result.Tenants = append(result.Tenants, stats) + } + + return result, nil +} + +// isDBNotExistErr проверяет что ошибка — «database does not exist» (PostgreSQL code 3D000). +// Используется в QueryTelemetry: если DB нет — просто нет данных, не ошибка системы. +func isDBNotExistErr(err error) bool { + var pqErr *pq.Error + if errors.As(err, &pqErr) { + // 3D000 = invalid_catalog_name (база данных не существует) + return pqErr.Code == "3D000" + } + return false +} + +// Close закрывает все подключения (admin + tenant кэш). +func (s *IoTPostgresStore) Close() error { + s.tenants.Range(func(_, value any) bool { + if db, ok := value.(*sql.DB); ok { + db.Close() + } + return true + }) + return s.adminDB.Close() +} + +// getTenantDB возвращает *sql.DB для tenant DB из кэша или открывает новый. +func (s *IoTPostgresStore) getTenantDB(ctx context.Context, namespace string) (*sql.DB, error) { + if cached, ok := s.tenants.Load(namespace); ok { + return cached.(*sql.DB), nil + } + dsn := replaceDSNDatabase(s.adminDSN, tenantDBName(namespace)) + db, err := sql.Open("postgres", dsn) + if err != nil { + return nil, fmt.Errorf("iotpg: open tenant DB %s: %w", tenantDBName(namespace), err) + } + pingCtx, cancel := context.WithTimeout(ctx, 5*time.Second) + defer cancel() + if err := db.PingContext(pingCtx); err != nil { + db.Close() + return nil, fmt.Errorf("iotpg: ping tenant DB %s: %w", tenantDBName(namespace), err) + } + db.SetMaxOpenConns(5) + db.SetMaxIdleConns(2) + db.SetConnMaxLifetime(5 * time.Minute) + + actual, loaded := s.tenants.LoadOrStore(namespace, db) + if loaded { + db.Close() + return actual.(*sql.DB), nil + } + return db, nil +} + +// replaceDSNDatabase заменяет имя базы данных в DSN. +// Вход: "postgresql://user:pass@host:5432/iot_platform?sslmode=disable" +// Выход: "postgresql://user:pass@host:5432/tenant_abc?sslmode=disable" +func replaceDSNDatabase(dsn, newDBName string) string { + schemeEnd := strings.Index(dsn, "://") + if schemeEnd < 0 { + return dsn + } + hostPart := dsn[schemeEnd+3:] + slashIdx := strings.LastIndex(hostPart, "/") + if slashIdx < 0 { + return dsn + } + afterSlash := hostPart[slashIdx+1:] + suffix := "" + if qIdx := strings.Index(afterSlash, "?"); qIdx >= 0 { + suffix = afterSlash[qIdx:] + } + prefix := dsn[:schemeEnd+3+slashIdx+1] + return prefix + newDBName + suffix +} + +// tenantDBName возвращает имя Postgres DATABASE для namespace. +// Дефисы заменяются на подчёркивания (pg не поддерживает дефисы в unquoted именах). +// Пример: "sless-abc123" → "tenant_sless_abc123" +func tenantDBName(namespace string) string { + return "tenant_" + strings.ReplaceAll(namespace, "-", "_") +}