feat: Kafka pipeline v0.1.67 (mqtt-bridge→kafka→consumer→postgres)

deployments/k8s/iot-kafka-consumer.yaml

@@ -0,0 +1,48 @@
+# Создано: 2026-04-06
+# Deployment iot-kafka-consumer — читает IoT телеметрию из Kafka → пишет в IoT Postgres.
+#
+# Consumer group "iot-pg-consumer" — можно масштабировать горизонтально без дублирования.
+# Offset коммитится ТОЛЬКО после успешной записи в Postgres (at-least-once гарантия).
+#
+# Применение: kubectl apply -f deployments/k8s/iot-kafka-consumer.yaml
+
+---
+apiVersion: apps/v1
+kind: Deployment
+metadata:
+  name: iot-kafka-consumer
+  namespace: sless
+  labels:
+    app: iot-kafka-consumer
+spec:
+  replicas: 1
+  selector:
+    matchLabels:
+      app: iot-kafka-consumer
+  template:
+    metadata:
+      labels:
+        app: iot-kafka-consumer
+    spec:
+      containers:
+        - name: kafka-consumer
+          # Тот же образ что и оператор — все IoT бинари в одном образе.
+          image: pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.67
+          imagePullPolicy: Always
+          command: ["/iot-kafka-consumer"]
+          env:
+            - name: KAFKA_BROKERS
+              value: "kafka.sless.svc.cluster.local:9092"
+          envFrom:
+            # IOT_PG_DSN — master DSN для IoT Postgres (per-tenant DB)
+            - secretRef:
+                name: iot-postgres-secret
+          resources:
+            requests:
+              memory: "32Mi"
+              cpu: "25m"
+            limits:
+              memory: "64Mi"
+              cpu: "100m"
+      imagePullSecrets:
+        - name: sless-registry-auth

deployments/k8s/iot-mqtt-bridge.yaml

@@ -1,9 +1,9 @@
 # Создано: 2026-04-04
-# Изменено: 2026-04-05 (добавлен IOT_PG_DSN, версия v0.1.59)
-# Deployment iot-mqtt-bridge — MQTT→RabbitMQ мост для IoT.
+# Изменено: 2026-04-06 (MQTT→Kafka: убран RABBITMQ_URL, добавлен KAFKA_BROKERS, v0.1.67)
+# Deployment iot-mqtt-bridge — MQTT→Kafka мост для IoT.
 #
 # Получает MQTT сообщения от EMQX (подписка на "+/telemetry/+")
-# и публикует в RabbitMQ queue "iot.{namespace}.telemetry".
+# и публикует в Kafka топик "iot.telemetry" (ключ = namespace).
 #
 # Credentials для MQTT подключения берутся из Secret iot-bridge-credentials.
 # Этот Secret нужно создать вручную ДО деплоя:
@@ -45,18 +45,14 @@ spec:
         - name: mqtt-bridge
           # Тот же образ что и оператор — оба бинаря в одном слое (manager + iot-mqtt-bridge).
           # При смене версии оператора — менять тег и здесь.
-          image: pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.59
+          image: pearlharbor.registryk8s.services.ngcloud.ru/naeel/sless-operator:v0.1.67
           imagePullPolicy: Always
           command: ["/iot-mqtt-bridge"]
           env:
             - name: MQTT_BROKER_URL
               value: "tcp://emqx.sless.svc:1883"
-            - name: RABBITMQ_URL
-              valueFrom:
-                secretKeyRef:
-                  name: sless-operator-secret
-                  key: RABBITMQ_URL
-                  optional: true
+            - name: KAFKA_BROKERS
+              value: "kafka.sless.svc.cluster.local:9092"
           envFrom:
             - secretRef:
                 name: iot-bridge-credentials

deployments/k8s/kafka.yaml

@@ -0,0 +1,150 @@
+# Изменено: 2026-04-06
+# kafka.yaml — минимальный деплой Apache Kafka в KRaft mode (без Zookeeper).
+# Образ: apache/kafka (официальный, бесплатный).
+# Используется для IoT telemetry pipeline: mqtt-bridge → Kafka → iot-kafka-consumer → Postgres.
+# Для prod: заменить на managed Kafka (Confluent/Aiven) — только изменить KAFKA_BROKERS в Secret.
+---
+apiVersion: v1
+kind: ConfigMap
+metadata:
+  name: kafka-config
+  namespace: sless
+data:
+  # server.properties для KRaft mode (без Zookeeper).
+  # Нода совмещает роли controller + broker.
+  server.properties: |
+    process.roles=broker,controller
+    node.id=1
+    controller.quorum.voters=1@localhost:9093
+    listeners=PLAINTEXT://:9092,CONTROLLER://:9093
+    inter.broker.listener.name=PLAINTEXT
+    controller.listener.names=CONTROLLER
+    listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
+    advertised.listeners=PLAINTEXT://kafka.sless.svc.cluster.local:9092
+    log.dirs=/var/kafka-data/logs
+    num.partitions=1
+    default.replication.factor=1
+    offsets.topic.replication.factor=1
+    transaction.state.log.replication.factor=1
+    transaction.state.log.min.isr=1
+    log.retention.hours=168
+    log.retention.check.interval.ms=300000
+    auto.create.topics.enable=true
+---
+apiVersion: apps/v1
+kind: StatefulSet
+metadata:
+  name: kafka
+  namespace: sless
+  labels:
+    app: kafka
+spec:
+  serviceName: kafka-headless
+  replicas: 1
+  selector:
+    matchLabels:
+      app: kafka
+  template:
+    metadata:
+      labels:
+        app: kafka
+    spec:
+      # apache/kafka образ запускается как UID 1000 (kafka user).
+      # fsGroup=1000 — позволяет писать в PVC смонтированный как root.
+      securityContext:
+        fsGroup: 1000
+      initContainers:
+        # Форматирует хранилище KRaft если ещё не отформатировано.
+        # KAFKA_CLUSTER_ID должен быть уникальным UUID — генерируется один раз.
+        - name: kafka-init
+          image: apache/kafka:3.7.0
+          command:
+            - /bin/sh
+            - -c
+            - |
+              if [ ! -f /var/kafka-data/logs/meta.properties ]; then
+                echo "Formatting Kafka storage..."
+                /opt/kafka/bin/kafka-storage.sh format \
+                  -t "$(cat /var/kafka-data/cluster.id 2>/dev/null || \
+                        /opt/kafka/bin/kafka-storage.sh random-uuid | tee /var/kafka-data/cluster.id)" \
+                  -c /tmp/kafka-config/server.properties
+              fi
+          volumeMounts:
+            - name: kafka-data
+              mountPath: /var/kafka-data
+            - name: kafka-config
+              mountPath: /tmp/kafka-config
+      containers:
+        - name: kafka
+          image: apache/kafka:3.7.0
+          command:
+            - /opt/kafka/bin/kafka-server-start.sh
+            - /tmp/kafka-config/server.properties
+          ports:
+            - containerPort: 9092
+              name: client
+            - containerPort: 9093
+              name: controller
+          resources:
+            requests:
+              cpu: 100m
+              memory: 256Mi
+            limits:
+              cpu: 500m
+              memory: 512Mi
+          volumeMounts:
+            - name: kafka-data
+              mountPath: /var/kafka-data
+            - name: kafka-config
+              mountPath: /tmp/kafka-config
+          readinessProbe:
+            tcpSocket:
+              port: 9092
+            initialDelaySeconds: 30
+            periodSeconds: 10
+            failureThreshold: 6
+      volumes:
+        - name: kafka-config
+          configMap:
+            name: kafka-config
+  volumeClaimTemplates:
+    - metadata:
+        name: kafka-data
+      spec:
+        accessModes: [ReadWriteOnce]
+        storageClassName: vcd-disk-ext4
+        resources:
+          requests:
+            storage: 1Gi
+---
+apiVersion: v1
+kind: Service
+metadata:
+  name: kafka
+  namespace: sless
+  labels:
+    app: kafka
+spec:
+  ports:
+    - name: client
+      port: 9092
+      targetPort: 9092
+  selector:
+    app: kafka
+---
+apiVersion: v1
+kind: Service
+metadata:
+  name: kafka-headless
+  namespace: sless
+  labels:
+    app: kafka
+spec:
+  clusterIP: None
+  ports:
+    - name: client
+      port: 9092
+    - name: controller
+      port: 9093
+  selector:
+    app: kafka