v0.1.59: IoT telemetry pipeline — Postgres storage + REST API + UI table

This commit is contained in:
Naeel
2026-04-05 08:46:17 +03:00
parent d51e33d876
commit 2bdd753f4e
11 changed files with 630 additions and 21 deletions
+39 -6
View File
@@ -1,4 +1,5 @@
// Создано: 2026-04-04
// Изменено: 2026-04-05 (добавлен INSERT в IoT Postgres)
// mqtt-bridge/main.go — сервис-мост: MQTT (EMQX) → RabbitMQ.
//
// Роль в архитектуре:
@@ -39,6 +40,8 @@ import (
mqtt "github.com/eclipse/paho.mqtt.golang"
amqp "github.com/rabbitmq/amqp091-go"
"gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/internal/storage/iotpg"
)
// mqttBridgeConfig — конфигурация сервиса из env vars.
@@ -92,6 +95,18 @@ func main() {
}
defer rabbitCh.Close()
// IoT Postgres — сохранение телеметрии (per-tenant DB).
// Опционально: если IOT_PG_DSN не задан — продолжаем работать без Postgres (только RabbitMQ)
iotPGStore, err := iotpg.NewFromEnv(log)
if err != nil {
log.Error("failed to connect to IoT Postgres", "err", err)
os.Exit(1)
}
if iotPGStore != nil {
defer iotPGStore.Close()
log.Info("connected to IoT Postgres for telemetry storage")
}
// Создаём MQTT клиент
mqttClient, err := connectMQTT(cfg, log)
if err != nil {
@@ -102,7 +117,7 @@ func main() {
// Функция-обработчик MQTT сообщений
// Вызывается в goroutine paho при каждом сообщении
messageHandler := buildMQTTMessageHandler(rabbitCh, log)
messageHandler := buildMQTTMessageHandler(ctx, rabbitCh, iotPGStore, log)
// Подписываемся на все telemetry топики всех namespace
// "+/telemetry/+" = {любой namespace}/telemetry/{любой deviceId}
@@ -203,8 +218,13 @@ func connectRabbitMQWithRetry(ctx context.Context, url string, log *slog.Logger)
}
// buildMQTTMessageHandler возвращает функцию-обработчик MQTT сообщений.
// Замыкание над rabbitCh (RabbitMQ channel) и logger.
func buildMQTTMessageHandler(rabbitCh *amqp.Channel, log *slog.Logger) mqtt.MessageHandler {
// Замыкание над rabbitCh (RabbitMQ channel), iotStore (может быть nil) и logger.
// Порядок действий при получении сообщения:
// 1. INSERT в IoT Postgres (tenant DB) — если iotStore != nil
// 2. Publish в RabbitMQ — всегда (для event-dispatcher → function triggers)
//
// Ошибка INSERT не блокирует RabbitMQ publish — разные failure domain.
func buildMQTTMessageHandler(ctx context.Context, rabbitCh *amqp.Channel, iotStore *iotpg.IoTPostgresStore, log *slog.Logger) mqtt.MessageHandler {
return func(_ mqtt.Client, msg mqtt.Message) {
topic := msg.Topic()
payload := msg.Payload()
@@ -219,15 +239,28 @@ func buildMQTTMessageHandler(rabbitCh *amqp.Channel, log *slog.Logger) mqtt.Mess
ns := parts[0]
deviceID := parts[2]
// Формируем envelope — оборачиваем payload в JSON с метаданными
// Payload от устройства может быть любым JSON или строкой
// Нормализуем payload: если это не JSON — оборачиваем в строку
rawPayload := json.RawMessage(payload)
if !json.Valid(payload) {
// Если payload не JSON — упаковываем в строку
quotedBytes, _ := json.Marshal(string(payload))
rawPayload = json.RawMessage(quotedBytes)
}
// ШАГ 1: INSERT в IoT Postgres — сохраняем телеметрию в per-tenant DB
// EnsureTenantDB идемпотентен: кэшируется после первого вызова
if iotStore != nil {
if err := iotStore.EnsureTenantDB(ctx, ns); err != nil {
log.Error("ensure tenant DB", "namespace", ns, "err", err)
// НЕ возвращаемся — продолжаем RabbitMQ publish
} else if err := iotStore.InsertTelemetry(ctx, ns, deviceID, rawPayload); err != nil {
log.Error("insert telemetry", "topic", topic, "err", err)
// НЕ возвращаемся — RabbitMQ не должен зависеть от Postgres
} else {
log.Debug("telemetry saved to Postgres", "namespace", ns, "device", deviceID)
}
}
// ШАГ 2: Publish в RabbitMQ (для event-dispatcher → function triggers)
envelope := iotTelemetryMessage{
Namespace: ns,
DeviceID: deviceID,