v0.1.59: IoT telemetry pipeline — Postgres storage + REST API + UI table
This commit is contained in:
@@ -1,4 +1,5 @@
|
||||
// Создано: 2026-04-04
|
||||
// Изменено: 2026-04-05 (добавлен INSERT в IoT Postgres)
|
||||
// mqtt-bridge/main.go — сервис-мост: MQTT (EMQX) → RabbitMQ.
|
||||
//
|
||||
// Роль в архитектуре:
|
||||
@@ -39,6 +40,8 @@ import (
|
||||
|
||||
mqtt "github.com/eclipse/paho.mqtt.golang"
|
||||
amqp "github.com/rabbitmq/amqp091-go"
|
||||
|
||||
"gitea-naeel.giteak8s.services.ngcloud.ru/naeel/sless/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// mqttBridgeConfig — конфигурация сервиса из env vars.
|
||||
@@ -92,6 +95,18 @@ func main() {
|
||||
}
|
||||
defer rabbitCh.Close()
|
||||
|
||||
// IoT Postgres — сохранение телеметрии (per-tenant DB).
|
||||
// Опционально: если IOT_PG_DSN не задан — продолжаем работать без Postgres (только RabbitMQ)
|
||||
iotPGStore, err := iotpg.NewFromEnv(log)
|
||||
if err != nil {
|
||||
log.Error("failed to connect to IoT Postgres", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
if iotPGStore != nil {
|
||||
defer iotPGStore.Close()
|
||||
log.Info("connected to IoT Postgres for telemetry storage")
|
||||
}
|
||||
|
||||
// Создаём MQTT клиент
|
||||
mqttClient, err := connectMQTT(cfg, log)
|
||||
if err != nil {
|
||||
@@ -102,7 +117,7 @@ func main() {
|
||||
|
||||
// Функция-обработчик MQTT сообщений
|
||||
// Вызывается в goroutine paho при каждом сообщении
|
||||
messageHandler := buildMQTTMessageHandler(rabbitCh, log)
|
||||
messageHandler := buildMQTTMessageHandler(ctx, rabbitCh, iotPGStore, log)
|
||||
|
||||
// Подписываемся на все telemetry топики всех namespace
|
||||
// "+/telemetry/+" = {любой namespace}/telemetry/{любой deviceId}
|
||||
@@ -203,8 +218,13 @@ func connectRabbitMQWithRetry(ctx context.Context, url string, log *slog.Logger)
|
||||
}
|
||||
|
||||
// buildMQTTMessageHandler возвращает функцию-обработчик MQTT сообщений.
|
||||
// Замыкание над rabbitCh (RabbitMQ channel) и logger.
|
||||
func buildMQTTMessageHandler(rabbitCh *amqp.Channel, log *slog.Logger) mqtt.MessageHandler {
|
||||
// Замыкание над rabbitCh (RabbitMQ channel), iotStore (может быть nil) и logger.
|
||||
// Порядок действий при получении сообщения:
|
||||
// 1. INSERT в IoT Postgres (tenant DB) — если iotStore != nil
|
||||
// 2. Publish в RabbitMQ — всегда (для event-dispatcher → function triggers)
|
||||
//
|
||||
// Ошибка INSERT не блокирует RabbitMQ publish — разные failure domain.
|
||||
func buildMQTTMessageHandler(ctx context.Context, rabbitCh *amqp.Channel, iotStore *iotpg.IoTPostgresStore, log *slog.Logger) mqtt.MessageHandler {
|
||||
return func(_ mqtt.Client, msg mqtt.Message) {
|
||||
topic := msg.Topic()
|
||||
payload := msg.Payload()
|
||||
@@ -219,15 +239,28 @@ func buildMQTTMessageHandler(rabbitCh *amqp.Channel, log *slog.Logger) mqtt.Mess
|
||||
ns := parts[0]
|
||||
deviceID := parts[2]
|
||||
|
||||
// Формируем envelope — оборачиваем payload в JSON с метаданными
|
||||
// Payload от устройства может быть любым JSON или строкой
|
||||
// Нормализуем payload: если это не JSON — оборачиваем в строку
|
||||
rawPayload := json.RawMessage(payload)
|
||||
if !json.Valid(payload) {
|
||||
// Если payload не JSON — упаковываем в строку
|
||||
quotedBytes, _ := json.Marshal(string(payload))
|
||||
rawPayload = json.RawMessage(quotedBytes)
|
||||
}
|
||||
|
||||
// ШАГ 1: INSERT в IoT Postgres — сохраняем телеметрию в per-tenant DB
|
||||
// EnsureTenantDB идемпотентен: кэшируется после первого вызова
|
||||
if iotStore != nil {
|
||||
if err := iotStore.EnsureTenantDB(ctx, ns); err != nil {
|
||||
log.Error("ensure tenant DB", "namespace", ns, "err", err)
|
||||
// НЕ возвращаемся — продолжаем RabbitMQ publish
|
||||
} else if err := iotStore.InsertTelemetry(ctx, ns, deviceID, rawPayload); err != nil {
|
||||
log.Error("insert telemetry", "topic", topic, "err", err)
|
||||
// НЕ возвращаемся — RabbitMQ не должен зависеть от Postgres
|
||||
} else {
|
||||
log.Debug("telemetry saved to Postgres", "namespace", ns, "device", deviceID)
|
||||
}
|
||||
}
|
||||
|
||||
// ШАГ 2: Publish в RabbitMQ (для event-dispatcher → function triggers)
|
||||
envelope := iotTelemetryMessage{
|
||||
Namespace: ns,
|
||||
DeviceID: deviceID,
|
||||
|
||||
Reference in New Issue
Block a user