Compare commits
35
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
4c8bb39354 | ||
|
|
4ddd95a441 | ||
|
|
d970958e5c | ||
|
|
3ec8fe86c2 | ||
|
|
31a7db18b2 | ||
|
|
af0ebdfebc | ||
|
|
f1199e4335 | ||
|
|
0b9768e2f2 | ||
|
|
2f127ee612 | ||
|
|
93af91f561 | ||
|
|
92c9a8a2f8 | ||
|
|
06fb7ac231 | ||
|
|
dd80aa0bee | ||
|
|
a5bb95c9bd | ||
|
|
88c33c4953 | ||
|
|
19a01128cd | ||
|
|
b5333b13a0 | ||
|
|
fd2e57b3dc | ||
|
|
9d08473d5f | ||
|
|
f0c36a11ee | ||
|
|
bf32394def | ||
|
|
eb7d312d89 | ||
|
|
f8537138dd | ||
|
|
b69f0b5276 | ||
|
|
031e71b39d | ||
|
|
f8c6b3e784 | ||
|
|
485f7c6fb1 | ||
|
|
11352a4fb3 | ||
|
|
a857753cfd | ||
|
|
de5be0c473 | ||
|
|
c912aafc30 | ||
|
|
27cb40e421 | ||
|
|
2a7ecd288e | ||
|
|
368ff060a2 | ||
|
|
146aaef543 |
@@ -4,6 +4,7 @@
|
||||
/kafka-consumer
|
||||
/sqs-consumer
|
||||
bin/
|
||||
ws-probe/ws-probe
|
||||
|
||||
# Go
|
||||
*.exe
|
||||
|
||||
+23
-25
@@ -1,40 +1,38 @@
|
||||
# Создано: 2026-04-12
|
||||
# Изменено: 2026-04-12 (kafka-consumer → sqs-consumer)
|
||||
# Dockerfile для IoT managed service.
|
||||
# Multi-stage build: 3 бинарника (iot-operator, mqtt-bridge, sqs-consumer).
|
||||
# Образ: naeel/iot-operator (Docker Hub).
|
||||
# Dockerfile — монолит iot-service (один бинарник, один контейнер).
|
||||
# Образ: naeel/iot-service (Docker Hub, публичный — требование платформы).
|
||||
#
|
||||
# Env-дефолты (не секреты) вшиты сюда — deck-UI задаёт только секреты.
|
||||
|
||||
FROM golang:1.25 AS builder
|
||||
WORKDIR /workspace
|
||||
|
||||
# Кэширование зависимостей
|
||||
COPY go.mod go.sum ./
|
||||
RUN go mod download
|
||||
|
||||
# Исходный код
|
||||
COPY api/ api/
|
||||
COPY controllers/ controllers/
|
||||
COPY cmd/ cmd/
|
||||
COPY internal/ internal/
|
||||
|
||||
# iot-operator — controller-manager + REST API
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o iot-operator ./cmd/iot-operator/
|
||||
ARG VERSION=dev
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a \
|
||||
-ldflags "-X main.version=${VERSION}" -o iot-service ./cmd/iot-service/
|
||||
|
||||
# mqtt-bridge — MQTT (EMQX) → shared-SQS
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o mqtt-bridge ./cmd/mqtt-bridge/
|
||||
|
||||
# sqs-consumer — shared-SQS → Postgres
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o sqs-consumer ./cmd/sqs-consumer/
|
||||
|
||||
# --- Runtime ---
|
||||
FROM gcr.io/distroless/static:nonroot
|
||||
WORKDIR /
|
||||
|
||||
# Все три бинарника в одном образе.
|
||||
# Какой запускать — определяется command в k8s Deployment.
|
||||
COPY --from=builder /workspace/iot-operator .
|
||||
COPY --from=builder /workspace/mqtt-bridge .
|
||||
COPY --from=builder /workspace/sqs-consumer .
|
||||
COPY --from=builder /workspace/iot-service .
|
||||
|
||||
USER 65532:65532
|
||||
ENTRYPOINT ["/iot-operator"]
|
||||
EXPOSE 9090
|
||||
|
||||
ENV API_PORT=9090 \
|
||||
SQS_ENDPOINT=http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100 \
|
||||
SQS_QUEUE_NAME=iot-telemetry \
|
||||
SQS_REGION=us-east-1 \
|
||||
SQS_LONG_POLL_SECONDS=20 \
|
||||
SQS_VISIBILITY_TIMEOUT=30 \
|
||||
MQTT_CLIENT_ID=iot-bridge \
|
||||
MQTT_PORT=8083 \
|
||||
MQTT_WS_PATH=/mqtt \
|
||||
AUTH_TEST_MODE=false \
|
||||
LOG_LEVEL=info
|
||||
|
||||
ENTRYPOINT ["/iot-service"]
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,47 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ — СТАРЫЙ IoT (k8s-деплой)
|
||||
|
||||
С 2026-08-16 всё, что относится к СТАРОМУ IoT (деплой в собственном k8s,
|
||||
оператор, CRD), — **ЛЕГАСИ**. **НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ** при принятии решений.
|
||||
Не использовать, не ссылаться, не переносить в новую архитектуру без отдельной
|
||||
команды.
|
||||
|
||||
**Актуальное:**
|
||||
- `HISTORY/2026-08-16-session-log.md` — состояние, диагностика, план миграции
|
||||
- `doc/sqs-integration.md` — актуальная интеграция с shared-sqs
|
||||
|
||||
## Помечено ЛЕГАСИ и перенесено в `legacy/` (2026-08-16)
|
||||
|
||||
- `legacy/deployments/` — все k8s-манифесты старого деплоя
|
||||
- `legacy/config/` — CRD IoTDevice
|
||||
- `legacy/doc/` — все старые документы (deployment, architecture, api, decisions,
|
||||
thinking, progress, testing и др.)
|
||||
- `legacy/examples/` — старые примеры (RabbitMQ/serverless)
|
||||
- `legacy/2026-08-13-migration-to-managed.md` — СТАРЫЙ план миграции (Node.js) — ОТМЕНЁН
|
||||
- `legacy/Dockerfile.old` — собирал 3 старых бинарника
|
||||
- `legacy/Makefile.old` — старые k8s-цели
|
||||
- `cmd/iot-operator/`, `controllers/`, `api/v1alpha1/` — оператор (CRD-контроллер);
|
||||
пока в корне из-за импортов (перенос — во время Фазы 1 после переписывания хендлеров)
|
||||
|
||||
## Аудит вмешательства старого IoT (2026-08-16, проверено)
|
||||
|
||||
- **Код:** k8s-зависимости есть ТОЛЬКО в `internal/api/handler/` (handler.go,
|
||||
iot_device_handler.go, iot_admin_stats_handler.go — controller-runtime,
|
||||
corev1, CRD-типы). Всё остальное чисто: router, middleware, UI-embeds,
|
||||
`internal/storage/iotpg/`, `cmd/mqtt-bridge/`, `cmd/sqs-consumer/`.
|
||||
- **Правило для монолита:** новый код НЕ импортирует `controllers/`,
|
||||
`api/v1alpha1/`, k8s-клиент. Хендлеры устройств переписываются на
|
||||
PG-хранилище (`iot_devices`); после этого k8s-депы удаляются из go.mod.
|
||||
- **Данные:** старый shared-sqs (qu.kube5s.ru) удалён полностью — старых
|
||||
очередей нет. В managed PG остались старые тестовые tenant-DB (изолированы,
|
||||
на новый код не влияют; очистка — только по отдельной команде).
|
||||
Старые k8s Secrets не читаются (новый код без k8s-клиента).
|
||||
- **Артефакты:** `bin/` в git не отслеживается; CI (.github/) содержит только
|
||||
правила — старых пайплайнов нет.
|
||||
|
||||
## НЕ легаси (актуально)
|
||||
|
||||
- `HISTORY/2026-08-16-session-log.md`
|
||||
- `doc/sqs-integration.md`
|
||||
- `ws-probe/`
|
||||
- `cmd/mqtt-bridge/`, `cmd/sqs-consumer/`, `internal/` — Go-код, переиспользуется
|
||||
в новом монолите (после адаптации под платформу)
|
||||
@@ -1,31 +1,27 @@
|
||||
# Создано: 2026-04-12
|
||||
# Makefile для IoT managed service.
|
||||
# Makefile — монолит iot-service (образ naeel/iot-service).
|
||||
# Старые k8s-цели — в legacy/Makefile.old.
|
||||
|
||||
IMG ?= naeel/iot-operator:latest
|
||||
VERSION ?= v0.1.2
|
||||
IMAGE ?= naeel/iot-service
|
||||
LDFLAGS = -X main.version=$(VERSION)
|
||||
|
||||
.PHONY: build build-all docker-build docker-push test tidy
|
||||
.PHONY: build vet test tidy docker-build docker-push
|
||||
|
||||
# Собрать все бинарники
|
||||
build-all: build-operator build-bridge build-consumer
|
||||
build:
|
||||
CGO_ENABLED=0 go build -ldflags "$(LDFLAGS)" -o bin/iot-service ./cmd/iot-service/
|
||||
|
||||
build-operator:
|
||||
CGO_ENABLED=0 go build -o bin/iot-operator ./cmd/iot-operator/
|
||||
vet:
|
||||
go vet ./...
|
||||
|
||||
build-bridge:
|
||||
CGO_ENABLED=0 go build -o bin/mqtt-bridge ./cmd/mqtt-bridge/
|
||||
|
||||
build-consumer:
|
||||
CGO_ENABLED=0 go build -o bin/sqs-consumer ./cmd/sqs-consumer/
|
||||
test:
|
||||
go test ./...
|
||||
|
||||
tidy:
|
||||
go mod tidy
|
||||
|
||||
# Применить CRD в кластер
|
||||
install-crd:
|
||||
kubectl apply -f config/crd/bases/
|
||||
docker-build:
|
||||
docker build --build-arg VERSION=$(VERSION) -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
|
||||
|
||||
# Деплой всех компонентов
|
||||
deploy:
|
||||
kubectl apply -f deployments/k8s/
|
||||
docker-push:
|
||||
docker push $(IMAGE):$(VERSION)
|
||||
docker push $(IMAGE):latest
|
||||
|
||||
@@ -1,3 +1,6 @@
|
||||
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-типы). В новой архитектуре заменяется таблицей iot_devices в PG.
|
||||
// Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
// Создано: 2026-04-04
|
||||
// Описание CRD IoTDevice — регистрация IoT-устройства в платформе sless.
|
||||
// Пользователь создаёт IoTDevice, контроллер автоматически генерирует MQTT-credentials
|
||||
|
||||
@@ -1,3 +1,6 @@
|
||||
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-типы). В новой архитектуре не используется.
|
||||
// Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
// Создано: 2026-04-04
|
||||
// groupversion_info.go — регистрация API group iot.kube5s.ru/v1alpha1.
|
||||
// ВАЖНО: группа намеренно отдельная от sless.kube5s.ru — при выносе IoT в
|
||||
|
||||
@@ -1,3 +1,6 @@
|
||||
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (оператор, CRD-контроллер). В новой архитектуре не используется.
|
||||
// Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
// Создано: 2026-04-12
|
||||
// main.go — точка входа IoT managed service.
|
||||
// Запускает controller-manager (IoTDevice CRD) и REST API сервер (порт 9090) в одном процессе.
|
||||
|
||||
@@ -0,0 +1,133 @@
|
||||
// iot-service — монолит IoT на платформе Nubes (контейнер «Простой HTTP»).
|
||||
//
|
||||
// Три роли в одном процессе:
|
||||
// - REST API + MQTT auth/acl (:9090, устройства в PostgreSQL);
|
||||
// - bridge — MQTT-подписка EMQX → shared-SQS;
|
||||
// - consumer — shared-SQS → per-tenant PostgreSQL.
|
||||
//
|
||||
// Наследие старого IoT (k8s, оператор, CRD) НЕ используется.
|
||||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"log/slog"
|
||||
"net/http"
|
||||
"os"
|
||||
"os/signal"
|
||||
"sync"
|
||||
"syscall"
|
||||
"time"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/handler"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/bridge"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/consumer"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// version — подставляется через ldflags при сборке.
|
||||
var version = "dev"
|
||||
|
||||
func main() {
|
||||
cfg, err := config.Load()
|
||||
if err != nil {
|
||||
slog.Error("config", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
|
||||
log := slog.New(slog.NewTextHandler(os.Stdout, &slog.HandlerOptions{Level: cfg.LogLevel}))
|
||||
slog.SetDefault(log)
|
||||
|
||||
log.Info("iot-service starting", "version", version, "port", cfg.APIPort)
|
||||
|
||||
ctx, cancel := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT)
|
||||
defer cancel()
|
||||
|
||||
// PostgreSQL — устройства и телеметрия.
|
||||
storeCtx, storeCancel := context.WithTimeout(ctx, 15*time.Second)
|
||||
devices, err := store.Open(storeCtx, cfg.IOTPGDSN)
|
||||
storeCancel()
|
||||
if err != nil {
|
||||
log.Error("devices store", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
defer devices.Close()
|
||||
log.Info("devices store ready")
|
||||
|
||||
// Служебная строка бриджа в iot_devices — для PG-auth EMQX (хвост 3).
|
||||
ensureCtx, ensureCancel := context.WithTimeout(ctx, 10*time.Second)
|
||||
err = devices.EnsureBridgeDevice(ensureCtx, cfg.MQTTUsername, cfg.MQTTPassword)
|
||||
ensureCancel()
|
||||
if err != nil {
|
||||
log.Error("ensure bridge device", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
log.Info("bridge device ensured", "username", cfg.MQTTUsername)
|
||||
|
||||
iotStore, err := iotpg.New(cfg.IOTPGDSN, log)
|
||||
if err != nil {
|
||||
log.Error("iotpg store", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
defer iotStore.Close()
|
||||
log.Info("telemetry store ready")
|
||||
|
||||
sqsClient := sqsclient.New(cfg)
|
||||
|
||||
h := &handler.Handler{
|
||||
Devices: devices,
|
||||
IoTPG: iotStore,
|
||||
SQS: sqsClient,
|
||||
Cfg: cfg,
|
||||
Log: log,
|
||||
Version: version,
|
||||
StartedAt: time.Now(),
|
||||
}
|
||||
|
||||
// HTTP API — в основном потоке.
|
||||
router := api.NewRouter(h, log, cfg.AuthTestMode, version)
|
||||
server := &http.Server{
|
||||
Addr: ":" + cfg.APIPort,
|
||||
Handler: router,
|
||||
ReadHeaderTimeout: 10 * time.Second,
|
||||
}
|
||||
|
||||
// bridge + consumer — в фоне.
|
||||
var wg sync.WaitGroup
|
||||
wg.Add(2)
|
||||
|
||||
go func() {
|
||||
defer wg.Done()
|
||||
if err := bridge.Run(ctx, cfg, sqsClient, log); err != nil && !errors.Is(err, context.Canceled) {
|
||||
log.Error("bridge stopped", "err", err)
|
||||
}
|
||||
}()
|
||||
|
||||
go func() {
|
||||
defer wg.Done()
|
||||
if err := consumer.Run(ctx, cfg, sqsClient, iotStore, log); err != nil && !errors.Is(err, context.Canceled) {
|
||||
log.Error("consumer stopped", "err", err)
|
||||
}
|
||||
}()
|
||||
|
||||
// Сервер: при завершении ctx — гасим.
|
||||
go func() {
|
||||
<-ctx.Done()
|
||||
shutdownCtx, shutdownCancel := context.WithTimeout(context.Background(), 10*time.Second)
|
||||
defer shutdownCancel()
|
||||
_ = server.Shutdown(shutdownCtx)
|
||||
}()
|
||||
|
||||
log.Info("iot-service listening", "addr", server.Addr)
|
||||
if err := server.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) {
|
||||
log.Error("http server", "err", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
|
||||
wg.Wait()
|
||||
log.Info("iot-service stopped")
|
||||
}
|
||||
@@ -1,3 +1,6 @@
|
||||
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-контроллер). В новой архитектуре не используется.
|
||||
// Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
// Создано: 2026-04-04
|
||||
// iotdevice_controller.go — контроллер IoTDevice CRD.
|
||||
// Логика Reconcile:
|
||||
|
||||
@@ -0,0 +1,164 @@
|
||||
# Деплой IoT на платформе Nubes без kubectl (чужой кластер)
|
||||
|
||||
**Версии на 2026-08-16:** `naeel/iot-emqx:v0.2.4`, `naeel/iot-service:v0.1.2`.
|
||||
Образы публичные на Docker Hub, каждый имеет РОВНО один EXPOSE
|
||||
(EMQX — 8083, iot-service — 9090). Поле порта в deck отсутствует — порт
|
||||
берётся из EXPOSE образа.
|
||||
|
||||
Процедура не требует kubectl: вся конфигурация задаётся env в deck-UI при
|
||||
создании контейнеров. EMQX авторизует устройства напрямую в PostgreSQL
|
||||
(таблица `iot_devices`) — адрес монолита ему НЕ нужен (в этом суть PG-auth,
|
||||
см. HISTORY секцию 27).
|
||||
|
||||
---
|
||||
|
||||
## 0. Предусловия
|
||||
|
||||
1. **PostgreSQL managed** (инстанс платформы):
|
||||
- роль `iot_service` (LOGIN) с правами **CREATEROLE + CREATEDB**
|
||||
(нужны iotpg для per-tenant БД);
|
||||
- база `iotdb` (OWNER iot_service);
|
||||
- **SSL обязателен** (pg_hba платформы: без шифрования соединение
|
||||
отклоняется) — в DSN `sslmode=require`, в EMQX `ssl.enable=true`.
|
||||
2. **shared-SQS**: тенант с креды (AccessKey/SecretKey) и очередь
|
||||
`iot-telemetry`. Внутренний endpoint тенанта вшит дефолтом в образ
|
||||
iot-service (см. config/defaults.go) — для чужого кластера уточнить
|
||||
внутренний адрес shared-sqs и задать через `SQS_ENDPOINT`.
|
||||
3. **Имена доменов** выбрать заранее (задаются в deck при создании
|
||||
контейнера), например: `iot.containerk8s.dev.nubes.ru` (API) и
|
||||
`exqx.containerk8s.dev.nubes.ru` (MQTT wss).
|
||||
|
||||
## 1. PostgreSQL (разово)
|
||||
|
||||
Подключаться к master инстанса (`postgresqlk8s-master.<instance-uid>.
|
||||
svc.cluster.local:5432`) из консоли/порт-форварда:
|
||||
|
||||
```sql
|
||||
CREATE ROLE iot_service LOGIN PASSWORD '<сгенерировать>';
|
||||
ALTER ROLE iot_service CREATEROLE CREATEDB;
|
||||
-- БД создаётся с owner iot_service (ddl_user не может SET ROLE напрямую):
|
||||
GRANT iot_service TO <текущая роль>;
|
||||
CREATE DATABASE iotdb OWNER iot_service;
|
||||
REVOKE iot_service FROM <текущая роль>;
|
||||
```
|
||||
|
||||
Таблицы (`iot_devices`, per-tenant БД телеметрии) создаются кодом
|
||||
автоматически при старте iot-service.
|
||||
|
||||
## 2. EMQX (создаётся ПЕРВЫМ)
|
||||
|
||||
Тип «Простой HTTP контейнер», образ `naeel/iot-emqx:v0.2.4`
|
||||
(или `latest` — но см. раздел 5 про обновления). CPU **≥ 1000m**
|
||||
(на квоте 500m загрузка 5–10 мин, dashboard падает с таймаутами).
|
||||
|
||||
Env (ВСЕ при создании — после создания env не меняются):
|
||||
|
||||
| Переменная | Значение |
|
||||
|---|---|
|
||||
| `EMQX_AUTHENTICATION__1__SERVER` | `postgresqlk8s-master.<uid>.svc.cluster.local:5432` |
|
||||
| `EMQX_AUTHENTICATION__1__DATABASE` | `iotdb` |
|
||||
| `EMQX_AUTHENTICATION__1__USERNAME` | `iot_service` |
|
||||
| `EMQX_AUTHENTICATION__1__PASSWORD` | пароль роли |
|
||||
| `EMQX_AUTHORIZATION__SOURCES__1__SERVER` | как AUTHENTICATION |
|
||||
| `EMQX_AUTHORIZATION__SOURCES__1__DATABASE` | `iotdb` |
|
||||
| `EMQX_AUTHORIZATION__SOURCES__1__USERNAME` | `iot_service` |
|
||||
| `EMQX_AUTHORIZATION__SOURCES__1__PASSWORD` | пароль роли |
|
||||
| `EMQX_LOG__CONSOLE_HANDLER__LEVEL` | `warning` |
|
||||
|
||||
⚠ НЕ задавать `EMQX_AUTHENTICATION__1__URL` / `EMQX_AUTHORIZATION__SOURCES__1__URL`
|
||||
(это HTTP-auth старой схемы — уронит под с `unknown_fields "url"`).
|
||||
⚠ `${VAR}` в конфиге не интерпретируется; только официальные env-переопределения.
|
||||
|
||||
Загрузка на CPU ≥1000m ~2 мин. Проверка: `curl https://<emqx-домен>/mqtt`
|
||||
должен вернуть `400` (Cowboy без subprotocol — норма); wss-рука через
|
||||
клиент с subprotocol `mqtt`.
|
||||
|
||||
После создания получить из консоли deck **UUID namespace EMQX** — он нужен
|
||||
на шаге 3.
|
||||
|
||||
## 3. iot-service (создаётся ВТОРЫМ)
|
||||
|
||||
Образ `naeel/iot-service:v0.1.2`, CPU ≥ 500m, память ≥ 256Mi.
|
||||
|
||||
Env:
|
||||
|
||||
| Переменная | Значение | Обязательна |
|
||||
|---|---|---|
|
||||
| `IOT_PG_DSN` | `postgresql://iot_service:<пароль>@postgresqlk8s-master.<uid>.svc.cluster.local:5432/iotdb?sslmode=require` | да |
|
||||
| `SQS_ACCESS_KEY` | AccessKey тенанта shared-sqs | да |
|
||||
| `SQS_SECRET_KEY` | SecretKey тенанта shared-sqs | да |
|
||||
| `MQTT_USERNAME` | `iot-bridge` | да |
|
||||
| `MQTT_PASSWORD` | пароль бриджа (тот же, что в строке `__bridge` в iot_devices) | да |
|
||||
| `MQTT_HOST` | `containerk8s.<uuid-emqx>.svc.cluster.local` | да (иначе дефолт `emqx` не резолвится) |
|
||||
| `ADMIN_STATS_TOKEN` | токен для `/iot-admin/stats` | нет |
|
||||
| `AUTH_TEST_MODE` | `false` | нет (дефолт false) |
|
||||
|
||||
Остальные дефолты вшиты в образ (API_PORT=9090, SQS_ENDPOINT, SQS_QUEUE_NAME,
|
||||
SQS_REGION, long-poll 20с, visibility 30с, MQTT_PORT=8083, MQTT_WS_PATH=/mqtt,
|
||||
MQTT_CLIENT_ID=iot-bridge, LOG_LEVEL=info).
|
||||
|
||||
Строку бриджа (`namespace='__bridge'`, `device_id=iot-bridge`,
|
||||
`mqtt_password=MQTT_PASSWORD`) монолит создаёт сам при старте
|
||||
(EnsureBridgeDevice) — вручную ничего не создавать.
|
||||
|
||||
Проверка: `GET https://<iot-домен>/health` → `{"status":"ok","version":"..."}`.
|
||||
Бридж в логах: `bridge: MQTT connected` + `bridge: subscribed`.
|
||||
|
||||
## 4. Устройства (регистрация)
|
||||
|
||||
Устройство создаётся через API (JWT Bearer; структурная проверка sub+exp,
|
||||
подпись на этом уровне не проверяется — периметр обеспечивает платформа):
|
||||
|
||||
```bash
|
||||
# токен для API (sub+exp):
|
||||
TOKEN=$(python3 -c "import base64,json,time;h=base64.urlsafe_b64encode(b'{\"alg\":\"none\",\"typ\":\"JWT\"}').rstrip(b'=').decode();p=base64.urlsafe_b64encode(json.dumps({'sub':'admin','exp':int(time.time())+86400}).encode()).rstrip(b'=').decode();print(h+'.'+p+'.sig')")
|
||||
curl -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
|
||||
-d '{"name":"dev1","device_id":"dev-001"}' \
|
||||
https://<iot-домен>/v1/namespaces/<ns>/iot/devices
|
||||
```
|
||||
|
||||
Ответ содержит `mqtt_username` = `<ns>_<device_id>` и `mqtt_password`.
|
||||
Повторный просмотр пароля: `GET /v1/namespaces/<ns>/iot/devices/<name>`.
|
||||
|
||||
Устройство подключается:
|
||||
- URL: `wss://<emqx-домен>/mqtt`, подпротокол `mqtt`;
|
||||
- username `<ns>_<device_id>`, password из ответа API;
|
||||
- публикация: топик `<ns>/telemetry/<device_id>`;
|
||||
- подписка разрешена только на свой топик (ACL).
|
||||
|
||||
Негативные auth-тесты (должны быть отказ): неверный пароль → CONNACK rc=4;
|
||||
неизвестный username → rc=5. Проверять через on_connect rc (rc из
|
||||
`paho.connect()` всегда 0 даже при отказе!).
|
||||
|
||||
Телеметрия: `GET /v1/namespaces/<ns>/iot/telemetry?limit=100`
|
||||
(тоже JWT Bearer).
|
||||
|
||||
## 5. Обновления образов
|
||||
|
||||
Платформа кэширует `latest` зеркалом, а путь к образу фиксируется при
|
||||
создании контейнера. Без kubectl обновление = **пересоздание контейнера в
|
||||
deck с конкретным тегом** (`naeel/iot-emqx:v0.2.4`, `naeel/iot-service:v0.1.2`).
|
||||
В своём кластере (есть kubectl): `kubectl -n <ns> set image
|
||||
deployment/containerk8s app=<image>:<tag>` — зеркало подтянет уникальный тег.
|
||||
|
||||
## 6. Диагностика (кратко)
|
||||
|
||||
- EMQX не поднялся: `kubectl logs` (если доступен) или `curl` домена —
|
||||
503 = под лежит; schema-ошибки видны в логах запуска
|
||||
(`failed_to_check_schema`, `unknown_fields`).
|
||||
- Устройство не авторизуется: включить `EMQX_LOG__CONSOLE_HANDLER__LEVEL=debug`,
|
||||
смотреть `authenticator_result`/`authentication_result` и CONNACK ReasonCode.
|
||||
- Бридж отваливается: в логах монолита `bridge: ...`; после рестарта EMQX
|
||||
бридж переподписывается автоматически (фикс resubscribe в OnConnectHandler,
|
||||
HISTORY секция 26).
|
||||
- Телеметрия не доходит: цепочка устройство → EMQX → бридж → SQS
|
||||
`iot-telemetry` → consumer → PG; сверять счётчики по HISTORY секции 26.4.
|
||||
|
||||
## 7. Известные ограничения платформы
|
||||
|
||||
- Edge-шлюз платформы рвёт wss ~150с (тикет Nubes подготовлен) — внешние
|
||||
устройства должны переподключаться; внутри кластера (бридж) проблем нет.
|
||||
- Внешний путь к SQS — таймауты ~31–33с (~5.5% запросов) и MSS-проблема;
|
||||
монолит использует внутренний endpoint shared-sqs.
|
||||
- env фиксируются при создании контейнера; ошиблись — пересоздать.
|
||||
EOF
|
||||
@@ -0,0 +1,70 @@
|
||||
# Интеграция IoT ↔ shared-sqs: состояние и рекомендации
|
||||
|
||||
> Составлено 2026-08-16 на основе работ по сервису shared-sqs (SQS-совместимая
|
||||
> очередь на платформе Nubes). IoT будет использовать shared-sqs так же, как
|
||||
> сам shared-sqs использует managed-сервисы платформы.
|
||||
|
||||
## 1. Что такое shared-sqs (кратко)
|
||||
|
||||
- SQS-совместимая очередь (AWS API), Go, multi-tenant, форк GoAWS.
|
||||
- Версия на проде: **v0.1.35**.
|
||||
- Внешний endpoint: `https://sqs.containerk8s.dev.nubes.ru` (регион `us-east-1`).
|
||||
- Внутренний endpoint (для подов в том же кластере Nubes, realm iot-naeel):
|
||||
`http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100`
|
||||
- Реализовано: CreateQueue, GetQueueUrl, ListQueues, SendMessage(+Batch),
|
||||
ReceiveMessage, DeleteMessage(+Batch), ChangeMessageVisibility(+Batch),
|
||||
PurgeQueue, DeleteQueue, Get/SetQueueAttributes, TagQueue/Untag/List,
|
||||
FIFO (порядок + dedup 5 мин), Dead Letter Queues (RedrivePolicy).
|
||||
- Лимиты: 50 очередей на тенанта, сообщение до 256 КБ, Receive 1–10 сообщений.
|
||||
|
||||
## 2. Что сделано и проверено (состояние на 16.08)
|
||||
|
||||
- Все тесты зелёные: api_test 22/22, sdk_test 15/15, FIFO/DLQ e2e PASS.
|
||||
- План проверок выполнен полностью (таймауты сервера, рестарты, long-poll,
|
||||
CLI в нагрузке, память 2ч, граница лимита 50).
|
||||
- Нагрузка: 168 591 операция без единой сервисной ошибки.
|
||||
- Сравнение с Yandex YMQ: shared-sqs быстрее (p50 6–8мс из внутренней сети,
|
||||
89–90мс из интернета против 60–62мс / 138–150мс у YMQ).
|
||||
|
||||
## 3. Известные проблемы ПЛАТФОРМЫ (не сервиса)
|
||||
|
||||
1. **Таймауты каждые 31–33с на внешнем пути** (интернет → шлюз Nubes): ~5.5%
|
||||
запросов не получают ответ 30с. Доказано серверным tcpdump: в момент сбоя
|
||||
запрос не доходит до пода; внутри кластера потерь нет (port-forward —
|
||||
24977 раундов, 0 сбоев). Тикет в поддержку Nubes подготовлен.
|
||||
2. **MSS=1448** на шлюзе при MTU пода 1400/underlay 1450: тела >~1400 байт
|
||||
могут виснуть ~51с (PMTUD сломан).
|
||||
|
||||
## 4. Рекомендации по интеграции IoT → shared-sqs
|
||||
|
||||
1. **Использовать AWS SDK** (aws-sdk-go или boto3) с переопределением
|
||||
endpoint'а. Не писать свой HTTP-клиент.
|
||||
2. **Ходить по внутренней сети, если IoT на Nubes в том же кластере:**
|
||||
внутренний URL из п.1 полностью обходит проблемный внешний шлюз —
|
||||
таймаутов 31–33с и MTU-проблем там нет. Это главная рекомендация.
|
||||
3. **Клиентские ретраи обязательны:** retries ≥ 3, read_timeout ≥ 30с
|
||||
(для внешнего пути). При внутреннем пути достаточно дефолтов.
|
||||
4. **Размер сообщений:** до ~1300 байт — безопасно всегда; большие тела —
|
||||
только после фикса MSS шлюзом, либо бить на части.
|
||||
5. **Receive:** VisibilityTimeout ставьте с запасом на обработку (30с+);
|
||||
`ChangeMessageVisibility(0)` — мгновенный возврат в очередь; long-poll
|
||||
(WaitTimeSeconds) поддерживается.
|
||||
6. **FIFO:** обязателен `MessageGroupId`; dedup-окно 5 минут; порядок
|
||||
гарантирован внутри группы.
|
||||
7. **DLQ:** настраивается RedrivePolicy (`deadLetterTargetArn`,
|
||||
`maxReceiveCount`); ARN DLQ должен быть tenant-scoped (как в тестах).
|
||||
8. **Лимит:** 50 очередей на тенанта — держать список очередей под контролем.
|
||||
9. **Мониторинг:** `/health` отдаёт `{"status":"ok","version":...}`;
|
||||
метрики платформы — Grafana (как для остальных managed-сервисов).
|
||||
|
||||
## 5. Аутентификация
|
||||
|
||||
- Креды тенанта детерминированы: tenantID `t-`+sha256(email)[:8],
|
||||
AccessKey `SSAK-`+sha256(email)[:12],
|
||||
SecretKey sha256(email+":shared-sqs:secret-key:v1").
|
||||
- IoT получит свой тенант/креды через консоль Nubes (как другие сервисы).
|
||||
|
||||
## 6. Что осталось до полного прода
|
||||
|
||||
- Отправить тикет Nubes (таймауты шлюза + MSS) — единственный блокер для
|
||||
интернет-клиентов. Для внутренней интеграции IoT блокеров нет.
|
||||
@@ -0,0 +1,14 @@
|
||||
# EMQX для IoT на платформе Nubes.
|
||||
# Образ: naeel/iot-emqx (Docker Hub, публичный).
|
||||
#
|
||||
# БАЗА — официальный emqx/emqx:5.5.1 (проверен на платформе: заводится, логи в
|
||||
# stdout). Добавляем только наш emqx.conf (auth/ACL, listeners, логи).
|
||||
# ⚠️ У образа 7 EXPOSE-портов (наследие базы) — deck-UI при СОЗДАНИИ требует
|
||||
# один порт; в НАШЕМ кластере используется kubectl set image, вопрос одного
|
||||
# EXPOSE для чужого кластера — отдельная задача (тикет Nubes).
|
||||
|
||||
FROM emqx/emqx:5.5.1
|
||||
|
||||
COPY emqx.conf /opt/emqx/etc/emqx.conf
|
||||
|
||||
EXPOSE 8083
|
||||
@@ -0,0 +1,13 @@
|
||||
# EMQX-контейнер для IoT (образ naeel/iot-emqx).
|
||||
|
||||
VERSION ?= v0.2.4
|
||||
IMAGE ?= naeel/iot-emqx
|
||||
|
||||
.PHONY: docker-build docker-push
|
||||
|
||||
docker-build:
|
||||
docker build -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
|
||||
|
||||
docker-push:
|
||||
docker push $(IMAGE):$(VERSION)
|
||||
docker push $(IMAGE):latest
|
||||
+119
@@ -0,0 +1,119 @@
|
||||
## EMQX 5.x — конфиг для контейнера IoT на платформе Nubes.
|
||||
## Вшит в образ naeel/iot-emqx. Auth/ACL — напрямую в PostgreSQL (iot_devices),
|
||||
## без зависимости от адреса монолита: EMQX можно создать в deck ДО iot-service.
|
||||
##
|
||||
## ⚠ ${VAR}-интерполяция в этом конфиге НЕ работает (проверено на 5.5.1:
|
||||
## значения попадают в конфиг буквально). Параметры PG задаются ТОЛЬКО
|
||||
## официальными env-переопределениями (deck-UI или kubectl set env):
|
||||
## EMQX_AUTHENTICATION__1__SERVER — host:port master (внутренний svc)
|
||||
## EMQX_AUTHENTICATION__1__DATABASE — имя БД (iotdb)
|
||||
## EMQX_AUTHENTICATION__1__USERNAME — роль (iot_service)
|
||||
## EMQX_AUTHENTICATION__1__PASSWORD — пароль роли
|
||||
## EMQX_AUTHORIZATION__SOURCES__1__SERVER / DATABASE / USERNAME / PASSWORD
|
||||
## SSL обязателен (pg_hba платформы): ssl = {enable=true, verify=verify_none}.
|
||||
## ⚠ В authz-postgresql НЕ поддерживаются плейсхолдеры ${action}/${topic} —
|
||||
## action/topic возвращаются КОЛОНКАМИ результата запроса (проверено на 5.5.1:
|
||||
## ${action} подставлялся как литерал "{action}" и ACL-запрос падал).
|
||||
|
||||
node {
|
||||
name = "emqx@127.0.0.1"
|
||||
cookie = "iot-emqx-cookie-mvp"
|
||||
data_dir = "/opt/emqx/data"
|
||||
}
|
||||
|
||||
## Auth — PostgreSQL: устройства в iot_devices.
|
||||
## username устройства = namespace || '_' || device_id; бридж: namespace='__bridge',
|
||||
## username = device_id (строка создаётся монолитом EnsureBridgeDevice при старте).
|
||||
authentication = [
|
||||
{
|
||||
mechanism = password_based
|
||||
backend = postgresql
|
||||
enable = true
|
||||
server = "127.0.0.1:5432"
|
||||
database = "iotdb"
|
||||
username = "iot_service"
|
||||
password = "placeholder"
|
||||
auto_reconnect = true
|
||||
pool_size = 8
|
||||
ssl {
|
||||
enable = true
|
||||
verify = verify_none
|
||||
}
|
||||
password_hash_algorithm {
|
||||
name = plain
|
||||
salt_position = disable
|
||||
}
|
||||
query = "SELECT mqtt_password AS password_hash FROM iot_devices WHERE enabled = true AND (namespace || '_' || device_id = ${username} OR (namespace = '__bridge' AND ${username} = device_id)) LIMIT 1"
|
||||
}
|
||||
]
|
||||
|
||||
## ACL — PostgreSQL: устройства pub/sub только в свой топик ns/telemetry/device_id,
|
||||
## бридж — subscribe на "+/telemetry/+".
|
||||
## no_match = deny: нет строки в iot_devices или устройство выключено — запрет.
|
||||
authorization {
|
||||
no_match = deny
|
||||
deny_action = disconnect
|
||||
cache {
|
||||
enable = true
|
||||
max_size = 32
|
||||
ttl = 1m
|
||||
}
|
||||
sources = [
|
||||
{
|
||||
type = postgresql
|
||||
enable = true
|
||||
server = "127.0.0.1:5432"
|
||||
database = "iotdb"
|
||||
username = "iot_service"
|
||||
password = "placeholder"
|
||||
auto_reconnect = true
|
||||
pool_size = 8
|
||||
ssl {
|
||||
enable = true
|
||||
verify = verify_none
|
||||
}
|
||||
query = "SELECT 'allow' AS permission, 'subscribe' AS action, '+/telemetry/+' AS topic FROM iot_devices WHERE enabled = true AND namespace = '__bridge' AND ${username} = device_id UNION ALL SELECT 'allow' AS permission, a.action, namespace || '/telemetry/' || device_id AS topic FROM iot_devices, (VALUES ('publish'), ('subscribe')) AS a(action) WHERE enabled = true AND namespace || '_' || device_id = ${username}"
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
mqtt {
|
||||
max_packet_size = 1MB
|
||||
max_topic_levels = 10
|
||||
retain_available = false
|
||||
}
|
||||
|
||||
## Логи: console (stdout) — видны через kubectl logs платформы.
|
||||
## Файловый handler отключён (у USER emqx нет прав на /var/log/emqx при deb).
|
||||
log {
|
||||
console_handler {
|
||||
enable = true
|
||||
level = warning
|
||||
}
|
||||
file_handlers.default {
|
||||
enable = false
|
||||
}
|
||||
}
|
||||
|
||||
## Listeners: WebSocket — единственный порт контейнера платформы (8083).
|
||||
## TCP 1883 остаётся для диагностики (не экспонируется платформой).
|
||||
listeners.tcp.default {
|
||||
bind = "0.0.0.0:1883"
|
||||
max_connections = 1024
|
||||
}
|
||||
|
||||
listeners.ws.default {
|
||||
bind = "0.0.0.0:8083"
|
||||
websocket {
|
||||
mqtt_path = "/mqtt"
|
||||
}
|
||||
max_connections = 512
|
||||
}
|
||||
|
||||
## Dashboard ОТКЛЮЧЁН (enable=false): на CPU-квоте 500m swagger-генерация падает
|
||||
## с таймаутами и засоряет логи. Диагностика — через порт 1883/ctl.
|
||||
dashboard {
|
||||
listeners.http {
|
||||
enable = false
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
// admin_embed.go — встраивает HTML страницы администратора в бинарник.
|
||||
package api
|
||||
|
||||
import (
|
||||
_ "embed"
|
||||
"net/http"
|
||||
)
|
||||
|
||||
// iotAdminHTML — страница /iot-admin, встроена при сборке.
|
||||
//
|
||||
//go:embed ui/iot-admin.html
|
||||
var iotAdminHTML []byte
|
||||
|
||||
// ServeIoTAdmin отдаёт HTML страницу администратора.
|
||||
func ServeIoTAdmin(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "text/html; charset=utf-8")
|
||||
w.Header().Set("Cache-Control", "no-cache, must-revalidate")
|
||||
w.WriteHeader(http.StatusOK)
|
||||
_, _ = w.Write(iotAdminHTML)
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
// console_embed.go — встраивает HTML IoT консоли в бинарник.
|
||||
package api
|
||||
|
||||
import (
|
||||
_ "embed"
|
||||
"net/http"
|
||||
)
|
||||
|
||||
// iotConsoleHTML — консоль /console, встроена при сборке.
|
||||
//
|
||||
//go:embed ui/iot-console.html
|
||||
var iotConsoleHTML []byte
|
||||
|
||||
// ServeIoTConsole отдаёт HTML консоли.
|
||||
func ServeIoTConsole(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "text/html; charset=utf-8")
|
||||
w.Header().Set("Cache-Control", "no-cache, must-revalidate")
|
||||
w.WriteHeader(http.StatusOK)
|
||||
_, _ = w.Write(iotConsoleHTML)
|
||||
}
|
||||
@@ -0,0 +1,58 @@
|
||||
// admin.go — статистика для страницы администратора.
|
||||
//
|
||||
// Endpoint: GET /iot-admin/stats (Bearer ADMIN_STATS_TOKEN).
|
||||
// Источники: PostgreSQL (iotpg), shared-SQS (атрибуты очереди), рантайм процесса.
|
||||
// k8s-статусы подов убраны — компоненты теперь в одном процессе.
|
||||
package handler
|
||||
|
||||
import (
|
||||
"context"
|
||||
"net/http"
|
||||
"strings"
|
||||
"time"
|
||||
)
|
||||
|
||||
// AdminStats — GET /iot-admin/stats.
|
||||
func (h *Handler) AdminStats(w http.ResponseWriter, r *http.Request) {
|
||||
if h.Cfg.AdminStatsToken == "" {
|
||||
writeJSON(w, http.StatusServiceUnavailable, errResp("admin stats not configured: ADMIN_STATS_TOKEN not set"))
|
||||
return
|
||||
}
|
||||
|
||||
authHeader := r.Header.Get("Authorization")
|
||||
if !strings.HasPrefix(authHeader, "Bearer ") || strings.TrimPrefix(authHeader, "Bearer ") != h.Cfg.AdminStatsToken {
|
||||
writeJSON(w, http.StatusUnauthorized, errResp("unauthorized"))
|
||||
return
|
||||
}
|
||||
|
||||
ctx, cancel := context.WithTimeout(r.Context(), 15*time.Second)
|
||||
defer cancel()
|
||||
|
||||
result := map[string]any{
|
||||
"collected_at": time.Now().UTC(),
|
||||
}
|
||||
|
||||
// PostgreSQL: статистика по всем tenant (как в старом коде).
|
||||
if h.IoTPG != nil {
|
||||
pgStats, err := h.IoTPG.GetAdminStats(ctx)
|
||||
if err != nil {
|
||||
result["postgres"] = map[string]any{"reachable": false, "error": err.Error()}
|
||||
} else {
|
||||
result["postgres"] = pgStats
|
||||
}
|
||||
} else {
|
||||
result["postgres"] = map[string]any{"reachable": false, "error": "IoTPG not configured"}
|
||||
}
|
||||
|
||||
// SQS: approximate counts очереди телеметрии.
|
||||
result["sqs"] = h.collectSQSStats(ctx)
|
||||
|
||||
// Рантайм процесса (вместо статусов k8s-подов).
|
||||
result["runtime"] = map[string]any{
|
||||
"version": h.Version,
|
||||
"uptime_sec": int64(time.Since(h.StartedAt).Seconds()),
|
||||
"started_at": h.StartedAt.UTC().Format(time.RFC3339),
|
||||
}
|
||||
|
||||
writeJSON(w, http.StatusOK, result)
|
||||
}
|
||||
@@ -0,0 +1,244 @@
|
||||
// devices.go — CRUD устройств на PostgreSQL.
|
||||
//
|
||||
// Endpoints:
|
||||
//
|
||||
// POST /v1/namespaces/{ns}/iot/devices — создать
|
||||
// GET /v1/namespaces/{ns}/iot/devices — список (без паролей)
|
||||
// GET /v1/namespaces/{ns}/iot/devices/{name} — одно (с паролем)
|
||||
// DELETE /v1/namespaces/{ns}/iot/devices/{name} — удалить
|
||||
// PATCH /v1/namespaces/{ns}/iot/devices/{name} — enabled
|
||||
package handler
|
||||
|
||||
import (
|
||||
"crypto/rand"
|
||||
"encoding/hex"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
|
||||
)
|
||||
|
||||
// iotDeviceCreateRequest — тело POST.
|
||||
type iotDeviceCreateRequest struct {
|
||||
Name string `json:"name"`
|
||||
DeviceID string `json:"device_id"`
|
||||
Enabled *bool `json:"enabled"`
|
||||
Metadata map[string]string `json:"metadata,omitempty"`
|
||||
}
|
||||
|
||||
// iotDeviceUpdateRequest — тело PATCH.
|
||||
type iotDeviceUpdateRequest struct {
|
||||
Enabled *bool `json:"enabled"`
|
||||
}
|
||||
|
||||
// iotDeviceResponse — ответ API. MQTTPassword — только в GET по имени.
|
||||
type iotDeviceResponse struct {
|
||||
Name string `json:"name"`
|
||||
Namespace string `json:"namespace"`
|
||||
DeviceID string `json:"device_id"`
|
||||
Enabled bool `json:"enabled"`
|
||||
Phase string `json:"phase"`
|
||||
MQTTUsername string `json:"mqtt_username,omitempty"`
|
||||
MQTTPassword string `json:"mqtt_password,omitempty"`
|
||||
TopicPrefix string `json:"topic_prefix,omitempty"`
|
||||
LastConnected string `json:"last_connected,omitempty"`
|
||||
Metadata map[string]string `json:"metadata,omitempty"`
|
||||
CreatedAt string `json:"created_at,omitempty"`
|
||||
}
|
||||
|
||||
// deviceToResponse конвертирует устройство из БД в ответ API.
|
||||
// password отдаётся только если непустая (передаётся явно из Get).
|
||||
func deviceToResponse(d *store.Device, password string) iotDeviceResponse {
|
||||
resp := iotDeviceResponse{
|
||||
Name: d.Name,
|
||||
Namespace: d.Namespace,
|
||||
DeviceID: d.DeviceID,
|
||||
Enabled: d.Enabled,
|
||||
Phase: d.Phase,
|
||||
MQTTUsername: d.Namespace + "_" + d.DeviceID,
|
||||
MQTTPassword: password,
|
||||
TopicPrefix: d.Namespace + "/",
|
||||
Metadata: d.Metadata,
|
||||
}
|
||||
if d.LastConnected != nil && !d.LastConnected.IsZero() {
|
||||
resp.LastConnected = d.LastConnected.UTC().Format(time.RFC3339)
|
||||
}
|
||||
if !d.CreatedAt.IsZero() {
|
||||
resp.CreatedAt = d.CreatedAt.UTC().Format("2006-01-02 15:04:05 UTC")
|
||||
}
|
||||
return resp
|
||||
}
|
||||
|
||||
// generateMQTTPassword — 32 случайных байта в hex (как старый контроллер).
|
||||
func generateMQTTPassword() (string, error) {
|
||||
buf := make([]byte, 32)
|
||||
if _, err := rand.Read(buf); err != nil {
|
||||
return "", err
|
||||
}
|
||||
return hex.EncodeToString(buf), nil
|
||||
}
|
||||
|
||||
// CreateIoTDevice — POST /v1/namespaces/{ns}/iot/devices.
|
||||
func (h *Handler) CreateIoTDevice(w http.ResponseWriter, r *http.Request) {
|
||||
ns := pathVar(r, "namespace")
|
||||
if ns == "" {
|
||||
ns = "default"
|
||||
}
|
||||
|
||||
var req iotDeviceCreateRequest
|
||||
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
|
||||
writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error()))
|
||||
return
|
||||
}
|
||||
if req.Name == "" {
|
||||
writeJSON(w, http.StatusBadRequest, errResp("name is required"))
|
||||
return
|
||||
}
|
||||
if req.DeviceID == "" {
|
||||
writeJSON(w, http.StatusBadRequest, errResp("device_id is required"))
|
||||
return
|
||||
}
|
||||
|
||||
enabled := true
|
||||
if req.Enabled != nil {
|
||||
enabled = *req.Enabled
|
||||
}
|
||||
|
||||
password, err := generateMQTTPassword()
|
||||
if err != nil {
|
||||
h.Log.Error("generate device password", "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to generate credentials"))
|
||||
return
|
||||
}
|
||||
|
||||
phase := "Active"
|
||||
if !enabled {
|
||||
phase = "Disabled"
|
||||
}
|
||||
|
||||
device := &store.Device{
|
||||
Namespace: ns,
|
||||
Name: req.Name,
|
||||
DeviceID: req.DeviceID,
|
||||
Enabled: enabled,
|
||||
MQTTPassword: password,
|
||||
Metadata: req.Metadata,
|
||||
Phase: phase,
|
||||
}
|
||||
|
||||
if err := h.Devices.Create(r.Context(), device); err != nil {
|
||||
if errors.Is(err, store.ErrAlreadyExists) {
|
||||
writeJSON(w, http.StatusConflict, errResp("iot device already exists"))
|
||||
return
|
||||
}
|
||||
h.Log.Error("create device", "namespace", ns, "name", req.Name, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to create device"))
|
||||
return
|
||||
}
|
||||
|
||||
writeJSON(w, http.StatusCreated, deviceToResponse(device, ""))
|
||||
}
|
||||
|
||||
// ListIoTDevices — GET /v1/namespaces/{ns}/iot/devices (без паролей).
|
||||
func (h *Handler) ListIoTDevices(w http.ResponseWriter, r *http.Request) {
|
||||
ns := pathVar(r, "namespace")
|
||||
if ns == "" {
|
||||
ns = "default"
|
||||
}
|
||||
|
||||
devices, err := h.Devices.List(r.Context(), ns)
|
||||
if err != nil {
|
||||
h.Log.Error("list devices", "namespace", ns, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to list devices"))
|
||||
return
|
||||
}
|
||||
|
||||
result := make([]iotDeviceResponse, 0, len(devices))
|
||||
for i := range devices {
|
||||
result = append(result, deviceToResponse(&devices[i], ""))
|
||||
}
|
||||
writeJSON(w, http.StatusOK, result)
|
||||
}
|
||||
|
||||
// GetIoTDevice — GET /v1/namespaces/{ns}/iot/devices/{name} (с паролем).
|
||||
func (h *Handler) GetIoTDevice(w http.ResponseWriter, r *http.Request) {
|
||||
ns := pathVar(r, "namespace")
|
||||
if ns == "" {
|
||||
ns = "default"
|
||||
}
|
||||
name := pathVar(r, "name")
|
||||
|
||||
device, err := h.Devices.GetByName(r.Context(), ns, name)
|
||||
if err != nil {
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
|
||||
return
|
||||
}
|
||||
h.Log.Error("get device", "namespace", ns, "name", name, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to get device"))
|
||||
return
|
||||
}
|
||||
|
||||
writeJSON(w, http.StatusOK, deviceToResponse(device, device.MQTTPassword))
|
||||
}
|
||||
|
||||
// DeleteIoTDevice — DELETE /v1/namespaces/{ns}/iot/devices/{name}.
|
||||
func (h *Handler) DeleteIoTDevice(w http.ResponseWriter, r *http.Request) {
|
||||
ns := pathVar(r, "namespace")
|
||||
if ns == "" {
|
||||
ns = "default"
|
||||
}
|
||||
name := pathVar(r, "name")
|
||||
|
||||
err := h.Devices.Delete(r.Context(), ns, name)
|
||||
if err != nil {
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
|
||||
return
|
||||
}
|
||||
h.Log.Error("delete device", "namespace", ns, "name", name, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to delete device"))
|
||||
return
|
||||
}
|
||||
|
||||
w.WriteHeader(http.StatusNoContent)
|
||||
}
|
||||
|
||||
// UpdateIoTDevice — PATCH /v1/namespaces/{ns}/iot/devices/{name} (enabled).
|
||||
func (h *Handler) UpdateIoTDevice(w http.ResponseWriter, r *http.Request) {
|
||||
ns := pathVar(r, "namespace")
|
||||
if ns == "" {
|
||||
ns = "default"
|
||||
}
|
||||
name := pathVar(r, "name")
|
||||
|
||||
var req iotDeviceUpdateRequest
|
||||
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
|
||||
writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error()))
|
||||
return
|
||||
}
|
||||
if req.Enabled == nil {
|
||||
writeJSON(w, http.StatusBadRequest, errResp("enabled field is required"))
|
||||
return
|
||||
}
|
||||
|
||||
err := h.Devices.UpdateEnabled(r.Context(), ns, name, *req.Enabled)
|
||||
if err != nil {
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
|
||||
return
|
||||
}
|
||||
h.Log.Error("update device", "namespace", ns, "name", name, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to update device"))
|
||||
return
|
||||
}
|
||||
|
||||
device, err := h.Devices.GetByName(r.Context(), ns, name)
|
||||
if err != nil {
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to reload device"))
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, deviceToResponse(device, ""))
|
||||
}
|
||||
@@ -0,0 +1,49 @@
|
||||
// Package handler — HTTP-обработчики IoT REST API (новый монолит).
|
||||
//
|
||||
// Отличие от старого кода: устройства — в PostgreSQL (таблица iot_devices),
|
||||
// без k8s-клиента и CRD. Телеметрия — через iotpg, как раньше.
|
||||
package handler
|
||||
|
||||
import (
|
||||
"encoding/json"
|
||||
"log/slog"
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
"github.com/gorilla/mux"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// Handler — зависимости всех HTTP-обработчиков.
|
||||
type Handler struct {
|
||||
Devices *store.DeviceStore
|
||||
IoTPG *iotpg.IoTPostgresStore
|
||||
SQS *sqs.Client
|
||||
Cfg *config.Config
|
||||
Log *slog.Logger
|
||||
|
||||
// Version — версия бинарника (ldflags), StartedAt — для админ-статистики.
|
||||
Version string
|
||||
StartedAt time.Time
|
||||
}
|
||||
|
||||
// writeJSON отправляет JSON-ответ с указанным статусом.
|
||||
func writeJSON(w http.ResponseWriter, status int, v any) {
|
||||
w.Header().Set("Content-Type", "application/json")
|
||||
w.WriteHeader(status)
|
||||
_ = json.NewEncoder(w).Encode(v)
|
||||
}
|
||||
|
||||
// errResp возвращает структуру ошибки для JSON.
|
||||
func errResp(msg string) map[string]string {
|
||||
return map[string]string{"error": msg}
|
||||
}
|
||||
|
||||
// pathVar читает переменную пути из gorilla/mux.
|
||||
func pathVar(r *http.Request, key string) string {
|
||||
return mux.Vars(r)[key]
|
||||
}
|
||||
@@ -0,0 +1,167 @@
|
||||
// mqtt_auth.go — HTTP-auth и ACL для EMQX (MQTT CONNECT / pub-sub).
|
||||
//
|
||||
// Endpoints (без JWT, вызываются EMQX внутри платформы):
|
||||
//
|
||||
// POST /internal/mqtt/auth — аутентификация: всегда HTTP 200, {"result":"allow"|"deny"}
|
||||
// POST /internal/mqtt/acl — авторизация pub/sub
|
||||
//
|
||||
// Источник устройств — таблица iot_devices (не k8s Secrets).
|
||||
package handler
|
||||
|
||||
import (
|
||||
"crypto/subtle"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"net/http"
|
||||
"strings"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
|
||||
)
|
||||
|
||||
// mqttAuthRequest — тело запроса от EMQX 5.x (username, password, clientid, peerhost).
|
||||
type mqttAuthRequest struct {
|
||||
Username string `json:"username"`
|
||||
Password string `json:"password"`
|
||||
ClientID string `json:"clientid"`
|
||||
PeerHost string `json:"peerhost"`
|
||||
}
|
||||
|
||||
// mqttAuthResponse — ответ для EMQX (всегда HTTP 200).
|
||||
type mqttAuthResponse struct {
|
||||
Result string `json:"result"`
|
||||
ACL []aclRule `json:"acl,omitempty"`
|
||||
}
|
||||
|
||||
// aclRule — правило ACL для EMQX HTTP auth.
|
||||
type aclRule struct {
|
||||
Permission string `json:"permission"`
|
||||
Action string `json:"action"`
|
||||
Topic string `json:"topic"`
|
||||
}
|
||||
|
||||
// mqttAclRequest — тело запроса ACL от EMQX.
|
||||
type mqttAclRequest struct {
|
||||
Username string `json:"username"`
|
||||
ClientID string `json:"clientid"`
|
||||
Action string `json:"action"`
|
||||
Topic string `json:"topic"`
|
||||
}
|
||||
|
||||
// MQTTAuth — POST /internal/mqtt/auth.
|
||||
//
|
||||
// Логика:
|
||||
// 1. bridge-креды (MQTT_USERNAME/MQTT_PASSWORD из env) — проверяются до парсинга;
|
||||
// 2. username "{ns}_{deviceId}" → поиск устройства в iot_devices;
|
||||
// 3. constant-time сравнение пароля; проверка enabled;
|
||||
// 4. best-effort last_connected; ACL по топику устройства.
|
||||
func (h *Handler) MQTTAuth(w http.ResponseWriter, r *http.Request) {
|
||||
var req mqttAuthRequest
|
||||
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
|
||||
// Внутренний bridge-клиент: фиксированные креды, ACL выдаётся ниже.
|
||||
if h.Cfg.MQTTUsername != "" && req.Username == h.Cfg.MQTTUsername {
|
||||
if subtle.ConstantTimeCompare([]byte(h.Cfg.MQTTPassword), []byte(req.Password)) == 1 {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{
|
||||
Result: "allow",
|
||||
ACL: bridgeACLRules(),
|
||||
})
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
|
||||
// Парсим username: "{namespace}_{deviceId}" (первый '_' — разделитель).
|
||||
idx := strings.Index(req.Username, "_")
|
||||
if idx <= 0 || idx == len(req.Username)-1 {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
ns := req.Username[:idx]
|
||||
deviceID := req.Username[idx+1:]
|
||||
|
||||
device, err := h.Devices.GetByDeviceID(r.Context(), ns, deviceID)
|
||||
if err != nil {
|
||||
if !errors.Is(err, store.ErrNotFound) {
|
||||
h.Log.Error("mqtt auth: device lookup", "namespace", ns, "device", deviceID, "err", err)
|
||||
}
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
if !device.Enabled {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
if subtle.ConstantTimeCompare([]byte(device.MQTTPassword), []byte(req.Password)) != 1 {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
|
||||
// best-effort: обновляем время последнего подключения
|
||||
h.Devices.TouchLastConnected(r.Context(), ns, deviceID)
|
||||
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{
|
||||
Result: "allow",
|
||||
ACL: deviceACLRules(ns, deviceID),
|
||||
})
|
||||
}
|
||||
|
||||
// MQTTAcl — POST /internal/mqtt/acl.
|
||||
//
|
||||
// Bridge (clientID из env MQTT_CLIENT_ID): только subscribe.
|
||||
// Устройство ({ns}_{deviceId}): pub/sub в своём топике.
|
||||
func (h *Handler) MQTTAcl(w http.ResponseWriter, r *http.Request) {
|
||||
var req mqttAclRequest
|
||||
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
|
||||
if req.ClientID == h.Cfg.MQTTClientID {
|
||||
if req.Action == "subscribe" {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
|
||||
idx := strings.Index(req.Username, "_")
|
||||
if idx <= 0 || idx == len(req.Username)-1 {
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
return
|
||||
}
|
||||
ns := req.Username[:idx]
|
||||
deviceID := req.Username[idx+1:]
|
||||
deviceTopic := ns + "/telemetry/" + deviceID
|
||||
|
||||
switch {
|
||||
case req.Action == "publish" && req.Topic == deviceTopic:
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
|
||||
case req.Action == "subscribe" && (req.Topic == deviceTopic || req.Topic == "#"):
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
|
||||
default:
|
||||
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
|
||||
}
|
||||
}
|
||||
|
||||
// bridgeACLRules — ACL для внутреннего bridge: subscribe на все telemetry-топики.
|
||||
func bridgeACLRules() []aclRule {
|
||||
return []aclRule{
|
||||
{Permission: "allow", Action: "subscribe", Topic: "+/telemetry/+"},
|
||||
{Permission: "deny", Action: "all", Topic: "#"},
|
||||
}
|
||||
}
|
||||
|
||||
// deviceACLRules — ACL для устройства: только свой топик телеметрии.
|
||||
func deviceACLRules(ns, deviceID string) []aclRule {
|
||||
topic := ns + "/telemetry/" + deviceID
|
||||
return []aclRule{
|
||||
{Permission: "allow", Action: "publish", Topic: topic},
|
||||
{Permission: "allow", Action: "subscribe", Topic: topic},
|
||||
{Permission: "deny", Action: "all", Topic: "#"},
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
// sqsstats.go — сбор статистики очереди shared-SQS для админ-страницы.
|
||||
package handler
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"strconv"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
sqstypes "github.com/aws/aws-sdk-go-v2/service/sqs/types"
|
||||
)
|
||||
|
||||
// iotAdminSQSStats — информация об очереди для мониторинга.
|
||||
type iotAdminSQSStats struct {
|
||||
ApproximateMessages int64 `json:"approximate_messages"`
|
||||
ApproximateMessagesNotVisible int64 `json:"approximate_messages_not_visible"`
|
||||
Error string `json:"error,omitempty"`
|
||||
}
|
||||
|
||||
// collectSQSStats получает ApproximateNumberOfMessages из очереди телеметрии.
|
||||
func (h *Handler) collectSQSStats(ctx context.Context) iotAdminSQSStats {
|
||||
if h.SQS == nil {
|
||||
return iotAdminSQSStats{Error: "SQS client not configured"}
|
||||
}
|
||||
|
||||
queueUrlOut, err := h.SQS.GetQueueUrl(ctx, &sqs.GetQueueUrlInput{
|
||||
QueueName: aws.String(h.Cfg.SQSQueueName),
|
||||
})
|
||||
if err != nil {
|
||||
return iotAdminSQSStats{Error: fmt.Sprintf("GetQueueUrl: %v", err)}
|
||||
}
|
||||
|
||||
attrsOut, err := h.SQS.GetQueueAttributes(ctx, &sqs.GetQueueAttributesInput{
|
||||
QueueUrl: queueUrlOut.QueueUrl,
|
||||
AttributeNames: []sqstypes.QueueAttributeName{
|
||||
sqstypes.QueueAttributeNameApproximateNumberOfMessages,
|
||||
sqstypes.QueueAttributeNameApproximateNumberOfMessagesNotVisible,
|
||||
},
|
||||
})
|
||||
if err != nil {
|
||||
return iotAdminSQSStats{Error: fmt.Sprintf("GetQueueAttributes: %v", err)}
|
||||
}
|
||||
|
||||
approxMsg, _ := strconv.ParseInt(attrsOut.Attributes["ApproximateNumberOfMessages"], 10, 64)
|
||||
approxNotVisible, _ := strconv.ParseInt(attrsOut.Attributes["ApproximateNumberOfMessagesNotVisible"], 10, 64)
|
||||
|
||||
return iotAdminSQSStats{
|
||||
ApproximateMessages: approxMsg,
|
||||
ApproximateMessagesNotVisible: approxNotVisible,
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,43 @@
|
||||
// telemetry.go — REST-чтение телеметрии из per-tenant PostgreSQL.
|
||||
//
|
||||
// Endpoint: GET /v1/namespaces/{ns}/iot/telemetry?device_id={id}&limit={n}
|
||||
package handler
|
||||
|
||||
import (
|
||||
"net/http"
|
||||
"strconv"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// ListIoTTelemetry — GET /v1/namespaces/{ns}/iot/telemetry.
|
||||
func (h *Handler) ListIoTTelemetry(w http.ResponseWriter, r *http.Request) {
|
||||
if h.IoTPG == nil {
|
||||
writeJSON(w, http.StatusServiceUnavailable, errResp("IoT telemetry storage not configured"))
|
||||
return
|
||||
}
|
||||
|
||||
ns := pathVar(r, "namespace")
|
||||
deviceID := r.URL.Query().Get("device_id")
|
||||
limit := 50
|
||||
if ls := r.URL.Query().Get("limit"); ls != "" {
|
||||
if n, err := strconv.Atoi(ls); err == nil && n > 0 {
|
||||
limit = n
|
||||
}
|
||||
}
|
||||
|
||||
rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit)
|
||||
if err != nil {
|
||||
h.Log.Error("query IoT telemetry", "namespace", ns, "device", deviceID, "err", err)
|
||||
writeJSON(w, http.StatusInternalServerError, errResp("failed to query telemetry"))
|
||||
return
|
||||
}
|
||||
if rows == nil {
|
||||
rows = []iotpg.TelemetryRow{}
|
||||
}
|
||||
|
||||
writeJSON(w, http.StatusOK, map[string]any{
|
||||
"items": rows,
|
||||
"count": len(rows),
|
||||
})
|
||||
}
|
||||
@@ -0,0 +1,101 @@
|
||||
// Package middleware — HTTP-промежуточные слои API.
|
||||
package middleware
|
||||
|
||||
import (
|
||||
"encoding/base64"
|
||||
"log/slog"
|
||||
"net/http"
|
||||
"strings"
|
||||
)
|
||||
|
||||
// Auth — проверка Bearer-токена.
|
||||
//
|
||||
// authTestMode (env AUTH_TEST_MODE, дефолт false):
|
||||
// - true — принимается любая строка без пробелов (для локальных тестов);
|
||||
// - false — структурная проверка JWT (sub + exp), как в старом коде.
|
||||
//
|
||||
// В новой архитектуре подпись JWT не проверяется (как и раньше): внешний
|
||||
// периметр обеспечивает платформа, полная валидация — на стороне шлюза.
|
||||
func Auth(authTestMode bool, log *slog.Logger, next http.Handler) http.Handler {
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
header := r.Header.Get("Authorization")
|
||||
if header == "" {
|
||||
log.Warn("auth: missing authorization header", "remote", r.RemoteAddr, "path", r.URL.Path)
|
||||
http.Error(w, `{"error":"authorization required"}`, http.StatusUnauthorized)
|
||||
return
|
||||
}
|
||||
parts := strings.SplitN(header, " ", 2)
|
||||
if len(parts) != 2 || !strings.EqualFold(parts[0], "bearer") {
|
||||
log.Warn("auth: invalid authorization format", "remote", r.RemoteAddr)
|
||||
http.Error(w, `{"error":"invalid authorization format, use Bearer <token>"}`, http.StatusUnauthorized)
|
||||
return
|
||||
}
|
||||
token := parts[1]
|
||||
|
||||
if authTestMode && isPlainToken(token) {
|
||||
log.Info("auth: test mode — plain token accepted", "remote", r.RemoteAddr, "path", r.URL.Path)
|
||||
next.ServeHTTP(w, r)
|
||||
return
|
||||
}
|
||||
|
||||
if err := validateJWT(token); err != nil {
|
||||
log.Warn("auth: invalid token", "remote", r.RemoteAddr, "path", r.URL.Path, "reason", err.Error())
|
||||
http.Error(w, `{"error":"invalid token"}`, http.StatusForbidden)
|
||||
return
|
||||
}
|
||||
next.ServeHTTP(w, r)
|
||||
})
|
||||
}
|
||||
|
||||
// isPlainToken — непустая строка без пробелов, не похожая на JWT (три части через точку).
|
||||
func isPlainToken(token string) bool {
|
||||
if token == "" || strings.ContainsAny(token, " \t\n\r") {
|
||||
return false
|
||||
}
|
||||
return len(strings.Split(token, ".")) != 3
|
||||
}
|
||||
|
||||
// jwtError — структурная ошибка JWT.
|
||||
type jwtError struct{ msg string }
|
||||
|
||||
func (e *jwtError) Error() string { return e.msg }
|
||||
|
||||
// validateJWT проверяет структуру JWT: три части, корректный payload, sub и exp.
|
||||
// Подпись НЕ проверяется — см. комментарий пакета.
|
||||
func validateJWT(token string) error {
|
||||
jwtParts := strings.Split(token, ".")
|
||||
if len(jwtParts) != 3 {
|
||||
return &jwtError{"not a JWT: expected 3 parts"}
|
||||
}
|
||||
payload := jwtParts[1]
|
||||
switch len(payload) % 4 {
|
||||
case 2:
|
||||
payload += "=="
|
||||
case 3:
|
||||
payload += "="
|
||||
}
|
||||
decoded, err := base64.URLEncoding.DecodeString(payload)
|
||||
if err != nil {
|
||||
decoded, err = base64.StdEncoding.DecodeString(payload)
|
||||
}
|
||||
if err != nil {
|
||||
return &jwtError{"cannot decode JWT payload"}
|
||||
}
|
||||
|
||||
var claims struct {
|
||||
Sub string `json:"sub"`
|
||||
Exp float64 `json:"exp"`
|
||||
}
|
||||
if err := jsonUnmarshal(decoded, &claims); err != nil {
|
||||
return &jwtError{"cannot parse JWT payload"}
|
||||
}
|
||||
if claims.Sub == "" {
|
||||
return &jwtError{"JWT missing sub claim"}
|
||||
}
|
||||
if claims.Exp > 0 {
|
||||
if now := float64(timeNow().Unix()); claims.Exp < now {
|
||||
return &jwtError{"JWT expired"}
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
package middleware
|
||||
|
||||
import (
|
||||
"encoding/json"
|
||||
"time"
|
||||
)
|
||||
|
||||
// jsonUnmarshal и timeNow вынесены для простоты тестирования.
|
||||
func jsonUnmarshal(data []byte, v any) error {
|
||||
return json.Unmarshal(data, v)
|
||||
}
|
||||
|
||||
func timeNow() time.Time {
|
||||
return time.Now()
|
||||
}
|
||||
@@ -0,0 +1,35 @@
|
||||
// Package middleware — HTTP-промежуточные слои API.
|
||||
package middleware
|
||||
|
||||
import (
|
||||
"log/slog"
|
||||
"net/http"
|
||||
"time"
|
||||
)
|
||||
|
||||
// responseWriter перехватывает статус ответа для логирования.
|
||||
type responseWriter struct {
|
||||
http.ResponseWriter
|
||||
status int
|
||||
}
|
||||
|
||||
func (rw *responseWriter) WriteHeader(code int) {
|
||||
rw.status = code
|
||||
rw.ResponseWriter.WriteHeader(code)
|
||||
}
|
||||
|
||||
// Logging логирует каждый HTTP-запрос: метод, путь, статус, длительность.
|
||||
func Logging(log *slog.Logger, next http.Handler) http.Handler {
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
start := time.Now()
|
||||
rw := &responseWriter{ResponseWriter: w, status: http.StatusOK}
|
||||
next.ServeHTTP(rw, r)
|
||||
log.Info("http",
|
||||
"method", r.Method,
|
||||
"path", r.URL.Path,
|
||||
"status", rw.status,
|
||||
"duration_ms", time.Since(start).Milliseconds(),
|
||||
"remote", r.RemoteAddr,
|
||||
)
|
||||
})
|
||||
}
|
||||
@@ -0,0 +1,70 @@
|
||||
// Package api — HTTP-сервер монолита: маршруты, CORS, health.
|
||||
package api
|
||||
|
||||
import (
|
||||
"log/slog"
|
||||
"net/http"
|
||||
|
||||
"github.com/gorilla/mux"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/handler"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/middleware"
|
||||
)
|
||||
|
||||
// corsMiddleware добавляет CORS-заголовки (консоль и API на одном домене платформы).
|
||||
func corsMiddleware(next http.Handler) http.Handler {
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Access-Control-Allow-Origin", "*")
|
||||
w.Header().Set("Access-Control-Allow-Methods", "GET, POST, PUT, PATCH, DELETE, OPTIONS")
|
||||
w.Header().Set("Access-Control-Allow-Headers", "Authorization, Content-Type")
|
||||
if r.Method == http.MethodOptions {
|
||||
w.WriteHeader(http.StatusNoContent)
|
||||
return
|
||||
}
|
||||
next.ServeHTTP(w, r)
|
||||
})
|
||||
}
|
||||
|
||||
// NewRouter собирает все маршруты сервиса.
|
||||
func NewRouter(h *handler.Handler, log *slog.Logger, authTestMode bool, version string) http.Handler {
|
||||
r := mux.NewRouter()
|
||||
|
||||
// Health — для платформенных проверок контейнера.
|
||||
r.HandleFunc("/health", healthHandler(version)).Methods(http.MethodGet)
|
||||
r.HandleFunc("/healthz", healthHandler(version)).Methods(http.MethodGet)
|
||||
|
||||
// UI — публичные страницы (без данных).
|
||||
r.HandleFunc("/console", ServeIoTConsole).Methods(http.MethodGet)
|
||||
r.HandleFunc("/iot-admin", ServeIoTAdmin).Methods(http.MethodGet)
|
||||
|
||||
// Админ-статистика — свой Bearer-токен.
|
||||
r.HandleFunc("/iot-admin/stats", h.AdminStats).Methods(http.MethodGet)
|
||||
|
||||
// MQTT auth/acl — для EMQX, без JWT.
|
||||
r.HandleFunc("/internal/mqtt/auth", h.MQTTAuth).Methods(http.MethodPost)
|
||||
r.HandleFunc("/internal/mqtt/acl", h.MQTTAcl).Methods(http.MethodPost)
|
||||
|
||||
// /v1 — под JWT.
|
||||
v1 := r.PathPrefix("/v1").Subrouter()
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.ListIoTDevices).Methods(http.MethodGet)
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.CreateIoTDevice).Methods(http.MethodPost)
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.GetIoTDevice).Methods(http.MethodGet)
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.DeleteIoTDevice).Methods(http.MethodDelete)
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.UpdateIoTDevice).Methods(http.MethodPatch)
|
||||
v1.HandleFunc("/namespaces/{namespace}/iot/telemetry", h.ListIoTTelemetry).Methods(http.MethodGet)
|
||||
|
||||
v1.Use(func(next http.Handler) http.Handler {
|
||||
return middleware.Auth(authTestMode, log, next)
|
||||
})
|
||||
|
||||
return corsMiddleware(middleware.Logging(log, r))
|
||||
}
|
||||
|
||||
// healthHandler отдаёт статус сервиса и версию (для платформы).
|
||||
func healthHandler(version string) http.HandlerFunc {
|
||||
return func(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "application/json")
|
||||
w.WriteHeader(http.StatusOK)
|
||||
_, _ = w.Write([]byte(`{"status":"ok","version":"` + version + `"}`))
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,547 @@
|
||||
<!DOCTYPE html>
|
||||
<!-- Создано: 2026-04-06
|
||||
iot-admin.html — страница администратора IoT pipeline.
|
||||
Показывает: PostgreSQL stats per tenant, Kafka consumer lag, K8s pod statuses.
|
||||
Auth: ADMIN_STATS_TOKEN вводится вручную и хранится в sessionStorage.
|
||||
Раздаётся по GET /iot-admin (go:embed в бинарнике оператора).
|
||||
НЕ для конечных пользователей — только для администратора платформы. -->
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="UTF-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Nubes IoT Admin</title>
|
||||
<link rel="icon" href="https://terra.k8c.ru/docs/nubes/nubes/2.0.2/30_registry/assets/favicon.png">
|
||||
<style>
|
||||
/* Nubes brand palette — те же цвета что в iot-console.html */
|
||||
*, *::before, *::after { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body {
|
||||
font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', system-ui, sans-serif;
|
||||
background: #001120; color: #e2ecf6; min-height: 100vh;
|
||||
}
|
||||
|
||||
/* Navbar */
|
||||
.navbar {
|
||||
background: #001C34; border-bottom: 1px solid #0b2d50;
|
||||
padding: 0 28px; height: 58px;
|
||||
display: flex; align-items: center; gap: 14px;
|
||||
}
|
||||
.navbar-logo { display: flex; align-items: center; gap: 10px; text-decoration: none; }
|
||||
.navbar-logo img { height: 18px; filter: brightness(0) invert(1); }
|
||||
.navbar-logo-sep { width: 1px; height: 18px; background: #1a4a73; margin: 0 4px; }
|
||||
.navbar-title { font-size: 15px; font-weight: 600; color: #e2ecf6; }
|
||||
.navbar-badge {
|
||||
background: #2d1a00; border: 1px solid #7a3a00; color: #f0a030;
|
||||
font-size: 10px; font-weight: 700; padding: 2px 7px; border-radius: 4px;
|
||||
letter-spacing: 0.5px; text-transform: uppercase;
|
||||
}
|
||||
.navbar-spacer { flex: 1; }
|
||||
.navbar-refresh {
|
||||
background: #0f3a60; border: 1px solid #1a5a8a; color: #7fc8f8;
|
||||
padding: 6px 14px; border-radius: 6px; font-size: 13px; cursor: pointer;
|
||||
transition: background 0.15s;
|
||||
}
|
||||
.navbar-refresh:hover { background: #1a5080; }
|
||||
.navbar-refresh:disabled { opacity: 0.4; cursor: not-allowed; }
|
||||
|
||||
/* Layout */
|
||||
.container { max-width: 1280px; margin: 0 auto; padding: 28px 24px; }
|
||||
|
||||
/* Auth box */
|
||||
.auth-box {
|
||||
background: #001929; border: 1px solid #0b2d50; border-radius: 12px;
|
||||
padding: 40px; max-width: 480px; margin: 80px auto;
|
||||
display: flex; flex-direction: column; gap: 16px;
|
||||
}
|
||||
.auth-box h2 { font-size: 20px; font-weight: 600; color: #7fc8f8; }
|
||||
.auth-box p { font-size: 13px; color: #6b8eaa; }
|
||||
.auth-input {
|
||||
background: #001120; border: 1px solid #1a4a73; color: #e2ecf6;
|
||||
padding: 10px 14px; border-radius: 8px; font-size: 14px; font-family: monospace;
|
||||
width: 100%; outline: none;
|
||||
}
|
||||
.auth-input:focus { border-color: #1a7fd4; }
|
||||
.auth-btn {
|
||||
background: #1a7fd4; border: none; color: #fff;
|
||||
padding: 10px 20px; border-radius: 8px; font-size: 14px; cursor: pointer;
|
||||
font-weight: 600; transition: background 0.15s;
|
||||
}
|
||||
.auth-btn:hover { background: #1a6ab8; }
|
||||
.auth-error { color: #f87171; font-size: 13px; }
|
||||
|
||||
/* Section header */
|
||||
.section-header {
|
||||
display: flex; align-items: center; gap: 10px;
|
||||
margin-bottom: 16px; padding-bottom: 10px;
|
||||
border-bottom: 1px solid #0b2d50;
|
||||
}
|
||||
.section-icon { width: 20px; height: 20px; opacity: 0.7; }
|
||||
.section-title { font-size: 16px; font-weight: 600; color: #a0c4e8; }
|
||||
.section { margin-bottom: 32px; }
|
||||
|
||||
/* Cards grid */
|
||||
.cards { display: grid; grid-template-columns: repeat(auto-fill, minmax(280px, 1fr)); gap: 16px; }
|
||||
|
||||
/* Stat card */
|
||||
.card {
|
||||
background: #001929; border: 1px solid #0b2d50; border-radius: 10px;
|
||||
padding: 20px;
|
||||
}
|
||||
.card-title { font-size: 12px; color: #6b8eaa; text-transform: uppercase; letter-spacing: 0.5px; margin-bottom: 8px; }
|
||||
.card-value { font-size: 28px; font-weight: 700; color: #e2ecf6; }
|
||||
.card-sub { font-size: 12px; color: #6b8eaa; margin-top: 4px; }
|
||||
.card-accent { color: #1a7fd4; }
|
||||
.card-warn { color: #f59e0b; }
|
||||
.card-ok { color: #34d399; }
|
||||
.card-err { color: #f87171; }
|
||||
|
||||
/* Pod status card */
|
||||
.pod-card {
|
||||
background: #001929; border: 1px solid #0b2d50; border-radius: 10px;
|
||||
padding: 20px; display: flex; flex-direction: column; gap: 8px;
|
||||
}
|
||||
.pod-name { font-size: 13px; font-weight: 600; color: #7fc8f8; font-family: monospace; }
|
||||
.pod-row { display: flex; justify-content: space-between; font-size: 12px; }
|
||||
.pod-label { color: #6b8eaa; }
|
||||
.pod-val { color: #e2ecf6; }
|
||||
.badge {
|
||||
display: inline-block; padding: 2px 8px; border-radius: 4px;
|
||||
font-size: 11px; font-weight: 700;
|
||||
}
|
||||
.badge-ok { background: #052e16; color: #34d399; border: 1px solid #064e3b; }
|
||||
.badge-warn { background: #2d1c00; color: #f59e0b; border: 1px solid #4d3000; }
|
||||
.badge-err { background: #300; color: #f87171; border: 1px solid #500; }
|
||||
|
||||
/* Tenant table */
|
||||
.tenant-table { width: 100%; border-collapse: collapse; font-size: 13px; }
|
||||
.tenant-table th {
|
||||
text-align: left; padding: 8px 12px; color: #6b8eaa;
|
||||
border-bottom: 1px solid #0b2d50; font-weight: 600; font-size: 11px;
|
||||
text-transform: uppercase; letter-spacing: 0.3px;
|
||||
}
|
||||
.tenant-table td { padding: 10px 12px; border-bottom: 1px solid #071a28; vertical-align: top; }
|
||||
.tenant-table tr:last-child td { border-bottom: none; }
|
||||
.tenant-table tr:hover td { background: rgba(26,127,212,0.05); }
|
||||
.ns-tag {
|
||||
font-family: monospace; font-size: 12px; color: #7fc8f8;
|
||||
background: #0b2d50; padding: 2px 6px; border-radius: 4px;
|
||||
}
|
||||
.num-big { font-size: 16px; font-weight: 600; color: #e2ecf6; }
|
||||
.num-small { font-size: 12px; color: #6b8eaa; }
|
||||
|
||||
/* Latest msgs mini list */
|
||||
.latest-list { display: flex; flex-direction: column; gap: 4px; }
|
||||
.latest-item {
|
||||
background: #001120; border: 1px solid #0b2d50; border-radius: 6px;
|
||||
padding: 6px 10px; font-size: 11px;
|
||||
}
|
||||
.latest-dev { color: #7fc8f8; font-weight: 600; }
|
||||
.latest-ts { color: #6b8eaa; margin-left: 6px; }
|
||||
.latest-payload { color: #a0c4e8; margin-top: 2px; word-break: break-all; font-family: monospace; }
|
||||
|
||||
/* Last updated */
|
||||
.last-updated { font-size: 12px; color: #2d5070; text-align: center; margin-top: 16px; }
|
||||
|
||||
/* Status dot */
|
||||
.dot { display: inline-block; width: 8px; height: 8px; border-radius: 50%; margin-right: 6px; }
|
||||
.dot-ok { background: #34d399; }
|
||||
.dot-warn { background: #f59e0b; }
|
||||
.dot-err { background: #f87171; }
|
||||
|
||||
/* Kafka lag bar */
|
||||
.lag-bar-wrap { background: #001120; border-radius: 4px; height: 6px; margin-top: 8px; overflow: hidden; }
|
||||
.lag-bar { height: 100%; border-radius: 4px; transition: width 0.5s; min-width: 2px; }
|
||||
.lag-bar-ok { background: #34d399; }
|
||||
.lag-bar-warn { background: #f59e0b; }
|
||||
|
||||
/* Spinner */
|
||||
.spinner {
|
||||
border: 3px solid #0b2d50; border-top-color: #1a7fd4;
|
||||
border-radius: 50%; width: 32px; height: 32px;
|
||||
animation: spin 0.8s linear infinite;
|
||||
margin: 60px auto;
|
||||
}
|
||||
@keyframes spin { to { transform: rotate(360deg); } }
|
||||
|
||||
/* Error banner */
|
||||
.error-banner {
|
||||
background: #1a0000; border: 1px solid #5a0000; color: #f87171;
|
||||
padding: 12px 16px; border-radius: 8px; font-size: 13px; margin-bottom: 20px;
|
||||
}
|
||||
|
||||
/* Auto-refresh indicator */
|
||||
.refresh-timer {
|
||||
font-size: 11px; color: #2d5070; display: flex; align-items: center; gap: 6px;
|
||||
}
|
||||
.refresh-progress {
|
||||
width: 60px; height: 2px; background: #0b2d50; border-radius: 2px; overflow: hidden;
|
||||
}
|
||||
.refresh-bar {
|
||||
height: 100%; background: #1a7fd4; border-radius: 2px;
|
||||
transition: width 1s linear;
|
||||
}
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<!-- Navbar -->
|
||||
<nav class="navbar">
|
||||
<a class="navbar-logo" href="#" aria-label="Nubes">
|
||||
<img src="https://terra.k8c.ru/docs/nubes/nubes/2.0.2/30_registry/assets/logo.svg" alt="Nubes">
|
||||
</a>
|
||||
<div class="navbar-logo-sep"></div>
|
||||
<span class="navbar-title">IoT Admin</span>
|
||||
<span class="navbar-badge">Admin Only</span>
|
||||
<div class="navbar-spacer"></div>
|
||||
<div class="refresh-timer" id="refreshTimer" style="display:none">
|
||||
<span id="refreshCountdown">30</span>s
|
||||
<div class="refresh-progress"><div class="refresh-bar" id="refreshBar" style="width:100%"></div></div>
|
||||
</div>
|
||||
<button class="navbar-refresh" id="btnRefresh" onclick="loadStats()" disabled>Обновить</button>
|
||||
</nav>
|
||||
|
||||
<!-- Main content -->
|
||||
<div class="container">
|
||||
<!-- Auth box (показывается до ввода токена) -->
|
||||
<div class="auth-box" id="authBox">
|
||||
<h2>Доступ для администратора</h2>
|
||||
<p>Введите ADMIN_STATS_TOKEN для просмотра статистики IoT pipeline.</p>
|
||||
<input class="auth-input" id="tokenInput" type="password"
|
||||
placeholder="Bearer token..." autocomplete="off"
|
||||
onkeydown="if(event.key==='Enter') doAuth()">
|
||||
<button class="auth-btn" onclick="doAuth()">Войти</button>
|
||||
<div class="auth-error" id="authError" style="display:none"></div>
|
||||
</div>
|
||||
|
||||
<!-- Контент (показывается после авторизации) -->
|
||||
<div id="mainContent" style="display:none">
|
||||
<div class="error-banner" id="errorBanner" style="display:none"></div>
|
||||
|
||||
<!-- Spinner при загрузке -->
|
||||
<div class="spinner" id="spinner"></div>
|
||||
|
||||
<!-- Данные -->
|
||||
<div id="dataContent" style="display:none">
|
||||
|
||||
<!-- Kafka -->
|
||||
<div class="section">
|
||||
<div class="section-header">
|
||||
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
|
||||
<path d="M12 2L2 7l10 5 10-5-10-5z"/><path d="M2 17l10 5 10-5"/><path d="M2 12l10 5 10-5"/>
|
||||
</svg>
|
||||
<span class="section-title">Kafka</span>
|
||||
</div>
|
||||
<div class="cards" id="kafkaCards"></div>
|
||||
</div>
|
||||
|
||||
<!-- K8s Pods -->
|
||||
<div class="section">
|
||||
<div class="section-header">
|
||||
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
|
||||
<rect x="2" y="3" width="20" height="14" rx="2"/><path d="M8 21h8M12 17v4"/>
|
||||
</svg>
|
||||
<span class="section-title">Pods</span>
|
||||
</div>
|
||||
<div class="cards" id="podCards"></div>
|
||||
</div>
|
||||
|
||||
<!-- PostgreSQL per tenant -->
|
||||
<div class="section">
|
||||
<div class="section-header">
|
||||
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
|
||||
<ellipse cx="12" cy="5" rx="9" ry="3"/><path d="M3 5v14c0 1.66 4.03 3 9 3s9-1.34 9-3V5"/>
|
||||
<path d="M3 12c0 1.66 4.03 3 9 3s9-1.34 9-3"/>
|
||||
</svg>
|
||||
<span class="section-title">PostgreSQL — Telemetry</span>
|
||||
</div>
|
||||
<div class="cards" style="margin-bottom:16px" id="pgSummaryCards"></div>
|
||||
<div style="background:#001929;border:1px solid #0b2d50;border-radius:10px;overflow:auto">
|
||||
<table class="tenant-table" id="tenantTable">
|
||||
<thead>
|
||||
<tr>
|
||||
<th>Namespace</th>
|
||||
<th>Total</th>
|
||||
<th>Last 1h</th>
|
||||
<th>Last 24h</th>
|
||||
<th>Последние сообщения</th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody id="tenantTableBody"></tbody>
|
||||
</table>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="last-updated" id="lastUpdated"></div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<script>
|
||||
// ── State ──────────────────────────────────────────────────────────────────
|
||||
const API_BASE = window.location.origin;
|
||||
let adminToken = sessionStorage.getItem('iot_admin_token') || '';
|
||||
let refreshInterval = null;
|
||||
let refreshCountdown = 30;
|
||||
|
||||
// ── Auth ───────────────────────────────────────────────────────────────────
|
||||
function doAuth() {
|
||||
const input = document.getElementById('tokenInput').value.trim();
|
||||
if (!input) return;
|
||||
adminToken = input;
|
||||
sessionStorage.setItem('iot_admin_token', adminToken);
|
||||
document.getElementById('authBox').style.display = 'none';
|
||||
document.getElementById('mainContent').style.display = 'block';
|
||||
loadStats();
|
||||
}
|
||||
|
||||
function showAuthError(msg) {
|
||||
const el = document.getElementById('authError');
|
||||
el.textContent = msg;
|
||||
el.style.display = 'block';
|
||||
// Сбрасываем токен — он не подошёл
|
||||
adminToken = '';
|
||||
sessionStorage.removeItem('iot_admin_token');
|
||||
document.getElementById('authBox').style.display = 'block';
|
||||
document.getElementById('mainContent').style.display = 'none';
|
||||
if (refreshInterval) { clearInterval(refreshInterval); refreshInterval = null; }
|
||||
document.getElementById('refreshTimer').style.display = 'none';
|
||||
}
|
||||
|
||||
// Если токен уже в sessionStorage — пропускаем auth box
|
||||
if (adminToken) {
|
||||
document.getElementById('authBox').style.display = 'none';
|
||||
document.getElementById('mainContent').style.display = 'block';
|
||||
document.getElementById('spinner').style.display = 'block';
|
||||
}
|
||||
|
||||
// ── Load stats ─────────────────────────────────────────────────────────────
|
||||
async function loadStats() {
|
||||
if (!adminToken) return;
|
||||
document.getElementById('btnRefresh').disabled = true;
|
||||
document.getElementById('spinner').style.display = 'block';
|
||||
document.getElementById('dataContent').style.display = 'none';
|
||||
document.getElementById('errorBanner').style.display = 'none';
|
||||
|
||||
resetRefreshTimer();
|
||||
|
||||
try {
|
||||
const resp = await fetch(`${API_BASE}/iot-admin/stats`, {
|
||||
headers: { 'Authorization': `Bearer ${adminToken}` }
|
||||
});
|
||||
|
||||
if (resp.status === 401 || resp.status === 503) {
|
||||
const body = await resp.json().catch(() => ({}));
|
||||
showAuthError(body.error || 'Ошибка авторизации');
|
||||
document.getElementById('spinner').style.display = 'none';
|
||||
return;
|
||||
}
|
||||
|
||||
if (!resp.ok) {
|
||||
throw new Error(`HTTP ${resp.status}`);
|
||||
}
|
||||
|
||||
const data = await resp.json();
|
||||
renderAll(data);
|
||||
document.getElementById('spinner').style.display = 'none';
|
||||
document.getElementById('dataContent').style.display = 'block';
|
||||
document.getElementById('refreshTimer').style.display = 'flex';
|
||||
document.getElementById('lastUpdated').textContent =
|
||||
'Обновлено: ' + new Date(data.collected_at).toLocaleTimeString('ru-RU');
|
||||
setupAutoRefresh();
|
||||
} catch (e) {
|
||||
document.getElementById('spinner').style.display = 'none';
|
||||
showBanner('Ошибка загрузки данных: ' + e.message);
|
||||
document.getElementById('dataContent').style.display = 'block';
|
||||
} finally {
|
||||
document.getElementById('btnRefresh').disabled = false;
|
||||
}
|
||||
}
|
||||
|
||||
function showBanner(msg) {
|
||||
const el = document.getElementById('errorBanner');
|
||||
el.textContent = msg;
|
||||
el.style.display = 'block';
|
||||
}
|
||||
|
||||
// ── Auto-refresh ───────────────────────────────────────────────────────────
|
||||
function setupAutoRefresh() {
|
||||
if (refreshInterval) return; // уже запущен
|
||||
refreshInterval = setInterval(() => {
|
||||
refreshCountdown--;
|
||||
document.getElementById('refreshCountdown').textContent = refreshCountdown;
|
||||
const pct = (refreshCountdown / 30) * 100;
|
||||
document.getElementById('refreshBar').style.width = pct + '%';
|
||||
if (refreshCountdown <= 0) {
|
||||
clearInterval(refreshInterval);
|
||||
refreshInterval = null;
|
||||
loadStats();
|
||||
}
|
||||
}, 1000);
|
||||
}
|
||||
|
||||
function resetRefreshTimer() {
|
||||
if (refreshInterval) { clearInterval(refreshInterval); refreshInterval = null; }
|
||||
refreshCountdown = 30;
|
||||
document.getElementById('refreshCountdown').textContent = '30';
|
||||
document.getElementById('refreshBar').style.width = '100%';
|
||||
}
|
||||
|
||||
// ── Render ─────────────────────────────────────────────────────────────────
|
||||
function renderAll(data) {
|
||||
renderKafka(data.kafka || {});
|
||||
renderPods(data.pods || {});
|
||||
renderPostgres(data.postgres || {});
|
||||
}
|
||||
|
||||
// Kafka section
|
||||
function renderKafka(kafka) {
|
||||
const el = document.getElementById('kafkaCards');
|
||||
if (kafka.error) {
|
||||
el.innerHTML = `<div class="card"><div class="card-title">Ошибка</div>
|
||||
<div class="card-value card-err" style="font-size:14px">${esc(kafka.error)}</div></div>`;
|
||||
return;
|
||||
}
|
||||
|
||||
const lag = kafka.consumer_lag || 0;
|
||||
const latest = kafka.latest_offset || 0;
|
||||
const committed = kafka.committed_offset || 0;
|
||||
const lagClass = lag === 0 ? 'card-ok' : lag < 100 ? 'card-warn' : 'card-err';
|
||||
const barClass = lag === 0 ? 'lag-bar-ok' : 'lag-bar-warn';
|
||||
const barWidth = latest > 0 ? Math.max(2, Math.round((committed / latest) * 100)) : 100;
|
||||
|
||||
el.innerHTML = `
|
||||
<div class="card">
|
||||
<div class="card-title">Consumer Lag</div>
|
||||
<div class="card-value ${lagClass}">${lag}</div>
|
||||
<div class="card-sub">iot-pg-consumer / iot.telemetry</div>
|
||||
<div class="lag-bar-wrap"><div class="lag-bar ${barClass}" style="width:${barWidth}%"></div></div>
|
||||
</div>
|
||||
<div class="card">
|
||||
<div class="card-title">Latest Offset (всего прошло)</div>
|
||||
<div class="card-value card-accent">${latest.toLocaleString()}</div>
|
||||
<div class="card-sub">Kafka log end offset</div>
|
||||
</div>
|
||||
<div class="card">
|
||||
<div class="card-title">Committed Offset</div>
|
||||
<div class="card-value">${committed.toLocaleString()}</div>
|
||||
<div class="card-sub">Consumer обработал</div>
|
||||
</div>`;
|
||||
}
|
||||
|
||||
// Pods section
|
||||
function renderPods(pods) {
|
||||
const el = document.getElementById('podCards');
|
||||
el.innerHTML = '';
|
||||
|
||||
const labels = {
|
||||
'iot-mqtt-bridge': 'MQTT Bridge',
|
||||
'iot-kafka-consumer': 'Kafka Consumer'
|
||||
};
|
||||
|
||||
for (const [key, pod] of Object.entries(pods)) {
|
||||
const title = labels[key] || key;
|
||||
if (pod.error || pod.status === 'not found') {
|
||||
el.innerHTML += `
|
||||
<div class="pod-card">
|
||||
<div class="pod-name">${esc(title)}</div>
|
||||
<div style="color:#f87171;font-size:12px">${esc(pod.error || 'Pod not found')}</div>
|
||||
</div>`;
|
||||
continue;
|
||||
}
|
||||
|
||||
const readyBadge = pod.ready
|
||||
? '<span class="badge badge-ok">Ready</span>'
|
||||
: '<span class="badge badge-warn">Not Ready</span>';
|
||||
const restartColor = pod.restarts > 5 ? 'card-err' : pod.restarts > 0 ? 'card-warn' : 'card-ok';
|
||||
|
||||
el.innerHTML += `
|
||||
<div class="pod-card">
|
||||
<div class="pod-name">
|
||||
<span class="dot dot-${pod.ready ? 'ok' : 'warn'}"></span>${esc(title)}
|
||||
</div>
|
||||
<div class="pod-row"><span class="pod-label">Pod</span><span class="pod-val" style="font-family:monospace;font-size:11px">${esc(pod.name)}</span></div>
|
||||
<div class="pod-row"><span class="pod-label">Phase</span><span class="pod-val">${esc(pod.phase)} ${readyBadge}</span></div>
|
||||
<div class="pod-row"><span class="pod-label">Restarts</span><span class="pod-val ${restartColor}">${pod.restarts}</span></div>
|
||||
<div class="pod-row"><span class="pod-label">Age</span><span class="pod-val">${esc(pod.age)}</span></div>
|
||||
</div>`;
|
||||
}
|
||||
}
|
||||
|
||||
// Postgres section
|
||||
function renderPostgres(pg) {
|
||||
const summaryEl = document.getElementById('pgSummaryCards');
|
||||
const tbodyEl = document.getElementById('tenantTableBody');
|
||||
|
||||
if (!pg.reachable) {
|
||||
summaryEl.innerHTML = `<div class="card"><div class="card-title">Ошибка</div>
|
||||
<div class="card-value card-err" style="font-size:14px">${esc(pg.error || 'Unreachable')}</div></div>`;
|
||||
tbodyEl.innerHTML = '';
|
||||
return;
|
||||
}
|
||||
|
||||
const tenants = pg.tenants || [];
|
||||
const totalAll = pg.total_all || 0;
|
||||
|
||||
summaryEl.innerHTML = `
|
||||
<div class="card">
|
||||
<div class="card-title">Всего записей</div>
|
||||
<div class="card-value card-accent">${totalAll.toLocaleString()}</div>
|
||||
<div class="card-sub">Все tenant, iot_telemetry</div>
|
||||
</div>
|
||||
<div class="card">
|
||||
<div class="card-title">Tenant-ов</div>
|
||||
<div class="card-value">${tenants.length}</div>
|
||||
<div class="card-sub">Активных namespace</div>
|
||||
</div>`;
|
||||
|
||||
tbodyEl.innerHTML = tenants.map(t => {
|
||||
if (t.error) {
|
||||
return `<tr><td><span class="ns-tag">${esc(t.namespace)}</span></td>
|
||||
<td colspan="4" style="color:#f87171">${esc(t.error)}</td></tr>`;
|
||||
}
|
||||
const latest = (t.latest || []).slice(0, 3);
|
||||
const latestHtml = latest.length === 0
|
||||
? '<span style="color:#2d5070">нет данных</span>'
|
||||
: `<div class="latest-list">${latest.map(row => `
|
||||
<div class="latest-item">
|
||||
<span class="latest-dev">${esc(row.device_id)}</span>
|
||||
<span class="latest-ts">${formatTs(row.ts)}</span>
|
||||
<div class="latest-payload">${esc(truncate(JSON.stringify(row.payload), 80))}</div>
|
||||
</div>`).join('')}</div>`;
|
||||
|
||||
return `<tr>
|
||||
<td><span class="ns-tag">${esc(t.namespace)}</span><br>
|
||||
<span style="font-size:11px;color:#2d5070">${esc(t.db_name)}</span></td>
|
||||
<td><span class="num-big">${(t.total||0).toLocaleString()}</span></td>
|
||||
<td><span class="num-small">${(t.last_1h||0).toLocaleString()}</span></td>
|
||||
<td><span class="num-small">${(t.last_24h||0).toLocaleString()}</span></td>
|
||||
<td>${latestHtml}</td>
|
||||
</tr>`;
|
||||
}).join('');
|
||||
}
|
||||
|
||||
// ── Utils ──────────────────────────────────────────────────────────────────
|
||||
function esc(str) {
|
||||
if (str == null) return '';
|
||||
return String(str).replace(/&/g,'&').replace(/</g,'<').replace(/>/g,'>');
|
||||
}
|
||||
|
||||
function truncate(str, len) {
|
||||
if (!str) return '';
|
||||
return str.length > len ? str.slice(0, len) + '…' : str;
|
||||
}
|
||||
|
||||
function formatTs(ts) {
|
||||
if (!ts) return '';
|
||||
try {
|
||||
const d = new Date(ts);
|
||||
return d.toLocaleTimeString('ru-RU', {hour:'2-digit', minute:'2-digit', second:'2-digit'});
|
||||
} catch { return ts; }
|
||||
}
|
||||
|
||||
// ── Init ───────────────────────────────────────────────────────────────────
|
||||
if (adminToken) {
|
||||
loadStats();
|
||||
}
|
||||
</script>
|
||||
</body>
|
||||
</html>
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,105 @@
|
||||
// Package bridge — MQTT-подписка на телеметрию устройств → shared-SQS.
|
||||
//
|
||||
// Роль старого mqtt-bridge, но внутри монолита: подключается к EMQX как
|
||||
// MQTT-клиент, подписывается на "+/telemetry/+" и шлёт envelope в SQS.
|
||||
package bridge
|
||||
|
||||
import (
|
||||
"context"
|
||||
"log/slog"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
mqtt "github.com/eclipse/paho.mqtt.golang"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
|
||||
)
|
||||
|
||||
// telemetryTopicFilter — все namespace, все устройства.
|
||||
const telemetryTopicFilter = "+/telemetry/+"
|
||||
|
||||
// Run — бесконечный цикл bridge: подключение → подписка → ожидание сигнала завершения.
|
||||
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, log *slog.Logger) error {
|
||||
log.Info("bridge: starting", "broker", cfg.MQTTBrokerURL, "client_id", cfg.MQTTClientID)
|
||||
|
||||
// URL очереди получаем один раз при старте (как старый consumer).
|
||||
queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
log.Info("bridge: SQS queue resolved", "queue", cfg.SQSQueueName)
|
||||
|
||||
// Обработчик сообщений передаём в connectMQTT: подписка выполняется в
|
||||
// OnConnectHandler, т.е. повторяется при каждом (ре)подключении.
|
||||
// Иначе после потери сессии EMQX бридж оставался бы без подписки
|
||||
// (прецедент 2026-08-16: реконнект без resubscribe → телеметрия терялась).
|
||||
handler := newMessageHandler(ctx, sqsClient, queueURL, log)
|
||||
|
||||
client, err := connectMQTT(ctx, cfg, log, handler)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer client.Disconnect(250)
|
||||
|
||||
<-ctx.Done()
|
||||
log.Info("bridge: shutting down")
|
||||
return nil
|
||||
}
|
||||
|
||||
// errSubscribeTimeout — не дождались подтверждения подписки.
|
||||
var errSubscribeTimeout = errBridge("MQTT subscribe timeout")
|
||||
|
||||
// errBridge — ошибки bridge.
|
||||
type errBridge string
|
||||
|
||||
func (e errBridge) Error() string { return string(e) }
|
||||
|
||||
// connectMQTT устанавливает подключение к EMQX с автореконнектом.
|
||||
// handler передаётся в OnConnectHandler: подписка повторяется при каждом подключении.
|
||||
func connectMQTT(ctx context.Context, cfg *config.Config, log *slog.Logger, handler mqtt.MessageHandler) (mqtt.Client, error) {
|
||||
opts := mqtt.NewClientOptions()
|
||||
opts.AddBroker(cfg.MQTTBrokerURL)
|
||||
opts.SetClientID(cfg.MQTTClientID)
|
||||
opts.SetUsername(cfg.MQTTUsername)
|
||||
opts.SetPassword(cfg.MQTTPassword)
|
||||
opts.SetAutoReconnect(true)
|
||||
opts.SetConnectRetry(true)
|
||||
opts.SetConnectRetryInterval(5 * time.Second)
|
||||
opts.SetKeepAlive(30 * time.Second)
|
||||
opts.SetCleanSession(false)
|
||||
|
||||
opts.SetConnectionLostHandler(func(_ mqtt.Client, err error) {
|
||||
log.Warn("bridge: MQTT connection lost, reconnecting...", "err", err)
|
||||
})
|
||||
opts.SetReconnectingHandler(func(_ mqtt.Client, _ *mqtt.ClientOptions) {
|
||||
log.Info("bridge: MQTT reconnecting...")
|
||||
})
|
||||
opts.SetOnConnectHandler(func(c mqtt.Client) {
|
||||
log.Info("bridge: MQTT connected")
|
||||
token := c.Subscribe(telemetryTopicFilter, 1, handler)
|
||||
if !token.WaitTimeout(10 * time.Second) {
|
||||
log.Error("bridge: resubscribe timeout", "filter", telemetryTopicFilter)
|
||||
return
|
||||
}
|
||||
if token.Error() != nil {
|
||||
log.Error("bridge: resubscribe failed", "filter", telemetryTopicFilter, "err", token.Error())
|
||||
return
|
||||
}
|
||||
log.Info("bridge: subscribed", "filter", telemetryTopicFilter)
|
||||
})
|
||||
|
||||
client := mqtt.NewClient(opts)
|
||||
token := client.Connect()
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return nil, ctx.Err()
|
||||
case <-time.After(30 * time.Second):
|
||||
return nil, errBridge("bridge: MQTT connect timeout")
|
||||
case <-token.Done():
|
||||
}
|
||||
if token.Error() != nil {
|
||||
return nil, token.Error()
|
||||
}
|
||||
return client, nil
|
||||
}
|
||||
@@ -0,0 +1,71 @@
|
||||
// handler.go — обработчик MQTT-сообщений: envelope → SQS SendMessage.
|
||||
package bridge
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"log/slog"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
mqtt "github.com/eclipse/paho.mqtt.golang"
|
||||
)
|
||||
|
||||
// TelemetryEnvelope — сообщение, перекладываемое в SQS (разбирается consumer).
|
||||
type TelemetryEnvelope struct {
|
||||
Namespace string `json:"namespace"`
|
||||
DeviceID string `json:"device_id"`
|
||||
Topic string `json:"topic"`
|
||||
Payload json.RawMessage `json:"payload"`
|
||||
ReceivedAt string `json:"received_at"`
|
||||
}
|
||||
|
||||
// newMessageHandler возвращает обработчик MQTT-сообщений.
|
||||
func newMessageHandler(ctx context.Context, sqsClient *sqs.Client, queueURL string, log *slog.Logger) mqtt.MessageHandler {
|
||||
return func(_ mqtt.Client, msg mqtt.Message) {
|
||||
topic := msg.Topic()
|
||||
payload := msg.Payload()
|
||||
|
||||
// Топик: "{namespace}/telemetry/{deviceId}".
|
||||
parts := strings.SplitN(topic, "/", 3)
|
||||
if len(parts) != 3 {
|
||||
log.Warn("bridge: unexpected topic format, skipping", "topic", topic)
|
||||
return
|
||||
}
|
||||
ns := parts[0]
|
||||
deviceID := parts[2]
|
||||
|
||||
// Не-JSON payload оборачиваем в строку.
|
||||
rawPayload := json.RawMessage(payload)
|
||||
if !json.Valid(payload) {
|
||||
quoted, _ := json.Marshal(string(payload))
|
||||
rawPayload = json.RawMessage(quoted)
|
||||
}
|
||||
|
||||
envelope := TelemetryEnvelope{
|
||||
Namespace: ns,
|
||||
DeviceID: deviceID,
|
||||
Topic: topic,
|
||||
Payload: rawPayload,
|
||||
ReceivedAt: time.Now().UTC().Format(time.RFC3339),
|
||||
}
|
||||
body, err := json.Marshal(envelope)
|
||||
if err != nil {
|
||||
log.Error("bridge: marshal envelope", "topic", topic, "err", err)
|
||||
return
|
||||
}
|
||||
|
||||
_, err = sqsClient.SendMessage(ctx, &sqs.SendMessageInput{
|
||||
QueueUrl: aws.String(queueURL),
|
||||
MessageBody: aws.String(string(body)),
|
||||
})
|
||||
if err != nil {
|
||||
log.Error("bridge: SQS SendMessage failed", "topic", topic, "err", err)
|
||||
return
|
||||
}
|
||||
log.Info("bridge: forwarded telemetry to SQS",
|
||||
"mqtt_topic", topic, "namespace", ns, "device", deviceID)
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,150 @@
|
||||
// Package config — конфигурация монолита iot-service из env-переменных.
|
||||
//
|
||||
// Принцип: несекретные значения имеют дефолты (продублированы ENV в Dockerfile),
|
||||
// секреты — обязательны и задаются в deck-UI при создании контейнера.
|
||||
// Env-переменные после деплоя не меняются — поэтому дефолты вшиты в образ.
|
||||
package config
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"log/slog"
|
||||
"os"
|
||||
"strconv"
|
||||
"strings"
|
||||
)
|
||||
|
||||
// Config — вся конфигурация iot-service.
|
||||
type Config struct {
|
||||
// HTTP API
|
||||
APIPort string
|
||||
|
||||
// PostgreSQL (managed, общий для устройств и телеметрии)
|
||||
IOTPGDSN string
|
||||
|
||||
// shared-SQS
|
||||
SQSEndpoint string
|
||||
SQSAccessKey string
|
||||
SQSSecretKey string
|
||||
SQSQueueName string
|
||||
SQSRegion string
|
||||
|
||||
// SQS-потребитель
|
||||
SQSLongPollSeconds int
|
||||
SQSVisibilityTimeout int
|
||||
|
||||
// MQTT (EMQX)
|
||||
MQTTBrokerURL string
|
||||
MQTTUsername string
|
||||
MQTTPassword string
|
||||
MQTTClientID string
|
||||
|
||||
// Админ-статистика
|
||||
AdminStatsToken string
|
||||
|
||||
// Безопасность
|
||||
AuthTestMode bool
|
||||
|
||||
// Логирование
|
||||
LogLevel slog.Level
|
||||
}
|
||||
|
||||
// getEnv возвращает значение env или дефолт.
|
||||
func getEnv(key, def string) string {
|
||||
if v := os.Getenv(key); v != "" {
|
||||
return v
|
||||
}
|
||||
return def
|
||||
}
|
||||
|
||||
// getEnvInt возвращает целое значение env или дефолт (неположительное — дефолт).
|
||||
func getEnvInt(key string, def int) int {
|
||||
if v := os.Getenv(key); v != "" {
|
||||
if n, err := strconv.Atoi(v); err == nil && n > 0 {
|
||||
return n
|
||||
}
|
||||
}
|
||||
return def
|
||||
}
|
||||
|
||||
// getEnvBool разбирает булево значение env.
|
||||
func getEnvBool(key string, def bool) bool {
|
||||
v := os.Getenv(key)
|
||||
if v == "" {
|
||||
return def
|
||||
}
|
||||
switch strings.ToLower(v) {
|
||||
case "1", "true", "yes", "on":
|
||||
return true
|
||||
case "0", "false", "no", "off":
|
||||
return false
|
||||
default:
|
||||
return def
|
||||
}
|
||||
}
|
||||
|
||||
// parseLogLevel разбирает уровень логирования.
|
||||
func parseLogLevel(v string, def slog.Level) slog.Level {
|
||||
switch strings.ToLower(v) {
|
||||
case "debug":
|
||||
return slog.LevelDebug
|
||||
case "warn", "warning":
|
||||
return slog.LevelWarn
|
||||
case "error":
|
||||
return slog.LevelError
|
||||
default:
|
||||
return def
|
||||
}
|
||||
}
|
||||
|
||||
// Load читает конфигурацию из env, подставляет дефолты
|
||||
// и проверяет обязательные (секретные) переменные.
|
||||
func Load() (*Config, error) {
|
||||
cfg := &Config{
|
||||
APIPort: getEnv("API_PORT", DefaultAPIPort),
|
||||
IOTPGDSN: os.Getenv("IOT_PG_DSN"),
|
||||
SQSEndpoint: getEnv("SQS_ENDPOINT", DefaultSQSEndpoint),
|
||||
SQSAccessKey: os.Getenv("SQS_ACCESS_KEY"),
|
||||
SQSSecretKey: os.Getenv("SQS_SECRET_KEY"),
|
||||
SQSQueueName: getEnv("SQS_QUEUE_NAME", DefaultSQSQueueName),
|
||||
SQSRegion: getEnv("SQS_REGION", DefaultSQSRegion),
|
||||
SQSLongPollSeconds: getEnvInt("SQS_LONG_POLL_SECONDS", 20),
|
||||
SQSVisibilityTimeout: getEnvInt("SQS_VISIBILITY_TIMEOUT", 30),
|
||||
MQTTUsername: os.Getenv("MQTT_USERNAME"),
|
||||
MQTTPassword: os.Getenv("MQTT_PASSWORD"),
|
||||
MQTTClientID: getEnv("MQTT_CLIENT_ID", DefaultMQTTClientID),
|
||||
AdminStatsToken: os.Getenv("ADMIN_STATS_TOKEN"),
|
||||
AuthTestMode: getEnvBool("AUTH_TEST_MODE", false),
|
||||
LogLevel: parseLogLevel(os.Getenv("LOG_LEVEL"), slog.LevelInfo),
|
||||
}
|
||||
|
||||
// MQTT broker URL: либо полный MQTT_BROKER_URL, либо из HOST/PORT/WS_PATH
|
||||
cfg.MQTTBrokerURL = os.Getenv("MQTT_BROKER_URL")
|
||||
if cfg.MQTTBrokerURL == "" {
|
||||
host := getEnv("MQTT_HOST", DefaultMQTTHost)
|
||||
port := getEnv("MQTT_PORT", DefaultMQTTPort)
|
||||
path := getEnv("MQTT_WS_PATH", DefaultMQTTWSPath)
|
||||
cfg.MQTTBrokerURL = "ws://" + host + ":" + port + path
|
||||
}
|
||||
|
||||
var missing []string
|
||||
if cfg.IOTPGDSN == "" {
|
||||
missing = append(missing, "IOT_PG_DSN")
|
||||
}
|
||||
if cfg.SQSAccessKey == "" {
|
||||
missing = append(missing, "SQS_ACCESS_KEY")
|
||||
}
|
||||
if cfg.SQSSecretKey == "" {
|
||||
missing = append(missing, "SQS_SECRET_KEY")
|
||||
}
|
||||
if cfg.MQTTUsername == "" {
|
||||
missing = append(missing, "MQTT_USERNAME")
|
||||
}
|
||||
if cfg.MQTTPassword == "" {
|
||||
missing = append(missing, "MQTT_PASSWORD")
|
||||
}
|
||||
if len(missing) > 0 {
|
||||
return nil, fmt.Errorf("required env vars not set: %s", strings.Join(missing, ", "))
|
||||
}
|
||||
|
||||
return cfg, nil
|
||||
}
|
||||
@@ -0,0 +1,32 @@
|
||||
package config
|
||||
|
||||
// Defaults — дефолтные значения env-переменных (не секреты).
|
||||
// Продублированы в Dockerfile ENV.
|
||||
const (
|
||||
// DefaultAPIPort — единственный порт контейнера: API + /health + /metrics.
|
||||
DefaultAPIPort = "9090"
|
||||
|
||||
// DefaultSQSEndpoint — внутренний адрес shared-sqs в том же кластере Nubes.
|
||||
// Обходит внешний шлюз платформы (таймауты 31-33с, MSS 1448, ~150с).
|
||||
DefaultSQSEndpoint = "http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100"
|
||||
|
||||
// DefaultSQSQueueName — очередь телеметрии IoT.
|
||||
DefaultSQSQueueName = "iot-telemetry"
|
||||
|
||||
// DefaultSQSRegion — регион для self-hosted SQS (не важен, оставлен для SDK).
|
||||
DefaultSQSRegion = "us-east-1"
|
||||
|
||||
// DefaultMQTTHost — внутреннее имя EMQX-контейнера на платформе.
|
||||
// Реальный UUID namespace EMQX задаётся в deck-UI (MQTT_HOST) при создании.
|
||||
DefaultMQTTHost = "emqx"
|
||||
|
||||
// DefaultMQTTPort — WebSocket-листенер EMQX (wss внутри платформы).
|
||||
DefaultMQTTPort = "8083"
|
||||
|
||||
// DefaultMQTTWSPath — путь MQTT-over-WebSocket на EMQX.
|
||||
DefaultMQTTWSPath = "/mqtt"
|
||||
|
||||
// DefaultMQTTClientID — clientID bridge-подключения к EMQX.
|
||||
// Используется и в ACL-логике MQTT-auth.
|
||||
DefaultMQTTClientID = "iot-bridge"
|
||||
)
|
||||
@@ -0,0 +1,89 @@
|
||||
// Package consumer — чтение shared-SQS → per-tenant PostgreSQL.
|
||||
//
|
||||
// Роль старого sqs-consumer внутри монолита: long-poll цикл, обработка
|
||||
// envelope телеметрии, DeleteMessage после успешной записи (at-least-once).
|
||||
package consumer
|
||||
|
||||
import (
|
||||
"context"
|
||||
"log/slog"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// errorBackoff — пауза между попытками при ошибках SQS.
|
||||
const errorBackoff = 5 * time.Second
|
||||
|
||||
// Run — бесконечный long-poll цикл потребителя.
|
||||
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
|
||||
queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
log.Info("consumer: SQS queue resolved", "queue", cfg.SQSQueueName)
|
||||
|
||||
for {
|
||||
if ctx.Err() != nil {
|
||||
break
|
||||
}
|
||||
|
||||
resp, err := sqsClient.ReceiveMessage(ctx, &sqs.ReceiveMessageInput{
|
||||
QueueUrl: aws.String(queueURL),
|
||||
MaxNumberOfMessages: 10,
|
||||
WaitTimeSeconds: int32(cfg.SQSLongPollSeconds),
|
||||
VisibilityTimeout: int32(cfg.SQSVisibilityTimeout),
|
||||
})
|
||||
if err != nil {
|
||||
if ctx.Err() != nil {
|
||||
break
|
||||
}
|
||||
log.Error("consumer: ReceiveMessage failed", "err", err)
|
||||
if !sleepCtx(ctx, errorBackoff) {
|
||||
break
|
||||
}
|
||||
continue
|
||||
}
|
||||
|
||||
for _, msg := range resp.Messages {
|
||||
if msg.Body == nil {
|
||||
continue
|
||||
}
|
||||
if err := processTelemetry(ctx, *msg.Body, store, log); err != nil {
|
||||
log.Error("consumer: process telemetry", "err", err, "message_id", aws.ToString(msg.MessageId))
|
||||
// Сообщение вернётся в очередь после visibility timeout.
|
||||
continue
|
||||
}
|
||||
if err := deleteMessage(ctx, sqsClient, queueURL, msg.ReceiptHandle, log); err != nil {
|
||||
log.Error("consumer: DeleteMessage failed", "err", err, "message_id", aws.ToString(msg.MessageId))
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
log.Info("consumer: shutting down")
|
||||
return nil
|
||||
}
|
||||
|
||||
// deleteMessage удаляет обработанное сообщение из очереди.
|
||||
func deleteMessage(ctx context.Context, client *sqs.Client, queueURL string, receiptHandle *string, log *slog.Logger) error {
|
||||
_, err := client.DeleteMessage(ctx, &sqs.DeleteMessageInput{
|
||||
QueueUrl: aws.String(queueURL),
|
||||
ReceiptHandle: receiptHandle,
|
||||
})
|
||||
return err
|
||||
}
|
||||
|
||||
// sleepCtx — ожидание с прерыванием по ctx. false = ctx завершён.
|
||||
func sleepCtx(ctx context.Context, d time.Duration) bool {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return false
|
||||
case <-time.After(d):
|
||||
return true
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,35 @@
|
||||
// processor.go — разбор envelope телеметрии и запись в per-tenant PostgreSQL.
|
||||
package consumer
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"log/slog"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/bridge"
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
|
||||
)
|
||||
|
||||
// processTelemetry десериализует envelope и пишет в tenant DB.
|
||||
// Битый JSON — пропускаем (не блокируем очередь).
|
||||
func processTelemetry(ctx context.Context, body string, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
|
||||
var envelope bridge.TelemetryEnvelope
|
||||
if err := json.Unmarshal([]byte(body), &envelope); err != nil {
|
||||
log.Warn("consumer: failed to unmarshal envelope, skipping", "err", err)
|
||||
return nil
|
||||
}
|
||||
|
||||
// EnsureTenantDB идемпотентен, кэшируется после первого вызова.
|
||||
if err := store.EnsureTenantDB(ctx, envelope.Namespace); err != nil {
|
||||
return err
|
||||
}
|
||||
if err := store.InsertTelemetry(ctx, envelope.Namespace, envelope.DeviceID, envelope.Payload); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
log.Info("consumer: telemetry saved",
|
||||
"namespace", envelope.Namespace,
|
||||
"device", envelope.DeviceID,
|
||||
)
|
||||
return nil
|
||||
}
|
||||
@@ -0,0 +1,38 @@
|
||||
// Package sqsclient — общий фабричный клиент shared-SQS для монолита.
|
||||
//
|
||||
// Используют: bridge (SendMessage), consumer (ReceiveMessage/DeleteMessage),
|
||||
// admin-stats (GetQueueUrl/GetQueueAttributes).
|
||||
package sqsclient
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/credentials"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
|
||||
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
|
||||
)
|
||||
|
||||
// New создаёт SQS-клиент с переопределённым endpoint (self-hosted shared-sqs).
|
||||
func New(cfg *config.Config) *sqs.Client {
|
||||
return sqs.New(sqs.Options{
|
||||
Region: cfg.SQSRegion,
|
||||
Credentials: credentials.NewStaticCredentialsProvider(
|
||||
cfg.SQSAccessKey, cfg.SQSSecretKey, "",
|
||||
),
|
||||
BaseEndpoint: aws.String(cfg.SQSEndpoint),
|
||||
})
|
||||
}
|
||||
|
||||
// ResolveQueueURL получает URL очереди по имени (один вызов при старте).
|
||||
func ResolveQueueURL(ctx context.Context, client *sqs.Client, queueName string) (string, error) {
|
||||
out, err := client.GetQueueUrl(ctx, &sqs.GetQueueUrlInput{
|
||||
QueueName: aws.String(queueName),
|
||||
})
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("sqs: GetQueueUrl %q: %w", queueName, err)
|
||||
}
|
||||
return aws.ToString(out.QueueUrl), nil
|
||||
}
|
||||
@@ -0,0 +1,32 @@
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
)
|
||||
|
||||
// bridgeNamespace — служебный namespace строки бриджа в iot_devices.
|
||||
// EMQX (postgres auth/ACL) узнаёт бридж по условию
|
||||
// namespace = '__bridge' AND username = device_id.
|
||||
const bridgeNamespace = "__bridge"
|
||||
|
||||
// EnsureBridgeDevice создаёт (или обновляет) служебную строку бриджа в
|
||||
// iot_devices. EMQX авторизует MQTT-подключение бриджа по этой строке,
|
||||
// поэтому device_id = MQTT username (iot-bridge), пароль = MQTT_PASSWORD.
|
||||
//
|
||||
// Нужно для PG-auth EMQX (хвост 3): EMQX зависит только от PostgreSQL,
|
||||
// монолит при старте гарантирует наличие строки бриджа.
|
||||
func (s *DeviceStore) EnsureBridgeDevice(ctx context.Context, username, password string) error {
|
||||
_, err := s.db.ExecContext(ctx, `
|
||||
INSERT INTO iot_devices (namespace, name, device_id, enabled, mqtt_password, metadata, phase)
|
||||
VALUES ($1, $2, $3, true, $4, '{}'::jsonb, 'Active')
|
||||
ON CONFLICT (namespace, name) DO UPDATE
|
||||
SET device_id = EXCLUDED.device_id,
|
||||
enabled = true,
|
||||
mqtt_password = EXCLUDED.mqtt_password`,
|
||||
bridgeNamespace, "iot-bridge", username, password)
|
||||
if err != nil {
|
||||
return fmt.Errorf("store: ensure bridge device: %w", err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
// Package store — хранилище устройств IoT в PostgreSQL.
|
||||
//
|
||||
// Таблица iot_devices заменяет CRD IoTDevice и k8s Secrets старого IoT.
|
||||
// Устройства: namespace, name, device_id, enabled, mqtt_password, metadata.
|
||||
package store
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"time"
|
||||
)
|
||||
|
||||
// ErrNotFound — устройство не найдено.
|
||||
var ErrNotFound = errors.New("device not found")
|
||||
|
||||
// ErrAlreadyExists — конфликт уникальности (namespace, name) или (namespace, device_id).
|
||||
var ErrAlreadyExists = errors.New("device already exists")
|
||||
|
||||
// Device — устройство IoT из таблицы iot_devices.
|
||||
type Device struct {
|
||||
Namespace string
|
||||
Name string
|
||||
DeviceID string
|
||||
Enabled bool
|
||||
MQTTPassword string
|
||||
Metadata map[string]string
|
||||
Phase string
|
||||
LastConnected *time.Time
|
||||
CreatedAt time.Time
|
||||
}
|
||||
@@ -0,0 +1,173 @@
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"database/sql"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"fmt"
|
||||
)
|
||||
|
||||
// Create вставляет новое устройство. Конфликт (namespace, name) или
|
||||
// (namespace, device_id) возвращает ErrAlreadyExists.
|
||||
func (s *DeviceStore) Create(ctx context.Context, d *Device) error {
|
||||
metadata, err := json.Marshal(d.Metadata)
|
||||
if err != nil {
|
||||
return fmt.Errorf("store: marshal metadata: %w", err)
|
||||
}
|
||||
_, err = s.db.ExecContext(ctx, `
|
||||
INSERT INTO iot_devices (namespace, name, device_id, enabled, mqtt_password, metadata)
|
||||
VALUES ($1, $2, $3, $4, $5, $6)`,
|
||||
d.Namespace, d.Name, d.DeviceID, d.Enabled, d.MQTTPassword, metadata,
|
||||
)
|
||||
if err != nil {
|
||||
if isUniqueViolation(err) {
|
||||
return ErrAlreadyExists
|
||||
}
|
||||
return fmt.Errorf("store: insert device: %w", err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// List возвращает устройства namespace (без сортировки по паролям — пароли на месте, но API их не отдаёт).
|
||||
func (s *DeviceStore) List(ctx context.Context, namespace string) ([]Device, error) {
|
||||
rows, err := s.db.QueryContext(ctx, `
|
||||
SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
|
||||
last_connected, created_at
|
||||
FROM iot_devices WHERE namespace = $1 ORDER BY name`, namespace)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("store: list devices: %w", err)
|
||||
}
|
||||
defer rows.Close()
|
||||
return scanDevices(rows)
|
||||
}
|
||||
|
||||
// GetByName возвращает устройство по (namespace, name).
|
||||
func (s *DeviceStore) GetByName(ctx context.Context, namespace, name string) (*Device, error) {
|
||||
return s.get(ctx, `SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
|
||||
last_connected, created_at
|
||||
FROM iot_devices WHERE namespace = $1 AND name = $2`, namespace, name)
|
||||
}
|
||||
|
||||
// GetByDeviceID возвращает устройство по (namespace, device_id) — для MQTT auth.
|
||||
func (s *DeviceStore) GetByDeviceID(ctx context.Context, namespace, deviceID string) (*Device, error) {
|
||||
return s.get(ctx, `SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
|
||||
last_connected, created_at
|
||||
FROM iot_devices WHERE namespace = $1 AND device_id = $2`, namespace, deviceID)
|
||||
}
|
||||
|
||||
// get — общая выборка одного устройства.
|
||||
func (s *DeviceStore) get(ctx context.Context, query string, args ...any) (*Device, error) {
|
||||
d, err := scanDevice(s.db.QueryRowContext(ctx, query, args...))
|
||||
if errors.Is(err, sql.ErrNoRows) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("store: get device: %w", err)
|
||||
}
|
||||
return d, nil
|
||||
}
|
||||
|
||||
// UpdateEnabled включает/выключает устройство.
|
||||
func (s *DeviceStore) UpdateEnabled(ctx context.Context, namespace, name string, enabled bool) error {
|
||||
res, err := s.db.ExecContext(ctx,
|
||||
`UPDATE iot_devices SET enabled = $3, phase = $4
|
||||
WHERE namespace = $1 AND name = $2`,
|
||||
namespace, name, enabled, phaseOf(enabled))
|
||||
if err != nil {
|
||||
return fmt.Errorf("store: update device: %w", err)
|
||||
}
|
||||
if n, _ := res.RowsAffected(); n == 0 {
|
||||
return ErrNotFound
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Delete удаляет устройство.
|
||||
func (s *DeviceStore) Delete(ctx context.Context, namespace, name string) error {
|
||||
res, err := s.db.ExecContext(ctx,
|
||||
`DELETE FROM iot_devices WHERE namespace = $1 AND name = $2`, namespace, name)
|
||||
if err != nil {
|
||||
return fmt.Errorf("store: delete device: %w", err)
|
||||
}
|
||||
if n, _ := res.RowsAffected(); n == 0 {
|
||||
return ErrNotFound
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// TouchLastConnected обновляет last_connected (best-effort при MQTT auth).
|
||||
func (s *DeviceStore) TouchLastConnected(ctx context.Context, namespace, deviceID string) {
|
||||
_, _ = s.db.ExecContext(ctx, `
|
||||
UPDATE iot_devices SET last_connected = now()
|
||||
WHERE namespace = $1 AND device_id = $2`, namespace, deviceID)
|
||||
}
|
||||
|
||||
// Count возвращает количество устройств в namespace (для админ-статистики).
|
||||
func (s *DeviceStore) Count(ctx context.Context, namespace string) (int64, error) {
|
||||
var n int64
|
||||
err := s.db.QueryRowContext(ctx,
|
||||
`SELECT COUNT(*) FROM iot_devices WHERE namespace = $1`, namespace).Scan(&n)
|
||||
if err != nil {
|
||||
return 0, fmt.Errorf("store: count devices: %w", err)
|
||||
}
|
||||
return n, nil
|
||||
}
|
||||
|
||||
// scanDevices читает все строки результата.
|
||||
func scanDevices(rows *sql.Rows) ([]Device, error) {
|
||||
var out []Device
|
||||
for rows.Next() {
|
||||
d, err := scanDevice(rows)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
out = append(out, *d)
|
||||
}
|
||||
return out, rows.Err()
|
||||
}
|
||||
|
||||
// scanDevice читает одну строку устройства.
|
||||
type rowScanner interface {
|
||||
Scan(dest ...any) error
|
||||
}
|
||||
|
||||
func scanDevice(r rowScanner) (*Device, error) {
|
||||
var (
|
||||
d Device
|
||||
metadata []byte
|
||||
lastConn sql.NullTime
|
||||
)
|
||||
err := r.Scan(&d.Namespace, &d.Name, &d.DeviceID, &d.Enabled, &d.MQTTPassword,
|
||||
&metadata, &d.Phase, &lastConn, &d.CreatedAt)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if len(metadata) > 0 {
|
||||
_ = json.Unmarshal(metadata, &d.Metadata)
|
||||
}
|
||||
if lastConn.Valid {
|
||||
t := lastConn.Time
|
||||
d.LastConnected = &t
|
||||
}
|
||||
return &d, nil
|
||||
}
|
||||
|
||||
// phaseOf — статус устройства в зависимости от enabled.
|
||||
func phaseOf(enabled bool) string {
|
||||
if enabled {
|
||||
return "Active"
|
||||
}
|
||||
return "Disabled"
|
||||
}
|
||||
|
||||
// isUniqueViolation определяет нарушение уникальности PostgreSQL.
|
||||
func isUniqueViolation(err error) bool {
|
||||
return err != nil && err.Error() != "" && hasSQLState(err, "23505")
|
||||
}
|
||||
|
||||
func hasSQLState(err error, state string) bool {
|
||||
type stater interface{ SQLState() string }
|
||||
var e stater
|
||||
return errors.As(err, &e) && e.SQLState() == state
|
||||
}
|
||||
@@ -0,0 +1,62 @@
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"database/sql"
|
||||
"fmt"
|
||||
"time"
|
||||
)
|
||||
|
||||
// schemaSQL — схема таблицы устройств.
|
||||
// PRIMARY KEY (namespace, name) — как в REST-маршруте /devices/{name}.
|
||||
// Уникальность device_id в рамках namespace — для MQTT username.
|
||||
const schemaSQL = `
|
||||
CREATE TABLE IF NOT EXISTS iot_devices (
|
||||
namespace TEXT NOT NULL,
|
||||
name TEXT NOT NULL,
|
||||
device_id TEXT NOT NULL,
|
||||
enabled BOOLEAN NOT NULL DEFAULT true,
|
||||
mqtt_password TEXT NOT NULL,
|
||||
metadata JSONB,
|
||||
phase TEXT NOT NULL DEFAULT 'Active',
|
||||
last_connected TIMESTAMPTZ,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
PRIMARY KEY (namespace, name)
|
||||
);
|
||||
|
||||
CREATE UNIQUE INDEX IF NOT EXISTS idx_iot_devices_ns_device
|
||||
ON iot_devices (namespace, device_id);
|
||||
`
|
||||
|
||||
// DeviceStore — доступ к таблице iot_devices (собственный пул соединений).
|
||||
type DeviceStore struct {
|
||||
db *sql.DB
|
||||
}
|
||||
|
||||
// Open подключается к PostgreSQL по DSN и инициализирует схему.
|
||||
func Open(ctx context.Context, dsn string) (*DeviceStore, error) {
|
||||
db, err := sql.Open("postgres", dsn)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("store: open DB: %w", err)
|
||||
}
|
||||
db.SetMaxOpenConns(5)
|
||||
db.SetMaxIdleConns(2)
|
||||
db.SetConnMaxLifetime(5 * time.Minute)
|
||||
|
||||
pingCtx, cancel := context.WithTimeout(ctx, 10*time.Second)
|
||||
defer cancel()
|
||||
if err := db.PingContext(pingCtx); err != nil {
|
||||
db.Close()
|
||||
return nil, fmt.Errorf("store: ping DB: %w", err)
|
||||
}
|
||||
if _, err := db.ExecContext(ctx, schemaSQL); err != nil {
|
||||
db.Close()
|
||||
return nil, fmt.Errorf("store: init schema: %w", err)
|
||||
}
|
||||
return &DeviceStore{db: db}, nil
|
||||
}
|
||||
|
||||
// Close закрывает пул соединений.
|
||||
func (s *DeviceStore) Close() error {
|
||||
return s.db.Close()
|
||||
}
|
||||
@@ -0,0 +1,224 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ план миграции (Node.js). ОТМЕНЁН. НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Миграция IoT из Kubernetes → Managed Services (Nubes)
|
||||
## Сессия 2026-08-13
|
||||
|
||||
---
|
||||
|
||||
## 1. Что изучили — текущая архитектура
|
||||
|
||||
### Стек
|
||||
- **Язык:** Go 1.25
|
||||
- **Паттерн:** Kubernetes Operator (controller-runtime)
|
||||
- **Модуль:** `gitea.services.ngcloud.ru/Nail/IoT`
|
||||
- **Docker Hub:** `naeel/iot-operator:v0.2.6`
|
||||
|
||||
### Три бинарника в одном образе
|
||||
| Бинарник | Роль |
|
||||
|---|---|
|
||||
| `cmd/iot-operator` | Controller-manager (CRD IoTDevice) + REST API :9090 |
|
||||
| `cmd/mqtt-bridge` | MQTT (EMQX) → shared-SQS (AWS SDK v2) |
|
||||
| `cmd/sqs-consumer` | shared-SQS → per-tenant Postgres |
|
||||
|
||||
### Поток данных (текущий)
|
||||
```
|
||||
IoT Device (MQTT CONNECT, username="{ns}_{deviceId}")
|
||||
↓
|
||||
EMQX 5.5.1 (HTTP auth/acl → iot-operator:9090/internal/mqtt/auth)
|
||||
↓ MQTT PUBLISH "{ns}/telemetry/{deviceId}"
|
||||
iot-mqtt-bridge (подписка "+/telemetry/+")
|
||||
↓ AWS SDK SQS SendMessage
|
||||
shared-SQS (namespace shared-sqs, очередь "iot-telemetry")
|
||||
↓ long polling (WaitTimeSeconds=20)
|
||||
iot-sqs-consumer (at-least-once, DeleteMessage после успешной записи)
|
||||
↓
|
||||
Managed PostgreSQL 17 (per-tenant DB: tenant_{namespace})
|
||||
↓
|
||||
REST API (iot-operator:9090) → Пользователь (UI/Terraform)
|
||||
```
|
||||
|
||||
### Ключевые компоненты k8s
|
||||
- **CRD IoTDevice** (`iot.kube5s.ru/v1alpha1`) — регистрация устройств
|
||||
- **k8s Secret** `iot-{deviceId}` — хранит MQTT пароль (64 hex, crypto/rand)
|
||||
- **OwnerReference** — каскадное удаление Secret при удалении IoTDevice
|
||||
- **RBAC** — ClusterRole для чтения/записи IoTDevice + Secrets
|
||||
- **Namespace = ID тенанта** — изоляция устройств и данных
|
||||
|
||||
### Мультитенантность
|
||||
- MQTT topic изоляция: `{ns}/telemetry/{deviceId}` — ACL на уровне EMQX
|
||||
- Per-tenant Postgres DB: `tenant_{namespace}` (дефисы → подчёркивания)
|
||||
- MQTT username: `{namespace}_{deviceId}` — глобально уникален
|
||||
- `sync.Map` кэш `*sql.DB` per tenant — lazy init
|
||||
|
||||
### Наблюдения / потенциальные проблемы
|
||||
1. **`authTestMode = true`** в `middleware/auth.go` — тестовый режим включён в проде, JWT подпись не проверяется
|
||||
2. **`ADMIN_STATS_TOKEN = "iot-admin-2026"`** захардкожен в YAML манифесте вместо Secret
|
||||
3. Устаревшие файлы: `deployments/k8s/kafka.yaml`, `iot-kafka-consumer.yaml` (Kafka удалена, манифесты остались)
|
||||
4. Bridge clientID `"sless-iot-bridge"` захардкожен и в bridge коде и в ACL логике
|
||||
5. `examples/main.tf` и `handler.py` описывают устаревший поток (RabbitMQ/serverless)
|
||||
|
||||
---
|
||||
|
||||
## 2. Почему хотим уйти из k8s
|
||||
|
||||
- Цель: использовать только **managed services** облака Nubes
|
||||
- Nubes предоставляет: **Managed Node.js, Flask, Lucee, PostgreSQL**
|
||||
- Никаких VPS, никакого k8s — только managed-платформа
|
||||
- SQS тоже **наш собственный сервис** (не сторонний облачный), работает сейчас в k8s, тоже надо вынести
|
||||
|
||||
---
|
||||
|
||||
## 3. Принятые решения
|
||||
|
||||
### Node.js — выбранный стек
|
||||
| Задача | Node.js |
|
||||
|---|---|
|
||||
| REST API | Express/Fastify |
|
||||
| MQTT-брокер | `aedes` (embedded, over WebSocket) |
|
||||
| MQTT-клиент для publish | `mqtt` npm |
|
||||
| SQS клиент | `@aws-sdk/client-sqs` |
|
||||
| Postgres | `pg` npm |
|
||||
|
||||
**Почему не Flask:** сложнее держать persistent MQTT и SQS polling в фоне
|
||||
**Почему не Lucee:** не подходит для long-running background workers
|
||||
**Почему Node.js — монолит:** bridge и consumer нельзя масштабировать независимо (один MQTT-клиент = одна подписка), смысла разделять нет
|
||||
|
||||
### EMQX → aedes (embedded в Node.js)
|
||||
- Managed Node.js открывает только HTTP/HTTPS порты
|
||||
- MQTT over WebSocket = HTTP upgrade → работает на любой managed-платформе
|
||||
- Устройства подключаются через `wss://` (уже сейчас так, через ingress emqx-ws-ingress.yaml)
|
||||
- **aedes** — полноценный MQTT-брокер на Node.js, встраивается в Express HTTP-сервер
|
||||
- Auth/ACL становится обычной функцией внутри того же процесса (быстрее, проще)
|
||||
|
||||
### Мультитенантность сохраняется полностью
|
||||
- `namespace` — просто строка в таблице `iot_devices` вместо k8s namespace
|
||||
- Per-tenant Postgres DB остаётся (чистый SQL, без k8s)
|
||||
- MQTT topic изоляция остаётся (`{ns}/telemetry/{deviceId}`)
|
||||
- ACL по топику остаётся — просто функция вместо HTTP endpoint
|
||||
|
||||
### k8s CRD/Secret → таблица в Postgres
|
||||
```sql
|
||||
CREATE TABLE iot_devices (
|
||||
namespace TEXT NOT NULL,
|
||||
name TEXT NOT NULL,
|
||||
device_id TEXT NOT NULL,
|
||||
enabled BOOLEAN NOT NULL DEFAULT true,
|
||||
mqtt_password TEXT NOT NULL, -- было в k8s Secret
|
||||
metadata JSONB,
|
||||
phase TEXT,
|
||||
created_at TIMESTAMPTZ DEFAULT now(),
|
||||
PRIMARY KEY (namespace, device_id)
|
||||
);
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. Итоговая архитектура на Nubes Managed
|
||||
|
||||
```
|
||||
IoT Device (wss://iot.example.ru/mqtt)
|
||||
↓
|
||||
Managed Node.js — IoT сервис
|
||||
├── aedes MQTT-брокер (over WebSocket, порт :3000/mqtt)
|
||||
│ auth/acl → функция → таблица iot_devices в PG
|
||||
│ on publish → SQS SendMessage
|
||||
├── SQS consumer (long polling, фоновый setInterval/async loop)
|
||||
│ → per-tenant Postgres (tenant_{namespace})
|
||||
└── REST API (Express)
|
||||
GET/POST /v1/namespaces/{ns}/iot/devices
|
||||
GET /v1/namespaces/{ns}/iot/telemetry
|
||||
POST /internal/mqtt/auth (совместимость, опционально)
|
||||
GET /console (embedded HTML)
|
||||
GET /iot-admin/stats
|
||||
↓
|
||||
Managed Node.js — shared-SQS сервис ← другие сервисы тоже
|
||||
↓
|
||||
Managed PostgreSQL — IoT данные
|
||||
```
|
||||
|
||||
### Два managed Node.js сервиса
|
||||
| Сервис | Назначение |
|
||||
|---|---|
|
||||
| **shared-SQS** | AWS SQS-совместимая очередь, multi-tenant, HTTP API |
|
||||
| **iot-service** | aedes MQTT + REST API + SQS consumer + PG |
|
||||
|
||||
---
|
||||
|
||||
## 5. Порядок миграции
|
||||
|
||||
### ⚠️ Сначала shared-SQS, потом IoT
|
||||
|
||||
**Причина:** IoT зависит от SQS. SQS независим — мигрирует первым.
|
||||
|
||||
```
|
||||
Шаг 1: Вынести shared-SQS из k8s → Managed Node.js на Nubes
|
||||
Шаг 2: Переписать IoT сервис на Node.js (aedes + REST + consumer)
|
||||
Шаг 3: Деплой IoT на Managed Node.js на Nubes
|
||||
Шаг 4: Отключить k8s деплой IoT
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6. Детали для нового чата — shared-SQS миграция
|
||||
|
||||
### Что сейчас
|
||||
- SQS сервис живёт в `namespace: shared-sqs` в кластере `iot-naeel`
|
||||
- Endpoint: `https://qu.kube5s.ru`
|
||||
- Multi-tenant: tenant `iot-service` (id: `t-96afe7e9f781f6ca`), очередь `iot-telemetry`
|
||||
- IoT использует: `SQS_ENDPOINT=https://qu.kube5s.ru`, `SQS_ACCESS_KEY`, `SQS_SECRET_KEY`
|
||||
- Протокол: AWS SQS-совместимый (SendMessage, ReceiveMessage, DeleteMessage, GetQueueUrl, GetQueueAttributes)
|
||||
|
||||
### Что нужно от нового SQS сервиса
|
||||
- AWS SQS-совместимый HTTP API (те же методы что сейчас)
|
||||
- Multi-tenant (разные access key / secret key для разных тенантов)
|
||||
- Очереди создаются по имени (`GetQueueUrl` + `CreateQueue`)
|
||||
- Long polling: `ReceiveMessage` с `WaitTimeSeconds` до 20
|
||||
- Хранение сообщений: in-memory или Postgres/Redis
|
||||
|
||||
### Клиенты SQS в IoT коде
|
||||
1. **mqtt-bridge** (`cmd/mqtt-bridge/main.go`): `SendMessage` при каждом MQTT сообщении
|
||||
2. **sqs-consumer** (`cmd/sqs-consumer/main.go`): `ReceiveMessage` (polling) + `DeleteMessage`
|
||||
3. **iot-admin-stats** (`internal/api/handler/iot_admin_stats_handler.go`): `GetQueueAttributes` для мониторинга
|
||||
|
||||
### Env vars для IoT → SQS
|
||||
```
|
||||
SQS_ENDPOINT=https://qu.kube5s.ru (поменяется на новый managed URL)
|
||||
SQS_ACCESS_KEY=...
|
||||
SQS_SECRET_KEY=...
|
||||
SQS_QUEUE_NAME=iot-telemetry (default)
|
||||
SQS_REGION=us-east-1 (default, не важен для self-hosted)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 7. Что переписывается в IoT (Node.js)
|
||||
|
||||
### Соответствие Go → Node.js
|
||||
|
||||
| Go файл | Node.js файл |
|
||||
|---|---|
|
||||
| `cmd/iot-operator/main.go` | `src/index.js` (точка входа) |
|
||||
| `internal/api/router.go` | `src/routes.js` |
|
||||
| `internal/api/handler/iot_device_handler.go` | `src/handlers/devices.js` |
|
||||
| `internal/api/handler/iot_telemetry_handler.go` | `src/handlers/telemetry.js` |
|
||||
| `internal/api/handler/iot_admin_stats_handler.go` | `src/handlers/admin.js` |
|
||||
| `internal/api/middleware/auth.go` | `src/middleware/auth.js` |
|
||||
| `internal/storage/iotpg/iot_telemetry_store.go` | `src/storage/pg.js` |
|
||||
| `cmd/mqtt-bridge/main.go` | встроен в `src/mqtt.js` (aedes) |
|
||||
| `cmd/sqs-consumer/main.go` | встроен в `src/sqsWorker.js` |
|
||||
| `controllers/iotdevice_controller.go` | **не нужен** (заменён CRUD в БД) |
|
||||
| `api/v1alpha1/device_types.go` | **не нужен** (таблица iot_devices) |
|
||||
|
||||
### npm зависимости
|
||||
```json
|
||||
{
|
||||
"dependencies": {
|
||||
"express": "^4",
|
||||
"aedes": "^0.51",
|
||||
"websocket-stream": "^5",
|
||||
"@aws-sdk/client-sqs": "^3",
|
||||
"pg": "^8",
|
||||
"uuid": "^9"
|
||||
}
|
||||
}
|
||||
```
|
||||
@@ -0,0 +1,43 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (3 бинарника, образ naeel/iot-operator). НЕ ИСПОЛЬЗОВАТЬ.
|
||||
# Новый монолит получит собственный Dockerfile. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# Изменено: 2026-04-12 (kafka-consumer → sqs-consumer)
|
||||
# Dockerfile для IoT managed service.
|
||||
# Multi-stage build: 3 бинарника (iot-operator, mqtt-bridge, sqs-consumer).
|
||||
# Образ: naeel/iot-operator (Docker Hub).
|
||||
|
||||
FROM golang:1.25 AS builder
|
||||
WORKDIR /workspace
|
||||
|
||||
# Кэширование зависимостей
|
||||
COPY go.mod go.sum ./
|
||||
RUN go mod download
|
||||
|
||||
# Исходный код
|
||||
COPY api/ api/
|
||||
COPY controllers/ controllers/
|
||||
COPY cmd/ cmd/
|
||||
COPY internal/ internal/
|
||||
|
||||
# iot-operator — controller-manager + REST API
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o iot-operator ./cmd/iot-operator/
|
||||
|
||||
# mqtt-bridge — MQTT (EMQX) → shared-SQS
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o mqtt-bridge ./cmd/mqtt-bridge/
|
||||
|
||||
# sqs-consumer — shared-SQS → Postgres
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o sqs-consumer ./cmd/sqs-consumer/
|
||||
|
||||
# --- Runtime ---
|
||||
FROM gcr.io/distroless/static:nonroot
|
||||
WORKDIR /
|
||||
|
||||
# Все три бинарника в одном образе.
|
||||
# Какой запускать — определяется command в k8s Deployment.
|
||||
COPY --from=builder /workspace/iot-operator .
|
||||
COPY --from=builder /workspace/mqtt-bridge .
|
||||
COPY --from=builder /workspace/sqs-consumer .
|
||||
|
||||
USER 65532:65532
|
||||
ENTRYPOINT ["/iot-operator"]
|
||||
@@ -0,0 +1,34 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). Цели deploy/install-crd не использовать.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# Makefile для IoT managed service.
|
||||
|
||||
IMG ?= naeel/iot-operator:latest
|
||||
|
||||
.PHONY: build build-all docker-build docker-push test tidy
|
||||
|
||||
# Собрать все бинарники
|
||||
build-all: build-operator build-bridge build-consumer
|
||||
|
||||
build-operator:
|
||||
CGO_ENABLED=0 go build -o bin/iot-operator ./cmd/iot-operator/
|
||||
|
||||
build-bridge:
|
||||
CGO_ENABLED=0 go build -o bin/mqtt-bridge ./cmd/mqtt-bridge/
|
||||
|
||||
build-consumer:
|
||||
CGO_ENABLED=0 go build -o bin/sqs-consumer ./cmd/sqs-consumer/
|
||||
test:
|
||||
go test ./...
|
||||
|
||||
tidy:
|
||||
go mod tidy
|
||||
|
||||
# Применить CRD в кластер
|
||||
install-crd:
|
||||
kubectl apply -f config/crd/bases/
|
||||
|
||||
# Деплой всех компонентов
|
||||
deploy:
|
||||
kubectl apply -f deployments/k8s/
|
||||
+3
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD/k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
---
|
||||
apiVersion: apiextensions.k8s.io/v1
|
||||
kind: CustomResourceDefinition
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# MQTT over WebSocket через Ingress с TLS termination.
|
||||
# Причина: порт 1883 заблокирован NSX-T Edge firewall на уровне облака.
|
||||
@@ -7,7 +10,9 @@
|
||||
# IoT Консоль (UI): https://iot.kube5s.ru/console
|
||||
#
|
||||
# DNS A-запись: iot.kube5s.ru → 185.247.187.147
|
||||
# TLS: cert-manager + letsencrypt-prod, secret=iot-kube5s-ru-tls
|
||||
# TLS: терминируется внешним слоем платформы (185.247.187.147).
|
||||
# cert-manager НЕ используется — HTTP-01 challenge недоступен т.к. платформа
|
||||
# глобально редиректит HTTP→HTTPS до nginx.
|
||||
#
|
||||
# Применение: kubectl apply -f deployments/k8s/emqx-ws-ingress.yaml
|
||||
|
||||
@@ -34,18 +39,13 @@ metadata:
|
||||
namespace: sless
|
||||
annotations:
|
||||
kubernetes.io/ingress.class: nginx
|
||||
cert-manager.io/cluster-issuer: letsencrypt-prod
|
||||
nginx.ingress.kubernetes.io/ssl-redirect: "true"
|
||||
nginx.ingress.kubernetes.io/ssl-redirect: "false"
|
||||
# WebSocket: nginx-ingress добавляет Upgrade/Connection при proxy-http-version=1.1
|
||||
nginx.ingress.kubernetes.io/proxy-http-version: "1.1"
|
||||
nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
|
||||
nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
|
||||
spec:
|
||||
ingressClassName: nginx
|
||||
tls:
|
||||
- hosts:
|
||||
- iot.kube5s.ru
|
||||
secretName: iot-kube5s-ru-tls
|
||||
rules:
|
||||
- host: iot.kube5s.ru
|
||||
http:
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# EMQX MQTT-брокер для IoT-сервиса (namespace: sless).
|
||||
#
|
||||
+3
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой, Kafka). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-06
|
||||
# Deployment iot-kafka-consumer — читает IoT телеметрию из Kafka → пишет в IoT Postgres.
|
||||
#
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-04
|
||||
# Изменено: 2026-04-12 (замена Kafka → shared-SQS)
|
||||
# Deployment iot-mqtt-bridge — MQTT→SQS мост для IoT.
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# Deployment iot-operator — controller-manager (IoTDevice CRD) + REST API на :9090.
|
||||
#
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-05
|
||||
# Изменено: 2026-04-12 (заменён self-hosted на managed Postgres через оператор)
|
||||
#
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-12
|
||||
# Deployment iot-sqs-consumer — читает IoT телеметрию из shared-SQS → пишет в IoT Postgres.
|
||||
#
|
||||
@@ -1,3 +1,6 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой, Kafka). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
|
||||
# Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Изменено: 2026-04-06 (добавлен postStart hook для предсоздания топика iot.telemetry)
|
||||
# kafka.yaml — минимальный деплой Apache Kafka в KRaft mode (без Zookeeper).
|
||||
# Образ: apache/kafka (официальный, бесплатный).
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT REST API — Полная документация (v0.2.3)
|
||||
|
||||
> Дата: 2026-04-12
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT API Endpoints
|
||||
|
||||
## Публичные (без auth)
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT Managed Service — Актуальная архитектура (v0.2.3)
|
||||
|
||||
> Дата: 2026-04-12
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT Managed Service — Архитектура
|
||||
|
||||
## Общая схема
|
||||
+2
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Решение: замена Kafka на shared-SQS
|
||||
|
||||
**Дата:** 2026-04-12
|
||||
+2
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Решение: Вынос IoT в отдельную репу
|
||||
|
||||
**Дата:** 2026-04-12
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT Managed Service — Актуальный деплой (v0.2.3)
|
||||
|
||||
> Дата: 2026-04-12
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT MVP — Инженерная документация деплоя
|
||||
|
||||
> Создано: 2026-04-04
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT MVP — План реализации для Sonnet
|
||||
|
||||
> **Автор плана**: GitHub Copilot (Claude Opus 4.6)
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT Managed Service — Трекер прогресса
|
||||
|
||||
## 2026-04-12: Перенос из sless в отдельную репу
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT — Руководство по запуску и тестированию (v0.2.3)
|
||||
|
||||
> Дата: 2026-04-12
|
||||
@@ -0,0 +1,537 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT — Отчёт по тестированию v0.2.5 / v0.2.6
|
||||
|
||||
> Дата: 2026-04-21
|
||||
> Кластер: iot-naeel, namespace: sless
|
||||
> Образ: naeel/iot-operator:v0.2.6
|
||||
> Тестировал: GitHub Copilot (Claude Sonnet 4.6)
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
В ходе двух сессий (2026-04-12 и 2026-04-21) после деплоя v0.2.3 были обнаружены и
|
||||
исправлены три бага, выпущены v0.2.4 → v0.2.5 → v0.2.6. Затем проведено расширенное
|
||||
тестирование: 7 категорий, 33 теста.
|
||||
|
||||
---
|
||||
|
||||
## Баги, найденные в процессе тестирования
|
||||
|
||||
### BUG-01 — MQTTAuth ищет IoTDevice по Name=deviceID (критический)
|
||||
|
||||
**Версия:** v0.2.3
|
||||
**Компонент:** `internal/api/handler/iot_device_handler.go`, функция `MQTTAuth`
|
||||
**Симптом:** MQTT CONNECT возвращал `Connection Refused: not authorised (5)` для всех устройств.
|
||||
**Причина:** Хэндлер вызывал `h.K8s.Get(client.ObjectKey{Name: deviceID})`, где `deviceID` — это
|
||||
`Spec.DeviceID` (`e2e-test-01`), но имя K8s объекта IoTDevice может быть другим (`e2e-test-device`).
|
||||
Объект не находился → `NotFound` → `deny`.
|
||||
**Диагностика:**
|
||||
```bash
|
||||
# Auth endpoint напрямую возвращал deny при правильном пароле:
|
||||
curl -s -X POST http://iot-operator.sless.svc:9090/internal/mqtt/auth \
|
||||
-d username:sless_e2e-test-01
|
||||
# {"result":"deny"}
|
||||
|
||||
# Secret существует и пароль совпадает:
|
||||
kubectl get secret iot-e2e-test-01 -n sless -o jsonpath="{.data.mqtt-password}" | base64 -d
|
||||
# fa8180c07ffc1d665d21e95a443235a93926f16e9d98c319539263f05a333ef0
|
||||
|
||||
# IoTDevice объект называется e2e-test-device, а не e2e-test-01:
|
||||
kubectl get iotdevice -n sless
|
||||
# NAME DEVICEID
|
||||
# e2e-test-device e2e-test-01
|
||||
```
|
||||
**Фикс:** Заменён `Get` на `List` + фильтр по `Spec.DeviceID == deviceID`.
|
||||
**Версия фикса:** v0.2.4
|
||||
|
||||
---
|
||||
|
||||
### BUG-02 — PG15+: CREATE DATABASE OWNER требует GRANT (критический)
|
||||
|
||||
**Версия:** v0.2.4
|
||||
**Компонент:** `internal/storage/iotpg/iot_telemetry_store.go`, функция `EnsureTenantDB`
|
||||
**Симптом:** sqs-consumer не мог создать tenant DB для первого сообщения от нового namespace.
|
||||
```
|
||||
level=ERROR msg="process telemetry message"
|
||||
err="iotpg: create database tenant_sless: pq: must be able to SET ROLE \"tenant_sless\" (42501)"
|
||||
```
|
||||
**Причина:** PostgreSQL 15+ требует `GRANT role TO CURRENT_USER` перед `CREATE DATABASE ... OWNER role`.
|
||||
В PG17 это обязательно.
|
||||
**Фикс:** Добавлен `GRANT {userName} TO CURRENT_USER` перед `CREATE DATABASE`.
|
||||
**Версия фикса:** v0.2.5
|
||||
|
||||
---
|
||||
|
||||
### BUG-03 — Query param `?device=` вместо `?device_id=` (minor)
|
||||
|
||||
**Версия:** v0.2.5
|
||||
**Компонент:** `internal/api/handler/iot_telemetry_handler.go`, функция `ListIoTTelemetry`
|
||||
**Симптом:** `GET /telemetry?device_id=dev-02` возвращал все записи (фильтр не работал).
|
||||
```bash
|
||||
curl ".../telemetry?device_id=dev-02"
|
||||
# {"count":6,...} ← должно быть count:1
|
||||
```
|
||||
**Причина:** Хэндлер читал `r.URL.Query().Get("device")`, а не `"device_id"`.
|
||||
Несоответствие с именем поля в ответе (`device_id`) и документацией.
|
||||
**Фикс:** Параметр переименован в `device_id`.
|
||||
**Версия фикса:** v0.2.6
|
||||
|
||||
---
|
||||
|
||||
## Состояние кластера на момент тестирования
|
||||
|
||||
```
|
||||
Кластер: iot-naeel (185.247.187.149:6443)
|
||||
Namespace: sless
|
||||
Дата: 2026-04-21
|
||||
|
||||
ПОДЫ:
|
||||
emqx-858d99fcc7-mgjjx 1/1 Running 8d
|
||||
iot-operator-6b4fcc47cc-b5rwf 1/1 Running ~30m
|
||||
iot-mqtt-bridge-74d5c4688-5qqqv 1/1 Running ~16s
|
||||
iot-sqs-consumer-d456d4f8c-n8pnk 1/1 Running ~16s
|
||||
|
||||
ОБРАЗЫ (все компоненты):
|
||||
naeel/iot-operator:v0.2.6
|
||||
|
||||
УСТРОЙСТВА:
|
||||
e2e-test-device device_id=e2e-test-01 phase=Active enabled=true
|
||||
e2e-dev-02 device_id=dev-02 phase=Active enabled=true
|
||||
e2e-dev-03 device_id=dev-03 phase=Active enabled=true
|
||||
e2e-dev-04 device_id=dev-04 phase=Active enabled=true
|
||||
|
||||
ТЕЛЕМЕТРИЯ В POSTGRES (tenant_sless):
|
||||
e2e-test-01: >1000 записей (cap API = 1000)
|
||||
dev-02: 21 запись
|
||||
dev-03: 21 запись
|
||||
dev-04: 21 запись
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Результаты тестирования
|
||||
|
||||
### Группа 1 — E2E пайплайн (базовый)
|
||||
|
||||
Тесты из сессии 2026-04-12, подтверждены после деплоя v0.2.5.
|
||||
|
||||
| # | Тест | Команда / Действие | Ожидание | Результат |
|
||||
|---|------|--------------------|----------|-----------|
|
||||
| 1.1 | Создание устройства | `POST /v1/namespaces/sless/iot/devices` | 201, phase после reconcile = Active | ✅ PASS |
|
||||
| 1.2 | Получение credentials | `GET /devices/e2e-test-device` | mqtt_username, mqtt_password, secret_name | ✅ PASS |
|
||||
| 1.3 | MQTT CONNECT | `mosquitto_pub -u sless_e2e-test-01 -P <pass>` | CONNACK(0) | ✅ PASS |
|
||||
| 1.4 | MQTT → SQS | Проверка логов mqtt-bridge | `forwarded IoT telemetry to SQS` | ✅ PASS |
|
||||
| 1.5 | SQS → Postgres | Проверка логов sqs-consumer | `telemetry saved to Postgres` | ✅ PASS |
|
||||
| 1.6 | Telemetry API | `GET /telemetry?device_id=e2e-test-01` | count≥1, payload совпадает | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 2 — Device API: коды ошибок
|
||||
|
||||
| # | Тест | Запрос | Ожидание | Факт | Результат |
|
||||
|---|------|--------|----------|------|-----------|
|
||||
| 2.1 | POST без `name` | `{}` | 400 `name is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.2 | POST без `device_id` | `{"name":"x"}` | 400 `device_id is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.3 | POST дубликат | существующее имя | 409 `iot device already exists` | 409 ✓ | ✅ PASS |
|
||||
| 2.4 | GET несуществующий | `GET /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
|
||||
| 2.5 | DELETE несуществующий | `DELETE /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
|
||||
| 2.6 | PATCH без `enabled` | `{}` | 400 `enabled field is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.7 | POST невалидный JSON | `not-json` | 400 `invalid JSON: ...` | 400 ✓ | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 3 — MQTT Auth: edge cases
|
||||
|
||||
Все запросы идут на `POST /internal/mqtt/auth`. Корректный ответ всегда HTTP 200.
|
||||
Результат определяется полем `result` в теле: `"allow"` или `"deny"`.
|
||||
|
||||
| # | Тест | Входные данные | Ожидание | Результат |
|
||||
|---|------|----------------|----------|-----------|
|
||||
| 3.1 | Неверный пароль | правильный username, неверный pass | deny | ✅ PASS |
|
||||
| 3.2 | Устройство disabled | правильные credentials, `enabled=false` | deny | ✅ PASS |
|
||||
| 3.3 | Пустое тело | `{}` | deny | ✅ PASS |
|
||||
| 3.4 | Username без `_` | `"username":"nounderscore"` | deny | ✅ PASS |
|
||||
| 3.5 | Несуществующий deviceID | `"username":"sless_ghost-999"` | deny | ✅ PASS |
|
||||
| 3.6 | Пустой namespace | `"username":"_dev01"` | deny | ✅ PASS |
|
||||
| 3.7 | Пустой deviceID | `"username":"sless_"` | deny | ✅ PASS |
|
||||
| 3.8 | Bridge: неверный пароль | bridge username, wrong pass | deny | ✅ PASS |
|
||||
| 3.9 | Невалидный JSON body | `not-json` | deny | ✅ PASS |
|
||||
| 3.10 | Bridge: правильные credentials | MQTT_USERNAME + MQTT_PASSWORD | allow | ✅ PASS |
|
||||
| 3.11 | Правильные device credentials | sless_e2e-test-01 + корректный pass | allow + ACL rules | ✅ PASS |
|
||||
|
||||
**ACL в ответе при allow (пример для устройства):**
|
||||
```json
|
||||
{
|
||||
"result": "allow",
|
||||
"acl": [
|
||||
{"permission":"allow","action":"publish","topic":"sless/telemetry/e2e-test-01"},
|
||||
{"permission":"allow","action":"subscribe","topic":"sless/telemetry/e2e-test-01"},
|
||||
{"permission":"deny","action":"all","topic":"#"}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Группа 4 — Device lifecycle (PATCH / DELETE)
|
||||
|
||||
| # | Тест | Действие | Ожидание | Результат |
|
||||
|---|------|----------|----------|-----------|
|
||||
| 4.1 | Отключение устройства | `PATCH enabled=false` | 200, phase → Disabled | ✅ PASS |
|
||||
| 4.2 | Auth отключённого | auth с правильным паролем | deny | ✅ PASS |
|
||||
| 4.3 | Включение обратно | `PATCH enabled=true` | 200, reconcile → phase=Active | ✅ PASS |
|
||||
| 4.4 | DELETE устройства | `DELETE /devices/to-delete` | 204 | ✅ PASS |
|
||||
| 4.5 | Cascade: Secret удалён | `kubectl get secret iot-del-01` | NotFound | ✅ PASS |
|
||||
| 4.6 | Cascade: IoTDevice удалён | `kubectl get iotdevice to-delete` | NotFound | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 5 — ACL изоляция топиков
|
||||
|
||||
| # | Тест | Действие | Ожидание | Результат |
|
||||
|---|------|----------|----------|-----------|
|
||||
| 5.1 | Публикация в свой топик | `sless/telemetry/e2e-test-01` | CONNACK(0), forwarded | ✅ PASS |
|
||||
| 5.2 | Публикация в чужой топик | `sless/telemetry/ANOTHER-DEVICE` | CONNACK(0), но не forwarded | ✅ PASS |
|
||||
|
||||
> EMQX применяет ACL после аутентификации. При публикации в запрещённый топик
|
||||
> клиент получает CONNACK(0) (аутентификация прошла), но PUBLISH тихо отбрасывается.
|
||||
> Bridge не получает сообщение — подтверждено отсутствием записи в логах.
|
||||
|
||||
---
|
||||
|
||||
### Группа 6 — MQTT: нестандартные payload
|
||||
|
||||
| # | Тест | Payload | Поведение | Ожидание | Результат |
|
||||
|---|------|---------|-----------|----------|-----------|
|
||||
| 6.1 | Невалидный JSON | `THIS IS NOT JSON AT ALL !@#` | bridge оборачивает в строку | `"payload":"THIS IS NOT JSON AT ALL !@#"` | ✅ PASS (by design) |
|
||||
| 6.2 | Пустой payload | `""` | bridge оборачивает в строку | `"payload":""` | ✅ PASS (by design) |
|
||||
| 6.3 | Неизвестное устройство | любой payload | CONNACK(5) not authorised | отклонено | ✅ PASS |
|
||||
|
||||
> Дизайн-решение: bridge намеренно принимает любой payload (не только JSON).
|
||||
> Невалидный payload оборачивается в JSON-строку (`json.Marshal(string(payload))`).
|
||||
> Это позволяет передавать raw данные от устройств старых форматов.
|
||||
|
||||
---
|
||||
|
||||
### Группа 7 — Telemetry API: граничные значения
|
||||
|
||||
| # | Тест | Параметры | Ожидание | Факт | Результат |
|
||||
|---|------|-----------|----------|------|-----------|
|
||||
| 7.1 | limit=2 | `?limit=2` | count=2 | count=2 ✓ | ✅ PASS |
|
||||
| 7.2 | limit=0 (default) | `?limit=0` | count=50 | count=50 ✓ | ✅ PASS |
|
||||
| 7.3 | limit отрицательный | `?limit=-1` | count=50 (default) | count=50 ✓ | ✅ PASS |
|
||||
| 7.4 | limit cap | `?limit=9999`, >1000 записей | count=1000 | count=1000 ✓ | ✅ PASS |
|
||||
| 7.5 | Фильтр device_id | `?device_id=dev-02` | только записи dev-02 | count=21, все dev-02 ✓ | ✅ PASS |
|
||||
| 7.6 | Несуществующий device_id | `?device_id=ghost` | count=0, items=[] | count=0 ✓ | ✅ PASS |
|
||||
| 7.7 | Несуществующий namespace | `/namespaces/unknown-ns-xyz/...` | count=0, items=[] (нет tenant DB) | count=0 ✓ | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 8 — Нагрузочные тесты
|
||||
|
||||
| # | Тест | Параметры | Ожидание | Результат |
|
||||
|---|------|-----------|----------|-----------|
|
||||
| 8.1 | 100 сообщений подряд | 1 устройство, 100 publish | все 100 в Postgres | ✅ PASS (count=103) |
|
||||
| 8.2 | 900 сообщений подряд | 1 устройство, 900 publish | все в Postgres | ✅ PASS |
|
||||
| 8.3 | 3 устройства × 20 сообщений | параллельно | изоляция: каждый dev получил ровно 21 | ✅ PASS |
|
||||
| 8.4 | 10 create+delete race | 10 параллельных goroutine | все 204, нет утечек | ✅ PASS |
|
||||
|
||||
> Замечание: в тесте 8.1 и 8.2 использовался один и тот же device.
|
||||
> Финальный count dev-02/03/04 = 21 (1 из предыдущей сессии + 20 нагрузочных).
|
||||
|
||||
---
|
||||
|
||||
## Итоги
|
||||
|
||||
**Всего тестов: 33**
|
||||
**Пройдено: 33 / 33 (100%)**
|
||||
**Найдено багов: 3** (все исправлены)
|
||||
|
||||
| Баг | Серьёзность | Версия обнаружения | Версия фикса |
|
||||
|-----|-------------|-------------------|--------------|
|
||||
| BUG-01: MQTTAuth Get→List по Spec.DeviceID | Critical | v0.2.3 | v0.2.4 |
|
||||
| BUG-02: PG15+ GRANT перед CREATE DATABASE OWNER | Critical | v0.2.4 | v0.2.5 |
|
||||
| BUG-03: query param `device` → `device_id` | Minor | v0.2.5 | v0.2.6 |
|
||||
|
||||
**Финальная версия: `naeel/iot-operator:v0.2.6`**
|
||||
|
||||
---
|
||||
|
||||
## История версий
|
||||
|
||||
| Версия | Дата | Изменение |
|
||||
|--------|------|-----------|
|
||||
| v0.2.3 | 2026-04-12 | Деплой: bridge auth fix (bridge username без `_`) |
|
||||
| v0.2.4 | 2026-04-12 | Fix BUG-01: MQTTAuth List вместо Get |
|
||||
| v0.2.5 | 2026-04-12 | Fix BUG-02: GRANT перед CREATE DATABASE (PG15+) |
|
||||
| v0.2.6 | 2026-04-21 | Fix BUG-03: query param device→device_id |
|
||||
EOF cat > /home/naeel/terra/IoT/doc/testing-v0.2.6.md << 'EOF'
|
||||
# IoT — Отчёт по тестированию v0.2.5 / v0.2.6
|
||||
|
||||
> Дата: 2026-04-21
|
||||
> Кластер: iot-naeel, namespace: sless
|
||||
> Образ: naeel/iot-operator:v0.2.6
|
||||
> Тестировал: GitHub Copilot (Claude Sonnet 4.6)
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
В ходе двух сессий (2026-04-12 и 2026-04-21) после деплоя v0.2.3 были обнаружены и
|
||||
исправлены три бага, выпущены v0.2.4 → v0.2.5 → v0.2.6. Затем проведено расширенное
|
||||
тестирование: 7 категорий, 33 теста.
|
||||
|
||||
---
|
||||
|
||||
## Баги, найденные в процессе тестирования
|
||||
|
||||
### BUG-01 — MQTTAuth ищет IoTDevice по Name=deviceID (критический)
|
||||
|
||||
**Версия:** v0.2.3
|
||||
**Компонент:** `internal/api/handler/iot_device_handler.go`, функция `MQTTAuth`
|
||||
**Симптом:** MQTT CONNECT возвращал `Connection Refused: not authorised (5)` для всех устройств.
|
||||
**Причина:** Хэндлер вызывал `h.K8s.Get(client.ObjectKey{Name: deviceID})`, где `deviceID` — это
|
||||
`Spec.DeviceID` (`e2e-test-01`), но имя K8s объекта IoTDevice может быть другим (`e2e-test-device`).
|
||||
Объект не находился → `NotFound` → `deny`.
|
||||
**Диагностика:**
|
||||
```bash
|
||||
# Auth endpoint напрямую возвращал deny при правильном пароле:
|
||||
curl -s -X POST http://iot-operator.sless.svc:9090/internal/mqtt/auth \
|
||||
-d password:<correct-pass>
|
||||
# {"result":"deny"}
|
||||
|
||||
# Secret существует и пароль совпадает:
|
||||
kubectl get secret iot-e2e-test-01 -n sless -o jsonpath="{.data.mqtt-password}" | base64 -d
|
||||
# fa8180c07ffc1d665d21e95a443235a93926f16e9d98c319539263f05a333ef0
|
||||
|
||||
# IoTDevice объект называется e2e-test-device, а не e2e-test-01:
|
||||
kubectl get iotdevice -n sless
|
||||
# NAME DEVICEID
|
||||
# e2e-test-device e2e-test-01
|
||||
```
|
||||
**Фикс:** Заменён `Get` на `List` + фильтр по `Spec.DeviceID == deviceID`.
|
||||
**Версия фикса:** v0.2.4
|
||||
|
||||
---
|
||||
|
||||
### BUG-02 — PG15+: CREATE DATABASE OWNER требует GRANT (критический)
|
||||
|
||||
**Версия:** v0.2.4
|
||||
**Компонент:** `internal/storage/iotpg/iot_telemetry_store.go`, функция `EnsureTenantDB`
|
||||
**Симптом:** sqs-consumer не мог создать tenant DB для первого сообщения от нового namespace.
|
||||
```
|
||||
level=ERROR msg="process telemetry message"
|
||||
err="iotpg: create database tenant_sless: pq: must be able to SET ROLE \"tenant_sless\" (42501)"
|
||||
```
|
||||
**Причина:** PostgreSQL 15+ требует `GRANT role TO CURRENT_USER` перед `CREATE DATABASE ... OWNER role`.
|
||||
В PG17 это обязательно.
|
||||
**Фикс:** Добавлен `GRANT {userName} TO CURRENT_USER` перед `CREATE DATABASE`.
|
||||
**Версия фикса:** v0.2.5
|
||||
|
||||
---
|
||||
|
||||
### BUG-03 — Query param `?device=` вместо `?device_id=` (minor)
|
||||
|
||||
**Версия:** v0.2.5
|
||||
**Компонент:** `internal/api/handler/iot_telemetry_handler.go`, функция `ListIoTTelemetry`
|
||||
**Симптом:** `GET /telemetry?device_id=dev-02` возвращал все записи (фильтр не работал).
|
||||
```bash
|
||||
curl ".../telemetry?device_id=dev-02"
|
||||
# {"count":6,...} ← должно быть count:1
|
||||
```
|
||||
**Причина:** Хэндлер читал `r.URL.Query().Get("device")`, а не `"device_id"`.
|
||||
Несоответствие с именем поля в ответе (`device_id`) и документацией.
|
||||
**Фикс:** Параметр переименован в `device_id`.
|
||||
**Версия фикса:** v0.2.6
|
||||
|
||||
---
|
||||
|
||||
## Состояние кластера на момент тестирования
|
||||
|
||||
```
|
||||
Кластер: iot-naeel (185.247.187.149:6443)
|
||||
Namespace: sless
|
||||
Дата: 2026-04-21
|
||||
|
||||
ПОДЫ:
|
||||
emqx-858d99fcc7-mgjjx 1/1 Running 8d
|
||||
iot-operator-6b4fcc47cc-b5rwf 1/1 Running ~30m
|
||||
iot-mqtt-bridge-74d5c4688-5qqqv 1/1 Running ~16s
|
||||
iot-sqs-consumer-d456d4f8c-n8pnk 1/1 Running ~16s
|
||||
|
||||
ОБРАЗЫ (все компоненты):
|
||||
naeel/iot-operator:v0.2.6
|
||||
|
||||
УСТРОЙСТВА:
|
||||
e2e-test-device device_id=e2e-test-01 phase=Active enabled=true
|
||||
e2e-dev-02 device_id=dev-02 phase=Active enabled=true
|
||||
e2e-dev-03 device_id=dev-03 phase=Active enabled=true
|
||||
e2e-dev-04 device_id=dev-04 phase=Active enabled=true
|
||||
|
||||
ТЕЛЕМЕТРИЯ В POSTGRES (tenant_sless):
|
||||
e2e-test-01: >1000 записей (cap API = 1000)
|
||||
dev-02: 21 запись
|
||||
dev-03: 21 запись
|
||||
dev-04: 21 запись
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Результаты тестирования
|
||||
|
||||
### Группа 1 — E2E пайплайн (базовый)
|
||||
|
||||
Тесты из сессии 2026-04-12, подтверждены после деплоя v0.2.5.
|
||||
|
||||
| # | Тест | Команда / Действие | Ожидание | Результат |
|
||||
|---|------|--------------------|----------|-----------|
|
||||
| 1.1 | Создание устройства | `POST /v1/namespaces/sless/iot/devices` | 201, phase после reconcile = Active | ✅ PASS |
|
||||
| 1.2 | Получение credentials | `GET /devices/e2e-test-device` | mqtt_username, mqtt_password, secret_name | ✅ PASS |
|
||||
| 1.3 | MQTT CONNECT | `mosquitto_pub -u sless_e2e-test-01 -P <pass>` | CONNACK(0) | ✅ PASS |
|
||||
| 1.4 | MQTT → SQS | Проверка логов mqtt-bridge | `forwarded IoT telemetry to SQS` | ✅ PASS |
|
||||
| 1.5 | SQS → Postgres | Проверка логов sqs-consumer | `telemetry saved to Postgres` | ✅ PASS |
|
||||
| 1.6 | Telemetry API | `GET /telemetry?device_id=e2e-test-01` | count≥1, payload совпадает | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 2 — Device API: коды ошибок
|
||||
|
||||
| # | Тест | Запрос | Ожидание | Факт | Результат |
|
||||
|---|------|--------|----------|------|-----------|
|
||||
| 2.1 | POST без `name` | `{}` | 400 `name is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.2 | POST без `device_id` | `{"name":"x"}` | 400 `device_id is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.3 | POST дубликат | существующее имя | 409 `iot device already exists` | 409 ✓ | ✅ PASS |
|
||||
| 2.4 | GET несуществующий | `GET /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
|
||||
| 2.5 | DELETE несуществующий | `DELETE /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
|
||||
| 2.6 | PATCH без `enabled` | `{}` | 400 `enabled field is required` | 400 ✓ | ✅ PASS |
|
||||
| 2.7 | POST невалидный JSON | `not-json` | 400 `invalid JSON: ...` | 400 ✓ | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 3 — MQTT Auth: edge cases
|
||||
|
||||
Все запросы идут на `POST /internal/mqtt/auth`. Корректный ответ всегда HTTP 200.
|
||||
Результат определяется полем `result` в теле: `"allow"` или `"deny"`.
|
||||
|
||||
| # | Тест | Входные данные | Ожидание | Результат |
|
||||
|---|------|----------------|----------|-----------|
|
||||
| 3.1 | Неверный пароль | правильный username, неверный pass | deny | ✅ PASS |
|
||||
| 3.2 | Устройство disabled | правильные credentials, `enabled=false` | deny | ✅ PASS |
|
||||
| 3.3 | Пустое тело | `{}` | deny | ✅ PASS |
|
||||
| 3.4 | Username без `_` | `"username":"nounderscore"` | deny | ✅ PASS |
|
||||
| 3.5 | Несуществующий deviceID | `"username":"sless_ghost-999"` | deny | ✅ PASS |
|
||||
| 3.6 | Пустой namespace | `"username":"_dev01"` | deny | ✅ PASS |
|
||||
| 3.7 | Пустой deviceID | `"username":"sless_"` | deny | ✅ PASS |
|
||||
| 3.8 | Bridge: неверный пароль | bridge username, wrong pass | deny | ✅ PASS |
|
||||
| 3.9 | Невалидный JSON body | `not-json` | deny | ✅ PASS |
|
||||
| 3.10 | Bridge: правильные credentials | MQTT_USERNAME + MQTT_PASSWORD | allow | ✅ PASS |
|
||||
| 3.11 | Правильные device credentials | sless_e2e-test-01 + корректный pass | allow + ACL rules | ✅ PASS |
|
||||
|
||||
**ACL в ответе при allow (пример для устройства):**
|
||||
```json
|
||||
{
|
||||
"result": "allow",
|
||||
"acl": [
|
||||
{"permission":"allow","action":"publish","topic":"sless/telemetry/e2e-test-01"},
|
||||
{"permission":"allow","action":"subscribe","topic":"sless/telemetry/e2e-test-01"},
|
||||
{"permission":"deny","action":"all","topic":"#"}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Группа 4 — Device lifecycle (PATCH / DELETE)
|
||||
|
||||
| # | Тест | Действие | Ожидание | Результат |
|
||||
|---|------|----------|----------|-----------|
|
||||
| 4.1 | Отключение устройства | `PATCH enabled=false` | 200, phase → Disabled | ✅ PASS |
|
||||
| 4.2 | Auth отключённого | auth с правильным паролем | deny | ✅ PASS |
|
||||
| 4.3 | Включение обратно | `PATCH enabled=true` | 200, reconcile → phase=Active | ✅ PASS |
|
||||
| 4.4 | DELETE устройства | `DELETE /devices/to-delete` | 204 | ✅ PASS |
|
||||
| 4.5 | Cascade: Secret удалён | `kubectl get secret iot-del-01` | NotFound | ✅ PASS |
|
||||
| 4.6 | Cascade: IoTDevice удалён | `kubectl get iotdevice to-delete` | NotFound | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 5 — ACL изоляция топиков
|
||||
|
||||
| # | Тест | Действие | Ожидание | Результат |
|
||||
|---|------|----------|----------|-----------|
|
||||
| 5.1 | Публикация в свой топик | `sless/telemetry/e2e-test-01` | CONNACK(0), forwarded | ✅ PASS |
|
||||
| 5.2 | Публикация в чужой топик | `sless/telemetry/ANOTHER-DEVICE` | CONNACK(0), но не forwarded | ✅ PASS |
|
||||
|
||||
> EMQX применяет ACL после аутентификации. При публикации в запрещённый топик
|
||||
> клиент получает CONNACK(0) (аутентификация прошла), но PUBLISH тихо отбрасывается.
|
||||
> Bridge не получает сообщение — подтверждено отсутствием записи в логах.
|
||||
|
||||
---
|
||||
|
||||
### Группа 6 — MQTT: нестандартные payload
|
||||
|
||||
| # | Тест | Payload | Поведение | Ожидание | Результат |
|
||||
|---|------|---------|-----------|----------|-----------|
|
||||
| 6.1 | Невалидный JSON | `THIS IS NOT JSON AT ALL !@#` | bridge оборачивает в строку | `"payload":"THIS IS NOT JSON AT ALL !@#"` | ✅ PASS (by design) |
|
||||
| 6.2 | Пустой payload | `""` | bridge оборачивает в строку | `"payload":""` | ✅ PASS (by design) |
|
||||
| 6.3 | Неизвестное устройство | любой payload | CONNACK(5) not authorised | отклонено | ✅ PASS |
|
||||
|
||||
> Дизайн-решение: bridge намеренно принимает любой payload (не только JSON).
|
||||
> Невалидный payload оборачивается в JSON-строку (`json.Marshal(string(payload))`).
|
||||
> Это позволяет передавать raw данные от устройств старых форматов.
|
||||
|
||||
---
|
||||
|
||||
### Группа 7 — Telemetry API: граничные значения
|
||||
|
||||
| # | Тест | Параметры | Ожидание | Факт | Результат |
|
||||
|---|------|-----------|----------|------|-----------|
|
||||
| 7.1 | limit=2 | `?limit=2` | count=2 | count=2 ✓ | ✅ PASS |
|
||||
| 7.2 | limit=0 (default) | `?limit=0` | count=50 | count=50 ✓ | ✅ PASS |
|
||||
| 7.3 | limit отрицательный | `?limit=-1` | count=50 (default) | count=50 ✓ | ✅ PASS |
|
||||
| 7.4 | limit cap | `?limit=9999`, >1000 записей | count=1000 | count=1000 ✓ | ✅ PASS |
|
||||
| 7.5 | Фильтр device_id | `?device_id=dev-02` | только записи dev-02 | count=21, все dev-02 ✓ | ✅ PASS |
|
||||
| 7.6 | Несуществующий device_id | `?device_id=ghost` | count=0, items=[] | count=0 ✓ | ✅ PASS |
|
||||
| 7.7 | Несуществующий namespace | `/namespaces/unknown-ns-xyz/...` | count=0, items=[] (нет tenant DB) | count=0 ✓ | ✅ PASS |
|
||||
|
||||
---
|
||||
|
||||
### Группа 8 — Нагрузочные тесты
|
||||
|
||||
| # | Тест | Параметры | Ожидание | Результат |
|
||||
|---|------|-----------|----------|-----------|
|
||||
| 8.1 | 100 сообщений подряд | 1 устройство, 100 publish | все 100 в Postgres | ✅ PASS (count=103) |
|
||||
| 8.2 | 900 сообщений подряд | 1 устройство, 900 publish | все в Postgres | ✅ PASS |
|
||||
| 8.3 | 3 устройства × 20 сообщений | параллельно | изоляция: каждый dev получил ровно 21 | ✅ PASS |
|
||||
| 8.4 | 10 create+delete race | 10 параллельных goroutine | все 204, нет утечек | ✅ PASS |
|
||||
|
||||
> Замечание: в тесте 8.1 и 8.2 использовался один и тот же device.
|
||||
> Финальный count dev-02/03/04 = 21 (1 из предыдущей сессии + 20 нагрузочных).
|
||||
|
||||
---
|
||||
|
||||
## Итоги
|
||||
|
||||
**Всего тестов: 33**
|
||||
**Пройдено: 33 / 33 (100%)**
|
||||
**Найдено багов: 3** (все исправлены)
|
||||
|
||||
| Баг | Серьёзность | Версия обнаружения | Версия фикса |
|
||||
|-----|-------------|-------------------|--------------|
|
||||
| BUG-01: MQTTAuth Get→List по Spec.DeviceID | Critical | v0.2.3 | v0.2.4 |
|
||||
| BUG-02: PG15+ GRANT перед CREATE DATABASE OWNER | Critical | v0.2.4 | v0.2.5 |
|
||||
| BUG-03: query param `device` → `device_id` | Minor | v0.2.5 | v0.2.6 |
|
||||
|
||||
**Финальная версия: `naeel/iot-operator:v0.2.6`**
|
||||
|
||||
---
|
||||
|
||||
## История версий
|
||||
|
||||
| Версия | Дата | Изменение |
|
||||
|--------|------|-----------|
|
||||
| v0.2.3 | 2026-04-12 | Деплой: bridge auth fix (bridge username без `_`) |
|
||||
| v0.2.4 | 2026-04-12 | Fix BUG-01: MQTTAuth List вместо Get |
|
||||
| v0.2.5 | 2026-04-12 | Fix BUG-02: GRANT перед CREATE DATABASE (PG15+) |
|
||||
| v0.2.6 | 2026-04-21 | Fix BUG-03: query param device→device_id |
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# 2026-04-12 — GitHub Copilot (Claude Opus 4.6)
|
||||
|
||||
## Задача
|
||||
@@ -1,3 +1,5 @@
|
||||
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# IoT MVP — E2E Demo
|
||||
|
||||
## Что делает этот пример
|
||||
@@ -1,3 +1,4 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
"""
|
||||
Создано: 2026-04-04
|
||||
handler.py — обработчик IoT-телеметрии для демонстрации IoT MVP.
|
||||
@@ -1,3 +1,5 @@
|
||||
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||||
|
||||
# Создано: 2026-04-04
|
||||
# E2E Demo: IoT Device → MQTT → RabbitMQ → Serverless Function
|
||||
#
|
||||
@@ -0,0 +1,17 @@
|
||||
# ws-probe — проверка WebSocket через платформенный ingress Nubes.
|
||||
# Образ: naeel/iot-ws-probe (Docker Hub, публичный — платформа тянет только публичные).
|
||||
|
||||
FROM golang:1.25 AS builder
|
||||
WORKDIR /workspace
|
||||
COPY go.mod go.sum ./
|
||||
RUN go mod download
|
||||
COPY main.go ./
|
||||
ARG VERSION=dev
|
||||
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -ldflags "-X main.version=${VERSION}" -o ws-probe .
|
||||
|
||||
FROM gcr.io/distroless/static:nonroot
|
||||
WORKDIR /
|
||||
COPY --from=builder /workspace/ws-probe .
|
||||
USER 65532:65532
|
||||
EXPOSE 8080
|
||||
ENTRYPOINT ["/ws-probe"]
|
||||
@@ -0,0 +1,19 @@
|
||||
# ws-probe — тестовый WS echo-сервер для проверки wss на платформе Nubes.
|
||||
|
||||
VERSION ?= v0.1.0
|
||||
IMAGE ?= naeel/iot-ws-probe
|
||||
|
||||
.PHONY: build tidy docker-build docker-push
|
||||
|
||||
build:
|
||||
CGO_ENABLED=0 go build -ldflags "-X main.version=$(VERSION)" -o ws-probe .
|
||||
|
||||
tidy:
|
||||
go mod tidy
|
||||
|
||||
docker-build:
|
||||
docker build --build-arg VERSION=$(VERSION) -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
|
||||
|
||||
docker-push:
|
||||
docker push $(IMAGE):$(VERSION)
|
||||
docker push $(IMAGE):latest
|
||||
@@ -0,0 +1,5 @@
|
||||
module ws-probe
|
||||
|
||||
go 1.25
|
||||
|
||||
require github.com/gorilla/websocket v1.5.3
|
||||
@@ -0,0 +1,2 @@
|
||||
github.com/gorilla/websocket v1.5.3 h1:saDtZ6Pbx/0u+bgYQ3q96pZgCzfhKXGPqt7kZ72aNNg=
|
||||
github.com/gorilla/websocket v1.5.3/go.mod h1:YR8l580nyteQvAITg2hZ9XVh4b55+EU/adAjf1fMHhE=
|
||||
@@ -0,0 +1,117 @@
|
||||
// ws-probe — тестовый контейнер для проверки WebSocket (wss) через платформенный ingress Nubes.
|
||||
//
|
||||
// Назначение: подтвердить, что «Простой HTTP контейнер» платформы пропускает
|
||||
// WebSocket upgrade (101 Switching Protocols) и держит долгоживущие соединения.
|
||||
//
|
||||
// Эндпоинты:
|
||||
//
|
||||
// GET / — инфо-страница (HTML)
|
||||
// GET /health — {"status":"ok","version":...}
|
||||
// GET /ws — WebSocket echo: отвечает на сообщения, шлёт ping каждые 20с
|
||||
//
|
||||
// Без кредов, без внешних зависимостей — только echo.
|
||||
package main
|
||||
|
||||
import (
|
||||
"encoding/json"
|
||||
"log"
|
||||
"net/http"
|
||||
"os"
|
||||
"time"
|
||||
|
||||
"github.com/gorilla/websocket"
|
||||
)
|
||||
|
||||
var version = "dev"
|
||||
|
||||
const pageHTML = `<!DOCTYPE html>
|
||||
<html><head><meta charset="utf-8"><title>ws-probe</title></head>
|
||||
<body style="font-family:system-ui,sans-serif;padding:2rem">
|
||||
<h1>ws-probe</h1>
|
||||
<p>WebSocket echo: <code>/ws</code></p>
|
||||
<p>Health: <code>/health</code></p>
|
||||
</body></html>`
|
||||
|
||||
var upgrader = websocket.Upgrader{
|
||||
ReadBufferSize: 1024,
|
||||
WriteBufferSize: 1024,
|
||||
CheckOrigin: func(r *http.Request) bool { return true },
|
||||
}
|
||||
|
||||
func main() {
|
||||
port := os.Getenv("PORT")
|
||||
if port == "" {
|
||||
port = "8080"
|
||||
}
|
||||
|
||||
mux := http.NewServeMux()
|
||||
|
||||
mux.HandleFunc("/health", func(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "application/json")
|
||||
_ = json.NewEncoder(w).Encode(map[string]string{"status": "ok", "version": version})
|
||||
})
|
||||
|
||||
mux.HandleFunc("/ws", wsEcho)
|
||||
mux.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "text/html; charset=utf-8")
|
||||
_, _ = w.Write([]byte(pageHTML))
|
||||
})
|
||||
|
||||
log.Printf("ws-probe %s listening on :%s", version, port)
|
||||
if err := http.ListenAndServe(":"+port, mux); err != nil {
|
||||
log.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
// wsEcho — апгрейд до WebSocket, echo сообщений, ping каждые 20с.
|
||||
func wsEcho(w http.ResponseWriter, r *http.Request) {
|
||||
conn, err := upgrader.Upgrade(w, r, nil)
|
||||
if err != nil {
|
||||
log.Printf("upgrade failed: %v", err)
|
||||
return
|
||||
}
|
||||
defer conn.Close()
|
||||
log.Printf("ws connected from %s (host=%s)", conn.RemoteAddr(), r.Host)
|
||||
|
||||
// Read deadline сбрасывается pong'ами — мёртвые соединения закрываются через 60с.
|
||||
conn.SetReadDeadline(time.Now().Add(60 * time.Second))
|
||||
conn.SetPongHandler(func(string) error {
|
||||
conn.SetReadDeadline(time.Now().Add(60 * time.Second))
|
||||
return nil
|
||||
})
|
||||
|
||||
pingTicker := time.NewTicker(20 * time.Second)
|
||||
defer pingTicker.Stop()
|
||||
|
||||
done := make(chan struct{})
|
||||
go func() {
|
||||
defer close(done)
|
||||
for {
|
||||
mt, msg, err := conn.ReadMessage()
|
||||
if err != nil {
|
||||
log.Printf("ws read error: %v", err)
|
||||
return
|
||||
}
|
||||
log.Printf("ws recv %d bytes (type %d)", len(msg), mt)
|
||||
if err := conn.WriteMessage(mt, msg); err != nil {
|
||||
log.Printf("ws write error: %v", err)
|
||||
return
|
||||
}
|
||||
log.Printf("ws echo sent")
|
||||
}
|
||||
}()
|
||||
|
||||
for {
|
||||
select {
|
||||
case <-done:
|
||||
log.Printf("ws closed from %s", conn.RemoteAddr())
|
||||
return
|
||||
case t := <-pingTicker.C:
|
||||
deadline := time.Now().Add(10 * time.Second)
|
||||
if err := conn.WriteControl(websocket.PingMessage, []byte(t.Format(time.RFC3339)), deadline); err != nil {
|
||||
log.Printf("ws ping error: %v", err)
|
||||
return
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user