Compare commits

Author SHA1 Message Date
“Naeel” 12db7d3e94 docs(HISTORY): section 38 — remove names 2026-08-17 13:53:18 +04:00
“Naeel” 817f7377d5 docs(HISTORY): section 38 — DevOps Nubes diagnosis (flaky big-file bug, auth_test_mode on) 2026-08-17 13:51:31 +04:00
“Naeel” 57c0fcae3d chore: убрать __pycache__ из трекинга, расширить .gitignore (pyc/бинарники/мусор) 2026-08-17 08:20:44 +04:00
“Naeel” ed498a4f6e docs(thinking): Nubes DevOps report — network issues + fixes 2026-08-16 20:43:03 +04:00
“Naeel” c066a97e42 feat(landing): vertical large pipeline diagram; v0.1.13 2026-08-16 19:16:58 +04:00
“Naeel” a0e73b0b7a feat(landing): hand-drawn pipeline SVG diagram; v0.1.12 2026-08-16 19:11:17 +04:00
“Naeel” 6f609eca4b docs(landing): rewrite as clear how-to (4 steps with copy-paste commands); v0.1.9 2026-08-16 18:51:59 +04:00
“Naeel” bd6bc8777e feat(api): landing page with Nubes design (logo+favicon), /static; v0.1.8 2026-08-16 18:46:17 +04:00
“Naeel” 3fedf9317c fix: review findings (async SQS dispatcher, backoff, batch insert, shutdown order, pagination, HMAC) + loadtest fixes; v0.1.6 2026-08-16 18:24:09 +04:00
“Naeel” 090cedca67 test(loadtests): 10 load scenarios + verifier; docs: Sonnet review findings 2026-08-16 16:59:29 +04:00
“Naeel” a4a11bae54 docs(HISTORY): section 30 — cluster resources + load-test directive 2026-08-16 16:46:40 +04:00
“Naeel” 4c8bb39354 docs: no-kubectl deployment procedure (tail 4) + HISTORY 28-29 2026-08-16 16:20:07 +04:00
“Naeel” 4ddd95a441 feat(emqx): PG-auth in EMQX v0.2.4 + EnsureBridgeDevice v0.1.2 (tail 3) 2026-08-16 16:18:49 +04:00
“Naeel” d970958e5c fix(bridge): resubscribe on every (re)connect; emqx v0.2.1 dashboard off; iot-service v0.1.1 2026-08-16 15:24:26 +04:00
“Naeel” 3ec8fe86c2 docs: HISTORY — подробная сводка развёрнутого стека, правила платформы, план хвостов 2026-08-16 15:11:13 +04:00
“Naeel” 31a7db18b2 docs: HISTORY — END-TO-END пройден: устройство→EMQX→bridge→SQS→consumer→PG→API; хвосты: AUTH_TEST_MODE, dashboard, процедура чужого кластера 2026-08-16 15:04:02 +04:00
“Naeel” af0ebdfebc docs: HISTORY — монолит поднят (sslmode=require), /health OK, EMQX переведён на адрес монолита; ошибки deck/pg_hba задокументированы 2026-08-16 14:52:20 +04:00
“Naeel” f1199e4335 fix(emqx): v0.2.0 от официальной базы + резолвимые auth-заглушки — EMQX работает (502 устранён); HISTORY: развязка задокументирована 2026-08-16 14:22:35 +04:00
“Naeel” 0b9768e2f2 fix(emqx): mqtt_path→websocket.mqtt_path (v0.1.4, локально OK); HISTORY: на платформе boot висит — задокументировано 2026-08-16 13:48:26 +04:00
“Naeel” 2f127ee612 fix(emqx): v0.1.2 — procps для launcher (502 из-за ps: command not found); HISTORY: ошибки deck/502 задокументированы 2026-08-16 13:28:41 +04:00
“Naeel” 93af91f561 fix(emqx): v0.1.1 — сборка от debian, единственный EXPOSE 8083 (deck-UI берёт порт из образа, поле applicationUsePort в форме отсутствует) 2026-08-16 13:22:39 +04:00
“Naeel” 92c9a8a2f8 fix(emqx): EXPOSE только 8083 + комментарий про applicationUsePort в deck-UI 2026-08-16 13:17:43 +04:00
“Naeel” 06fb7ac231 docs: HISTORY — очередь iot-telemetry создана (тенант t-fec713a), готово к deck-UI 2026-08-16 10:23:51 +04:00
“Naeel” dd80aa0bee docs: HISTORY — PG готов: роль iot_service + БД iotdb на инстансе postgresqlk8s (проверено подключение), DSN формат 2026-08-16 10:22:14 +04:00
“Naeel” a5bb95c9bd docs: HISTORY — дисциплина: старое IoT не учитывать, только новые ресурсы 2026-08-16 10:18:00 +04:00
“Naeel” 88c33c4953 docs: HISTORY — проверка PG: старый инстанс dc5db45d удалён, живой 509145c3 (superuser OK, sqsdb отсутствует); нужен новый DSN + создать БД 2026-08-16 10:17:04 +04:00
“Naeel” 19a01128cd docs: HISTORY — EMQX-образ, порядок деплоя контейнеров (EMQX → iot-service → kubectl-патч auth URL) 2026-08-16 10:13:34 +04:00
“Naeel” b5333b13a0 feat: EMQX-образ для платформы (naeel/iot-emqx) — конфиг вшит, auth/ACL URL через env 2026-08-16 10:13:17 +04:00
“Naeel” fd2e57b3dc docs: HISTORY — Фаза 1 выполнена: монолит iot-service, структура пакетов, образ запушен (digest), инструкция deck-UI 2026-08-16 10:09:55 +04:00
“Naeel” 9d08473d5f feat: монолит iot-service (Фаза 1) — config/store/api/bridge/consumer без k8s, устройства в PG, новые Dockerfile/Makefile 2026-08-16 10:07:51 +04:00
“Naeel” f0c36a11ee refactor: старые артефакты IoT перенесены в legacy/ (git mv, история сохранена); активное дерево очищено, go build OK 2026-08-16 09:48:34 +04:00
“Naeel” bf32394def docs: аудит вмешательства старого IoT — k8s-зависимости только в 3 хендлерах; Dockerfile помечен ЛЕГАСИ; правило монолита зафиксировано 2026-08-16 09:44:45 +04:00
“Naeel” eb7d312d89 docs: пометка ЛЕГАСИ всего старого IoT (манифесты, CRD, оператор, документы, examples, Makefile) + корневой LEGACY.md; удалений нет 2026-08-16 09:37:29 +04:00
“Naeel” f8537138dd docs: HISTORY — старый IoT: зомби (поды Running, DNS снят, qu.kube5s.ru удалён — consumer в ошибке); wss-тест старого домена отменён 2026-08-16 09:31:33 +04:00
“Naeel” b69f0b5276 docs: HISTORY — ответ Sonnet оценён: 7 поправок (PG не меняется, тот же кластер/шлюз, multi-port, EMQX env, /metrics, bcrypt, dedup); след.шаг: wss-тест старого прод-домена 2026-08-16 09:25:21 +04:00
“Naeel” 031e71b39d docs: HISTORY — Vultr-тест: обрыв 163.3с идентичен станции — доказано, что ~150с рвёт краевой шлюз Nubes; данные для тикета 2026-08-16 09:13:06 +04:00
“Naeel” f8c6b3e784 docs: HISTORY — итоги диагностики: платформа чиста (VM 300с/600с), обрыв только с пути станции (5/5), echo.org чист; план: тест с 3-й точки + тикет 2026-08-16 08:49:01 +04:00
“Naeel” 485f7c6fb1 docs: HISTORY — диагностика: под/nginx чисты, обрыв на краевом шлюзе (RUN1 ровно 173.1с), внутренний тест идёт 2026-08-16 08:38:32 +04:00
“Naeel” 11352a4fb3 docs: HISTORY — длительный wss-тест: обрыв на 173с (лимит соединений платформы ~150с?), план диагностики 2026-08-16 08:29:55 +04:00
“Naeel” a857753cfd docs: HISTORY — контейнер задеплоен, wss 101 + echo работают (ключевой вывод), длительный тест запущен 2026-08-16 08:26:38 +04:00
“Naeel” de5be0c473 docs: HISTORY — правка инструкции deck-UI: образ latest (путь фиксирован, тег не сменяем) 2026-08-16 08:20:26 +04:00
“Naeel” c912aafc30 docs: HISTORY — ws-probe создан, образ запушен (digest, инструкция deck-UI) 2026-08-16 08:18:37 +04:00
“Naeel” 27cb40e421 feat(ws-probe): тестовый WS echo-сервер для проверки wss на платформе Nubes (v0.1.0, образ naeel/iot-ws-probe) 2026-08-16 08:18:18 +04:00
“Naeel” 2a7ecd288e docs: HISTORY 2026-08-16 — состояние IoT, выводы по миграции (контейнер vs Node.js), факты платформы из SQS-репо 2026-08-16 08:10:04 +04:00
Naeel 368ff060a2 fix(ingress): remove cert-manager + ssl-redirect, TLS is external
The platform (185.247.187.147) terminates TLS externally before nginx.
HTTP-01 ACME challenge was stuck for 8 days because the platform
globally redirects HTTP→HTTPS before reaching nginx ingress.

Changes:
- Remove cert-manager.io/cluster-issuer: letsencrypt-prod annotation
- Remove tls section (iot-kube5s-ru-tls secret was never created)
- Set ssl-redirect: false (TLS termination is at the edge, not nginx)
- Update comment to document the actual TLS architecture
2026-04-21 07:56:06 +03:00
Naeel 146aaef543 docs: add testing report v0.2.6 (33 tests, 3 bugs fixed)
- doc/testing-v0.2.6.md: full E2E testing report (8 groups, 33 tests)
  - Group 1: E2E pipeline (MQTT→SQS→Postgres→API)
  - Group 2: Device API error codes (7 tests)
  - Group 3: MQTT Auth edge cases (11 tests)
  - Group 4: Device lifecycle PATCH/DELETE
  - Group 5: ACL topic isolation
  - Group 6: Non-standard MQTT payloads
  - Group 7: Telemetry API limits/filters
  - Group 8: Load tests (900 msgs, race condition)
- deployments: bump mqtt-bridge + sqs-consumer to v0.2.6
2026-04-21 07:36:11 +03:00
89 changed files with 8680 additions and 91 deletions
+34
View File
@@ -4,11 +4,37 @@
/kafka-consumer
/sqs-consumer
bin/
ws-probe/ws-probe
/iot-service
# Go
*.exe
*.test
*.out
*.prof
*.cover
# Python — кэш и генерируемые файлы
__pycache__/
*.py[cod]
*$py.class
.pytest_cache/
.mypy_cache/
.ruff_cache/
.tox/
.venv/
venv/
htmlcov/
.coverage
.coverage.*
*.egg-info/
build/
dist/
.eggs/
# Логи
*.log
logs/
# IDE
.idea/
@@ -20,3 +46,11 @@ bin/
# OS
.DS_Store
Thumbs.db
# Прочие генерируемые/временные
*.tmp
*.temp
*.bak
*.orig
*.swp
.DS_Store
+23 -25
View File
@@ -1,40 +1,38 @@
# Создано: 2026-04-12
# Изменено: 2026-04-12 (kafka-consumer → sqs-consumer)
# Dockerfile для IoT managed service.
# Multi-stage build: 3 бинарника (iot-operator, mqtt-bridge, sqs-consumer).
# Образ: naeel/iot-operator (Docker Hub).
# Dockerfile — монолит iot-service (один бинарник, один контейнер).
# Образ: naeel/iot-service (Docker Hub, публичный — требование платформы).
#
# Env-дефолты (не секреты) вшиты сюда — deck-UI задаёт только секреты.
FROM golang:1.25 AS builder
WORKDIR /workspace
# Кэширование зависимостей
COPY go.mod go.sum ./
RUN go mod download
# Исходный код
COPY api/ api/
COPY controllers/ controllers/
COPY cmd/ cmd/
COPY internal/ internal/
# iot-operator — controller-manager + REST API
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o iot-operator ./cmd/iot-operator/
ARG VERSION=dev
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a \
-ldflags "-X main.version=${VERSION}" -o iot-service ./cmd/iot-service/
# mqtt-bridge — MQTT (EMQX) → shared-SQS
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o mqtt-bridge ./cmd/mqtt-bridge/
# sqs-consumer — shared-SQS → Postgres
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o sqs-consumer ./cmd/sqs-consumer/
# --- Runtime ---
FROM gcr.io/distroless/static:nonroot
WORKDIR /
# Все три бинарника в одном образе.
# Какой запускать — определяется command в k8s Deployment.
COPY --from=builder /workspace/iot-operator .
COPY --from=builder /workspace/mqtt-bridge .
COPY --from=builder /workspace/sqs-consumer .
COPY --from=builder /workspace/iot-service .
USER 65532:65532
ENTRYPOINT ["/iot-operator"]
EXPOSE 9090
ENV API_PORT=9090 \
SQS_ENDPOINT=http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100 \
SQS_QUEUE_NAME=iot-telemetry \
SQS_REGION=us-east-1 \
SQS_LONG_POLL_SECONDS=20 \
SQS_VISIBILITY_TIMEOUT=120 \
MQTT_CLIENT_ID=iot-bridge \
MQTT_PORT=8083 \
MQTT_WS_PATH=/mqtt \
AUTH_TEST_MODE=false \
LOG_LEVEL=info
ENTRYPOINT ["/iot-service"]
File diff suppressed because it is too large Load Diff
+47
View File
@@ -0,0 +1,47 @@
# ⛔⛔⛔ ЛЕГАСИ — СТАРЫЙ IoT (k8s-деплой)
С 2026-08-16 всё, что относится к СТАРОМУ IoT (деплой в собственном k8s,
оператор, CRD), — **ЛЕГАСИ**. **НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ** при принятии решений.
Не использовать, не ссылаться, не переносить в новую архитектуру без отдельной
команды.
**Актуальное:**
- `HISTORY/2026-08-16-session-log.md` — состояние, диагностика, план миграции
- `doc/sqs-integration.md` — актуальная интеграция с shared-sqs
## Помечено ЛЕГАСИ и перенесено в `legacy/` (2026-08-16)
- `legacy/deployments/` — все k8s-манифесты старого деплоя
- `legacy/config/` — CRD IoTDevice
- `legacy/doc/` — все старые документы (deployment, architecture, api, decisions,
thinking, progress, testing и др.)
- `legacy/examples/` — старые примеры (RabbitMQ/serverless)
- `legacy/2026-08-13-migration-to-managed.md` — СТАРЫЙ план миграции (Node.js) — ОТМЕНЁН
- `legacy/Dockerfile.old` — собирал 3 старых бинарника
- `legacy/Makefile.old` — старые k8s-цели
- `cmd/iot-operator/`, `controllers/`, `api/v1alpha1/` — оператор (CRD-контроллер);
пока в корне из-за импортов (перенос — во время Фазы 1 после переписывания хендлеров)
## Аудит вмешательства старого IoT (2026-08-16, проверено)
- **Код:** k8s-зависимости есть ТОЛЬКО в `internal/api/handler/` (handler.go,
iot_device_handler.go, iot_admin_stats_handler.go — controller-runtime,
corev1, CRD-типы). Всё остальное чисто: router, middleware, UI-embeds,
`internal/storage/iotpg/`, `cmd/mqtt-bridge/`, `cmd/sqs-consumer/`.
- **Правило для монолита:** новый код НЕ импортирует `controllers/`,
`api/v1alpha1/`, k8s-клиент. Хендлеры устройств переписываются на
PG-хранилище (`iot_devices`); после этого k8s-депы удаляются из go.mod.
- **Данные:** старый shared-sqs (qu.kube5s.ru) удалён полностью — старых
очередей нет. В managed PG остались старые тестовые tenant-DB (изолированы,
на новый код не влияют; очистка — только по отдельной команде).
Старые k8s Secrets не читаются (новый код без k8s-клиента).
- **Артефакты:** `bin/` в git не отслеживается; CI (.github/) содержит только
правила — старых пайплайнов нет.
## НЕ легаси (актуально)
- `HISTORY/2026-08-16-session-log.md`
- `doc/sqs-integration.md`
- `ws-probe/`
- `cmd/mqtt-bridge/`, `cmd/sqs-consumer/`, `internal/` — Go-код, переиспользуется
в новом монолите (после адаптации под платформу)
+15 -19
View File
@@ -1,31 +1,27 @@
# Создано: 2026-04-12
# Makefile для IoT managed service.
# Makefile — монолит iot-service (образ naeel/iot-service).
# Старые k8s-цели — в legacy/Makefile.old.
IMG ?= naeel/iot-operator:latest
VERSION ?= v0.1.13
IMAGE ?= naeel/iot-service
LDFLAGS = -X main.version=$(VERSION)
.PHONY: build build-all docker-build docker-push test tidy
.PHONY: build vet test tidy docker-build docker-push
# Собрать все бинарники
build-all: build-operator build-bridge build-consumer
build:
CGO_ENABLED=0 go build -ldflags "$(LDFLAGS)" -o bin/iot-service ./cmd/iot-service/
build-operator:
CGO_ENABLED=0 go build -o bin/iot-operator ./cmd/iot-operator/
vet:
go vet ./...
build-bridge:
CGO_ENABLED=0 go build -o bin/mqtt-bridge ./cmd/mqtt-bridge/
build-consumer:
CGO_ENABLED=0 go build -o bin/sqs-consumer ./cmd/sqs-consumer/
test:
go test ./...
tidy:
go mod tidy
# Применить CRD в кластер
install-crd:
kubectl apply -f config/crd/bases/
docker-build:
docker build --build-arg VERSION=$(VERSION) -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
# Деплой всех компонентов
deploy:
kubectl apply -f deployments/k8s/
docker-push:
docker push $(IMAGE):$(VERSION)
docker push $(IMAGE):latest
+3
View File
@@ -1,3 +1,6 @@
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-типы). В новой архитектуре заменяется таблицей iot_devices в PG.
// Актуальное: HISTORY/2026-08-16-session-log.md
// Создано: 2026-04-04
// Описание CRD IoTDevice — регистрация IoT-устройства в платформе sless.
// Пользователь создаёт IoTDevice, контроллер автоматически генерирует MQTT-credentials
+3
View File
@@ -1,3 +1,6 @@
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-типы). В новой архитектуре не используется.
// Актуальное: HISTORY/2026-08-16-session-log.md
// Создано: 2026-04-04
// groupversion_info.go — регистрация API group iot.kube5s.ru/v1alpha1.
// ВАЖНО: группа намеренно отдельная от sless.kube5s.ru — при выносе IoT в
+3
View File
@@ -1,3 +1,6 @@
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (оператор, CRD-контроллер). В новой архитектуре не используется.
// Актуальное: HISTORY/2026-08-16-session-log.md
// Создано: 2026-04-12
// main.go — точка входа IoT managed service.
// Запускает controller-manager (IoTDevice CRD) и REST API сервер (порт 9090) в одном процессе.
+137
View File
@@ -0,0 +1,137 @@
// iot-service — монолит IoT на платформе Nubes (контейнер «Простой HTTP»).
//
// Три роли в одном процессе:
// - REST API + MQTT auth/acl (:9090, устройства в PostgreSQL);
// - bridge — MQTT-подписка EMQX → shared-SQS;
// - consumer — shared-SQS → per-tenant PostgreSQL.
//
// Наследие старого IoT (k8s, оператор, CRD) НЕ используется.
package main
import (
"context"
"errors"
"log/slog"
"net/http"
"os"
"os/signal"
"sync"
"syscall"
"time"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/handler"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/bridge"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/consumer"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)
// version — подставляется через ldflags при сборке.
var version = "dev"
func main() {
cfg, err := config.Load()
if err != nil {
slog.Error("config", "err", err)
os.Exit(1)
}
log := slog.New(slog.NewTextHandler(os.Stdout, &slog.HandlerOptions{Level: cfg.LogLevel}))
slog.SetDefault(log)
log.Info("iot-service starting", "version", version, "port", cfg.APIPort)
ctx, cancel := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT)
defer cancel()
// PostgreSQL — устройства и телеметрия.
storeCtx, storeCancel := context.WithTimeout(ctx, 15*time.Second)
devices, err := store.Open(storeCtx, cfg.IOTPGDSN)
storeCancel()
if err != nil {
log.Error("devices store", "err", err)
os.Exit(1)
}
defer devices.Close()
log.Info("devices store ready")
// Служебная строка бриджа в iot_devices — для PG-auth EMQX (хвост 3).
ensureCtx, ensureCancel := context.WithTimeout(ctx, 10*time.Second)
err = devices.EnsureBridgeDevice(ensureCtx, cfg.MQTTUsername, cfg.MQTTPassword)
ensureCancel()
if err != nil {
log.Error("ensure bridge device", "err", err)
os.Exit(1)
}
log.Info("bridge device ensured", "username", cfg.MQTTUsername)
iotStore, err := iotpg.New(cfg.IOTPGDSN, log)
if err != nil {
log.Error("iotpg store", "err", err)
os.Exit(1)
}
defer iotStore.Close()
log.Info("telemetry store ready")
sqsClient := sqsclient.New(cfg)
h := &handler.Handler{
Devices: devices,
IoTPG: iotStore,
SQS: sqsClient,
Cfg: cfg,
Log: log,
Version: version,
StartedAt: time.Now(),
}
// HTTP API — в основном потоке.
router := api.NewRouter(h, log, cfg.AuthTestMode, cfg.JwtHMACSecret, version)
server := &http.Server{
Addr: ":" + cfg.APIPort,
Handler: router,
ReadHeaderTimeout: 10 * time.Second,
}
// bridge + consumer — в фоне.
var wg sync.WaitGroup
wg.Add(2)
go func() {
defer wg.Done()
if err := bridge.Run(ctx, cfg, sqsClient, log); err != nil && !errors.Is(err, context.Canceled) {
log.Error("bridge stopped", "err", err)
}
}()
go func() {
defer wg.Done()
if err := consumer.Run(ctx, cfg, sqsClient, iotStore, log); err != nil && !errors.Is(err, context.Canceled) {
log.Error("consumer stopped", "err", err)
}
}()
// Сервер гаснет ПОСЛЕДНИМ: сначала останавливаются bridge+consumer
// (ctx → disconnect MQTT → flush SQS), потом HTTP. Иначе платформа
// может убить контейнер по liveness, пока bridge/consumer ещё работают
// (фикс MEDIUM из ревью 2026-08-16).
go func() {
<-ctx.Done()
wg.Wait()
shutdownCtx, shutdownCancel := context.WithTimeout(context.Background(), 10*time.Second)
defer shutdownCancel()
_ = server.Shutdown(shutdownCtx)
}()
log.Info("iot-service listening", "addr", server.Addr)
if err := server.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) {
log.Error("http server", "err", err)
os.Exit(1)
}
wg.Wait()
log.Info("iot-service stopped")
}
+3
View File
@@ -1,3 +1,6 @@
// ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD-контроллер). В новой архитектуре не используется.
// Актуальное: HISTORY/2026-08-16-session-log.md
// Создано: 2026-04-04
// iotdevice_controller.go — контроллер IoTDevice CRD.
// Логика Reconcile:
+164
View File
@@ -0,0 +1,164 @@
# Деплой IoT на платформе Nubes без kubectl (чужой кластер)
**Версии на 2026-08-16:** `naeel/iot-emqx:v0.2.4`, `naeel/iot-service:v0.1.2`.
Образы публичные на Docker Hub, каждый имеет РОВНО один EXPOSE
(EMQX — 8083, iot-service — 9090). Поле порта в deck отсутствует — порт
берётся из EXPOSE образа.
Процедура не требует kubectl: вся конфигурация задаётся env в deck-UI при
создании контейнеров. EMQX авторизует устройства напрямую в PostgreSQL
(таблица `iot_devices`) — адрес монолита ему НЕ нужен (в этом суть PG-auth,
см. HISTORY секцию 27).
---
## 0. Предусловия
1. **PostgreSQL managed** (инстанс платформы):
- роль `iot_service` (LOGIN) с правами **CREATEROLE + CREATEDB**
(нужны iotpg для per-tenant БД);
- база `iotdb` (OWNER iot_service);
- **SSL обязателен** (pg_hba платформы: без шифрования соединение
отклоняется) — в DSN `sslmode=require`, в EMQX `ssl.enable=true`.
2. **shared-SQS**: тенант с креды (AccessKey/SecretKey) и очередь
`iot-telemetry`. Внутренний endpoint тенанта вшит дефолтом в образ
iot-service (см. config/defaults.go) — для чужого кластера уточнить
внутренний адрес shared-sqs и задать через `SQS_ENDPOINT`.
3. **Имена доменов** выбрать заранее (задаются в deck при создании
контейнера), например: `iot.containerk8s.dev.nubes.ru` (API) и
`exqx.containerk8s.dev.nubes.ru` (MQTT wss).
## 1. PostgreSQL (разово)
Подключаться к master инстанса (`postgresqlk8s-master.<instance-uid>.
svc.cluster.local:5432`) из консоли/порт-форварда:
```sql
CREATE ROLE iot_service LOGIN PASSWORD '<сгенерировать>';
ALTER ROLE iot_service CREATEROLE CREATEDB;
-- БД создаётся с owner iot_service (ddl_user не может SET ROLE напрямую):
GRANT iot_service TO <текущая роль>;
CREATE DATABASE iotdb OWNER iot_service;
REVOKE iot_service FROM <текущая роль>;
```
Таблицы (`iot_devices`, per-tenant БД телеметрии) создаются кодом
автоматически при старте iot-service.
## 2. EMQX (создаётся ПЕРВЫМ)
Тип «Простой HTTP контейнер», образ `naeel/iot-emqx:v0.2.4`
(или `latest` — но см. раздел 5 про обновления). CPU **≥ 1000m**
(на квоте 500m загрузка 5–10 мин, dashboard падает с таймаутами).
Env (ВСЕ при создании — после создания env не меняются):
| Переменная | Значение |
|---|---|
| `EMQX_AUTHENTICATION__1__SERVER` | `postgresqlk8s-master.<uid>.svc.cluster.local:5432` |
| `EMQX_AUTHENTICATION__1__DATABASE` | `iotdb` |
| `EMQX_AUTHENTICATION__1__USERNAME` | `iot_service` |
| `EMQX_AUTHENTICATION__1__PASSWORD` | пароль роли |
| `EMQX_AUTHORIZATION__SOURCES__1__SERVER` | как AUTHENTICATION |
| `EMQX_AUTHORIZATION__SOURCES__1__DATABASE` | `iotdb` |
| `EMQX_AUTHORIZATION__SOURCES__1__USERNAME` | `iot_service` |
| `EMQX_AUTHORIZATION__SOURCES__1__PASSWORD` | пароль роли |
| `EMQX_LOG__CONSOLE_HANDLER__LEVEL` | `warning` |
⚠ НЕ задавать `EMQX_AUTHENTICATION__1__URL` / `EMQX_AUTHORIZATION__SOURCES__1__URL`
(это HTTP-auth старой схемы — уронит под с `unknown_fields "url"`).
⚠ `${VAR}` в конфиге не интерпретируется; только официальные env-переопределения.
Загрузка на CPU ≥1000m ~2 мин. Проверка: `curl https://<emqx-домен>/mqtt`
должен вернуть `400` (Cowboy без subprotocol — норма); wss-рука через
клиент с subprotocol `mqtt`.
После создания получить из консоли deck **UUID namespace EMQX** — он нужен
на шаге 3.
## 3. iot-service (создаётся ВТОРЫМ)
Образ `naeel/iot-service:v0.1.2`, CPU ≥ 500m, память ≥ 256Mi.
Env:
| Переменная | Значение | Обязательна |
|---|---|---|
| `IOT_PG_DSN` | `postgresql://iot_service:<пароль>@postgresqlk8s-master.<uid>.svc.cluster.local:5432/iotdb?sslmode=require` | да |
| `SQS_ACCESS_KEY` | AccessKey тенанта shared-sqs | да |
| `SQS_SECRET_KEY` | SecretKey тенанта shared-sqs | да |
| `MQTT_USERNAME` | `iot-bridge` | да |
| `MQTT_PASSWORD` | пароль бриджа (тот же, что в строке `__bridge` в iot_devices) | да |
| `MQTT_HOST` | `containerk8s.<uuid-emqx>.svc.cluster.local` | да (иначе дефолт `emqx` не резолвится) |
| `ADMIN_STATS_TOKEN` | токен для `/iot-admin/stats` | нет |
| `AUTH_TEST_MODE` | `false` | нет (дефолт false) |
Остальные дефолты вшиты в образ (API_PORT=9090, SQS_ENDPOINT, SQS_QUEUE_NAME,
SQS_REGION, long-poll 20с, visibility 30с, MQTT_PORT=8083, MQTT_WS_PATH=/mqtt,
MQTT_CLIENT_ID=iot-bridge, LOG_LEVEL=info).
Строку бриджа (`namespace='__bridge'`, `device_id=iot-bridge`,
`mqtt_password=MQTT_PASSWORD`) монолит создаёт сам при старте
(EnsureBridgeDevice) — вручную ничего не создавать.
Проверка: `GET https://<iot-домен>/health` → `{"status":"ok","version":"..."}`.
Бридж в логах: `bridge: MQTT connected` + `bridge: subscribed`.
## 4. Устройства (регистрация)
Устройство создаётся через API (JWT Bearer; структурная проверка sub+exp,
подпись на этом уровне не проверяется — периметр обеспечивает платформа):
```bash
# токен для API (sub+exp):
TOKEN=$(python3 -c "import base64,json,time;h=base64.urlsafe_b64encode(b'{\"alg\":\"none\",\"typ\":\"JWT\"}').rstrip(b'=').decode();p=base64.urlsafe_b64encode(json.dumps({'sub':'admin','exp':int(time.time())+86400}).encode()).rstrip(b'=').decode();print(h+'.'+p+'.sig')")
curl -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-d '{"name":"dev1","device_id":"dev-001"}' \
https://<iot-домен>/v1/namespaces/<ns>/iot/devices
```
Ответ содержит `mqtt_username` = `<ns>_<device_id>` и `mqtt_password`.
Повторный просмотр пароля: `GET /v1/namespaces/<ns>/iot/devices/<name>`.
Устройство подключается:
- URL: `wss://<emqx-домен>/mqtt`, подпротокол `mqtt`;
- username `<ns>_<device_id>`, password из ответа API;
- публикация: топик `<ns>/telemetry/<device_id>`;
- подписка разрешена только на свой топик (ACL).
Негативные auth-тесты (должны быть отказ): неверный пароль → CONNACK rc=4;
неизвестный username → rc=5. Проверять через on_connect rc (rc из
`paho.connect()` всегда 0 даже при отказе!).
Телеметрия: `GET /v1/namespaces/<ns>/iot/telemetry?limit=100`
(тоже JWT Bearer).
## 5. Обновления образов
Платформа кэширует `latest` зеркалом, а путь к образу фиксируется при
создании контейнера. Без kubectl обновление = **пересоздание контейнера в
deck с конкретным тегом** (`naeel/iot-emqx:v0.2.4`, `naeel/iot-service:v0.1.2`).
В своём кластере (есть kubectl): `kubectl -n <ns> set image
deployment/containerk8s app=<image>:<tag>` — зеркало подтянет уникальный тег.
## 6. Диагностика (кратко)
- EMQX не поднялся: `kubectl logs` (если доступен) или `curl` домена —
503 = под лежит; schema-ошибки видны в логах запуска
(`failed_to_check_schema`, `unknown_fields`).
- Устройство не авторизуется: включить `EMQX_LOG__CONSOLE_HANDLER__LEVEL=debug`,
смотреть `authenticator_result`/`authentication_result` и CONNACK ReasonCode.
- Бридж отваливается: в логах монолита `bridge: ...`; после рестарта EMQX
бридж переподписывается автоматически (фикс resubscribe в OnConnectHandler,
HISTORY секция 26).
- Телеметрия не доходит: цепочка устройство → EMQX → бридж → SQS
`iot-telemetry` → consumer → PG; сверять счётчики по HISTORY секции 26.4.
## 7. Известные ограничения платформы
- Edge-шлюз платформы рвёт wss ~150с (тикет Nubes подготовлен) — внешние
устройства должны переподключаться; внутри кластера (бридж) проблем нет.
- Внешний путь к SQS — таймауты ~31–33с (~5.5% запросов) и MSS-проблема;
монолит использует внутренний endpoint shared-sqs.
- env фиксируются при создании контейнера; ошиблись — пересоздать.
EOF
+70
View File
@@ -0,0 +1,70 @@
# Интеграция IoT ↔ shared-sqs: состояние и рекомендации
> Составлено 2026-08-16 на основе работ по сервису shared-sqs (SQS-совместимая
> очередь на платформе Nubes). IoT будет использовать shared-sqs так же, как
> сам shared-sqs использует managed-сервисы платформы.
## 1. Что такое shared-sqs (кратко)
- SQS-совместимая очередь (AWS API), Go, multi-tenant, форк GoAWS.
- Версия на проде: **v0.1.35**.
- Внешний endpoint: `https://sqs.containerk8s.dev.nubes.ru` (регион `us-east-1`).
- Внутренний endpoint (для подов в том же кластере Nubes, realm iot-naeel):
`http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100`
- Реализовано: CreateQueue, GetQueueUrl, ListQueues, SendMessage(+Batch),
ReceiveMessage, DeleteMessage(+Batch), ChangeMessageVisibility(+Batch),
PurgeQueue, DeleteQueue, Get/SetQueueAttributes, TagQueue/Untag/List,
FIFO (порядок + dedup 5 мин), Dead Letter Queues (RedrivePolicy).
- Лимиты: 50 очередей на тенанта, сообщение до 256 КБ, Receive 1–10 сообщений.
## 2. Что сделано и проверено (состояние на 16.08)
- Все тесты зелёные: api_test 22/22, sdk_test 15/15, FIFO/DLQ e2e PASS.
- План проверок выполнен полностью (таймауты сервера, рестарты, long-poll,
CLI в нагрузке, память 2ч, граница лимита 50).
- Нагрузка: 168 591 операция без единой сервисной ошибки.
- Сравнение с Yandex YMQ: shared-sqs быстрее (p50 6–8мс из внутренней сети,
89–90мс из интернета против 60–62мс / 138–150мс у YMQ).
## 3. Известные проблемы ПЛАТФОРМЫ (не сервиса)
1. **Таймауты каждые 31–33с на внешнем пути** (интернет → шлюз Nubes): ~5.5%
запросов не получают ответ 30с. Доказано серверным tcpdump: в момент сбоя
запрос не доходит до пода; внутри кластера потерь нет (port-forward —
24977 раундов, 0 сбоев). Тикет в поддержку Nubes подготовлен.
2. **MSS=1448** на шлюзе при MTU пода 1400/underlay 1450: тела >~1400 байт
могут виснуть ~51с (PMTUD сломан).
## 4. Рекомендации по интеграции IoT → shared-sqs
1. **Использовать AWS SDK** (aws-sdk-go или boto3) с переопределением
endpoint'а. Не писать свой HTTP-клиент.
2. **Ходить по внутренней сети, если IoT на Nubes в том же кластере:**
внутренний URL из п.1 полностью обходит проблемный внешний шлюз —
таймаутов 31–33с и MTU-проблем там нет. Это главная рекомендация.
3. **Клиентские ретраи обязательны:** retries ≥ 3, read_timeout ≥ 30с
(для внешнего пути). При внутреннем пути достаточно дефолтов.
4. **Размер сообщений:** до ~1300 байт — безопасно всегда; большие тела —
только после фикса MSS шлюзом, либо бить на части.
5. **Receive:** VisibilityTimeout ставьте с запасом на обработку (30с+);
`ChangeMessageVisibility(0)` — мгновенный возврат в очередь; long-poll
(WaitTimeSeconds) поддерживается.
6. **FIFO:** обязателен `MessageGroupId`; dedup-окно 5 минут; порядок
гарантирован внутри группы.
7. **DLQ:** настраивается RedrivePolicy (`deadLetterTargetArn`,
`maxReceiveCount`); ARN DLQ должен быть tenant-scoped (как в тестах).
8. **Лимит:** 50 очередей на тенанта — держать список очередей под контролем.
9. **Мониторинг:** `/health` отдаёт `{"status":"ok","version":...}`;
метрики платформы — Grafana (как для остальных managed-сервисов).
## 5. Аутентификация
- Креды тенанта детерминированы: tenantID `t-`+sha256(email)[:8],
AccessKey `SSAK-`+sha256(email)[:12],
SecretKey sha256(email+":shared-sqs:secret-key:v1").
- IoT получит свой тенант/креды через консоль Nubes (как другие сервисы).
## 6. Что осталось до полного прода
- Отправить тикет Nubes (таймауты шлюза + MSS) — единственный блокер для
интернет-клиентов. Для внутренней интеграции IoT блокеров нет.
@@ -0,0 +1,143 @@
# Отчёт для DevOps Nubes — сетевые проблемы платформы
**Кластер:** iot-naeel
**Дата:** 2026-08-16
**Статус:** предварительный, все факты подтверждены тестами и дампами.
Готовы предоставить скрипты воспроизведения и провести совместные тесты.
---
## Часть 1. Что не работает (наблюдения и доказательства)
### 1.1 Внешние WebSocket-соединения закрываются ~через 150 секунд
**Симптом.** WebSocket-соединения из внешних сетей (wss, TLS) закрываются
в районе 150 секунд после установления. Для клиентов это выглядит как
разрыв без видимой причины (close 1006/1005) с необходимостью
переподключения.
**Доказательства.**
- 5 из 5 внешних станций (разные сети) — разрыв ~150 с, стабильно.
- Чистый VPS (Vultr) — 1 из 1, тот же разрыв ~150 с.
- Внутри кластера (под → сервис) — 600 с без единого разрыва.
- Машина за тем же шлюзом, но вне платформы — 300 с чисто.
- Контрольные wss-соединения к внешним ресурсам (nginx, echo-серверы)
с тех же станций — чисто.
**Вывод.** Обрывает именно edge-шлюз платформы (или балансировщик перед
ним), по таймеру. Похоже на фиксированный лимит времени жизни
соединения (idle/lifetime timeout) на проксирующем слое.
**Влияние.** Любой долгоживущий протокол поверх WebSocket (например,
MQTT) вынужден переподключаться каждые ~150 с. Наши клиенты это
переживают (автопереподключение), но это лишний трафик и окна потерь.
### 1.2 Зависание внешних соединений ~на 51 секунду при объёмном трафике (MTU)
**Симптом.** Из внешней сети операции с телом/ответом крупнее ~1,4 КБ
периодически «зависают» ровно на ~51 секунду, после чего либо
завершаются, либо обрываются. Внутри кластера те же операции проходят
мгновенно.
**Доказательства (три независимых контура).**
- Контур A (HTTP-сервис за платформой): POST снаружи — пауза ~51 с на
любом объёме данных выше порога; изнутри — мгновенно. При
внешнемTrafficPolicy: Cluster большие файлы (>5 МБ) дают TCP-stall
ровно на 51 с.
- Контур B (очередь с AWS-совместимым API): тела >~1,4 КБ виснут ~51 с
(классическая экспонента TCP-ретрансмитов).
- Контур C (REST API): HTTP-ответы крупнее ~15 КБ приходят частично и
виснут (в тесте получено 15 672 байта — далее стоп); маленькие ответы
(до ~15 КБ) проходят стабильно.
**Диагностика (наша гипотеза, подтверждённая измерениями).**
- Underlay MTU = 1450.
- Оверлей (Cilium Geneve) добавляет ~50 байт инкапсуляции.
- MTU контейнеров остаётся дефолтным 1500.
- Кросс-нодовый пакет полного размера = 1500 + 50 = 1550 > 1450 →
фрагментация невозможна (DF) → пакет дропается → ядро ждёт
ретрансмиссии по экспоненте → суммарная пауза ~51 с.
- На внешнем пути наблюдается MSS 1448 при MTU 1400 — т.е. ICMP
«fragmentation needed» до клиентов, вероятно, не доходит (PMTUD
сломан на каком-то из хопов).
**Влияние.** Любой объёмный запрос/ответ снаружи рискует зависнуть на
~51 с; клиенты с таймаутами 30 с получают «таймаут», хотя сервис
ответил мгновенно.
### 1.3 Периодические таймауты внешних запросов на малых объёмах (~5,5%)
**Симптом.** Даже запросы размером ~512 байт снаружи в ~5,5% случаев не
получают ответ 30+ секунд; характерный паттерн — зависание на 31–33 с.
**Доказательства.**
- Внутри кластера: 24 977 запросов подряд — 0 сбоев (порт-форвард).
- Снаружи: периодические зависания подтверждены tcpdump-ом (запрос
уходит, ответ не возвращается в течение 30+ с).
- Маловероятно, что это наша прикладная логика: те же операции изнутри
кластера стабильны.
**Гипотеза.** Связь с пунктом 1.2 (потеря крупных сегментов при
переговорах TLS/подтверждениях) или лимиты conntrack/сессий на
балансировщике.
---
## Часть 2. Как это исправить (наши предложения)
### 2.1 К пункту 1.1 (wss ~150 с)
1. Найти слой, который закрывает соединения: проверить настройки
idle/lifetime timeout на edge-шлюзе и балансировщике перед кластером
(nginx: `proxy_read_timeout`, `proxy_send_timeout`; LB: idle timeout).
2. Для wss-трафика выставить таймауты ≥ 600 с (или «без таймаута»).
3. Включить WebSocket ping/pong на прокси-слое (keepalive-фреймы каждые
30–60 с), чтобы соединение не считалось простаивающим.
4. После изменения — прогнать наш контрольный тест (wss-клиент держит
соединение 10 минут; критерий — 0 разрывов).
### 2.2 К пункту 1.2 (MTU / 51 с)
Варианты, в порядке предпочтения:
1. **Включить MSS-clamping на внешнем пути** (на шлюзе/на узлах):
`iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN \
-j TCPMSS --clamp-mss-to-pmtu` (или фиксированный MSS под MTU
внешнего интерфейса). Это дешёвое и надёжное решение: клиент не будет
слать сегменты крупнее, чем проходит путь.
2. **Привести MTU контейнеров к underlay**: MTU подов 1450 − 50
(инкапсуляция) = 1400. Тогда кросс-нодовые пакеты перестанут
превышать underlay, и дропы исчезнут в принципе.
3. **Проверить, что ICMP «fragmentation needed» не режется** на всём
внешнем пути (firewall/LB) — восстановление PMTUD решит проблему
для больших ответов.
4. Отключить запрет фрагментации на edge для исходящих сегментов (менее
желательно).
Критерий приёмки: POST/GET с телами 1 КБ…1 МБ снаружи проходят без
пауз >2 с (наш тест: 100 запросов разных размеров, 0 зависаний).
### 2.3 К пункту 1.3 (таймауты малых тел)
1. Сначала применить 2.2 — вероятно, это тот же корень.
2. Если проблема останется: проверить лимиты conntrack на шлюзе
(`nf_conntrack_max`, `table-full` в логах) и пул/лимиты соединений
балансировщика.
3. Критерий: 10 000 запросов по 512 байт снаружи — 0 таймаутов.
---
## Что мы уже сделали со своей стороны (обходы)
- Клиенты переподключаются автоматически (переживают пункт 1.1).
- Внутренние взаимодействия ходят по внутренним DNS, минуя внешний
шлюз (таймауты 1.3 нас не блокируют).
- Чтение больших списков разбито на страницы небольшого размера
(обход пункта 1.2).
## Что нужно от вас
1. Подтверждение/опровержение по каждому пункту.
2. Если нужны воспроизведения — дайте окно и среду, прогоним тесты
совместно (скрипты готовы).
3. Оценка сроков по пунктам 2.1–2.3.
+14
View File
@@ -0,0 +1,14 @@
# EMQX для IoT на платформе Nubes.
# Образ: naeel/iot-emqx (Docker Hub, публичный).
#
# БАЗА — официальный emqx/emqx:5.5.1 (проверен на платформе: заводится, логи в
# stdout). Добавляем только наш emqx.conf (auth/ACL, listeners, логи).
# ⚠️ У образа 7 EXPOSE-портов (наследие базы) — deck-UI при СОЗДАНИИ требует
# один порт; в НАШЕМ кластере используется kubectl set image, вопрос одного
# EXPOSE для чужого кластера — отдельная задача (тикет Nubes).
FROM emqx/emqx:5.5.1
COPY emqx.conf /opt/emqx/etc/emqx.conf
EXPOSE 8083
+13
View File
@@ -0,0 +1,13 @@
# EMQX-контейнер для IoT (образ naeel/iot-emqx).
VERSION ?= v0.2.4
IMAGE ?= naeel/iot-emqx
.PHONY: docker-build docker-push
docker-build:
docker build -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
docker-push:
docker push $(IMAGE):$(VERSION)
docker push $(IMAGE):latest
+119
View File
@@ -0,0 +1,119 @@
## EMQX 5.x — конфиг для контейнера IoT на платформе Nubes.
## Вшит в образ naeel/iot-emqx. Auth/ACL — напрямую в PostgreSQL (iot_devices),
## без зависимости от адреса монолита: EMQX можно создать в deck ДО iot-service.
##
## ⚠ ${VAR}-интерполяция в этом конфиге НЕ работает (проверено на 5.5.1:
## значения попадают в конфиг буквально). Параметры PG задаются ТОЛЬКО
## официальными env-переопределениями (deck-UI или kubectl set env):
## EMQX_AUTHENTICATION__1__SERVER — host:port master (внутренний svc)
## EMQX_AUTHENTICATION__1__DATABASE — имя БД (iotdb)
## EMQX_AUTHENTICATION__1__USERNAME — роль (iot_service)
## EMQX_AUTHENTICATION__1__PASSWORD — пароль роли
## EMQX_AUTHORIZATION__SOURCES__1__SERVER / DATABASE / USERNAME / PASSWORD
## SSL обязателен (pg_hba платформы): ssl = {enable=true, verify=verify_none}.
## ⚠ В authz-postgresql НЕ поддерживаются плейсхолдеры ${action}/${topic} —
## action/topic возвращаются КОЛОНКАМИ результата запроса (проверено на 5.5.1:
## ${action} подставлялся как литерал "{action}" и ACL-запрос падал).
node {
name = "emqx@127.0.0.1"
cookie = "iot-emqx-cookie-mvp"
data_dir = "/opt/emqx/data"
}
## Auth — PostgreSQL: устройства в iot_devices.
## username устройства = namespace || '_' || device_id; бридж: namespace='__bridge',
## username = device_id (строка создаётся монолитом EnsureBridgeDevice при старте).
authentication = [
{
mechanism = password_based
backend = postgresql
enable = true
server = "127.0.0.1:5432"
database = "iotdb"
username = "iot_service"
password = "placeholder"
auto_reconnect = true
pool_size = 8
ssl {
enable = true
verify = verify_none
}
password_hash_algorithm {
name = plain
salt_position = disable
}
query = "SELECT mqtt_password AS password_hash FROM iot_devices WHERE enabled = true AND (namespace || '_' || device_id = ${username} OR (namespace = '__bridge' AND ${username} = device_id)) LIMIT 1"
}
]
## ACL — PostgreSQL: устройства pub/sub только в свой топик ns/telemetry/device_id,
## бридж — subscribe на "+/telemetry/+".
## no_match = deny: нет строки в iot_devices или устройство выключено — запрет.
authorization {
no_match = deny
deny_action = disconnect
cache {
enable = true
max_size = 32
ttl = 1m
}
sources = [
{
type = postgresql
enable = true
server = "127.0.0.1:5432"
database = "iotdb"
username = "iot_service"
password = "placeholder"
auto_reconnect = true
pool_size = 8
ssl {
enable = true
verify = verify_none
}
query = "SELECT 'allow' AS permission, 'subscribe' AS action, '+/telemetry/+' AS topic FROM iot_devices WHERE enabled = true AND namespace = '__bridge' AND ${username} = device_id UNION ALL SELECT 'allow' AS permission, a.action, namespace || '/telemetry/' || device_id AS topic FROM iot_devices, (VALUES ('publish'), ('subscribe')) AS a(action) WHERE enabled = true AND namespace || '_' || device_id = ${username}"
}
]
}
mqtt {
max_packet_size = 1MB
max_topic_levels = 10
retain_available = false
}
## Логи: console (stdout) — видны через kubectl logs платформы.
## Файловый handler отключён (у USER emqx нет прав на /var/log/emqx при deb).
log {
console_handler {
enable = true
level = warning
}
file_handlers.default {
enable = false
}
}
## Listeners: WebSocket — единственный порт контейнера платформы (8083).
## TCP 1883 остаётся для диагностики (не экспонируется платформой).
listeners.tcp.default {
bind = "0.0.0.0:1883"
max_connections = 1024
}
listeners.ws.default {
bind = "0.0.0.0:8083"
websocket {
mqtt_path = "/mqtt"
}
max_connections = 512
}
## Dashboard ОТКЛЮЧЁН (enable=false): на CPU-квоте 500m swagger-генерация падает
## с таймаутами и засоряет логи. Диагностика — через порт 1883/ctl.
dashboard {
listeners.http {
enable = false
}
}
@@ -36,7 +36,7 @@ func (h *Handler) ListIoTTelemetry(w http.ResponseWriter, r *http.Request) {
}
}
rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit)
rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit, 0)
if err != nil {
h.Log.Error("query IoT telemetry", "namespace", ns, "device", deviceID, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to query telemetry"))
+20
View File
@@ -0,0 +1,20 @@
// admin_embed.go — встраивает HTML страницы администратора в бинарник.
package api
import (
_ "embed"
"net/http"
)
// iotAdminHTML — страница /iot-admin, встроена при сборке.
//
//go:embed ui/iot-admin.html
var iotAdminHTML []byte
// ServeIoTAdmin отдаёт HTML страницу администратора.
func ServeIoTAdmin(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
w.Header().Set("Cache-Control", "no-cache, must-revalidate")
w.WriteHeader(http.StatusOK)
_, _ = w.Write(iotAdminHTML)
}
+20
View File
@@ -0,0 +1,20 @@
// console_embed.go — встраивает HTML IoT консоли в бинарник.
package api
import (
_ "embed"
"net/http"
)
// iotConsoleHTML — консоль /console, встроена при сборке.
//
//go:embed ui/iot-console.html
var iotConsoleHTML []byte
// ServeIoTConsole отдаёт HTML консоли.
func ServeIoTConsole(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
w.Header().Set("Cache-Control", "no-cache, must-revalidate")
w.WriteHeader(http.StatusOK)
_, _ = w.Write(iotConsoleHTML)
}
+58
View File
@@ -0,0 +1,58 @@
// admin.go — статистика для страницы администратора.
//
// Endpoint: GET /iot-admin/stats (Bearer ADMIN_STATS_TOKEN).
// Источники: PostgreSQL (iotpg), shared-SQS (атрибуты очереди), рантайм процесса.
// k8s-статусы подов убраны — компоненты теперь в одном процессе.
package handler
import (
"context"
"net/http"
"strings"
"time"
)
// AdminStats — GET /iot-admin/stats.
func (h *Handler) AdminStats(w http.ResponseWriter, r *http.Request) {
if h.Cfg.AdminStatsToken == "" {
writeJSON(w, http.StatusServiceUnavailable, errResp("admin stats not configured: ADMIN_STATS_TOKEN not set"))
return
}
authHeader := r.Header.Get("Authorization")
if !strings.HasPrefix(authHeader, "Bearer ") || strings.TrimPrefix(authHeader, "Bearer ") != h.Cfg.AdminStatsToken {
writeJSON(w, http.StatusUnauthorized, errResp("unauthorized"))
return
}
ctx, cancel := context.WithTimeout(r.Context(), 15*time.Second)
defer cancel()
result := map[string]any{
"collected_at": time.Now().UTC(),
}
// PostgreSQL: статистика по всем tenant (как в старом коде).
if h.IoTPG != nil {
pgStats, err := h.IoTPG.GetAdminStats(ctx)
if err != nil {
result["postgres"] = map[string]any{"reachable": false, "error": err.Error()}
} else {
result["postgres"] = pgStats
}
} else {
result["postgres"] = map[string]any{"reachable": false, "error": "IoTPG not configured"}
}
// SQS: approximate counts очереди телеметрии.
result["sqs"] = h.collectSQSStats(ctx)
// Рантайм процесса (вместо статусов k8s-подов).
result["runtime"] = map[string]any{
"version": h.Version,
"uptime_sec": int64(time.Since(h.StartedAt).Seconds()),
"started_at": h.StartedAt.UTC().Format(time.RFC3339),
}
writeJSON(w, http.StatusOK, result)
}
+256
View File
@@ -0,0 +1,256 @@
// devices.go — CRUD устройств на PostgreSQL.
//
// Endpoints:
//
// POST /v1/namespaces/{ns}/iot/devices — создать
// GET /v1/namespaces/{ns}/iot/devices — список (без паролей)
// GET /v1/namespaces/{ns}/iot/devices/{name} — одно (с паролем)
// DELETE /v1/namespaces/{ns}/iot/devices/{name} — удалить
// PATCH /v1/namespaces/{ns}/iot/devices/{name} — enabled
package handler
import (
"crypto/rand"
"encoding/hex"
"encoding/json"
"errors"
"net/http"
"strconv"
"time"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
)
// iotDeviceCreateRequest — тело POST.
type iotDeviceCreateRequest struct {
Name string `json:"name"`
DeviceID string `json:"device_id"`
Enabled *bool `json:"enabled"`
Metadata map[string]string `json:"metadata,omitempty"`
}
// iotDeviceUpdateRequest — тело PATCH.
type iotDeviceUpdateRequest struct {
Enabled *bool `json:"enabled"`
}
// iotDeviceResponse — ответ API. MQTTPassword — только в GET по имени.
type iotDeviceResponse struct {
Name string `json:"name"`
Namespace string `json:"namespace"`
DeviceID string `json:"device_id"`
Enabled bool `json:"enabled"`
Phase string `json:"phase"`
MQTTUsername string `json:"mqtt_username,omitempty"`
MQTTPassword string `json:"mqtt_password,omitempty"`
TopicPrefix string `json:"topic_prefix,omitempty"`
LastConnected string `json:"last_connected,omitempty"`
Metadata map[string]string `json:"metadata,omitempty"`
CreatedAt string `json:"created_at,omitempty"`
}
// deviceToResponse конвертирует устройство из БД в ответ API.
// password отдаётся только если непустая (передаётся явно из Get).
func deviceToResponse(d *store.Device, password string) iotDeviceResponse {
resp := iotDeviceResponse{
Name: d.Name,
Namespace: d.Namespace,
DeviceID: d.DeviceID,
Enabled: d.Enabled,
Phase: d.Phase,
MQTTUsername: d.Namespace + "_" + d.DeviceID,
MQTTPassword: password,
TopicPrefix: d.Namespace + "/",
Metadata: d.Metadata,
}
if d.LastConnected != nil && !d.LastConnected.IsZero() {
resp.LastConnected = d.LastConnected.UTC().Format(time.RFC3339)
}
if !d.CreatedAt.IsZero() {
resp.CreatedAt = d.CreatedAt.UTC().Format("2006-01-02 15:04:05 UTC")
}
return resp
}
// generateMQTTPassword — 32 случайных байта в hex (как старый контроллер).
// crypto/rand ошибку даёт только при сбое системного PRNG — 3 попытки
// (ревью 2026-08-16: не возвращать пустой пароль).
func generateMQTTPassword() (string, error) {
var lastErr error
for attempt := 0; attempt < 3; attempt++ {
buf := make([]byte, 32)
if _, err := rand.Read(buf); err == nil {
return hex.EncodeToString(buf), nil
} else {
lastErr = err
}
}
return "", lastErr
}
// CreateIoTDevice — POST /v1/namespaces/{ns}/iot/devices.
func (h *Handler) CreateIoTDevice(w http.ResponseWriter, r *http.Request) {
ns := pathVar(r, "namespace")
if ns == "" {
ns = "default"
}
var req iotDeviceCreateRequest
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error()))
return
}
if req.Name == "" {
writeJSON(w, http.StatusBadRequest, errResp("name is required"))
return
}
if req.DeviceID == "" {
writeJSON(w, http.StatusBadRequest, errResp("device_id is required"))
return
}
enabled := true
if req.Enabled != nil {
enabled = *req.Enabled
}
password, err := generateMQTTPassword()
if err != nil {
h.Log.Error("generate device password", "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to generate credentials"))
return
}
phase := "Active"
if !enabled {
phase = "Disabled"
}
device := &store.Device{
Namespace: ns,
Name: req.Name,
DeviceID: req.DeviceID,
Enabled: enabled,
MQTTPassword: password,
Metadata: req.Metadata,
Phase: phase,
}
if err := h.Devices.Create(r.Context(), device); err != nil {
if errors.Is(err, store.ErrAlreadyExists) {
writeJSON(w, http.StatusConflict, errResp("iot device already exists"))
return
}
h.Log.Error("create device", "namespace", ns, "name", req.Name, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to create device"))
return
}
writeJSON(w, http.StatusCreated, deviceToResponse(device, ""))
}
// ListIoTDevices — GET /v1/namespaces/{ns}/iot/devices (без паролей).
// Пагинация: ?limit=N&offset=M (0 = без ограничения).
func (h *Handler) ListIoTDevices(w http.ResponseWriter, r *http.Request) {
ns := pathVar(r, "namespace")
if ns == "" {
ns = "default"
}
limit, _ := strconv.Atoi(r.URL.Query().Get("limit"))
offset, _ := strconv.Atoi(r.URL.Query().Get("offset"))
devices, err := h.Devices.List(r.Context(), ns, limit, offset)
if err != nil {
h.Log.Error("list devices", "namespace", ns, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to list devices"))
return
}
result := make([]iotDeviceResponse, 0, len(devices))
for i := range devices {
result = append(result, deviceToResponse(&devices[i], ""))
}
writeJSON(w, http.StatusOK, result)
}
// GetIoTDevice — GET /v1/namespaces/{ns}/iot/devices/{name} (с паролем).
func (h *Handler) GetIoTDevice(w http.ResponseWriter, r *http.Request) {
ns := pathVar(r, "namespace")
if ns == "" {
ns = "default"
}
name := pathVar(r, "name")
device, err := h.Devices.GetByName(r.Context(), ns, name)
if err != nil {
if errors.Is(err, store.ErrNotFound) {
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
return
}
h.Log.Error("get device", "namespace", ns, "name", name, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to get device"))
return
}
writeJSON(w, http.StatusOK, deviceToResponse(device, device.MQTTPassword))
}
// DeleteIoTDevice — DELETE /v1/namespaces/{ns}/iot/devices/{name}.
func (h *Handler) DeleteIoTDevice(w http.ResponseWriter, r *http.Request) {
ns := pathVar(r, "namespace")
if ns == "" {
ns = "default"
}
name := pathVar(r, "name")
err := h.Devices.Delete(r.Context(), ns, name)
if err != nil {
if errors.Is(err, store.ErrNotFound) {
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
return
}
h.Log.Error("delete device", "namespace", ns, "name", name, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to delete device"))
return
}
w.WriteHeader(http.StatusNoContent)
}
// UpdateIoTDevice — PATCH /v1/namespaces/{ns}/iot/devices/{name} (enabled).
func (h *Handler) UpdateIoTDevice(w http.ResponseWriter, r *http.Request) {
ns := pathVar(r, "namespace")
if ns == "" {
ns = "default"
}
name := pathVar(r, "name")
var req iotDeviceUpdateRequest
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
writeJSON(w, http.StatusBadRequest, errResp("invalid JSON: "+err.Error()))
return
}
if req.Enabled == nil {
writeJSON(w, http.StatusBadRequest, errResp("enabled field is required"))
return
}
err := h.Devices.UpdateEnabled(r.Context(), ns, name, *req.Enabled)
if err != nil {
if errors.Is(err, store.ErrNotFound) {
writeJSON(w, http.StatusNotFound, errResp("iot device not found"))
return
}
h.Log.Error("update device", "namespace", ns, "name", name, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to update device"))
return
}
device, err := h.Devices.GetByName(r.Context(), ns, name)
if err != nil {
writeJSON(w, http.StatusInternalServerError, errResp("failed to reload device"))
return
}
writeJSON(w, http.StatusOK, deviceToResponse(device, ""))
}
+49
View File
@@ -0,0 +1,49 @@
// Package handler — HTTP-обработчики IoT REST API (новый монолит).
//
// Отличие от старого кода: устройства — в PostgreSQL (таблица iot_devices),
// без k8s-клиента и CRD. Телеметрия — через iotpg, как раньше.
package handler
import (
"encoding/json"
"log/slog"
"net/http"
"time"
"github.com/aws/aws-sdk-go-v2/service/sqs"
"github.com/gorilla/mux"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)
// Handler — зависимости всех HTTP-обработчиков.
type Handler struct {
Devices *store.DeviceStore
IoTPG *iotpg.IoTPostgresStore
SQS *sqs.Client
Cfg *config.Config
Log *slog.Logger
// Version — версия бинарника (ldflags), StartedAt — для админ-статистики.
Version string
StartedAt time.Time
}
// writeJSON отправляет JSON-ответ с указанным статусом.
func writeJSON(w http.ResponseWriter, status int, v any) {
w.Header().Set("Content-Type", "application/json")
w.WriteHeader(status)
_ = json.NewEncoder(w).Encode(v)
}
// errResp возвращает структуру ошибки для JSON.
func errResp(msg string) map[string]string {
return map[string]string{"error": msg}
}
// pathVar читает переменную пути из gorilla/mux.
func pathVar(r *http.Request, key string) string {
return mux.Vars(r)[key]
}
+167
View File
@@ -0,0 +1,167 @@
// mqtt_auth.go — HTTP-auth и ACL для EMQX (MQTT CONNECT / pub-sub).
//
// Endpoints (без JWT, вызываются EMQX внутри платформы):
//
// POST /internal/mqtt/auth — аутентификация: всегда HTTP 200, {"result":"allow"|"deny"}
// POST /internal/mqtt/acl — авторизация pub/sub
//
// Источник устройств — таблица iot_devices (не k8s Secrets).
package handler
import (
"crypto/subtle"
"encoding/json"
"errors"
"net/http"
"strings"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/store"
)
// mqttAuthRequest — тело запроса от EMQX 5.x (username, password, clientid, peerhost).
type mqttAuthRequest struct {
Username string `json:"username"`
Password string `json:"password"`
ClientID string `json:"clientid"`
PeerHost string `json:"peerhost"`
}
// mqttAuthResponse — ответ для EMQX (всегда HTTP 200).
type mqttAuthResponse struct {
Result string `json:"result"`
ACL []aclRule `json:"acl,omitempty"`
}
// aclRule — правило ACL для EMQX HTTP auth.
type aclRule struct {
Permission string `json:"permission"`
Action string `json:"action"`
Topic string `json:"topic"`
}
// mqttAclRequest — тело запроса ACL от EMQX.
type mqttAclRequest struct {
Username string `json:"username"`
ClientID string `json:"clientid"`
Action string `json:"action"`
Topic string `json:"topic"`
}
// MQTTAuth — POST /internal/mqtt/auth.
//
// Логика:
// 1. bridge-креды (MQTT_USERNAME/MQTT_PASSWORD из env) — проверяются до парсинга;
// 2. username "{ns}_{deviceId}" → поиск устройства в iot_devices;
// 3. constant-time сравнение пароля; проверка enabled;
// 4. best-effort last_connected; ACL по топику устройства.
func (h *Handler) MQTTAuth(w http.ResponseWriter, r *http.Request) {
var req mqttAuthRequest
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
// Внутренний bridge-клиент: фиксированные креды, ACL выдаётся ниже.
if h.Cfg.MQTTUsername != "" && req.Username == h.Cfg.MQTTUsername {
if subtle.ConstantTimeCompare([]byte(h.Cfg.MQTTPassword), []byte(req.Password)) == 1 {
writeJSON(w, http.StatusOK, mqttAuthResponse{
Result: "allow",
ACL: bridgeACLRules(),
})
return
}
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
// Парсим username: "{namespace}_{deviceId}" (первый '_' — разделитель).
idx := strings.Index(req.Username, "_")
if idx <= 0 || idx == len(req.Username)-1 {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
ns := req.Username[:idx]
deviceID := req.Username[idx+1:]
device, err := h.Devices.GetByDeviceID(r.Context(), ns, deviceID)
if err != nil {
if !errors.Is(err, store.ErrNotFound) {
h.Log.Error("mqtt auth: device lookup", "namespace", ns, "device", deviceID, "err", err)
}
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
if !device.Enabled {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
if subtle.ConstantTimeCompare([]byte(device.MQTTPassword), []byte(req.Password)) != 1 {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
// best-effort: обновляем время последнего подключения
h.Devices.TouchLastConnected(r.Context(), ns, deviceID)
writeJSON(w, http.StatusOK, mqttAuthResponse{
Result: "allow",
ACL: deviceACLRules(ns, deviceID),
})
}
// MQTTAcl — POST /internal/mqtt/acl.
//
// Bridge (clientID из env MQTT_CLIENT_ID): только subscribe.
// Устройство ({ns}_{deviceId}): pub/sub в своём топике.
func (h *Handler) MQTTAcl(w http.ResponseWriter, r *http.Request) {
var req mqttAclRequest
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
if req.ClientID == h.Cfg.MQTTClientID {
if req.Action == "subscribe" {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
return
}
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
idx := strings.Index(req.Username, "_")
if idx <= 0 || idx == len(req.Username)-1 {
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
return
}
ns := req.Username[:idx]
deviceID := req.Username[idx+1:]
deviceTopic := ns + "/telemetry/" + deviceID
switch {
case req.Action == "publish" && req.Topic == deviceTopic:
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
case req.Action == "subscribe" && (req.Topic == deviceTopic || req.Topic == "#"):
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "allow"})
default:
writeJSON(w, http.StatusOK, mqttAuthResponse{Result: "deny"})
}
}
// bridgeACLRules — ACL для внутреннего bridge: subscribe на все telemetry-топики.
func bridgeACLRules() []aclRule {
return []aclRule{
{Permission: "allow", Action: "subscribe", Topic: "+/telemetry/+"},
{Permission: "deny", Action: "all", Topic: "#"},
}
}
// deviceACLRules — ACL для устройства: только свой топик телеметрии.
func deviceACLRules(ns, deviceID string) []aclRule {
topic := ns + "/telemetry/" + deviceID
return []aclRule{
{Permission: "allow", Action: "publish", Topic: topic},
{Permission: "allow", Action: "subscribe", Topic: topic},
{Permission: "deny", Action: "all", Topic: "#"},
}
}
+52
View File
@@ -0,0 +1,52 @@
// sqsstats.go — сбор статистики очереди shared-SQS для админ-страницы.
package handler
import (
"context"
"fmt"
"strconv"
"github.com/aws/aws-sdk-go-v2/aws"
"github.com/aws/aws-sdk-go-v2/service/sqs"
sqstypes "github.com/aws/aws-sdk-go-v2/service/sqs/types"
)
// iotAdminSQSStats — информация об очереди для мониторинга.
type iotAdminSQSStats struct {
ApproximateMessages int64 `json:"approximate_messages"`
ApproximateMessagesNotVisible int64 `json:"approximate_messages_not_visible"`
Error string `json:"error,omitempty"`
}
// collectSQSStats получает ApproximateNumberOfMessages из очереди телеметрии.
func (h *Handler) collectSQSStats(ctx context.Context) iotAdminSQSStats {
if h.SQS == nil {
return iotAdminSQSStats{Error: "SQS client not configured"}
}
queueUrlOut, err := h.SQS.GetQueueUrl(ctx, &sqs.GetQueueUrlInput{
QueueName: aws.String(h.Cfg.SQSQueueName),
})
if err != nil {
return iotAdminSQSStats{Error: fmt.Sprintf("GetQueueUrl: %v", err)}
}
attrsOut, err := h.SQS.GetQueueAttributes(ctx, &sqs.GetQueueAttributesInput{
QueueUrl: queueUrlOut.QueueUrl,
AttributeNames: []sqstypes.QueueAttributeName{
sqstypes.QueueAttributeNameApproximateNumberOfMessages,
sqstypes.QueueAttributeNameApproximateNumberOfMessagesNotVisible,
},
})
if err != nil {
return iotAdminSQSStats{Error: fmt.Sprintf("GetQueueAttributes: %v", err)}
}
approxMsg, _ := strconv.ParseInt(attrsOut.Attributes["ApproximateNumberOfMessages"], 10, 64)
approxNotVisible, _ := strconv.ParseInt(attrsOut.Attributes["ApproximateNumberOfMessagesNotVisible"], 10, 64)
return iotAdminSQSStats{
ApproximateMessages: approxMsg,
ApproximateMessagesNotVisible: approxNotVisible,
}
}
+49
View File
@@ -0,0 +1,49 @@
// telemetry.go — REST-чтение телеметрии из per-tenant PostgreSQL.
//
// Endpoint: GET /v1/namespaces/{ns}/iot/telemetry?device_id={id}&limit={n}
package handler
import (
"net/http"
"strconv"
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)
// ListIoTTelemetry — GET /v1/namespaces/{ns}/iot/telemetry.
func (h *Handler) ListIoTTelemetry(w http.ResponseWriter, r *http.Request) {
if h.IoTPG == nil {
writeJSON(w, http.StatusServiceUnavailable, errResp("IoT telemetry storage not configured"))
return
}
ns := pathVar(r, "namespace")
deviceID := r.URL.Query().Get("device_id")
limit := 50
if ls := r.URL.Query().Get("limit"); ls != "" {
if n, err := strconv.Atoi(ls); err == nil && n > 0 {
limit = n
}
}
offset := 0
if os := r.URL.Query().Get("offset"); os != "" {
if n, err := strconv.Atoi(os); err == nil && n >= 0 {
offset = n
}
}
rows, err := h.IoTPG.QueryTelemetry(r.Context(), ns, deviceID, limit, offset)
if err != nil {
h.Log.Error("query IoT telemetry", "namespace", ns, "device", deviceID, "err", err)
writeJSON(w, http.StatusInternalServerError, errResp("failed to query telemetry"))
return
}
if rows == nil {
rows = []iotpg.TelemetryRow{}
}
writeJSON(w, http.StatusOK, map[string]any{
"items": rows,
"count": len(rows),
})
}
+40
View File
@@ -0,0 +1,40 @@
// landing_embed.go — встраивает лендинг-инструкцию и статику (лого, favicon).
package api
import (
"embed"
"io/fs"
"net/http"
"strings"
)
// landingHTML — лендинг "/" с инструкцией (дизайн shared-sqs).
//
//go:embed ui/landing.html
var landingHTML []byte
// staticFS — логотип и favicon (дизайн Nubes, как на shared-sqs).
//
//go:embed ui/static
var staticFS embed.FS
// versionPlaceholder — заменяется на версию при отдаче страницы.
const versionPlaceholder = "{{VERSION}}"
// ServeLanding отдаёт лендинг "/" с подставленной версией.
func ServeLanding(w http.ResponseWriter, r *http.Request, version string) {
body := strings.ReplaceAll(string(landingHTML), versionPlaceholder, version)
w.Header().Set("Content-Type", "text/html; charset=utf-8")
w.Header().Set("Cache-Control", "no-cache, must-revalidate")
w.WriteHeader(http.StatusOK)
_, _ = w.Write([]byte(body))
}
// StaticHandler раздаёт /static/* (logo.svg, favicon.svg) из embed.
func StaticHandler() http.Handler {
sub, err := fs.Sub(staticFS, "ui/static")
if err != nil {
panic(err)
}
return http.FileServer(http.FS(sub))
}
+126
View File
@@ -0,0 +1,126 @@
// Package middleware — HTTP-промежуточные слои API.
package middleware
import (
"crypto/hmac"
"crypto/sha256"
"encoding/base64"
"log/slog"
"net/http"
"strings"
)
// Auth — проверка Bearer-токена.
//
// authTestMode (env AUTH_TEST_MODE, дефолт false):
// - true — принимается любая строка без пробелов (для локальных тестов);
// - false — проверка JWT: sub + exp; если задан hmacSecret — обязательна
// HS256-подпись (HMAC-SHA256, env JWT_HMAC_SECRET). Без секрета —
// структурная проверка (периметр обеспечивает платформа).
func Auth(authTestMode bool, hmacSecret string, log *slog.Logger, next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
header := r.Header.Get("Authorization")
if header == "" {
log.Warn("auth: missing authorization header", "remote", r.RemoteAddr, "path", r.URL.Path)
http.Error(w, `{"error":"authorization required"}`, http.StatusUnauthorized)
return
}
parts := strings.SplitN(header, " ", 2)
if len(parts) != 2 || !strings.EqualFold(parts[0], "bearer") {
log.Warn("auth: invalid authorization format", "remote", r.RemoteAddr)
http.Error(w, `{"error":"invalid authorization format, use Bearer <token>"}`, http.StatusUnauthorized)
return
}
token := parts[1]
if authTestMode && isPlainToken(token) {
log.Info("auth: test mode — plain token accepted", "remote", r.RemoteAddr, "path", r.URL.Path)
next.ServeHTTP(w, r)
return
}
if err := validateJWT(token, hmacSecret); err != nil {
log.Warn("auth: invalid token", "remote", r.RemoteAddr, "path", r.URL.Path, "reason", err.Error())
http.Error(w, `{"error":"invalid token"}`, http.StatusForbidden)
return
}
next.ServeHTTP(w, r)
})
}
// isPlainToken — непустая строка без пробелов, не похожая на JWT (три части через точку).
func isPlainToken(token string) bool {
if token == "" || strings.ContainsAny(token, " \t\n\r") {
return false
}
return len(strings.Split(token, ".")) != 3
}
// jwtError — структурная ошибка JWT.
type jwtError struct{ msg string }
func (e *jwtError) Error() string { return e.msg }
// validateJWT проверяет структуру JWT (sub + exp) и, если задан secret,
// HS256-подпись. Без secret подпись не проверяется — см. комментарий Auth.
func validateJWT(token, secret string) error {
jwtParts := strings.Split(token, ".")
if len(jwtParts) != 3 {
return &jwtError{"not a JWT: expected 3 parts"}
}
if secret != "" {
var header struct {
Alg string `json:"alg"`
}
headerBytes, err := base64.RawURLEncoding.DecodeString(jwtParts[0])
if err != nil {
headerBytes, err = base64.StdEncoding.DecodeString(jwtParts[0])
}
if err != nil || jsonUnmarshal(headerBytes, &header) != nil || header.Alg != "HS256" {
return &jwtError{"JWT must be HS256 when JWT_HMAC_SECRET is set"}
}
mac := hmac.New(sha256.New, []byte(secret))
mac.Write([]byte(jwtParts[0] + "." + jwtParts[1]))
expected := mac.Sum(nil)
sig, err := base64.RawURLEncoding.DecodeString(jwtParts[2])
if err != nil {
return &jwtError{"cannot decode JWT signature"}
}
if !hmac.Equal(expected, sig) {
return &jwtError{"JWT signature mismatch"}
}
}
payload := jwtParts[1]
switch len(payload) % 4 {
case 2:
payload += "=="
case 3:
payload += "="
}
decoded, err := base64.URLEncoding.DecodeString(payload)
if err != nil {
decoded, err = base64.StdEncoding.DecodeString(payload)
}
if err != nil {
return &jwtError{"cannot decode JWT payload"}
}
var claims struct {
Sub string `json:"sub"`
Exp float64 `json:"exp"`
}
if err := jsonUnmarshal(decoded, &claims); err != nil {
return &jwtError{"cannot parse JWT payload"}
}
if claims.Sub == "" {
return &jwtError{"JWT missing sub claim"}
}
if claims.Exp > 0 {
if now := float64(timeNow().Unix()); claims.Exp < now {
return &jwtError{"JWT expired"}
}
}
return nil
}
@@ -0,0 +1,15 @@
package middleware
import (
"encoding/json"
"time"
)
// jsonUnmarshal и timeNow вынесены для простоты тестирования.
func jsonUnmarshal(data []byte, v any) error {
return json.Unmarshal(data, v)
}
func timeNow() time.Time {
return time.Now()
}
@@ -0,0 +1,35 @@
// Package middleware — HTTP-промежуточные слои API.
package middleware
import (
"log/slog"
"net/http"
"time"
)
// responseWriter перехватывает статус ответа для логирования.
type responseWriter struct {
http.ResponseWriter
status int
}
func (rw *responseWriter) WriteHeader(code int) {
rw.status = code
rw.ResponseWriter.WriteHeader(code)
}
// Logging логирует каждый HTTP-запрос: метод, путь, статус, длительность.
func Logging(log *slog.Logger, next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
start := time.Now()
rw := &responseWriter{ResponseWriter: w, status: http.StatusOK}
next.ServeHTTP(rw, r)
log.Info("http",
"method", r.Method,
"path", r.URL.Path,
"status", rw.status,
"duration_ms", time.Since(start).Milliseconds(),
"remote", r.RemoteAddr,
)
})
}
+76
View File
@@ -0,0 +1,76 @@
// Package api — HTTP-сервер монолита: маршруты, CORS, health.
package api
import (
"log/slog"
"net/http"
"github.com/gorilla/mux"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/handler"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/api/middleware"
)
// corsMiddleware добавляет CORS-заголовки (консоль и API на одном домене платформы).
func corsMiddleware(next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Access-Control-Allow-Origin", "*")
w.Header().Set("Access-Control-Allow-Methods", "GET, POST, PUT, PATCH, DELETE, OPTIONS")
w.Header().Set("Access-Control-Allow-Headers", "Authorization, Content-Type")
if r.Method == http.MethodOptions {
w.WriteHeader(http.StatusNoContent)
return
}
next.ServeHTTP(w, r)
})
}
// NewRouter собирает все маршруты сервиса.
func NewRouter(h *handler.Handler, log *slog.Logger, authTestMode bool, jwtHMACSecret string, version string) http.Handler {
r := mux.NewRouter()
// Health — для платформенных проверок контейнера.
r.HandleFunc("/health", healthHandler(version)).Methods(http.MethodGet)
r.HandleFunc("/healthz", healthHandler(version)).Methods(http.MethodGet)
// Лендинг "/" — инструкция (дизайн Nubes, как у shared-sqs) + статика.
r.HandleFunc("/", func(w http.ResponseWriter, req *http.Request) {
ServeLanding(w, req, version)
}).Methods(http.MethodGet)
r.PathPrefix("/static/").Handler(http.StripPrefix("/static/", StaticHandler()))
// UI — публичные страницы (без данных).
r.HandleFunc("/console", ServeIoTConsole).Methods(http.MethodGet)
r.HandleFunc("/iot-admin", ServeIoTAdmin).Methods(http.MethodGet)
// Админ-статистика — свой Bearer-токен.
r.HandleFunc("/iot-admin/stats", h.AdminStats).Methods(http.MethodGet)
// MQTT auth/acl — для EMQX, без JWT.
r.HandleFunc("/internal/mqtt/auth", h.MQTTAuth).Methods(http.MethodPost)
r.HandleFunc("/internal/mqtt/acl", h.MQTTAcl).Methods(http.MethodPost)
// /v1 — под JWT.
v1 := r.PathPrefix("/v1").Subrouter()
v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.ListIoTDevices).Methods(http.MethodGet)
v1.HandleFunc("/namespaces/{namespace}/iot/devices", h.CreateIoTDevice).Methods(http.MethodPost)
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.GetIoTDevice).Methods(http.MethodGet)
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.DeleteIoTDevice).Methods(http.MethodDelete)
v1.HandleFunc("/namespaces/{namespace}/iot/devices/{name}", h.UpdateIoTDevice).Methods(http.MethodPatch)
v1.HandleFunc("/namespaces/{namespace}/iot/telemetry", h.ListIoTTelemetry).Methods(http.MethodGet)
v1.Use(func(next http.Handler) http.Handler {
return middleware.Auth(authTestMode, jwtHMACSecret, log, next)
})
return corsMiddleware(middleware.Logging(log, r))
}
// healthHandler отдаёт статус сервиса и версию (для платформы).
func healthHandler(version string) http.HandlerFunc {
return func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
w.WriteHeader(http.StatusOK)
_, _ = w.Write([]byte(`{"status":"ok","version":"` + version + `"}`))
}
}
+548
View File
@@ -0,0 +1,548 @@
<!DOCTYPE html>
<!-- Создано: 2026-04-06
iot-admin.html — страница администратора IoT pipeline.
Показывает: PostgreSQL stats per tenant, Kafka consumer lag, K8s pod statuses.
Auth: ADMIN_STATS_TOKEN вводится вручную и хранится в sessionStorage.
Раздаётся по GET /iot-admin (go:embed в бинарнике оператора).
НЕ для конечных пользователей — только для администратора платформы. -->
<html lang="ru">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Nubes IoT Admin</title>
<link rel="icon" type="image/svg+xml" href="/static/favicon.svg">
<link rel="icon" href="https://terra.k8c.ru/docs/nubes/nubes/2.0.2/30_registry/assets/favicon.png">
<style>
/* Nubes brand palette — те же цвета что в iot-console.html */
*, *::before, *::after { box-sizing: border-box; margin: 0; padding: 0; }
body {
font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', system-ui, sans-serif;
background: #001120; color: #e2ecf6; min-height: 100vh;
}
/* Navbar */
.navbar {
background: #001C34; border-bottom: 1px solid #0b2d50;
padding: 0 28px; height: 58px;
display: flex; align-items: center; gap: 14px;
}
.navbar-logo { display: flex; align-items: center; gap: 10px; text-decoration: none; }
.navbar-logo img { height: 18px; filter: brightness(0) invert(1); }
.navbar-logo-sep { width: 1px; height: 18px; background: #1a4a73; margin: 0 4px; }
.navbar-title { font-size: 15px; font-weight: 600; color: #e2ecf6; }
.navbar-badge {
background: #2d1a00; border: 1px solid #7a3a00; color: #f0a030;
font-size: 10px; font-weight: 700; padding: 2px 7px; border-radius: 4px;
letter-spacing: 0.5px; text-transform: uppercase;
}
.navbar-spacer { flex: 1; }
.navbar-refresh {
background: #0f3a60; border: 1px solid #1a5a8a; color: #7fc8f8;
padding: 6px 14px; border-radius: 6px; font-size: 13px; cursor: pointer;
transition: background 0.15s;
}
.navbar-refresh:hover { background: #1a5080; }
.navbar-refresh:disabled { opacity: 0.4; cursor: not-allowed; }
/* Layout */
.container { max-width: 1280px; margin: 0 auto; padding: 28px 24px; }
/* Auth box */
.auth-box {
background: #001929; border: 1px solid #0b2d50; border-radius: 12px;
padding: 40px; max-width: 480px; margin: 80px auto;
display: flex; flex-direction: column; gap: 16px;
}
.auth-box h2 { font-size: 20px; font-weight: 600; color: #7fc8f8; }
.auth-box p { font-size: 13px; color: #6b8eaa; }
.auth-input {
background: #001120; border: 1px solid #1a4a73; color: #e2ecf6;
padding: 10px 14px; border-radius: 8px; font-size: 14px; font-family: monospace;
width: 100%; outline: none;
}
.auth-input:focus { border-color: #1a7fd4; }
.auth-btn {
background: #1a7fd4; border: none; color: #fff;
padding: 10px 20px; border-radius: 8px; font-size: 14px; cursor: pointer;
font-weight: 600; transition: background 0.15s;
}
.auth-btn:hover { background: #1a6ab8; }
.auth-error { color: #f87171; font-size: 13px; }
/* Section header */
.section-header {
display: flex; align-items: center; gap: 10px;
margin-bottom: 16px; padding-bottom: 10px;
border-bottom: 1px solid #0b2d50;
}
.section-icon { width: 20px; height: 20px; opacity: 0.7; }
.section-title { font-size: 16px; font-weight: 600; color: #a0c4e8; }
.section { margin-bottom: 32px; }
/* Cards grid */
.cards { display: grid; grid-template-columns: repeat(auto-fill, minmax(280px, 1fr)); gap: 16px; }
/* Stat card */
.card {
background: #001929; border: 1px solid #0b2d50; border-radius: 10px;
padding: 20px;
}
.card-title { font-size: 12px; color: #6b8eaa; text-transform: uppercase; letter-spacing: 0.5px; margin-bottom: 8px; }
.card-value { font-size: 28px; font-weight: 700; color: #e2ecf6; }
.card-sub { font-size: 12px; color: #6b8eaa; margin-top: 4px; }
.card-accent { color: #1a7fd4; }
.card-warn { color: #f59e0b; }
.card-ok { color: #34d399; }
.card-err { color: #f87171; }
/* Pod status card */
.pod-card {
background: #001929; border: 1px solid #0b2d50; border-radius: 10px;
padding: 20px; display: flex; flex-direction: column; gap: 8px;
}
.pod-name { font-size: 13px; font-weight: 600; color: #7fc8f8; font-family: monospace; }
.pod-row { display: flex; justify-content: space-between; font-size: 12px; }
.pod-label { color: #6b8eaa; }
.pod-val { color: #e2ecf6; }
.badge {
display: inline-block; padding: 2px 8px; border-radius: 4px;
font-size: 11px; font-weight: 700;
}
.badge-ok { background: #052e16; color: #34d399; border: 1px solid #064e3b; }
.badge-warn { background: #2d1c00; color: #f59e0b; border: 1px solid #4d3000; }
.badge-err { background: #300; color: #f87171; border: 1px solid #500; }
/* Tenant table */
.tenant-table { width: 100%; border-collapse: collapse; font-size: 13px; }
.tenant-table th {
text-align: left; padding: 8px 12px; color: #6b8eaa;
border-bottom: 1px solid #0b2d50; font-weight: 600; font-size: 11px;
text-transform: uppercase; letter-spacing: 0.3px;
}
.tenant-table td { padding: 10px 12px; border-bottom: 1px solid #071a28; vertical-align: top; }
.tenant-table tr:last-child td { border-bottom: none; }
.tenant-table tr:hover td { background: rgba(26,127,212,0.05); }
.ns-tag {
font-family: monospace; font-size: 12px; color: #7fc8f8;
background: #0b2d50; padding: 2px 6px; border-radius: 4px;
}
.num-big { font-size: 16px; font-weight: 600; color: #e2ecf6; }
.num-small { font-size: 12px; color: #6b8eaa; }
/* Latest msgs mini list */
.latest-list { display: flex; flex-direction: column; gap: 4px; }
.latest-item {
background: #001120; border: 1px solid #0b2d50; border-radius: 6px;
padding: 6px 10px; font-size: 11px;
}
.latest-dev { color: #7fc8f8; font-weight: 600; }
.latest-ts { color: #6b8eaa; margin-left: 6px; }
.latest-payload { color: #a0c4e8; margin-top: 2px; word-break: break-all; font-family: monospace; }
/* Last updated */
.last-updated { font-size: 12px; color: #2d5070; text-align: center; margin-top: 16px; }
/* Status dot */
.dot { display: inline-block; width: 8px; height: 8px; border-radius: 50%; margin-right: 6px; }
.dot-ok { background: #34d399; }
.dot-warn { background: #f59e0b; }
.dot-err { background: #f87171; }
/* Kafka lag bar */
.lag-bar-wrap { background: #001120; border-radius: 4px; height: 6px; margin-top: 8px; overflow: hidden; }
.lag-bar { height: 100%; border-radius: 4px; transition: width 0.5s; min-width: 2px; }
.lag-bar-ok { background: #34d399; }
.lag-bar-warn { background: #f59e0b; }
/* Spinner */
.spinner {
border: 3px solid #0b2d50; border-top-color: #1a7fd4;
border-radius: 50%; width: 32px; height: 32px;
animation: spin 0.8s linear infinite;
margin: 60px auto;
}
@keyframes spin { to { transform: rotate(360deg); } }
/* Error banner */
.error-banner {
background: #1a0000; border: 1px solid #5a0000; color: #f87171;
padding: 12px 16px; border-radius: 8px; font-size: 13px; margin-bottom: 20px;
}
/* Auto-refresh indicator */
.refresh-timer {
font-size: 11px; color: #2d5070; display: flex; align-items: center; gap: 6px;
}
.refresh-progress {
width: 60px; height: 2px; background: #0b2d50; border-radius: 2px; overflow: hidden;
}
.refresh-bar {
height: 100%; background: #1a7fd4; border-radius: 2px;
transition: width 1s linear;
}
</style>
</head>
<body>
<!-- Navbar -->
<nav class="navbar">
<a class="navbar-logo" href="#" aria-label="Nubes">
<img src="https://terra.k8c.ru/docs/nubes/nubes/2.0.2/30_registry/assets/logo.svg" alt="Nubes">
</a>
<div class="navbar-logo-sep"></div>
<span class="navbar-title">IoT Admin</span>
<span class="navbar-badge">Admin Only</span>
<div class="navbar-spacer"></div>
<div class="refresh-timer" id="refreshTimer" style="display:none">
<span id="refreshCountdown">30</span>s
<div class="refresh-progress"><div class="refresh-bar" id="refreshBar" style="width:100%"></div></div>
</div>
<button class="navbar-refresh" id="btnRefresh" onclick="loadStats()" disabled>Обновить</button>
</nav>
<!-- Main content -->
<div class="container">
<!-- Auth box (показывается до ввода токена) -->
<div class="auth-box" id="authBox">
<h2>Доступ для администратора</h2>
<p>Введите ADMIN_STATS_TOKEN для просмотра статистики IoT pipeline.</p>
<input class="auth-input" id="tokenInput" type="password"
placeholder="Bearer token..." autocomplete="off"
onkeydown="if(event.key==='Enter') doAuth()">
<button class="auth-btn" onclick="doAuth()">Войти</button>
<div class="auth-error" id="authError" style="display:none"></div>
</div>
<!-- Контент (показывается после авторизации) -->
<div id="mainContent" style="display:none">
<div class="error-banner" id="errorBanner" style="display:none"></div>
<!-- Spinner при загрузке -->
<div class="spinner" id="spinner"></div>
<!-- Данные -->
<div id="dataContent" style="display:none">
<!-- Kafka -->
<div class="section">
<div class="section-header">
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
<path d="M12 2L2 7l10 5 10-5-10-5z"/><path d="M2 17l10 5 10-5"/><path d="M2 12l10 5 10-5"/>
</svg>
<span class="section-title">Kafka</span>
</div>
<div class="cards" id="kafkaCards"></div>
</div>
<!-- K8s Pods -->
<div class="section">
<div class="section-header">
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
<rect x="2" y="3" width="20" height="14" rx="2"/><path d="M8 21h8M12 17v4"/>
</svg>
<span class="section-title">Pods</span>
</div>
<div class="cards" id="podCards"></div>
</div>
<!-- PostgreSQL per tenant -->
<div class="section">
<div class="section-header">
<svg class="section-icon" viewBox="0 0 24 24" fill="none" stroke="#7fc8f8" stroke-width="2">
<ellipse cx="12" cy="5" rx="9" ry="3"/><path d="M3 5v14c0 1.66 4.03 3 9 3s9-1.34 9-3V5"/>
<path d="M3 12c0 1.66 4.03 3 9 3s9-1.34 9-3"/>
</svg>
<span class="section-title">PostgreSQL — Telemetry</span>
</div>
<div class="cards" style="margin-bottom:16px" id="pgSummaryCards"></div>
<div style="background:#001929;border:1px solid #0b2d50;border-radius:10px;overflow:auto">
<table class="tenant-table" id="tenantTable">
<thead>
<tr>
<th>Namespace</th>
<th>Total</th>
<th>Last 1h</th>
<th>Last 24h</th>
<th>Последние сообщения</th>
</tr>
</thead>
<tbody id="tenantTableBody"></tbody>
</table>
</div>
</div>
<div class="last-updated" id="lastUpdated"></div>
</div>
</div>
</div>
<script>
// ── State ──────────────────────────────────────────────────────────────────
const API_BASE = window.location.origin;
let adminToken = sessionStorage.getItem('iot_admin_token') || '';
let refreshInterval = null;
let refreshCountdown = 30;
// ── Auth ───────────────────────────────────────────────────────────────────
function doAuth() {
const input = document.getElementById('tokenInput').value.trim();
if (!input) return;
adminToken = input;
sessionStorage.setItem('iot_admin_token', adminToken);
document.getElementById('authBox').style.display = 'none';
document.getElementById('mainContent').style.display = 'block';
loadStats();
}
function showAuthError(msg) {
const el = document.getElementById('authError');
el.textContent = msg;
el.style.display = 'block';
// Сбрасываем токен — он не подошёл
adminToken = '';
sessionStorage.removeItem('iot_admin_token');
document.getElementById('authBox').style.display = 'block';
document.getElementById('mainContent').style.display = 'none';
if (refreshInterval) { clearInterval(refreshInterval); refreshInterval = null; }
document.getElementById('refreshTimer').style.display = 'none';
}
// Если токен уже в sessionStorage — пропускаем auth box
if (adminToken) {
document.getElementById('authBox').style.display = 'none';
document.getElementById('mainContent').style.display = 'block';
document.getElementById('spinner').style.display = 'block';
}
// ── Load stats ─────────────────────────────────────────────────────────────
async function loadStats() {
if (!adminToken) return;
document.getElementById('btnRefresh').disabled = true;
document.getElementById('spinner').style.display = 'block';
document.getElementById('dataContent').style.display = 'none';
document.getElementById('errorBanner').style.display = 'none';
resetRefreshTimer();
try {
const resp = await fetch(`${API_BASE}/iot-admin/stats`, {
headers: { 'Authorization': `Bearer ${adminToken}` }
});
if (resp.status === 401 || resp.status === 503) {
const body = await resp.json().catch(() => ({}));
showAuthError(body.error || 'Ошибка авторизации');
document.getElementById('spinner').style.display = 'none';
return;
}
if (!resp.ok) {
throw new Error(`HTTP ${resp.status}`);
}
const data = await resp.json();
renderAll(data);
document.getElementById('spinner').style.display = 'none';
document.getElementById('dataContent').style.display = 'block';
document.getElementById('refreshTimer').style.display = 'flex';
document.getElementById('lastUpdated').textContent =
'Обновлено: ' + new Date(data.collected_at).toLocaleTimeString('ru-RU');
setupAutoRefresh();
} catch (e) {
document.getElementById('spinner').style.display = 'none';
showBanner('Ошибка загрузки данных: ' + e.message);
document.getElementById('dataContent').style.display = 'block';
} finally {
document.getElementById('btnRefresh').disabled = false;
}
}
function showBanner(msg) {
const el = document.getElementById('errorBanner');
el.textContent = msg;
el.style.display = 'block';
}
// ── Auto-refresh ───────────────────────────────────────────────────────────
function setupAutoRefresh() {
if (refreshInterval) return; // уже запущен
refreshInterval = setInterval(() => {
refreshCountdown--;
document.getElementById('refreshCountdown').textContent = refreshCountdown;
const pct = (refreshCountdown / 30) * 100;
document.getElementById('refreshBar').style.width = pct + '%';
if (refreshCountdown <= 0) {
clearInterval(refreshInterval);
refreshInterval = null;
loadStats();
}
}, 1000);
}
function resetRefreshTimer() {
if (refreshInterval) { clearInterval(refreshInterval); refreshInterval = null; }
refreshCountdown = 30;
document.getElementById('refreshCountdown').textContent = '30';
document.getElementById('refreshBar').style.width = '100%';
}
// ── Render ─────────────────────────────────────────────────────────────────
function renderAll(data) {
renderKafka(data.kafka || {});
renderPods(data.pods || {});
renderPostgres(data.postgres || {});
}
// Kafka section
function renderKafka(kafka) {
const el = document.getElementById('kafkaCards');
if (kafka.error) {
el.innerHTML = `<div class="card"><div class="card-title">Ошибка</div>
<div class="card-value card-err" style="font-size:14px">${esc(kafka.error)}</div></div>`;
return;
}
const lag = kafka.consumer_lag || 0;
const latest = kafka.latest_offset || 0;
const committed = kafka.committed_offset || 0;
const lagClass = lag === 0 ? 'card-ok' : lag < 100 ? 'card-warn' : 'card-err';
const barClass = lag === 0 ? 'lag-bar-ok' : 'lag-bar-warn';
const barWidth = latest > 0 ? Math.max(2, Math.round((committed / latest) * 100)) : 100;
el.innerHTML = `
<div class="card">
<div class="card-title">Consumer Lag</div>
<div class="card-value ${lagClass}">${lag}</div>
<div class="card-sub">iot-pg-consumer / iot.telemetry</div>
<div class="lag-bar-wrap"><div class="lag-bar ${barClass}" style="width:${barWidth}%"></div></div>
</div>
<div class="card">
<div class="card-title">Latest Offset (всего прошло)</div>
<div class="card-value card-accent">${latest.toLocaleString()}</div>
<div class="card-sub">Kafka log end offset</div>
</div>
<div class="card">
<div class="card-title">Committed Offset</div>
<div class="card-value">${committed.toLocaleString()}</div>
<div class="card-sub">Consumer обработал</div>
</div>`;
}
// Pods section
function renderPods(pods) {
const el = document.getElementById('podCards');
el.innerHTML = '';
const labels = {
'iot-mqtt-bridge': 'MQTT Bridge',
'iot-kafka-consumer': 'Kafka Consumer'
};
for (const [key, pod] of Object.entries(pods)) {
const title = labels[key] || key;
if (pod.error || pod.status === 'not found') {
el.innerHTML += `
<div class="pod-card">
<div class="pod-name">${esc(title)}</div>
<div style="color:#f87171;font-size:12px">${esc(pod.error || 'Pod not found')}</div>
</div>`;
continue;
}
const readyBadge = pod.ready
? '<span class="badge badge-ok">Ready</span>'
: '<span class="badge badge-warn">Not Ready</span>';
const restartColor = pod.restarts > 5 ? 'card-err' : pod.restarts > 0 ? 'card-warn' : 'card-ok';
el.innerHTML += `
<div class="pod-card">
<div class="pod-name">
<span class="dot dot-${pod.ready ? 'ok' : 'warn'}"></span>${esc(title)}
</div>
<div class="pod-row"><span class="pod-label">Pod</span><span class="pod-val" style="font-family:monospace;font-size:11px">${esc(pod.name)}</span></div>
<div class="pod-row"><span class="pod-label">Phase</span><span class="pod-val">${esc(pod.phase)} ${readyBadge}</span></div>
<div class="pod-row"><span class="pod-label">Restarts</span><span class="pod-val ${restartColor}">${pod.restarts}</span></div>
<div class="pod-row"><span class="pod-label">Age</span><span class="pod-val">${esc(pod.age)}</span></div>
</div>`;
}
}
// Postgres section
function renderPostgres(pg) {
const summaryEl = document.getElementById('pgSummaryCards');
const tbodyEl = document.getElementById('tenantTableBody');
if (!pg.reachable) {
summaryEl.innerHTML = `<div class="card"><div class="card-title">Ошибка</div>
<div class="card-value card-err" style="font-size:14px">${esc(pg.error || 'Unreachable')}</div></div>`;
tbodyEl.innerHTML = '';
return;
}
const tenants = pg.tenants || [];
const totalAll = pg.total_all || 0;
summaryEl.innerHTML = `
<div class="card">
<div class="card-title">Всего записей</div>
<div class="card-value card-accent">${totalAll.toLocaleString()}</div>
<div class="card-sub">Все tenant, iot_telemetry</div>
</div>
<div class="card">
<div class="card-title">Tenant-ов</div>
<div class="card-value">${tenants.length}</div>
<div class="card-sub">Активных namespace</div>
</div>`;
tbodyEl.innerHTML = tenants.map(t => {
if (t.error) {
return `<tr><td><span class="ns-tag">${esc(t.namespace)}</span></td>
<td colspan="4" style="color:#f87171">${esc(t.error)}</td></tr>`;
}
const latest = (t.latest || []).slice(0, 3);
const latestHtml = latest.length === 0
? '<span style="color:#2d5070">нет данных</span>'
: `<div class="latest-list">${latest.map(row => `
<div class="latest-item">
<span class="latest-dev">${esc(row.device_id)}</span>
<span class="latest-ts">${formatTs(row.ts)}</span>
<div class="latest-payload">${esc(truncate(JSON.stringify(row.payload), 80))}</div>
</div>`).join('')}</div>`;
return `<tr>
<td><span class="ns-tag">${esc(t.namespace)}</span><br>
<span style="font-size:11px;color:#2d5070">${esc(t.db_name)}</span></td>
<td><span class="num-big">${(t.total||0).toLocaleString()}</span></td>
<td><span class="num-small">${(t.last_1h||0).toLocaleString()}</span></td>
<td><span class="num-small">${(t.last_24h||0).toLocaleString()}</span></td>
<td>${latestHtml}</td>
</tr>`;
}).join('');
}
// ── Utils ──────────────────────────────────────────────────────────────────
function esc(str) {
if (str == null) return '';
return String(str).replace(/&/g,'&amp;').replace(/</g,'&lt;').replace(/>/g,'&gt;');
}
function truncate(str, len) {
if (!str) return '';
return str.length > len ? str.slice(0, len) + '…' : str;
}
function formatTs(ts) {
if (!ts) return '';
try {
const d = new Date(ts);
return d.toLocaleTimeString('ru-RU', {hour:'2-digit', minute:'2-digit', second:'2-digit'});
} catch { return ts; }
}
// ── Init ───────────────────────────────────────────────────────────────────
if (adminToken) {
loadStats();
}
</script>
</body>
</html>
File diff suppressed because it is too large Load Diff
+362
View File
@@ -0,0 +1,362 @@
<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>IoT — приём телеметрии устройств (Nubes)</title>
<link rel="icon" type="image/svg+xml" href="/static/favicon.svg">
<style>
:root {
--brand-primary: #2563eb;
--brand-primary-dark: #1d4ed8;
--brand-gray: #d1d5db;
--brand-grey-light: #f3f4f6;
--text-primary: #1a1a1a;
--text-muted: #6b7280;
--success: #16a34a;
--warning: #d97706;
}
* { box-sizing: border-box; }
body {
margin: 0;
font-family: system-ui, "Segoe UI", Roboto, sans-serif;
font-size: 14px;
color: var(--text-primary);
background: #fafafa;
line-height: 1.5;
}
.topbar {
height: 56px;
display: flex;
align-items: center;
gap: 8px;
padding: 0 16px;
background: #fff;
border-bottom: 1px solid var(--brand-gray);
position: sticky;
top: 0;
}
.topbar .brand { font-weight: 600; color: var(--text-primary); }
.topbar .muted { color: var(--text-muted); }
.topbar .spacer { flex: 1; }
.chip {
font-family: ui-monospace, monospace;
font-size: 12px;
color: var(--brand-primary);
background: #eff6ff;
border: 1px solid #bfdbfe;
border-radius: 999px;
padding: 2px 10px;
}
.container { max-width: 880px; margin: 0 auto; padding: 24px 16px 48px; }
.hero { display: flex; align-items: center; gap: 16px; margin-bottom: 24px; }
.hero h1 { font-size: 24px; margin: 0; letter-spacing: -0.3px; }
.hero .sub { color: var(--text-muted); margin: 4px 0 0; }
.badge {
display: inline-flex;
align-items: center;
gap: 6px;
font-size: 12px;
font-weight: 600;
color: var(--warning);
background: #fffbeb;
border: 1px solid #fde68a;
border-radius: 999px;
padding: 2px 10px;
margin-left: 8px;
}
.card {
background: #fff;
border: 1px solid var(--brand-gray);
border-radius: 12px;
box-shadow: 0 1px 2px rgba(0,0,0,0.05);
margin-bottom: 20px;
overflow: hidden;
}
.card-header {
background: var(--brand-grey-light);
padding: 12px;
font-weight: 600;
font-size: 14px;
}
.card-body { padding: 12px; }
.card-body > p:first-child { margin-top: 0; }
.card-body > p:last-child { margin-bottom: 0; }
.kv { display: grid; grid-template-columns: 200px 1fr; gap: 8px 16px; }
.kv .k { color: var(--text-muted); }
.kv .v { font-family: ui-monospace, Menlo, Consolas, monospace; font-size: 13px; word-break: break-all; }
a { color: var(--brand-primary); text-decoration: none; }
a:hover { color: var(--brand-primary-dark); text-decoration: underline; }
pre {
background: var(--brand-grey-light);
border: 1px solid var(--brand-gray);
border-radius: 8px;
padding: 12px;
overflow-x: auto;
font-family: ui-monospace, Menlo, Consolas, monospace;
font-size: 12.5px;
line-height: 1.6;
margin: 8px 0 0;
}
pre code { background: none; border: none; padding: 0; }
.status-ok { color: var(--success); font-weight: 600; }
.footer { color: var(--text-muted); font-size: 12px; text-align: center; margin-top: 32px; }
.step { display: flex; gap: 14px; margin-bottom: 18px; }
.step:last-child { margin-bottom: 0; }
.step-num {
flex: 0 0 30px;
height: 30px;
border-radius: 999px;
background: var(--brand-primary);
color: #fff;
font-weight: 700;
display: flex;
align-items: center;
justify-content: center;
font-size: 15px;
}
.step-body { flex: 1; }
.step-title { font-weight: 600; font-size: 15px; margin-bottom: 2px; }
.step-body p { color: #374151; margin: 4px 0; }
.btn-hero {
display: inline-flex;
align-items: center;
gap: 8px;
background: var(--brand-primary);
color: #fff !important;
text-decoration: none !important;
font-size: 15px;
font-weight: 600;
padding: 10px 20px;
border-radius: 8px;
margin-top: 8px;
}
.btn-hero:hover { background: var(--brand-primary-dark); }
.hint-box {
font-size: 14px;
color: #374151;
background: var(--brand-grey-light);
border: 1px solid var(--brand-gray);
border-radius: 8px;
padding: 10px 14px;
margin-top: 10px;
line-height: 1.7;
}
.hint-box code { font-family: ui-monospace, Menlo, Consolas, monospace; font-size: 13px; }
/* Схема пайплайна */
.flow {
display: flex;
flex-wrap: wrap;
gap: 4px;
align-items: stretch;
margin: 10px 0 4px;
}
.flow-node {
border: 1px solid var(--brand-gray);
border-radius: 10px;
background: #fff;
padding: 10px 12px;
min-width: 110px;
text-align: center;
box-shadow: 0 1px 2px rgba(0,0,0,0.04);
}
.flow-node .fn-title { font-weight: 600; font-size: 13.5px; }
.flow-node .fn-sub {
font-family: ui-monospace, Menlo, Consolas, monospace;
font-size: 11.5px;
color: var(--text-muted);
margin-top: 3px;
word-break: break-all;
}
.flow-node.acc { border-color: #bfdbfe; background: #eff6ff; }
.flow-node.acc .fn-title { color: var(--brand-primary); }
.flow-arrow {
align-self: center;
color: var(--text-muted);
font-size: 16px;
padding: 0 2px;
}
.flow-caption { color: var(--text-muted); font-size: 12px; margin-top: 6px; }
.pipeline { width: 100%; max-width: 640px; display: block; margin: 12px auto 4px; }
</style>
</head>
<body>
<div class="topbar">
<img src="/static/logo.svg" height="18" alt="nubes">
<span class="brand">Nubes</span>
<span class="muted">· IoT</span>
<span class="spacer"></span>
<span class="chip">{{VERSION}}</span>
</div>
<div class="container">
<div class="hero">
<img src="/static/logo.svg" height="28" alt="nubes">
<div>
<h1>IoT <span class="badge">тестирование</span></h1>
<p class="sub">Это база телеметрии. Устройства шлют сюда показания по MQTT —
показания сохраняются и доступны через API и консоль. Ниже — как отправить
первое показание за 2 минуты.</p>
</div>
</div>
<div class="card">
<div class="card-header">Как это работает</div>
<div class="card-body">
<p>Устройство (датчик, бойлер, счётчик) отправляет показания по протоколу
MQTT. Дальше показания проходят по цепочке и попадают в базу данных:</p>
<img class="pipeline" src="/static/pipeline.svg" alt="Схема пайплайна IoT">
<div class="flow-caption">
Между брокером и базой работают бридж и потребитель (части iot-service):
бридж кладёт показания в очередь, потребитель пишет их в базу.
</div>
<p style="color:#374151">
Очередь <code>iot-telemetry</code> — внутренний буфер сервиса: она
защищает показания от потерь при всплесках и сбоях базы. Пользователю
креды очереди НЕ нужны — сервис ходит в неё сам. Если требуется
посмотреть сообщения вручную — консоль очереди:
<a href="https://sqs.containerk8s.dev.nubes.ru/ui">sqs.containerk8s.dev.nubes.ru/ui</a>
(вход по API-токену Nubes; описание — на
<a href="https://sqs.containerk8s.dev.nubes.ru/">sqs.containerk8s.dev.nubes.ru</a>).
</p>
<p style="color:#374151">
У каждого устройства — свои логин и пароль, поэтому чужое устройство не
сможет писать в ваш топик. Данные разных проектов (namespace) лежат в
разных базах и не смешиваются.
</p>
<p><b>Три понятия:</b></p>
<p style="color:#374151">
<b>namespace</b> — имя вашего проекта/группы устройств (например
<code>myhome</code>);<br>
<b>device_id</b> — идентификатор конкретного устройства (например
<code>boiler-1</code>);<br>
<b>топик</b> — адрес, в который устройство отправляет показания:
<code>namespace/telemetry/device_id</code>.
</p>
</div>
</div>
<div class="card">
<div class="card-header">Быстрый старт — 4 шага</div>
<div class="card-body">
<div class="step">
<div class="step-num">1</div>
<div class="step-body">
<div class="step-title">Получить токен доступа к API</div>
<p>Все команды API требуют заголовок <code>Authorization: Bearer
&lt;токен&gt;</code>. Для тестов подойдёт самодельный токен: сервис
проверяет только два поля (кто и до какого времени), подпись не
проверяется. Одна команда — токен готов:</p>
<div class="hint-box">
<code>TOKEN=$(python3 -c "import base64,json,time;h=base64.urlsafe_b64encode(b'{\"alg\":\"none\",\"typ\":\"JWT\"}').rstrip(b'=').decode();p=base64.urlsafe_b64encode(json.dumps({'sub':'admin','exp':int(time.time())+86400}).encode()).rstrip(b'=').decode();print(h+'.'+p+'.sig')")</code>
</div>
</div>
</div>
<div class="step">
<div class="step-num">2</div>
<div class="step-body">
<div class="step-title">Зарегистрировать устройство</div>
<p>Одна команда — и устройство <code>boiler-1</code> появляется в
проекте <code>myhome</code>. В ответе будет логин для MQTT
(<code>myhome_boiler-1</code>). Пароль в ответе НЕ показывается —
его отдаёт второй запрос.</p>
<div class="hint-box">
<code>curl -X POST -H "Authorization: Bearer $TOKEN" \<br>
-H "Content-Type: application/json" \<br>
-d '{"name":"boiler","device_id":"boiler-1"}' \<br>
https://iot.containerk8s.dev.nubes.ru/v1/namespaces/myhome/iot/devices</code><br>
<br><code># пароль — во втором запросе (поле mqtt_password):</code><br>
<code>curl -H "Authorization: Bearer $TOKEN" \<br>
https://iot.containerk8s.dev.nubes.ru/v1/namespaces/myhome/iot/devices/boiler</code>
</div>
</div>
</div>
<div class="step">
<div class="step-num">3</div>
<div class="step-body">
<div class="step-title">Отправить показание</div>
<p>Подключение к MQTT — по адресу
<code>wss://exqx.containerk8s.dev.nubes.ru/mqtt</code>. Логин —
<code>myhome_boiler-1</code>, пароль — из шага 2. Показание
отправляется в топик <code>myhome/telemetry/boiler-1</code>.</p>
<div class="hint-box">
<code>import paho.mqtt.client as mqtt, json</code><br>
<code>c = mqtt.Client(transport="websockets")</code><br>
<code>c.ws_set_options(path="/mqtt")</code><br>
<code>c.username_pw_set("myhome_boiler-1", "&lt;пароль из шага 2&gt;")</code><br>
<code>c.connect("exqx.containerk8s.dev.nubes.ru", 443)</code><br>
<code>c.publish("myhome/telemetry/boiler-1", json.dumps({"temp": 58.3}))</code>
</div>
</div>
</div>
<div class="step">
<div class="step-num">4</div>
<div class="step-body">
<div class="step-title">Увидеть результат</div>
<p>Показание доходит в базу за ~1 секунду. Посмотреть — запросом или
в консоли:</p>
<div class="hint-box">
<code>curl -H "Authorization: Bearer $TOKEN" \<br>
"https://iot.containerk8s.dev.nubes.ru/v1/namespaces/myhome/iot/telemetry?limit=50"</code>
</div>
<a class="btn-hero" href="/console">Открыть консоль →</a>
</div>
</div>
</div>
</div>
<div class="card">
<div class="card-header">Подключение</div>
<div class="card-body kv">
<div class="k">MQTT endpoint</div>
<div class="v">wss://exqx.containerk8s.dev.nubes.ru/mqtt</div>
<div class="k">Протокол</div>
<div class="v">MQTT 3.1.1 / 5.0 over WebSocket (subprotocol <code>mqtt</code>), TLS</div>
<div class="k">REST API</div>
<div class="v">https://iot.containerk8s.dev.nubes.ru</div>
<div class="k">Аутентификация MQTT</div>
<div class="v">username <code>{namespace}_{device_id}</code> + пароль из API</div>
<div class="k">Аутентификация REST</div>
<div class="v">Bearer JWT (<code>sub</code>, <code>exp</code>)</div>
<div class="k">Топик устройства</div>
<div class="v">{namespace}/telemetry/{device_id}</div>
<div class="k">Консоль</div>
<div class="v"><a href="/console">/console</a> — устройства, эмулятор, телеметрия</div>
<div class="k">Админ-статистика</div>
<div class="v"><a href="/iot-admin">/iot-admin</a> (токен ADMIN_STATS_TOKEN)</div>
<div class="k">Health</div>
<div class="v"><a href="/health">GET /health</a> <span class="status-ok">● ok</span></div>
</div>
</div>
<div class="card">
<div class="card-header">MQTT endpoint (exqx)</div>
<div class="card-body">
<p style="color:#374151">
<code>exqx.containerk8s.dev.nubes.ru</code> — это MQTT-брокер, а не
веб-страница. Точка подключения — только <code>/mqtt</code> через
WebSocket. Если открыть этот адрес в браузере, вернётся
<code>400</code> — так и должно быть: браузер не использует
WebSocket-подпротокол <code>mqtt</code>. Подключаться нужно MQTT-
клиентом (paho-mqtt, mqtt.js и т.п.), как в шаге 3.
</p>
<p style="color:#374151">
Ограничения: сообщение — до ~250 КБ; платформа может разрывать
внешние WebSocket-соединения примерно раз в 150 секунд — клиент
должен уметь переподключаться (в paho это делается автоматически).
</p>
</div>
</div>
<div class="footer">iot-service · realm iot-naeel · версия {{VERSION}} · <a href="/console">консоль</a> · <a href="/iot-admin">админ</a> · <a href="/health">health</a></div>
</div>
</body>
</html>
@@ -0,0 +1,55 @@
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<svg
width="57"
height="57"
xml:space="preserve"
overflow="hidden"
version="1.1"
id="svg8"
sodipodi:docname="U_v3.svg"
inkscape:version="1.3.2 (091e20e, 2023-11-25, custom)"
xmlns:inkscape="http://www.inkscape.org/namespaces/inkscape"
xmlns:sodipodi="http://sodipodi.sourceforge.net/DTD/sodipodi-0.dtd"
xmlns="http://www.w3.org/2000/svg"
xmlns:svg="http://www.w3.org/2000/svg"><sodipodi:namedview
id="namedview8"
pagecolor="#ffffff"
bordercolor="#000000"
borderopacity="0.25"
inkscape:showpageshadow="2"
inkscape:pageopacity="0.0"
inkscape:pagecheckerboard="0"
inkscape:deskcolor="#d1d1d1"
inkscape:zoom="16.226667"
inkscape:cx="27.146672"
inkscape:cy="28.317584"
inkscape:window-width="2560"
inkscape:window-height="1494"
inkscape:window-x="-11"
inkscape:window-y="-11"
inkscape:window-maximized="1"
inkscape:current-layer="svg8" /><defs
id="defs2"><clipPath
id="clip0"><rect
x="652"
y="420"
width="64"
height="75"
id="rect1" /></clipPath><clipPath
id="clip1"><rect
x="652"
y="420"
width="64"
height="70"
id="rect2" /></clipPath></defs><g
clip-path="url(#clip0)"
transform="matrix(1.0135748,0,0,1.0135748,-664.97034,-440.30567)"
id="g8"><g
clip-path="url(#clip1)"
id="g7"><g
id="g6"><path
d="m 114.028,43.1492 v 7.6592 c 0,3.7843 -3.08,6.8632 -6.866,6.8632 L 85.3367,57.5419 c -3.7853,0 -6.8655,-3.0805 -6.8655,-6.8643 v -2.5279 l 0.0555,0.009 V 15.8148 l -10.3823,2.0127 0.0045,3.8772 -0.0045,0.0015 v 28.971 c 0,9.481 7.7132,17.1923 17.1867,17.1923 l 21.8359,0.1313 c 9.474,0 17.187,-7.7117 17.187,-17.1928 v -2.6541 l 0.027,0.0045 V 15.8145 l -10.382,2.0126 0.028,25.3214 z"
fill="#001c34"
fill-rule="evenodd"
transform="matrix(1,0,0,1.01337,587.92,420.059)"
id="path6" /></g></g></g></svg>

After

Width:  |  Height:  |  Size: 2.0 KiB

+25
View File
@@ -0,0 +1,25 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
<!-- Creator: CorelDRAW -->
<svg xmlns="http://www.w3.org/2000/svg" xml:space="preserve" width="82.3711mm" height="18.2443mm" version="1.1" style="shape-rendering:geometricPrecision; text-rendering:geometricPrecision; image-rendering:optimizeQuality; fill-rule:evenodd; clip-rule:evenodd"
viewBox="0 0 8221.93 1821.07"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:xodm="http://www.corel.com/coreldraw/odm/2003">
<defs>
<style type="text/css">
<![CDATA[
.fil0 {fill:#001C34}
]]>
</style>
</defs>
<g id="Слой_x0020_1">
<metadata id="CorelCorpID_0Corel-Layer"/>
<g id="_2283355517888">
<path class="fil0" d="M477.49 479.69l-413.51 0 -63.98 276.48 178.44 0 1.17 1028.71 0 26.75 0.03 0 276.39 0 0 -871.72c0,-101.28 82.43,-183.69 183.75,-183.69l589.25 3.44c101.34,0 183.76,82.46 183.76,183.74l0 871.72 276.44 0 0 -871.72c0,-253.77 -206.46,-460.15 -460.05,-460.15l-589.52 -3.53 -162.17 0.45 0 -0.48z"/>
<path class="fil0" d="M6664.65 1813.37l1181.04 0c212.14,0 376.24,-175.01 376.24,-387.08 0,-212.13 -172.55,-384.68 -384.69,-384.68l-653.66 0c-60.22,0 -109.16,-48.94 -109.16,-109.18l0 -66.18c0,-60.19 48.94,-109.14 109.16,-109.14l695.76 0 63.74 -275.49 -759.5 0c-212.13,0 -384.66,172.53 -384.66,384.63l0 66.18c0,212.13 172.53,384.67 384.66,384.67l653.66 0c60.2,0 109.2,49 109.2,109.19 0,60.13 -49,116.1 -109.2,116.1l-1118.9 0 -53.68 270.98z"/>
<path class="fil0" d="M6200.79 483.5l-723.21 0c-215.88,0 -391.47,175.6 -391.47,391.51l0 485.5c0,248.38 202.05,450.4 450.4,450.4l989.38 0 62.13 -268.51 -1051.51 0c-96.41,0 -174.95,-85.37 -174.95,-181.88l-1.5 -39.46 923.62 0 308.51 -1.84 0 -237.95 0 -206.26c0,-215.91 -175.59,-391.51 -391.41,-391.51zm115.96 560.28l-955.19 0 0 -168.77c0,-63.96 52.07,-116.05 116.02,-116.05l723.21 0c63.91,0 115.96,52.08 115.96,116.05l0 168.77z"/>
<path class="fil0" d="M4683.49 1194.24l0 168.28c0,100.92 -81.7,178.37 -182.67,178.37l-589.87 1.23c-93.18,0 -170.28,-69.96 -181.63,-160.09l0 -458.13c11.36,-90.1 88.46,-160.07 181.63,-160.07l589.44 3.5c100.97,0 183.1,82.18 183.1,183.1l0 30.42 0 213.4zm-1230.2 -345.53l-0.89 -795.03 276.91 -53.68 0 526.07c55.74,-24.16 117.03,-37.74 181.5,-37.74l589.71 3.5c252.69,0 458.42,205.72 458.42,458.59l0 30.42 0 213.4 0 168.28c0,252.86 -205.73,458.54 -458.42,458.54l-589.71 -3.5c-252.7,0 -458.41,-205.67 -458.41,-458.56l0 -171.61 0 -240.48 0.89 -98.2z"/>
<path class="fil0" d="M3041.25 1150.84l0 204.28c0,100.93 -82.15,183.05 -183.11,183.05l-582.11 -3.46c-100.96,0 -183.11,-82.16 -183.11,-183.08l0 -67.42 1.48 0.24 0 -862.65 -276.91 53.68 0.12 103.41 -0.12 0.04 0 772.69c0,252.87 205.72,458.54 458.39,458.54l582.4 3.5c252.67,0 458.4,-205.68 458.4,-458.55l0 -70.79 0.71 0.12 0 -862.65 -276.91 53.68 0.76 675.35z"/>
</g>
</g>
</svg>

After

Width:  |  Height:  |  Size: 2.8 KiB

@@ -0,0 +1,69 @@
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 640 1060" width="100%" role="img" aria-label="Схема пайплайна IoT">
<defs>
<style>
text { font-family: system-ui, "Segoe UI", Roboto, sans-serif; }
.mono { font-family: ui-monospace, Menlo, Consolas, monospace; }
</style>
<marker id="arr" markerWidth="10" markerHeight="10" refX="8" refY="3" orient="auto">
<path d="M0,0 L8,3 L0,6 Z" fill="#6b7280"/>
</marker>
</defs>
<!-- Подложка «ПЛАТФОРМА» -->
<text x="104" y="222" font-size="12" fill="#6b7280">ПЛАТФОРМА</text>
<rect x="100" y="232" width="440" height="568" rx="16" fill="none"
stroke="#bfdbfe" stroke-width="1.5" stroke-dasharray="6 4"/>
<!-- Переход 1: Устройство → EMQX -->
<line x1="320" y1="158" x2="320" y2="242" stroke="#6b7280" stroke-width="2" marker-end="url(#arr)"/>
<rect x="175" y="187" width="130" height="26" rx="8" fill="#ffffff" stroke="#d1d5db"/>
<text x="240" y="205" font-size="14" fill="#1a1a1a" text-anchor="middle">MQTT over wss</text>
<text x="345" y="196" font-size="13" class="mono" fill="#6b7280">{namespace}/</text>
<text x="345" y="216" font-size="13" class="mono" fill="#6b7280">telemetry/{device_id}</text>
<!-- Переход 2: EMQX → Очередь -->
<line x1="320" y1="368" x2="320" y2="452" stroke="#6b7280" stroke-width="2" marker-end="url(#arr)"/>
<rect x="200" y="397" width="80" height="26" rx="8" fill="#ffffff" stroke="#d1d5db"/>
<text x="240" y="415" font-size="14" fill="#1a1a1a" text-anchor="middle">бридж</text>
<text x="345" y="416" font-size="13" fill="#6b7280">кладёт показания</text>
<!-- Переход 3: Очередь → PostgreSQL -->
<line x1="320" y1="578" x2="320" y2="662" stroke="#6b7280" stroke-width="2" marker-end="url(#arr)"/>
<rect x="175" y="607" width="130" height="26" rx="8" fill="#ffffff" stroke="#d1d5db"/>
<text x="240" y="625" font-size="14" fill="#1a1a1a" text-anchor="middle">потребитель</text>
<text x="345" y="626" font-size="13" fill="#6b7280">пишет в базу</text>
<!-- Переход 4: PostgreSQL → API / Консоль -->
<line x1="320" y1="788" x2="320" y2="872" stroke="#6b7280" stroke-width="2" marker-end="url(#arr)"/>
<rect x="205" y="817" width="70" height="26" rx="8" fill="#ffffff" stroke="#d1d5db"/>
<text x="240" y="835" font-size="14" fill="#1a1a1a" text-anchor="middle">REST</text>
<text x="345" y="836" font-size="13" fill="#6b7280">чтение истории</text>
<!-- Блок 1: Устройство -->
<rect x="110" y="40" width="420" height="110" rx="12" fill="#ffffff" stroke="#d1d5db"/>
<text x="320" y="102" font-size="20" font-weight="600" fill="#1a1a1a" text-anchor="middle">Устройство</text>
<text x="320" y="128" font-size="14" class="mono" fill="#6b7280" text-anchor="middle">датчик · MQTT-клиент</text>
<!-- Блок 2: EMQX -->
<rect x="110" y="250" width="420" height="110" rx="12" fill="#eff6ff" stroke="#bfdbfe"/>
<text x="320" y="312" font-size="20" font-weight="600" fill="#2563eb" text-anchor="middle">EMQX</text>
<text x="320" y="338" font-size="14" class="mono" fill="#6b7280" text-anchor="middle">брокер · wss /mqtt</text>
<!-- Блок 3: Очередь -->
<rect x="110" y="460" width="420" height="110" rx="12" fill="#eff6ff" stroke="#bfdbfe"/>
<text x="320" y="522" font-size="20" font-weight="600" fill="#2563eb" text-anchor="middle">Очередь</text>
<text x="320" y="548" font-size="14" class="mono" fill="#6b7280" text-anchor="middle">iot-telemetry</text>
<!-- Блок 4: PostgreSQL -->
<rect x="110" y="670" width="420" height="110" rx="12" fill="#eff6ff" stroke="#bfdbfe"/>
<text x="320" y="732" font-size="20" font-weight="600" fill="#2563eb" text-anchor="middle">PostgreSQL</text>
<text x="320" y="758" font-size="14" class="mono" fill="#6b7280" text-anchor="middle">база на namespace</text>
<!-- Блок 5: API / Консоль -->
<rect x="110" y="880" width="420" height="110" rx="12" fill="#ffffff" stroke="#d1d5db"/>
<text x="320" y="942" font-size="20" font-weight="600" fill="#1a1a1a" text-anchor="middle">API / Консоль</text>
<text x="320" y="968" font-size="14" class="mono" fill="#6b7280" text-anchor="middle">чтение истории</text>
<!-- Подвал -->
<text x="320" y="1038" font-size="13" fill="#6b7280" text-anchor="middle">бридж и потребитель — части сервиса iot-service</text>
</svg>

After

Width:  |  Height:  |  Size: 4.5 KiB

+116
View File
@@ -0,0 +1,116 @@
// Package bridge — MQTT-подписка на телеметрию устройств → shared-SQS.
//
// Роль старого mqtt-bridge, но внутри монолита: подключается к EMQX как
// MQTT-клиент, подписывается на "+/telemetry/+" и шлёт envelope в SQS.
package bridge
import (
"context"
"log/slog"
"time"
"github.com/aws/aws-sdk-go-v2/service/sqs"
mqtt "github.com/eclipse/paho.mqtt.golang"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
)
// telemetryTopicFilter — все namespace, все устройства.
const telemetryTopicFilter = "+/telemetry/+"
// Run — бесконечный цикл bridge: подключение → подписка → ожидание сигнала завершения.
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, log *slog.Logger) error {
log.Info("bridge: starting", "broker", cfg.MQTTBrokerURL, "client_id", cfg.MQTTClientID)
// URL очереди получаем один раз при старте (как старый consumer).
queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
if err != nil {
return err
}
log.Info("bridge: SQS queue resolved", "queue", cfg.SQSQueueName)
// Обработчик сообщений передаём в connectMQTT: подписка выполняется в
// OnConnectHandler, т.е. повторяется при каждом (ре)подключении.
// Иначе после потери сессии EMQX бридж оставался бы без подписки
// (прецедент 2026-08-16: реконнект без resubscribe → телеметрия терялась).
//
// Отправка в SQS — через диспатчер (канал + worker-пул): колбэк MQTT
// не блокируется сетью (фикс CRITICAL из ревью 2026-08-16).
dispatcher := newSQSDispatcher(sqsClient, queueURL, log)
dispatcher.start(ctx)
handler := newMessageHandler(dispatcher, log)
client, err := connectMQTT(ctx, cfg, log, handler)
if err != nil {
dispatcher.closeAndWait()
return err
}
<-ctx.Done()
log.Info("bridge: shutting down")
// Порядок: сначала отключить MQTT (источник), затем слить остаток в SQS.
client.Disconnect(2000)
dispatcher.closeAndWait()
return nil
}
// errSubscribeTimeout — не дождались подтверждения подписки.
var errSubscribeTimeout = errBridge("MQTT subscribe timeout")
// errBridge — ошибки bridge.
type errBridge string
func (e errBridge) Error() string { return string(e) }
// connectMQTT устанавливает подключение к EMQX с автореконнектом.
// handler передаётся в OnConnectHandler: подписка повторяется при каждом подключении.
func connectMQTT(ctx context.Context, cfg *config.Config, log *slog.Logger, handler mqtt.MessageHandler) (mqtt.Client, error) {
opts := mqtt.NewClientOptions()
opts.AddBroker(cfg.MQTTBrokerURL)
opts.SetClientID(cfg.MQTTClientID)
opts.SetUsername(cfg.MQTTUsername)
opts.SetPassword(cfg.MQTTPassword)
opts.SetAutoReconnect(true)
opts.SetConnectRetry(true)
opts.SetConnectRetryInterval(5 * time.Second)
opts.SetKeepAlive(30 * time.Second)
opts.SetCleanSession(false)
opts.SetConnectionLostHandler(func(_ mqtt.Client, err error) {
log.Warn("bridge: MQTT connection lost, reconnecting...", "err", err)
})
opts.SetReconnectingHandler(func(_ mqtt.Client, _ *mqtt.ClientOptions) {
log.Info("bridge: MQTT reconnecting...")
})
opts.SetOnConnectHandler(func(c mqtt.Client) {
log.Info("bridge: MQTT connected")
token := c.Subscribe(telemetryTopicFilter, 1, handler)
if !token.WaitTimeout(10 * time.Second) {
log.Error("bridge: resubscribe timeout", "filter", telemetryTopicFilter)
c.Disconnect(100) // принудительный реконнект (подписка обязательна)
return
}
if token.Error() != nil {
log.Error("bridge: resubscribe failed", "filter", telemetryTopicFilter, "err", token.Error())
c.Disconnect(100) // принудительный реконнект (подписка обязательна)
return
}
log.Info("bridge: subscribed", "filter", telemetryTopicFilter)
})
client := mqtt.NewClient(opts)
token := client.Connect()
select {
case <-ctx.Done():
return nil, ctx.Err()
case <-time.After(30 * time.Second):
return nil, errBridge("bridge: MQTT connect timeout")
case <-token.Done():
}
if token.Error() != nil {
return nil, token.Error()
}
return client, nil
}
+56
View File
@@ -0,0 +1,56 @@
// handler.go — обработчик MQTT-сообщений: envelope → канал диспатчера SQS.
//
// Колбэк НЕ делает сетевых вызовов: только парсинг топика и неблокирующий
// enqueue. Отправка в SQS — worker-пул sqsDispatcher (см. sender.go).
package bridge
import (
"encoding/json"
"log/slog"
"strings"
"time"
mqtt "github.com/eclipse/paho.mqtt.golang"
)
// TelemetryEnvelope — сообщение, перекладываемое в SQS (разбирается consumer).
type TelemetryEnvelope struct {
Namespace string `json:"namespace"`
DeviceID string `json:"device_id"`
Topic string `json:"topic"`
Payload json.RawMessage `json:"payload"`
ReceivedAt string `json:"received_at"`
}
// newMessageHandler возвращает обработчик MQTT-сообщений:
// валидация топика "{namespace}/telemetry/{deviceId}" → enqueue в диспатчер.
func newMessageHandler(dispatcher *sqsDispatcher, log *slog.Logger) mqtt.MessageHandler {
return func(_ mqtt.Client, msg mqtt.Message) {
topic := msg.Topic()
payload := msg.Payload()
// Топик: "{namespace}/telemetry/{deviceId}". Пустые части — мусор.
parts := strings.SplitN(topic, "/", 3)
if len(parts) != 3 || parts[0] == "" || parts[2] == "" || parts[1] != "telemetry" {
log.Warn("bridge: unexpected topic format, skipping", "topic", topic)
return
}
ns := parts[0]
deviceID := parts[2]
// Не-JSON payload оборачиваем в строку.
rawPayload := json.RawMessage(payload)
if !json.Valid(payload) {
quoted, _ := json.Marshal(string(payload))
rawPayload = json.RawMessage(quoted)
}
dispatcher.enqueue(TelemetryEnvelope{
Namespace: ns,
DeviceID: deviceID,
Topic: topic,
Payload: rawPayload,
ReceivedAt: time.Now().UTC().Format(time.RFC3339),
})
}
}
+145
View File
@@ -0,0 +1,145 @@
// sender.go — асинхронная отправка envelope в SQS из бриджа.
//
// Мотивация (Sonnet-ревью 2026-08-16, находка CRITICAL): SendMessage был
// синхронным внутри MQTT-колбэка paho. При недоступности SQS (таймаут ~30с)
// блокировался приём ВСЕХ MQTT-сообщений → потери телеметрии.
//
// Теперь: колбэк кладёт envelope в буферизованный канал НЕблокирующе
// (переполнение — дроп со счётчиком), worker-пул отправляет в SQS с
// ограниченными ретраями и backoff.
package bridge
import (
"context"
"encoding/json"
"log/slog"
"sync"
"sync/atomic"
"time"
"github.com/aws/aws-sdk-go-v2/aws"
"github.com/aws/aws-sdk-go-v2/service/sqs"
)
// Константы диспатчера.
const (
// dispatcherQueueSize — буфер envelope перед SQS (~100 msg/s * 100с буфера).
dispatcherQueueSize = 10000
// dispatcherWorkers — горутин, отправляющих в SQS.
dispatcherWorkers = 4
// sendMaxAttempts — попыток SendMessage на одно сообщение.
sendMaxAttempts = 3
// maxSQSBodyBytes — потолок размера envelope для SQS.
// SQS (и shared-sqs) режут сообщения >256KB — запас на оверхед.
maxSQSBodyBytes = 250 * 1024
)
// sqsDispatcher — канал + worker-пул для отправки в SQS.
type sqsDispatcher struct {
ch chan TelemetryEnvelope
client *sqs.Client
queueURL string
log *slog.Logger
wg sync.WaitGroup
dropped atomic.Int64
}
// newSQSDispatcher создаёт диспатчер. start() запускает worker-пул.
func newSQSDispatcher(client *sqs.Client, queueURL string, log *slog.Logger) *sqsDispatcher {
return &sqsDispatcher{
ch: make(chan TelemetryEnvelope, dispatcherQueueSize),
client: client,
queueURL: queueURL,
log: log,
}
}
// start запускает worker-пул.
func (d *sqsDispatcher) start(ctx context.Context) {
for i := 0; i < dispatcherWorkers; i++ {
d.wg.Add(1)
go func(wid int) {
defer d.wg.Done()
d.worker(ctx, wid)
}(i)
}
}
// enqueue кладёт envelope в канал НЕблокирующе. false = буфер полон (дроп).
func (d *sqsDispatcher) enqueue(e TelemetryEnvelope) bool {
select {
case d.ch <- e:
return true
default:
n := d.dropped.Add(1)
if n%100 == 1 {
d.log.Error("bridge: SQS dispatch queue full, dropping",
"namespace", e.Namespace, "device", e.DeviceID,
"dropped_total", n)
}
return false
}
}
// closeAndWait закрывает канал и ждёт завершения worker'ов (flush).
func (d *sqsDispatcher) closeAndWait() {
close(d.ch)
d.wg.Wait()
d.log.Info("bridge: SQS dispatcher stopped", "dropped_total", d.dropped.Load())
}
// worker — цикл отправки из канала с ограниченными ретраями.
func (d *sqsDispatcher) worker(ctx context.Context, wid int) {
for e := range d.ch {
body, err := json.Marshal(e)
if err != nil {
d.log.Error("bridge: marshal envelope", "worker", wid,
"namespace", e.Namespace, "err", err)
continue
}
if len(body) > maxSQSBodyBytes {
// Лимит SQS 256KB — такие сообщения не пройдут в принципе
// (проверено 2026-08-16: InvalidParameterValue message size
// exceeds the limit). Дроп с явным логом.
d.log.Error("bridge: payload too large for SQS, dropping",
"worker", wid, "namespace", e.Namespace,
"device", e.DeviceID, "bytes", len(body),
"limit_bytes", maxSQSBodyBytes)
continue
}
if err := d.sendWithRetry(ctx, string(body)); err != nil {
d.log.Error("bridge: SQS send failed after retries, dropping",
"worker", wid, "namespace", e.Namespace,
"device", e.DeviceID, "err", err)
}
}
}
// sendWithRetry — SendMessage с backoff 1с/2с/4с.
func (d *sqsDispatcher) sendWithRetry(ctx context.Context, body string) error {
var lastErr error
backoff := time.Second
for attempt := 1; attempt <= sendMaxAttempts; attempt++ {
_, err := d.client.SendMessage(ctx, &sqs.SendMessageInput{
QueueUrl: aws.String(d.queueURL),
MessageBody: aws.String(body),
})
if err == nil {
return nil
}
lastErr = err
if ctx.Err() != nil {
return lastErr
}
if attempt < sendMaxAttempts {
select {
case <-ctx.Done():
return lastErr
case <-time.After(backoff):
}
backoff *= 2
}
}
return lastErr
}
+157
View File
@@ -0,0 +1,157 @@
// Package config — конфигурация монолита iot-service из env-переменных.
//
// Принцип: несекретные значения имеют дефолты (продублированы ENV в Dockerfile),
// секреты — обязательны и задаются в deck-UI при создании контейнера.
// Env-переменные после деплоя не меняются — поэтому дефолты вшиты в образ.
package config
import (
"fmt"
"log/slog"
"os"
"strconv"
"strings"
)
// Config — вся конфигурация iot-service.
type Config struct {
// HTTP API
APIPort string
// PostgreSQL (managed, общий для устройств и телеметрии)
IOTPGDSN string
// shared-SQS
SQSEndpoint string
SQSAccessKey string
SQSSecretKey string
SQSQueueName string
SQSRegion string
// SQS-потребитель
SQSLongPollSeconds int
SQSVisibilityTimeout int
// MQTT (EMQX)
MQTTBrokerURL string
MQTTUsername string
MQTTPassword string
MQTTClientID string
// Админ-статистика
AdminStatsToken string
// Безопасность
AuthTestMode bool
// JwtHMACSecret — если задан, JWT проверяется по HS256 (HMAC-SHA256).
// Пусто — структурная проверка (как раньше, периметр = платформа).
JwtHMACSecret string
// Логирование
LogLevel slog.Level
}
// getEnv возвращает значение env или дефолт.
func getEnv(key, def string) string {
if v := os.Getenv(key); v != "" {
return v
}
return def
}
// getEnvInt возвращает целое значение env или дефолт (неположительное — дефолт).
func getEnvInt(key string, def int) int {
if v := os.Getenv(key); v != "" {
if n, err := strconv.Atoi(v); err == nil && n > 0 {
return n
}
}
return def
}
// getEnvBool разбирает булево значение env.
func getEnvBool(key string, def bool) bool {
v := os.Getenv(key)
if v == "" {
return def
}
switch strings.ToLower(v) {
case "1", "true", "yes", "on":
return true
case "0", "false", "no", "off":
return false
default:
return def
}
}
// parseLogLevel разбирает уровень логирования.
func parseLogLevel(v string, def slog.Level) slog.Level {
switch strings.ToLower(v) {
case "debug":
return slog.LevelDebug
case "warn", "warning":
return slog.LevelWarn
case "error":
return slog.LevelError
default:
return def
}
}
// Load читает конфигурацию из env, подставляет дефолты
// и проверяет обязательные (секретные) переменные.
func Load() (*Config, error) {
cfg := &Config{
APIPort: getEnv("API_PORT", DefaultAPIPort),
IOTPGDSN: os.Getenv("IOT_PG_DSN"),
SQSEndpoint: getEnv("SQS_ENDPOINT", DefaultSQSEndpoint),
SQSAccessKey: os.Getenv("SQS_ACCESS_KEY"),
SQSSecretKey: os.Getenv("SQS_SECRET_KEY"),
SQSQueueName: getEnv("SQS_QUEUE_NAME", DefaultSQSQueueName),
SQSRegion: getEnv("SQS_REGION", DefaultSQSRegion),
SQSLongPollSeconds: getEnvInt("SQS_LONG_POLL_SECONDS", 20),
SQSVisibilityTimeout: getEnvInt("SQS_VISIBILITY_TIMEOUT", 120),
MQTTUsername: os.Getenv("MQTT_USERNAME"),
MQTTPassword: os.Getenv("MQTT_PASSWORD"),
MQTTClientID: getEnv("MQTT_CLIENT_ID", DefaultMQTTClientID),
AdminStatsToken: os.Getenv("ADMIN_STATS_TOKEN"),
AuthTestMode: getEnvBool("AUTH_TEST_MODE", false),
JwtHMACSecret: os.Getenv("JWT_HMAC_SECRET"),
LogLevel: parseLogLevel(os.Getenv("LOG_LEVEL"), slog.LevelInfo),
}
// MQTT broker URL: либо полный MQTT_BROKER_URL, либо из HOST/PORT/WS_PATH
cfg.MQTTBrokerURL = os.Getenv("MQTT_BROKER_URL")
if cfg.MQTTBrokerURL == "" {
host := getEnv("MQTT_HOST", DefaultMQTTHost)
port := getEnv("MQTT_PORT", DefaultMQTTPort)
path := getEnv("MQTT_WS_PATH", DefaultMQTTWSPath)
cfg.MQTTBrokerURL = "ws://" + host + ":" + port + path
} else if !strings.HasPrefix(cfg.MQTTBrokerURL, "ws://") &&
!strings.HasPrefix(cfg.MQTTBrokerURL, "wss://") {
return nil, fmt.Errorf("MQTT_BROKER_URL must start with ws:// or wss://, got %q", cfg.MQTTBrokerURL)
}
var missing []string
if cfg.IOTPGDSN == "" {
missing = append(missing, "IOT_PG_DSN")
}
if cfg.SQSAccessKey == "" {
missing = append(missing, "SQS_ACCESS_KEY")
}
if cfg.SQSSecretKey == "" {
missing = append(missing, "SQS_SECRET_KEY")
}
if cfg.MQTTUsername == "" {
missing = append(missing, "MQTT_USERNAME")
}
if cfg.MQTTPassword == "" {
missing = append(missing, "MQTT_PASSWORD")
}
if len(missing) > 0 {
return nil, fmt.Errorf("required env vars not set: %s", strings.Join(missing, ", "))
}
return cfg, nil
}
+32
View File
@@ -0,0 +1,32 @@
package config
// Defaults — дефолтные значения env-переменных (не секреты).
// Продублированы в Dockerfile ENV.
const (
// DefaultAPIPort — единственный порт контейнера: API + /health + /metrics.
DefaultAPIPort = "9090"
// DefaultSQSEndpoint — внутренний адрес shared-sqs в том же кластере Nubes.
// Обходит внешний шлюз платформы (таймауты 31-33с, MSS 1448, ~150с).
DefaultSQSEndpoint = "http://containerk8s.f1ffb134-7d16-45bd-8bef-69f6ec8ab33c.svc.cluster.local:4100"
// DefaultSQSQueueName — очередь телеметрии IoT.
DefaultSQSQueueName = "iot-telemetry"
// DefaultSQSRegion — регион для self-hosted SQS (не важен, оставлен для SDK).
DefaultSQSRegion = "us-east-1"
// DefaultMQTTHost — внутреннее имя EMQX-контейнера на платформе.
// Реальный UUID namespace EMQX задаётся в deck-UI (MQTT_HOST) при создании.
DefaultMQTTHost = "emqx"
// DefaultMQTTPort — WebSocket-листенер EMQX (wss внутри платформы).
DefaultMQTTPort = "8083"
// DefaultMQTTWSPath — путь MQTT-over-WebSocket на EMQX.
DefaultMQTTWSPath = "/mqtt"
// DefaultMQTTClientID — clientID bridge-подключения к EMQX.
// Используется и в ACL-логике MQTT-auth.
DefaultMQTTClientID = "iot-bridge"
)
+108
View File
@@ -0,0 +1,108 @@
// Package consumer — чтение shared-SQS → per-tenant PostgreSQL.
//
// Роль старого sqs-consumer внутри монолита: long-poll цикл, обработка
// envelope телеметрии, DeleteMessage после успешной записи (at-least-once).
package consumer
import (
"context"
"log/slog"
"time"
"github.com/aws/aws-sdk-go-v2/aws"
"github.com/aws/aws-sdk-go-v2/service/sqs"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)
// errorBackoff — пауза между попытками при ошибках SQS.
const errorBackoff = 5 * time.Second
// maxProcessBackoff — потолок backoff после ошибок обработки (PG).
const maxProcessBackoff = 60 * time.Second
// Run — бесконечный long-poll цикл потребителя.
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
if err != nil {
return err
}
log.Info("consumer: SQS queue resolved", "queue", cfg.SQSQueueName)
for {
if ctx.Err() != nil {
break
}
resp, err := sqsClient.ReceiveMessage(ctx, &sqs.ReceiveMessageInput{
QueueUrl: aws.String(queueURL),
MaxNumberOfMessages: 10,
WaitTimeSeconds: int32(cfg.SQSLongPollSeconds),
VisibilityTimeout: int32(cfg.SQSVisibilityTimeout),
})
if err != nil {
if ctx.Err() != nil {
break
}
log.Error("consumer: ReceiveMessage failed", "err", err)
if !sleepCtx(ctx, errorBackoff) {
break
}
continue
}
processBackoff := time.Second
for _, msg := range resp.Messages {
if msg.Body == nil || *msg.Body == "" {
log.Warn("consumer: empty message body, deleting",
"message_id", aws.ToString(msg.MessageId))
if err := deleteMessage(ctx, sqsClient, queueURL, msg.ReceiptHandle, log); err != nil {
log.Error("consumer: DeleteMessage failed", "err", err, "message_id", aws.ToString(msg.MessageId))
}
continue
}
if err := processTelemetry(ctx, *msg.Body, store, log); err != nil {
log.Error("consumer: process telemetry", "err", err, "message_id", aws.ToString(msg.MessageId))
// Сообщение вернётся в очередь после visibility timeout.
// Backoff с jitter — не долбить упавший PG в цикле
// (фикс HIGH из ревью 2026-08-16: лавина ретраев).
if !sleepCtx(ctx, processBackoff) {
break
}
processBackoff *= 2
if processBackoff > maxProcessBackoff {
processBackoff = maxProcessBackoff
}
continue
}
processBackoff = time.Second
if err := deleteMessage(ctx, sqsClient, queueURL, msg.ReceiptHandle, log); err != nil {
log.Error("consumer: DeleteMessage failed", "err", err, "message_id", aws.ToString(msg.MessageId))
}
}
}
log.Info("consumer: shutting down")
return nil
}
// deleteMessage удаляет обработанное сообщение из очереди.
func deleteMessage(ctx context.Context, client *sqs.Client, queueURL string, receiptHandle *string, log *slog.Logger) error {
_, err := client.DeleteMessage(ctx, &sqs.DeleteMessageInput{
QueueUrl: aws.String(queueURL),
ReceiptHandle: receiptHandle,
})
return err
}
// sleepCtx — ожидание с прерыванием по ctx. false = ctx завершён.
func sleepCtx(ctx context.Context, d time.Duration) bool {
select {
case <-ctx.Done():
return false
case <-time.After(d):
return true
}
}
+35
View File
@@ -0,0 +1,35 @@
// processor.go — разбор envelope телеметрии и запись в per-tenant PostgreSQL.
package consumer
import (
"context"
"encoding/json"
"log/slog"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/bridge"
"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)
// processTelemetry десериализует envelope и пишет в tenant DB.
// Битый JSON — пропускаем (не блокируем очередь).
func processTelemetry(ctx context.Context, body string, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
var envelope bridge.TelemetryEnvelope
if err := json.Unmarshal([]byte(body), &envelope); err != nil {
log.Warn("consumer: failed to unmarshal envelope, skipping", "err", err)
return nil
}
// EnsureTenantDB идемпотентен, кэшируется после первого вызова.
if err := store.EnsureTenantDB(ctx, envelope.Namespace); err != nil {
return err
}
if err := store.InsertTelemetry(ctx, envelope.Namespace, envelope.DeviceID, envelope.Payload); err != nil {
return err
}
log.Info("consumer: telemetry saved",
"namespace", envelope.Namespace,
"device", envelope.DeviceID,
)
return nil
}
+38
View File
@@ -0,0 +1,38 @@
// Package sqsclient — общий фабричный клиент shared-SQS для монолита.
//
// Используют: bridge (SendMessage), consumer (ReceiveMessage/DeleteMessage),
// admin-stats (GetQueueUrl/GetQueueAttributes).
package sqsclient
import (
"context"
"fmt"
"github.com/aws/aws-sdk-go-v2/aws"
"github.com/aws/aws-sdk-go-v2/credentials"
"github.com/aws/aws-sdk-go-v2/service/sqs"
"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
)
// New создаёт SQS-клиент с переопределённым endpoint (self-hosted shared-sqs).
func New(cfg *config.Config) *sqs.Client {
return sqs.New(sqs.Options{
Region: cfg.SQSRegion,
Credentials: credentials.NewStaticCredentialsProvider(
cfg.SQSAccessKey, cfg.SQSSecretKey, "",
),
BaseEndpoint: aws.String(cfg.SQSEndpoint),
})
}
// ResolveQueueURL получает URL очереди по имени (один вызов при старте).
func ResolveQueueURL(ctx context.Context, client *sqs.Client, queueName string) (string, error) {
out, err := client.GetQueueUrl(ctx, &sqs.GetQueueUrlInput{
QueueName: aws.String(queueName),
})
if err != nil {
return "", fmt.Errorf("sqs: GetQueueUrl %q: %w", queueName, err)
}
return aws.ToString(out.QueueUrl), nil
}
+32
View File
@@ -0,0 +1,32 @@
package store
import (
"context"
"fmt"
)
// bridgeNamespace — служебный namespace строки бриджа в iot_devices.
// EMQX (postgres auth/ACL) узнаёт бридж по условию
// namespace = '__bridge' AND username = device_id.
const bridgeNamespace = "__bridge"
// EnsureBridgeDevice создаёт (или обновляет) служебную строку бриджа в
// iot_devices. EMQX авторизует MQTT-подключение бриджа по этой строке,
// поэтому device_id = MQTT username (iot-bridge), пароль = MQTT_PASSWORD.
//
// Нужно для PG-auth EMQX (хвост 3): EMQX зависит только от PostgreSQL,
// монолит при старте гарантирует наличие строки бриджа.
func (s *DeviceStore) EnsureBridgeDevice(ctx context.Context, username, password string) error {
_, err := s.db.ExecContext(ctx, `
INSERT INTO iot_devices (namespace, name, device_id, enabled, mqtt_password, metadata, phase)
VALUES ($1, $2, $3, true, $4, '{}'::jsonb, 'Active')
ON CONFLICT (namespace, name) DO UPDATE
SET device_id = EXCLUDED.device_id,
enabled = true,
mqtt_password = EXCLUDED.mqtt_password`,
bridgeNamespace, "iot-bridge", username, password)
if err != nil {
return fmt.Errorf("store: ensure bridge device: %w", err)
}
return nil
}
+29
View File
@@ -0,0 +1,29 @@
// Package store — хранилище устройств IoT в PostgreSQL.
//
// Таблица iot_devices заменяет CRD IoTDevice и k8s Secrets старого IoT.
// Устройства: namespace, name, device_id, enabled, mqtt_password, metadata.
package store
import (
"errors"
"time"
)
// ErrNotFound — устройство не найдено.
var ErrNotFound = errors.New("device not found")
// ErrAlreadyExists — конфликт уникальности (namespace, name) или (namespace, device_id).
var ErrAlreadyExists = errors.New("device already exists")
// Device — устройство IoT из таблицы iot_devices.
type Device struct {
Namespace string
Name string
DeviceID string
Enabled bool
MQTTPassword string
Metadata map[string]string
Phase string
LastConnected *time.Time
CreatedAt time.Time
}
+183
View File
@@ -0,0 +1,183 @@
package store
import (
"context"
"database/sql"
"encoding/json"
"errors"
"fmt"
)
// Create вставляет новое устройство. Конфликт (namespace, name) или
// (namespace, device_id) возвращает ErrAlreadyExists.
func (s *DeviceStore) Create(ctx context.Context, d *Device) error {
metadata, err := json.Marshal(d.Metadata)
if err != nil {
return fmt.Errorf("store: marshal metadata: %w", err)
}
_, err = s.db.ExecContext(ctx, `
INSERT INTO iot_devices (namespace, name, device_id, enabled, mqtt_password, metadata)
VALUES ($1, $2, $3, $4, $5, $6)`,
d.Namespace, d.Name, d.DeviceID, d.Enabled, d.MQTTPassword, metadata,
)
if err != nil {
if isUniqueViolation(err) {
return ErrAlreadyExists
}
return fmt.Errorf("store: insert device: %w", err)
}
return nil
}
// List возвращает устройства namespace (без паролей — API их не отдаёт).
// limit <= 0 — без ограничения; offset — смещение (пагинация API).
func (s *DeviceStore) List(ctx context.Context, namespace string, limit, offset int) ([]Device, error) {
query := `SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
last_connected, created_at
FROM iot_devices WHERE namespace = $1 ORDER BY name`
args := []any{namespace}
if limit > 0 {
query += fmt.Sprintf(" LIMIT $%d", len(args)+1)
args = append(args, limit)
}
if offset > 0 {
query += fmt.Sprintf(" OFFSET $%d", len(args)+1)
args = append(args, offset)
}
rows, err := s.db.QueryContext(ctx, query, args...)
if err != nil {
return nil, fmt.Errorf("store: list devices: %w", err)
}
defer rows.Close()
return scanDevices(rows)
}
// GetByName возвращает устройство по (namespace, name).
func (s *DeviceStore) GetByName(ctx context.Context, namespace, name string) (*Device, error) {
return s.get(ctx, `SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
last_connected, created_at
FROM iot_devices WHERE namespace = $1 AND name = $2`, namespace, name)
}
// GetByDeviceID возвращает устройство по (namespace, device_id) — для MQTT auth.
func (s *DeviceStore) GetByDeviceID(ctx context.Context, namespace, deviceID string) (*Device, error) {
return s.get(ctx, `SELECT namespace, name, device_id, enabled, mqtt_password, metadata, phase,
last_connected, created_at
FROM iot_devices WHERE namespace = $1 AND device_id = $2`, namespace, deviceID)
}
// get — общая выборка одного устройства.
func (s *DeviceStore) get(ctx context.Context, query string, args ...any) (*Device, error) {
d, err := scanDevice(s.db.QueryRowContext(ctx, query, args...))
if errors.Is(err, sql.ErrNoRows) {
return nil, ErrNotFound
}
if err != nil {
return nil, fmt.Errorf("store: get device: %w", err)
}
return d, nil
}
// UpdateEnabled включает/выключает устройство.
func (s *DeviceStore) UpdateEnabled(ctx context.Context, namespace, name string, enabled bool) error {
res, err := s.db.ExecContext(ctx,
`UPDATE iot_devices SET enabled = $3, phase = $4
WHERE namespace = $1 AND name = $2`,
namespace, name, enabled, phaseOf(enabled))
if err != nil {
return fmt.Errorf("store: update device: %w", err)
}
if n, _ := res.RowsAffected(); n == 0 {
return ErrNotFound
}
return nil
}
// Delete удаляет устройство.
func (s *DeviceStore) Delete(ctx context.Context, namespace, name string) error {
res, err := s.db.ExecContext(ctx,
`DELETE FROM iot_devices WHERE namespace = $1 AND name = $2`, namespace, name)
if err != nil {
return fmt.Errorf("store: delete device: %w", err)
}
if n, _ := res.RowsAffected(); n == 0 {
return ErrNotFound
}
return nil
}
// TouchLastConnected обновляет last_connected (best-effort при MQTT auth).
func (s *DeviceStore) TouchLastConnected(ctx context.Context, namespace, deviceID string) {
_, _ = s.db.ExecContext(ctx, `
UPDATE iot_devices SET last_connected = now()
WHERE namespace = $1 AND device_id = $2`, namespace, deviceID)
}
// Count возвращает количество устройств в namespace (для админ-статистики).
func (s *DeviceStore) Count(ctx context.Context, namespace string) (int64, error) {
var n int64
err := s.db.QueryRowContext(ctx,
`SELECT COUNT(*) FROM iot_devices WHERE namespace = $1`, namespace).Scan(&n)
if err != nil {
return 0, fmt.Errorf("store: count devices: %w", err)
}
return n, nil
}
// scanDevices читает все строки результата.
func scanDevices(rows *sql.Rows) ([]Device, error) {
var out []Device
for rows.Next() {
d, err := scanDevice(rows)
if err != nil {
return nil, err
}
out = append(out, *d)
}
return out, rows.Err()
}
// scanDevice читает одну строку устройства.
type rowScanner interface {
Scan(dest ...any) error
}
func scanDevice(r rowScanner) (*Device, error) {
var (
d Device
metadata []byte
lastConn sql.NullTime
)
err := r.Scan(&d.Namespace, &d.Name, &d.DeviceID, &d.Enabled, &d.MQTTPassword,
&metadata, &d.Phase, &lastConn, &d.CreatedAt)
if err != nil {
return nil, err
}
if len(metadata) > 0 {
_ = json.Unmarshal(metadata, &d.Metadata)
}
if lastConn.Valid {
t := lastConn.Time
d.LastConnected = &t
}
return &d, nil
}
// phaseOf — статус устройства в зависимости от enabled.
func phaseOf(enabled bool) string {
if enabled {
return "Active"
}
return "Disabled"
}
// isUniqueViolation определяет нарушение уникальности PostgreSQL.
func isUniqueViolation(err error) bool {
return err != nil && err.Error() != "" && hasSQLState(err, "23505")
}
func hasSQLState(err error, state string) bool {
type stater interface{ SQLState() string }
var e stater
return errors.As(err, &e) && e.SQLState() == state
}
+72
View File
@@ -0,0 +1,72 @@
package store
import (
"context"
"database/sql"
"fmt"
"os"
"strconv"
"time"
)
// schemaSQL — схема таблицы устройств.
// PRIMARY KEY (namespace, name) — как в REST-маршруте /devices/{name}.
// Уникальность device_id в рамках namespace — для MQTT username.
const schemaSQL = `
CREATE TABLE IF NOT EXISTS iot_devices (
namespace TEXT NOT NULL,
name TEXT NOT NULL,
device_id TEXT NOT NULL,
enabled BOOLEAN NOT NULL DEFAULT true,
mqtt_password TEXT NOT NULL,
metadata JSONB,
phase TEXT NOT NULL DEFAULT 'Active',
last_connected TIMESTAMPTZ,
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (namespace, name)
);
CREATE UNIQUE INDEX IF NOT EXISTS idx_iot_devices_ns_device
ON iot_devices (namespace, device_id);
`
// DeviceStore — доступ к таблице iot_devices (собственный пул соединений).
type DeviceStore struct {
db *sql.DB
}
// Open подключается к PostgreSQL по DSN и инициализирует схему.
func Open(ctx context.Context, dsn string) (*DeviceStore, error) {
db, err := sql.Open("postgres", dsn)
if err != nil {
return nil, fmt.Errorf("store: open DB: %w", err)
}
// Пул устройств: дефолт 20 (ревью 2026-08-16: 5 мало для API+MQTT auth),
// переопределяется IOT_PG_MAX_CONNS.
maxConns := 20
if v := os.Getenv("IOT_PG_MAX_CONNS"); v != "" {
if n, convErr := strconv.Atoi(v); convErr == nil && n > 0 {
maxConns = n
}
}
db.SetMaxOpenConns(maxConns)
db.SetMaxIdleConns(2)
db.SetConnMaxLifetime(5 * time.Minute)
pingCtx, cancel := context.WithTimeout(ctx, 10*time.Second)
defer cancel()
if err := db.PingContext(pingCtx); err != nil {
db.Close()
return nil, fmt.Errorf("store: ping DB: %w", err)
}
if _, err := db.ExecContext(ctx, schemaSQL); err != nil {
db.Close()
return nil, fmt.Errorf("store: init schema: %w", err)
}
return &DeviceStore{db: db}, nil
}
// Close закрывает пул соединений.
func (s *DeviceStore) Close() error {
return s.db.Close()
}
+167 -32
View File
@@ -37,9 +37,29 @@ type IoTPostgresStore struct {
adminDB *sql.DB
adminDSN string
tenants sync.Map
tenantMu sync.Map // namespace → *sync.Mutex (дедупликация открытия)
ensured sync.Map // namespace → struct{} (EnsureTenantDB уже выполнен)
log *slog.Logger
// батчинг вставок (фикс MEDIUM ревью 2026-08-16: 1000 msg/s = 1000 INSERT)
mu sync.Mutex
batches map[string][]telemetryInsert
stopFlush chan struct{}
flushWG sync.WaitGroup
}
// telemetryInsert — строка для батч-вставки.
type telemetryInsert struct {
deviceID string
payload []byte
}
// telemetryBatchSize — размер батча перед синхронным flush.
const telemetryBatchSize = 100
// telemetryFlushInterval — период фонового flush неполных батчей.
const telemetryFlushInterval = 200 * time.Millisecond
// TelemetryRow — одна запись телеметрии из таблицы iot_telemetry.
type TelemetryRow struct {
ID int64 `json:"id"`
@@ -60,19 +80,90 @@ func New(adminDSN string, log *slog.Logger) (*IoTPostgresStore, error) {
db.Close()
return nil, fmt.Errorf("iotpg: ping admin DB: %w", err)
}
db.SetMaxOpenConns(5)
db.SetMaxOpenConns(10)
db.SetMaxIdleConns(2)
db.SetConnMaxLifetime(5 * time.Minute)
store := &IoTPostgresStore{adminDB: db, adminDSN: adminDSN, log: log}
store := &IoTPostgresStore{
adminDB: db,
adminDSN: adminDSN,
batches: make(map[string][]telemetryInsert),
stopFlush: make(chan struct{}),
log: log,
}
if err := store.initManagementSchema(ctx); err != nil {
db.Close()
return nil, fmt.Errorf("iotpg: init management schema: %w", err)
}
store.startFlusher()
log.Info("iotpg: connected to IoT Postgres management DB")
return store, nil
}
// startFlusher — фоновая горутина периодического flush неполных батчей.
func (s *IoTPostgresStore) startFlusher() {
s.flushWG.Add(1)
go func() {
defer s.flushWG.Done()
t := time.NewTicker(telemetryFlushInterval)
defer t.Stop()
for {
select {
case <-s.stopFlush:
return
case <-t.C:
s.flushAll(false)
}
}
}()
}
// flushAll — flush всех накопленных батчей. reportErr=false: только лог.
func (s *IoTPostgresStore) flushAll(reportErr bool) error {
s.mu.Lock()
if len(s.batches) == 0 {
s.mu.Unlock()
return nil
}
batches := s.batches
s.batches = make(map[string][]telemetryInsert)
s.mu.Unlock()
var firstErr error
for ns, rows := range batches {
if err := s.flushTenant(ns, rows); err != nil {
s.log.Error("iotpg: flush batch", "namespace", ns, "rows", len(rows), "err", err)
if firstErr == nil {
firstErr = err
}
}
}
return firstErr
}
// flushTenant — INSERT батча строк одного тенанта (multi-VALUES).
func (s *IoTPostgresStore) flushTenant(ns string, rows []telemetryInsert) error {
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
defer cancel()
tenantDB, err := s.getTenantDB(ctx, ns)
if err != nil {
return err
}
// INSERT INTO iot_telemetry (device_id, payload) VALUES ($1,$2),($3,$4),...
var sb strings.Builder
sb.WriteString("INSERT INTO iot_telemetry (device_id, payload) VALUES ")
args := make([]any, 0, len(rows)*2)
for i, r := range rows {
if i > 0 {
sb.WriteString(",")
}
sb.WriteString(fmt.Sprintf("($%d,$%d)", i*2+1, i*2+2))
args = append(args, r.deviceID, r.payload)
}
_, err = tenantDB.ExecContext(ctx, sb.String(), args...)
return err
}
// NewFromEnv создаёт store из env var IOT_PG_DSN.
// Возвращает (nil, nil) если переменная не задана — IoT Postgres опционален.
func NewFromEnv(log *slog.Logger) (*IoTPostgresStore, error) {
@@ -97,9 +188,12 @@ created_at TIMESTAMPTZ DEFAULT now()
}
// EnsureTenantDB создаёт DATABASE, USER и таблицу iot_telemetry для namespace.
// Идемпотентен — повторный вызов безопасен.
// Вызывается mqtt-bridge при первом сообщении от нового tenant.
// Идемпотентен — повторный вызов безопасен (кэш ensured пропускает проверки).
func (s *IoTPostgresStore) EnsureTenantDB(ctx context.Context, namespace string) error {
if _, ok := s.ensured.Load(namespace); ok {
return nil
}
dbName := tenantDBName(namespace)
userName := dbName
@@ -114,28 +208,39 @@ func (s *IoTPostgresStore) EnsureTenantDB(ctx context.Context, namespace string)
if !exists {
password := uuid.New().String()
// CREATE USER через DO block — pg не поддерживает CREATE USER IF NOT EXISTS
_, err = s.adminDB.ExecContext(ctx, fmt.Sprintf(
`DO $$ BEGIN
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = '%s') THEN
CREATE USER %s WITH PASSWORD '%s';
END IF;
END $$`, userName, userName, password,
))
// Роль создаём только если её нет (DO-блоки НЕ принимают параметры —
// прецедент 2026-08-16: "got 2 parameters but the statement requires 0").
var roleExists bool
err = s.adminDB.QueryRowContext(ctx,
`SELECT EXISTS(SELECT 1 FROM pg_roles WHERE rolname = $1)`, userName,
).Scan(&roleExists)
if err != nil {
return fmt.Errorf("iotpg: check role %s: %w", userName, err)
}
if !roleExists {
_, err = s.adminDB.ExecContext(ctx,
`CREATE USER `+pq.QuoteIdentifier(userName)+` WITH PASSWORD `+pq.QuoteLiteral(password),
)
if err != nil {
var pqErr *pq.Error
if errors.As(err, &pqErr) && pqErr.Code == "42710" { // duplicate_object
// гонка: роль создал параллельный вызов — ок
} else {
return fmt.Errorf("iotpg: create user %s: %w", userName, err)
}
}
}
// PG15+: GRANT role TO current_user перед CREATE DATABASE ... OWNER
if _, err = s.adminDB.ExecContext(ctx,
fmt.Sprintf(`GRANT %s TO CURRENT_USER`, userName),
`GRANT `+pq.QuoteIdentifier(userName)+` TO CURRENT_USER`,
); err != nil {
return fmt.Errorf("iotpg: grant role %s: %w", userName, err)
}
// CREATE DATABASE нельзя в транзакции
if _, err = s.adminDB.ExecContext(ctx,
fmt.Sprintf(`CREATE DATABASE %s OWNER %s`, dbName, userName),
`CREATE DATABASE `+pq.QuoteIdentifier(dbName)+` OWNER `+pq.QuoteIdentifier(userName),
); err != nil {
return fmt.Errorf("iotpg: create database %s: %w", dbName, err)
}
@@ -165,32 +270,50 @@ payload JSONB NOT NULL
CREATE INDEX IF NOT EXISTS idx_iot_telemetry_device_ts
ON iot_telemetry (device_id, ts DESC);
`)
if err != nil {
return err
}
s.ensured.Store(namespace, struct{}{})
return nil
}
// InsertTelemetry записывает строку телеметрии в tenant DB.
// InsertTelemetry ставит строку в батч-буфер тенанта.
// При накоплении telemetryBatchSize строк батч пишется синхронно (ошибка
// возвращается вызывающему); неполные батчи дописывает фоновый flusher.
func (s *IoTPostgresStore) InsertTelemetry(ctx context.Context, namespace, deviceID string, payload json.RawMessage) error {
tenantDB, err := s.getTenantDB(ctx, namespace)
if err != nil {
return fmt.Errorf("iotpg: get tenant DB for insert: %w", err)
s.mu.Lock()
s.batches[namespace] = append(s.batches[namespace], telemetryInsert{
deviceID: deviceID,
payload: append([]byte(nil), payload...),
})
full := len(s.batches[namespace]) >= telemetryBatchSize
var rows []telemetryInsert
if full {
rows = s.batches[namespace]
delete(s.batches, namespace)
}
_, err = tenantDB.ExecContext(ctx,
`INSERT INTO iot_telemetry (device_id, payload) VALUES ($1, $2)`,
deviceID, []byte(payload),
)
return err
s.mu.Unlock()
if full {
return s.flushTenant(namespace, rows)
}
return nil
}
// QueryTelemetry читает телеметрию из tenant DB (ts DESC).
// deviceID — фильтр (пустая строка = все устройства). limit — max записей (50..1000).
// Если tenant DB не существует (данных ещё нет) — возвращает пустой срез без ошибки.
func (s *IoTPostgresStore) QueryTelemetry(ctx context.Context, namespace, deviceID string, limit int) ([]TelemetryRow, error) {
// deviceID — фильтр (пустая строка = все устройства). limit — max записей
// (50..1000), offset — смещение для пагинации.
// Если tenant DB не существует (данных ещё нет) — пустой срез без ошибки.
func (s *IoTPostgresStore) QueryTelemetry(ctx context.Context, namespace, deviceID string, limit, offset int) ([]TelemetryRow, error) {
if limit <= 0 {
limit = 50
}
if limit > 1000 {
limit = 1000
}
if offset < 0 {
offset = 0
}
tenantDB, err := s.getTenantDB(ctx, namespace)
if err != nil {
// Если DB не существует — тенант ещё не отправлял данные, это нормально
@@ -204,14 +327,14 @@ func (s *IoTPostgresStore) QueryTelemetry(ctx context.Context, namespace, device
if deviceID != "" {
rows, err = tenantDB.QueryContext(ctx,
`SELECT id, device_id, ts, payload FROM iot_telemetry
WHERE device_id = $1 ORDER BY ts DESC LIMIT $2`,
deviceID, limit,
WHERE device_id = $1 ORDER BY ts DESC LIMIT $2 OFFSET $3`,
deviceID, limit, offset,
)
} else {
rows, err = tenantDB.QueryContext(ctx,
`SELECT id, device_id, ts, payload FROM iot_telemetry
ORDER BY ts DESC LIMIT $1`,
limit,
ORDER BY ts DESC LIMIT $1 OFFSET $2`,
limit, offset,
)
}
if err != nil {
@@ -308,7 +431,6 @@ FROM iot_telemetry`).Scan(&stats.Total, &stats.Last1h, &stats.Last24h)
latestRows, err := tenantDB.QueryContext(ctx,
`SELECT id, device_id, ts, payload FROM iot_telemetry ORDER BY ts DESC LIMIT 5`)
if err == nil {
defer latestRows.Close()
for latestRows.Next() {
var r TelemetryRow
var rawPayload []byte
@@ -317,6 +439,7 @@ FROM iot_telemetry`).Scan(&stats.Total, &stats.Last1h, &stats.Last24h)
stats.Latest = append(stats.Latest, r)
}
}
latestRows.Close() // закрываем сразу, не defer в цикле
}
result.Tenants = append(result.Tenants, stats)
@@ -336,8 +459,11 @@ func isDBNotExistErr(err error) bool {
return false
}
// Close закрывает все подключения (admin + tenant кэш).
// Close останавливает flusher, дописывает остаток и закрывает все подключения.
func (s *IoTPostgresStore) Close() error {
close(s.stopFlush)
s.flushWG.Wait()
_ = s.flushAll(true)
s.tenants.Range(func(_, value any) bool {
if db, ok := value.(*sql.DB); ok {
db.Close()
@@ -348,7 +474,16 @@ func (s *IoTPostgresStore) Close() error {
}
// getTenantDB возвращает *sql.DB для tenant DB из кэша или открывает новый.
// Открытие дедуплицируется per-namespace мьютексом (гонка Load→LoadOrStore
// из ревью 2026-08-16).
func (s *IoTPostgresStore) getTenantDB(ctx context.Context, namespace string) (*sql.DB, error) {
if cached, ok := s.tenants.Load(namespace); ok {
return cached.(*sql.DB), nil
}
m, _ := s.tenantMu.LoadOrStore(namespace, &sync.Mutex{})
mu := m.(*sync.Mutex)
mu.Lock()
defer mu.Unlock()
if cached, ok := s.tenants.Load(namespace); ok {
return cached.(*sql.DB), nil
}
+224
View File
@@ -0,0 +1,224 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ план миграции (Node.js). ОТМЕНЁН. НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# Миграция IoT из Kubernetes → Managed Services (Nubes)
## Сессия 2026-08-13
---
## 1. Что изучили — текущая архитектура
### Стек
- **Язык:** Go 1.25
- **Паттерн:** Kubernetes Operator (controller-runtime)
- **Модуль:** `gitea.services.ngcloud.ru/Nail/IoT`
- **Docker Hub:** `naeel/iot-operator:v0.2.6`
### Три бинарника в одном образе
| Бинарник | Роль |
|---|---|
| `cmd/iot-operator` | Controller-manager (CRD IoTDevice) + REST API :9090 |
| `cmd/mqtt-bridge` | MQTT (EMQX) → shared-SQS (AWS SDK v2) |
| `cmd/sqs-consumer` | shared-SQS → per-tenant Postgres |
### Поток данных (текущий)
```
IoT Device (MQTT CONNECT, username="{ns}_{deviceId}")
↓
EMQX 5.5.1 (HTTP auth/acl → iot-operator:9090/internal/mqtt/auth)
↓ MQTT PUBLISH "{ns}/telemetry/{deviceId}"
iot-mqtt-bridge (подписка "+/telemetry/+")
↓ AWS SDK SQS SendMessage
shared-SQS (namespace shared-sqs, очередь "iot-telemetry")
↓ long polling (WaitTimeSeconds=20)
iot-sqs-consumer (at-least-once, DeleteMessage после успешной записи)
↓
Managed PostgreSQL 17 (per-tenant DB: tenant_{namespace})
↓
REST API (iot-operator:9090) → Пользователь (UI/Terraform)
```
### Ключевые компоненты k8s
- **CRD IoTDevice** (`iot.kube5s.ru/v1alpha1`) — регистрация устройств
- **k8s Secret** `iot-{deviceId}` — хранит MQTT пароль (64 hex, crypto/rand)
- **OwnerReference** — каскадное удаление Secret при удалении IoTDevice
- **RBAC** — ClusterRole для чтения/записи IoTDevice + Secrets
- **Namespace = ID тенанта** — изоляция устройств и данных
### Мультитенантность
- MQTT topic изоляция: `{ns}/telemetry/{deviceId}` — ACL на уровне EMQX
- Per-tenant Postgres DB: `tenant_{namespace}` (дефисы → подчёркивания)
- MQTT username: `{namespace}_{deviceId}` — глобально уникален
- `sync.Map` кэш `*sql.DB` per tenant — lazy init
### Наблюдения / потенциальные проблемы
1. **`authTestMode = true`** в `middleware/auth.go` — тестовый режим включён в проде, JWT подпись не проверяется
2. **`ADMIN_STATS_TOKEN = "iot-admin-2026"`** захардкожен в YAML манифесте вместо Secret
3. Устаревшие файлы: `deployments/k8s/kafka.yaml`, `iot-kafka-consumer.yaml` (Kafka удалена, манифесты остались)
4. Bridge clientID `"sless-iot-bridge"` захардкожен и в bridge коде и в ACL логике
5. `examples/main.tf` и `handler.py` описывают устаревший поток (RabbitMQ/serverless)
---
## 2. Почему хотим уйти из k8s
- Цель: использовать только **managed services** облака Nubes
- Nubes предоставляет: **Managed Node.js, Flask, Lucee, PostgreSQL**
- Никаких VPS, никакого k8s — только managed-платформа
- SQS тоже **наш собственный сервис** (не сторонний облачный), работает сейчас в k8s, тоже надо вынести
---
## 3. Принятые решения
### Node.js — выбранный стек
| Задача | Node.js |
|---|---|
| REST API | Express/Fastify |
| MQTT-брокер | `aedes` (embedded, over WebSocket) |
| MQTT-клиент для publish | `mqtt` npm |
| SQS клиент | `@aws-sdk/client-sqs` |
| Postgres | `pg` npm |
**Почему не Flask:** сложнее держать persistent MQTT и SQS polling в фоне
**Почему не Lucee:** не подходит для long-running background workers
**Почему Node.js — монолит:** bridge и consumer нельзя масштабировать независимо (один MQTT-клиент = одна подписка), смысла разделять нет
### EMQX → aedes (embedded в Node.js)
- Managed Node.js открывает только HTTP/HTTPS порты
- MQTT over WebSocket = HTTP upgrade → работает на любой managed-платформе
- Устройства подключаются через `wss://` (уже сейчас так, через ingress emqx-ws-ingress.yaml)
- **aedes** — полноценный MQTT-брокер на Node.js, встраивается в Express HTTP-сервер
- Auth/ACL становится обычной функцией внутри того же процесса (быстрее, проще)
### Мультитенантность сохраняется полностью
- `namespace` — просто строка в таблице `iot_devices` вместо k8s namespace
- Per-tenant Postgres DB остаётся (чистый SQL, без k8s)
- MQTT topic изоляция остаётся (`{ns}/telemetry/{deviceId}`)
- ACL по топику остаётся — просто функция вместо HTTP endpoint
### k8s CRD/Secret → таблица в Postgres
```sql
CREATE TABLE iot_devices (
namespace TEXT NOT NULL,
name TEXT NOT NULL,
device_id TEXT NOT NULL,
enabled BOOLEAN NOT NULL DEFAULT true,
mqtt_password TEXT NOT NULL, -- было в k8s Secret
metadata JSONB,
phase TEXT,
created_at TIMESTAMPTZ DEFAULT now(),
PRIMARY KEY (namespace, device_id)
);
```
---
## 4. Итоговая архитектура на Nubes Managed
```
IoT Device (wss://iot.example.ru/mqtt)
↓
Managed Node.js — IoT сервис
├── aedes MQTT-брокер (over WebSocket, порт :3000/mqtt)
│ auth/acl → функция → таблица iot_devices в PG
│ on publish → SQS SendMessage
├── SQS consumer (long polling, фоновый setInterval/async loop)
│ → per-tenant Postgres (tenant_{namespace})
└── REST API (Express)
GET/POST /v1/namespaces/{ns}/iot/devices
GET /v1/namespaces/{ns}/iot/telemetry
POST /internal/mqtt/auth (совместимость, опционально)
GET /console (embedded HTML)
GET /iot-admin/stats
↓
Managed Node.js — shared-SQS сервис ← другие сервисы тоже
↓
Managed PostgreSQL — IoT данные
```
### Два managed Node.js сервиса
| Сервис | Назначение |
|---|---|
| **shared-SQS** | AWS SQS-совместимая очередь, multi-tenant, HTTP API |
| **iot-service** | aedes MQTT + REST API + SQS consumer + PG |
---
## 5. Порядок миграции
### ⚠️ Сначала shared-SQS, потом IoT
**Причина:** IoT зависит от SQS. SQS независим — мигрирует первым.
```
Шаг 1: Вынести shared-SQS из k8s → Managed Node.js на Nubes
Шаг 2: Переписать IoT сервис на Node.js (aedes + REST + consumer)
Шаг 3: Деплой IoT на Managed Node.js на Nubes
Шаг 4: Отключить k8s деплой IoT
```
---
## 6. Детали для нового чата — shared-SQS миграция
### Что сейчас
- SQS сервис живёт в `namespace: shared-sqs` в кластере `iot-naeel`
- Endpoint: `https://qu.kube5s.ru`
- Multi-tenant: tenant `iot-service` (id: `t-96afe7e9f781f6ca`), очередь `iot-telemetry`
- IoT использует: `SQS_ENDPOINT=https://qu.kube5s.ru`, `SQS_ACCESS_KEY`, `SQS_SECRET_KEY`
- Протокол: AWS SQS-совместимый (SendMessage, ReceiveMessage, DeleteMessage, GetQueueUrl, GetQueueAttributes)
### Что нужно от нового SQS сервиса
- AWS SQS-совместимый HTTP API (те же методы что сейчас)
- Multi-tenant (разные access key / secret key для разных тенантов)
- Очереди создаются по имени (`GetQueueUrl` + `CreateQueue`)
- Long polling: `ReceiveMessage` с `WaitTimeSeconds` до 20
- Хранение сообщений: in-memory или Postgres/Redis
### Клиенты SQS в IoT коде
1. **mqtt-bridge** (`cmd/mqtt-bridge/main.go`): `SendMessage` при каждом MQTT сообщении
2. **sqs-consumer** (`cmd/sqs-consumer/main.go`): `ReceiveMessage` (polling) + `DeleteMessage`
3. **iot-admin-stats** (`internal/api/handler/iot_admin_stats_handler.go`): `GetQueueAttributes` для мониторинга
### Env vars для IoT → SQS
```
SQS_ENDPOINT=https://qu.kube5s.ru (поменяется на новый managed URL)
SQS_ACCESS_KEY=...
SQS_SECRET_KEY=...
SQS_QUEUE_NAME=iot-telemetry (default)
SQS_REGION=us-east-1 (default, не важен для self-hosted)
```
---
## 7. Что переписывается в IoT (Node.js)
### Соответствие Go → Node.js
| Go файл | Node.js файл |
|---|---|
| `cmd/iot-operator/main.go` | `src/index.js` (точка входа) |
| `internal/api/router.go` | `src/routes.js` |
| `internal/api/handler/iot_device_handler.go` | `src/handlers/devices.js` |
| `internal/api/handler/iot_telemetry_handler.go` | `src/handlers/telemetry.js` |
| `internal/api/handler/iot_admin_stats_handler.go` | `src/handlers/admin.js` |
| `internal/api/middleware/auth.go` | `src/middleware/auth.js` |
| `internal/storage/iotpg/iot_telemetry_store.go` | `src/storage/pg.js` |
| `cmd/mqtt-bridge/main.go` | встроен в `src/mqtt.js` (aedes) |
| `cmd/sqs-consumer/main.go` | встроен в `src/sqsWorker.js` |
| `controllers/iotdevice_controller.go` | **не нужен** (заменён CRUD в БД) |
| `api/v1alpha1/device_types.go` | **не нужен** (таблица iot_devices) |
### npm зависимости
```json
{
"dependencies": {
"express": "^4",
"aedes": "^0.51",
"websocket-stream": "^5",
"@aws-sdk/client-sqs": "^3",
"pg": "^8",
"uuid": "^9"
}
}
```
+43
View File
@@ -0,0 +1,43 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (3 бинарника, образ naeel/iot-operator). НЕ ИСПОЛЬЗОВАТЬ.
# Новый монолит получит собственный Dockerfile. Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# Изменено: 2026-04-12 (kafka-consumer → sqs-consumer)
# Dockerfile для IoT managed service.
# Multi-stage build: 3 бинарника (iot-operator, mqtt-bridge, sqs-consumer).
# Образ: naeel/iot-operator (Docker Hub).
FROM golang:1.25 AS builder
WORKDIR /workspace
# Кэширование зависимостей
COPY go.mod go.sum ./
RUN go mod download
# Исходный код
COPY api/ api/
COPY controllers/ controllers/
COPY cmd/ cmd/
COPY internal/ internal/
# iot-operator — controller-manager + REST API
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o iot-operator ./cmd/iot-operator/
# mqtt-bridge — MQTT (EMQX) → shared-SQS
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o mqtt-bridge ./cmd/mqtt-bridge/
# sqs-consumer — shared-SQS → Postgres
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o sqs-consumer ./cmd/sqs-consumer/
# --- Runtime ---
FROM gcr.io/distroless/static:nonroot
WORKDIR /
# Все три бинарника в одном образе.
# Какой запускать — определяется command в k8s Deployment.
COPY --from=builder /workspace/iot-operator .
COPY --from=builder /workspace/mqtt-bridge .
COPY --from=builder /workspace/sqs-consumer .
USER 65532:65532
ENTRYPOINT ["/iot-operator"]
+34
View File
@@ -0,0 +1,34 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). Цели deploy/install-crd не использовать.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# Makefile для IoT managed service.
IMG ?= naeel/iot-operator:latest
.PHONY: build build-all docker-build docker-push test tidy
# Собрать все бинарники
build-all: build-operator build-bridge build-consumer
build-operator:
CGO_ENABLED=0 go build -o bin/iot-operator ./cmd/iot-operator/
build-bridge:
CGO_ENABLED=0 go build -o bin/mqtt-bridge ./cmd/mqtt-bridge/
build-consumer:
CGO_ENABLED=0 go build -o bin/sqs-consumer ./cmd/sqs-consumer/
test:
go test ./...
tidy:
go mod tidy
# Применить CRD в кластер
install-crd:
kubectl apply -f config/crd/bases/
# Деплой всех компонентов
deploy:
kubectl apply -f deployments/k8s/
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (CRD/k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
---
apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# MQTT over WebSocket через Ingress с TLS termination.
# Причина: порт 1883 заблокирован NSX-T Edge firewall на уровне облака.
@@ -7,7 +10,9 @@
# IoT Консоль (UI): https://iot.kube5s.ru/console
#
# DNS A-запись: iot.kube5s.ru → 185.247.187.147
# TLS: cert-manager + letsencrypt-prod, secret=iot-kube5s-ru-tls
# TLS: терминируется внешним слоем платформы (185.247.187.147).
# cert-manager НЕ используется — HTTP-01 challenge недоступен т.к. платформа
# глобально редиректит HTTP→HTTPS до nginx.
#
# Применение: kubectl apply -f deployments/k8s/emqx-ws-ingress.yaml
@@ -34,18 +39,13 @@ metadata:
namespace: sless
annotations:
kubernetes.io/ingress.class: nginx
cert-manager.io/cluster-issuer: letsencrypt-prod
nginx.ingress.kubernetes.io/ssl-redirect: "true"
nginx.ingress.kubernetes.io/ssl-redirect: "false"
# WebSocket: nginx-ingress добавляет Upgrade/Connection при proxy-http-version=1.1
nginx.ingress.kubernetes.io/proxy-http-version: "1.1"
nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
spec:
ingressClassName: nginx
tls:
- hosts:
- iot.kube5s.ru
secretName: iot-kube5s-ru-tls
rules:
- host: iot.kube5s.ru
http:
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# EMQX MQTT-брокер для IoT-сервиса (namespace: sless).
#
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой, Kafka). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-06
# Deployment iot-kafka-consumer — читает IoT телеметрию из Kafka → пишет в IoT Postgres.
#
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-04
# Изменено: 2026-04-12 (замена Kafka → shared-SQS)
# Deployment iot-mqtt-bridge — MQTT→SQS мост для IoT.
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# Deployment iot-operator — controller-manager (IoTDevice CRD) + REST API на :9090.
#
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-05
# Изменено: 2026-04-12 (заменён self-hosted на managed Postgres через оператор)
#
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-12
# Deployment iot-sqs-consumer — читает IoT телеметрию из shared-SQS → пишет в IoT Postgres.
#
@@ -1,3 +1,6 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой, Kafka). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ.
# Актуальное: HISTORY/2026-08-16-session-log.md
# Изменено: 2026-04-06 (добавлен postStart hook для предсоздания топика iot.telemetry)
# kafka.yaml — минимальный деплой Apache Kafka в KRaft mode (без Zookeeper).
# Образ: apache/kafka (официальный, бесплатный).
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT REST API — Полная документация (v0.2.3)
> Дата: 2026-04-12
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT API Endpoints
## Публичные (без auth)
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT Managed Service — Актуальная архитектура (v0.2.3)
> Дата: 2026-04-12
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT Managed Service — Архитектура
## Общая схема
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# Решение: замена Kafka на shared-SQS
**Дата:** 2026-04-12
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# Решение: Вынос IoT в отдельную репу
**Дата:** 2026-04-12
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT Managed Service — Актуальный деплой (v0.2.3)
> Дата: 2026-04-12
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT MVP — Инженерная документация деплоя
> Создано: 2026-04-04
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT MVP — План реализации для Sonnet
> **Автор плана**: GitHub Copilot (Claude Opus 4.6)
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT Managed Service — Трекер прогресса
## 2026-04-12: Перенос из sless в отдельную репу
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT — Руководство по запуску и тестированию (v0.2.3)
> Дата: 2026-04-12
+537
View File
@@ -0,0 +1,537 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT — Отчёт по тестированию v0.2.5 / v0.2.6
> Дата: 2026-04-21
> Кластер: iot-naeel, namespace: sless
> Образ: naeel/iot-operator:v0.2.6
> Тестировал: GitHub Copilot (Claude Sonnet 4.6)
---
## Контекст
В ходе двух сессий (2026-04-12 и 2026-04-21) после деплоя v0.2.3 были обнаружены и
исправлены три бага, выпущены v0.2.4 → v0.2.5 → v0.2.6. Затем проведено расширенное
тестирование: 7 категорий, 33 теста.
---
## Баги, найденные в процессе тестирования
### BUG-01 — MQTTAuth ищет IoTDevice по Name=deviceID (критический)
**Версия:** v0.2.3
**Компонент:** `internal/api/handler/iot_device_handler.go`, функция `MQTTAuth`
**Симптом:** MQTT CONNECT возвращал `Connection Refused: not authorised (5)` для всех устройств.
**Причина:** Хэндлер вызывал `h.K8s.Get(client.ObjectKey{Name: deviceID})`, где `deviceID` — это
`Spec.DeviceID` (`e2e-test-01`), но имя K8s объекта IoTDevice может быть другим (`e2e-test-device`).
Объект не находился → `NotFound` → `deny`.
**Диагностика:**
```bash
# Auth endpoint напрямую возвращал deny при правильном пароле:
curl -s -X POST http://iot-operator.sless.svc:9090/internal/mqtt/auth \
-d username:sless_e2e-test-01
# {"result":"deny"}
# Secret существует и пароль совпадает:
kubectl get secret iot-e2e-test-01 -n sless -o jsonpath="{.data.mqtt-password}" | base64 -d
# fa8180c07ffc1d665d21e95a443235a93926f16e9d98c319539263f05a333ef0
# IoTDevice объект называется e2e-test-device, а не e2e-test-01:
kubectl get iotdevice -n sless
# NAME DEVICEID
# e2e-test-device e2e-test-01
```
**Фикс:** Заменён `Get` на `List` + фильтр по `Spec.DeviceID == deviceID`.
**Версия фикса:** v0.2.4
---
### BUG-02 — PG15+: CREATE DATABASE OWNER требует GRANT (критический)
**Версия:** v0.2.4
**Компонент:** `internal/storage/iotpg/iot_telemetry_store.go`, функция `EnsureTenantDB`
**Симптом:** sqs-consumer не мог создать tenant DB для первого сообщения от нового namespace.
```
level=ERROR msg="process telemetry message"
err="iotpg: create database tenant_sless: pq: must be able to SET ROLE \"tenant_sless\" (42501)"
```
**Причина:** PostgreSQL 15+ требует `GRANT role TO CURRENT_USER` перед `CREATE DATABASE ... OWNER role`.
В PG17 это обязательно.
**Фикс:** Добавлен `GRANT {userName} TO CURRENT_USER` перед `CREATE DATABASE`.
**Версия фикса:** v0.2.5
---
### BUG-03 — Query param `?device=` вместо `?device_id=` (minor)
**Версия:** v0.2.5
**Компонент:** `internal/api/handler/iot_telemetry_handler.go`, функция `ListIoTTelemetry`
**Симптом:** `GET /telemetry?device_id=dev-02` возвращал все записи (фильтр не работал).
```bash
curl ".../telemetry?device_id=dev-02"
# {"count":6,...} ← должно быть count:1
```
**Причина:** Хэндлер читал `r.URL.Query().Get("device")`, а не `"device_id"`.
Несоответствие с именем поля в ответе (`device_id`) и документацией.
**Фикс:** Параметр переименован в `device_id`.
**Версия фикса:** v0.2.6
---
## Состояние кластера на момент тестирования
```
Кластер: iot-naeel (185.247.187.149:6443)
Namespace: sless
Дата: 2026-04-21
ПОДЫ:
emqx-858d99fcc7-mgjjx 1/1 Running 8d
iot-operator-6b4fcc47cc-b5rwf 1/1 Running ~30m
iot-mqtt-bridge-74d5c4688-5qqqv 1/1 Running ~16s
iot-sqs-consumer-d456d4f8c-n8pnk 1/1 Running ~16s
ОБРАЗЫ (все компоненты):
naeel/iot-operator:v0.2.6
УСТРОЙСТВА:
e2e-test-device device_id=e2e-test-01 phase=Active enabled=true
e2e-dev-02 device_id=dev-02 phase=Active enabled=true
e2e-dev-03 device_id=dev-03 phase=Active enabled=true
e2e-dev-04 device_id=dev-04 phase=Active enabled=true
ТЕЛЕМЕТРИЯ В POSTGRES (tenant_sless):
e2e-test-01: >1000 записей (cap API = 1000)
dev-02: 21 запись
dev-03: 21 запись
dev-04: 21 запись
```
---
## Результаты тестирования
### Группа 1 — E2E пайплайн (базовый)
Тесты из сессии 2026-04-12, подтверждены после деплоя v0.2.5.
| # | Тест | Команда / Действие | Ожидание | Результат |
|---|------|--------------------|----------|-----------|
| 1.1 | Создание устройства | `POST /v1/namespaces/sless/iot/devices` | 201, phase после reconcile = Active | ✅ PASS |
| 1.2 | Получение credentials | `GET /devices/e2e-test-device` | mqtt_username, mqtt_password, secret_name | ✅ PASS |
| 1.3 | MQTT CONNECT | `mosquitto_pub -u sless_e2e-test-01 -P <pass>` | CONNACK(0) | ✅ PASS |
| 1.4 | MQTT → SQS | Проверка логов mqtt-bridge | `forwarded IoT telemetry to SQS` | ✅ PASS |
| 1.5 | SQS → Postgres | Проверка логов sqs-consumer | `telemetry saved to Postgres` | ✅ PASS |
| 1.6 | Telemetry API | `GET /telemetry?device_id=e2e-test-01` | count≥1, payload совпадает | ✅ PASS |
---
### Группа 2 — Device API: коды ошибок
| # | Тест | Запрос | Ожидание | Факт | Результат |
|---|------|--------|----------|------|-----------|
| 2.1 | POST без `name` | `{}` | 400 `name is required` | 400 ✓ | ✅ PASS |
| 2.2 | POST без `device_id` | `{"name":"x"}` | 400 `device_id is required` | 400 ✓ | ✅ PASS |
| 2.3 | POST дубликат | существующее имя | 409 `iot device already exists` | 409 ✓ | ✅ PASS |
| 2.4 | GET несуществующий | `GET /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
| 2.5 | DELETE несуществующий | `DELETE /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
| 2.6 | PATCH без `enabled` | `{}` | 400 `enabled field is required` | 400 ✓ | ✅ PASS |
| 2.7 | POST невалидный JSON | `not-json` | 400 `invalid JSON: ...` | 400 ✓ | ✅ PASS |
---
### Группа 3 — MQTT Auth: edge cases
Все запросы идут на `POST /internal/mqtt/auth`. Корректный ответ всегда HTTP 200.
Результат определяется полем `result` в теле: `"allow"` или `"deny"`.
| # | Тест | Входные данные | Ожидание | Результат |
|---|------|----------------|----------|-----------|
| 3.1 | Неверный пароль | правильный username, неверный pass | deny | ✅ PASS |
| 3.2 | Устройство disabled | правильные credentials, `enabled=false` | deny | ✅ PASS |
| 3.3 | Пустое тело | `{}` | deny | ✅ PASS |
| 3.4 | Username без `_` | `"username":"nounderscore"` | deny | ✅ PASS |
| 3.5 | Несуществующий deviceID | `"username":"sless_ghost-999"` | deny | ✅ PASS |
| 3.6 | Пустой namespace | `"username":"_dev01"` | deny | ✅ PASS |
| 3.7 | Пустой deviceID | `"username":"sless_"` | deny | ✅ PASS |
| 3.8 | Bridge: неверный пароль | bridge username, wrong pass | deny | ✅ PASS |
| 3.9 | Невалидный JSON body | `not-json` | deny | ✅ PASS |
| 3.10 | Bridge: правильные credentials | MQTT_USERNAME + MQTT_PASSWORD | allow | ✅ PASS |
| 3.11 | Правильные device credentials | sless_e2e-test-01 + корректный pass | allow + ACL rules | ✅ PASS |
**ACL в ответе при allow (пример для устройства):**
```json
{
"result": "allow",
"acl": [
{"permission":"allow","action":"publish","topic":"sless/telemetry/e2e-test-01"},
{"permission":"allow","action":"subscribe","topic":"sless/telemetry/e2e-test-01"},
{"permission":"deny","action":"all","topic":"#"}
]
}
```
---
### Группа 4 — Device lifecycle (PATCH / DELETE)
| # | Тест | Действие | Ожидание | Результат |
|---|------|----------|----------|-----------|
| 4.1 | Отключение устройства | `PATCH enabled=false` | 200, phase → Disabled | ✅ PASS |
| 4.2 | Auth отключённого | auth с правильным паролем | deny | ✅ PASS |
| 4.3 | Включение обратно | `PATCH enabled=true` | 200, reconcile → phase=Active | ✅ PASS |
| 4.4 | DELETE устройства | `DELETE /devices/to-delete` | 204 | ✅ PASS |
| 4.5 | Cascade: Secret удалён | `kubectl get secret iot-del-01` | NotFound | ✅ PASS |
| 4.6 | Cascade: IoTDevice удалён | `kubectl get iotdevice to-delete` | NotFound | ✅ PASS |
---
### Группа 5 — ACL изоляция топиков
| # | Тест | Действие | Ожидание | Результат |
|---|------|----------|----------|-----------|
| 5.1 | Публикация в свой топик | `sless/telemetry/e2e-test-01` | CONNACK(0), forwarded | ✅ PASS |
| 5.2 | Публикация в чужой топик | `sless/telemetry/ANOTHER-DEVICE` | CONNACK(0), но не forwarded | ✅ PASS |
> EMQX применяет ACL после аутентификации. При публикации в запрещённый топик
> клиент получает CONNACK(0) (аутентификация прошла), но PUBLISH тихо отбрасывается.
> Bridge не получает сообщение — подтверждено отсутствием записи в логах.
---
### Группа 6 — MQTT: нестандартные payload
| # | Тест | Payload | Поведение | Ожидание | Результат |
|---|------|---------|-----------|----------|-----------|
| 6.1 | Невалидный JSON | `THIS IS NOT JSON AT ALL !@#` | bridge оборачивает в строку | `"payload":"THIS IS NOT JSON AT ALL !@#"` | ✅ PASS (by design) |
| 6.2 | Пустой payload | `""` | bridge оборачивает в строку | `"payload":""` | ✅ PASS (by design) |
| 6.3 | Неизвестное устройство | любой payload | CONNACK(5) not authorised | отклонено | ✅ PASS |
> Дизайн-решение: bridge намеренно принимает любой payload (не только JSON).
> Невалидный payload оборачивается в JSON-строку (`json.Marshal(string(payload))`).
> Это позволяет передавать raw данные от устройств старых форматов.
---
### Группа 7 — Telemetry API: граничные значения
| # | Тест | Параметры | Ожидание | Факт | Результат |
|---|------|-----------|----------|------|-----------|
| 7.1 | limit=2 | `?limit=2` | count=2 | count=2 ✓ | ✅ PASS |
| 7.2 | limit=0 (default) | `?limit=0` | count=50 | count=50 ✓ | ✅ PASS |
| 7.3 | limit отрицательный | `?limit=-1` | count=50 (default) | count=50 ✓ | ✅ PASS |
| 7.4 | limit cap | `?limit=9999`, >1000 записей | count=1000 | count=1000 ✓ | ✅ PASS |
| 7.5 | Фильтр device_id | `?device_id=dev-02` | только записи dev-02 | count=21, все dev-02 ✓ | ✅ PASS |
| 7.6 | Несуществующий device_id | `?device_id=ghost` | count=0, items=[] | count=0 ✓ | ✅ PASS |
| 7.7 | Несуществующий namespace | `/namespaces/unknown-ns-xyz/...` | count=0, items=[] (нет tenant DB) | count=0 ✓ | ✅ PASS |
---
### Группа 8 — Нагрузочные тесты
| # | Тест | Параметры | Ожидание | Результат |
|---|------|-----------|----------|-----------|
| 8.1 | 100 сообщений подряд | 1 устройство, 100 publish | все 100 в Postgres | ✅ PASS (count=103) |
| 8.2 | 900 сообщений подряд | 1 устройство, 900 publish | все в Postgres | ✅ PASS |
| 8.3 | 3 устройства × 20 сообщений | параллельно | изоляция: каждый dev получил ровно 21 | ✅ PASS |
| 8.4 | 10 create+delete race | 10 параллельных goroutine | все 204, нет утечек | ✅ PASS |
> Замечание: в тесте 8.1 и 8.2 использовался один и тот же device.
> Финальный count dev-02/03/04 = 21 (1 из предыдущей сессии + 20 нагрузочных).
---
## Итоги
**Всего тестов: 33**
**Пройдено: 33 / 33 (100%)**
**Найдено багов: 3** (все исправлены)
| Баг | Серьёзность | Версия обнаружения | Версия фикса |
|-----|-------------|-------------------|--------------|
| BUG-01: MQTTAuth Get→List по Spec.DeviceID | Critical | v0.2.3 | v0.2.4 |
| BUG-02: PG15+ GRANT перед CREATE DATABASE OWNER | Critical | v0.2.4 | v0.2.5 |
| BUG-03: query param `device` → `device_id` | Minor | v0.2.5 | v0.2.6 |
**Финальная версия: `naeel/iot-operator:v0.2.6`**
---
## История версий
| Версия | Дата | Изменение |
|--------|------|-----------|
| v0.2.3 | 2026-04-12 | Деплой: bridge auth fix (bridge username без `_`) |
| v0.2.4 | 2026-04-12 | Fix BUG-01: MQTTAuth List вместо Get |
| v0.2.5 | 2026-04-12 | Fix BUG-02: GRANT перед CREATE DATABASE (PG15+) |
| v0.2.6 | 2026-04-21 | Fix BUG-03: query param device→device_id |
EOF cat > /home/naeel/terra/IoT/doc/testing-v0.2.6.md << 'EOF'
# IoT — Отчёт по тестированию v0.2.5 / v0.2.6
> Дата: 2026-04-21
> Кластер: iot-naeel, namespace: sless
> Образ: naeel/iot-operator:v0.2.6
> Тестировал: GitHub Copilot (Claude Sonnet 4.6)
---
## Контекст
В ходе двух сессий (2026-04-12 и 2026-04-21) после деплоя v0.2.3 были обнаружены и
исправлены три бага, выпущены v0.2.4 → v0.2.5 → v0.2.6. Затем проведено расширенное
тестирование: 7 категорий, 33 теста.
---
## Баги, найденные в процессе тестирования
### BUG-01 — MQTTAuth ищет IoTDevice по Name=deviceID (критический)
**Версия:** v0.2.3
**Компонент:** `internal/api/handler/iot_device_handler.go`, функция `MQTTAuth`
**Симптом:** MQTT CONNECT возвращал `Connection Refused: not authorised (5)` для всех устройств.
**Причина:** Хэндлер вызывал `h.K8s.Get(client.ObjectKey{Name: deviceID})`, где `deviceID` — это
`Spec.DeviceID` (`e2e-test-01`), но имя K8s объекта IoTDevice может быть другим (`e2e-test-device`).
Объект не находился → `NotFound` → `deny`.
**Диагностика:**
```bash
# Auth endpoint напрямую возвращал deny при правильном пароле:
curl -s -X POST http://iot-operator.sless.svc:9090/internal/mqtt/auth \
-d password:<correct-pass>
# {"result":"deny"}
# Secret существует и пароль совпадает:
kubectl get secret iot-e2e-test-01 -n sless -o jsonpath="{.data.mqtt-password}" | base64 -d
# fa8180c07ffc1d665d21e95a443235a93926f16e9d98c319539263f05a333ef0
# IoTDevice объект называется e2e-test-device, а не e2e-test-01:
kubectl get iotdevice -n sless
# NAME DEVICEID
# e2e-test-device e2e-test-01
```
**Фикс:** Заменён `Get` на `List` + фильтр по `Spec.DeviceID == deviceID`.
**Версия фикса:** v0.2.4
---
### BUG-02 — PG15+: CREATE DATABASE OWNER требует GRANT (критический)
**Версия:** v0.2.4
**Компонент:** `internal/storage/iotpg/iot_telemetry_store.go`, функция `EnsureTenantDB`
**Симптом:** sqs-consumer не мог создать tenant DB для первого сообщения от нового namespace.
```
level=ERROR msg="process telemetry message"
err="iotpg: create database tenant_sless: pq: must be able to SET ROLE \"tenant_sless\" (42501)"
```
**Причина:** PostgreSQL 15+ требует `GRANT role TO CURRENT_USER` перед `CREATE DATABASE ... OWNER role`.
В PG17 это обязательно.
**Фикс:** Добавлен `GRANT {userName} TO CURRENT_USER` перед `CREATE DATABASE`.
**Версия фикса:** v0.2.5
---
### BUG-03 — Query param `?device=` вместо `?device_id=` (minor)
**Версия:** v0.2.5
**Компонент:** `internal/api/handler/iot_telemetry_handler.go`, функция `ListIoTTelemetry`
**Симптом:** `GET /telemetry?device_id=dev-02` возвращал все записи (фильтр не работал).
```bash
curl ".../telemetry?device_id=dev-02"
# {"count":6,...} ← должно быть count:1
```
**Причина:** Хэндлер читал `r.URL.Query().Get("device")`, а не `"device_id"`.
Несоответствие с именем поля в ответе (`device_id`) и документацией.
**Фикс:** Параметр переименован в `device_id`.
**Версия фикса:** v0.2.6
---
## Состояние кластера на момент тестирования
```
Кластер: iot-naeel (185.247.187.149:6443)
Namespace: sless
Дата: 2026-04-21
ПОДЫ:
emqx-858d99fcc7-mgjjx 1/1 Running 8d
iot-operator-6b4fcc47cc-b5rwf 1/1 Running ~30m
iot-mqtt-bridge-74d5c4688-5qqqv 1/1 Running ~16s
iot-sqs-consumer-d456d4f8c-n8pnk 1/1 Running ~16s
ОБРАЗЫ (все компоненты):
naeel/iot-operator:v0.2.6
УСТРОЙСТВА:
e2e-test-device device_id=e2e-test-01 phase=Active enabled=true
e2e-dev-02 device_id=dev-02 phase=Active enabled=true
e2e-dev-03 device_id=dev-03 phase=Active enabled=true
e2e-dev-04 device_id=dev-04 phase=Active enabled=true
ТЕЛЕМЕТРИЯ В POSTGRES (tenant_sless):
e2e-test-01: >1000 записей (cap API = 1000)
dev-02: 21 запись
dev-03: 21 запись
dev-04: 21 запись
```
---
## Результаты тестирования
### Группа 1 — E2E пайплайн (базовый)
Тесты из сессии 2026-04-12, подтверждены после деплоя v0.2.5.
| # | Тест | Команда / Действие | Ожидание | Результат |
|---|------|--------------------|----------|-----------|
| 1.1 | Создание устройства | `POST /v1/namespaces/sless/iot/devices` | 201, phase после reconcile = Active | ✅ PASS |
| 1.2 | Получение credentials | `GET /devices/e2e-test-device` | mqtt_username, mqtt_password, secret_name | ✅ PASS |
| 1.3 | MQTT CONNECT | `mosquitto_pub -u sless_e2e-test-01 -P <pass>` | CONNACK(0) | ✅ PASS |
| 1.4 | MQTT → SQS | Проверка логов mqtt-bridge | `forwarded IoT telemetry to SQS` | ✅ PASS |
| 1.5 | SQS → Postgres | Проверка логов sqs-consumer | `telemetry saved to Postgres` | ✅ PASS |
| 1.6 | Telemetry API | `GET /telemetry?device_id=e2e-test-01` | count≥1, payload совпадает | ✅ PASS |
---
### Группа 2 — Device API: коды ошибок
| # | Тест | Запрос | Ожидание | Факт | Результат |
|---|------|--------|----------|------|-----------|
| 2.1 | POST без `name` | `{}` | 400 `name is required` | 400 ✓ | ✅ PASS |
| 2.2 | POST без `device_id` | `{"name":"x"}` | 400 `device_id is required` | 400 ✓ | ✅ PASS |
| 2.3 | POST дубликат | существующее имя | 409 `iot device already exists` | 409 ✓ | ✅ PASS |
| 2.4 | GET несуществующий | `GET /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
| 2.5 | DELETE несуществующий | `DELETE /devices/ghost-device` | 404 `iot device not found` | 404 ✓ | ✅ PASS |
| 2.6 | PATCH без `enabled` | `{}` | 400 `enabled field is required` | 400 ✓ | ✅ PASS |
| 2.7 | POST невалидный JSON | `not-json` | 400 `invalid JSON: ...` | 400 ✓ | ✅ PASS |
---
### Группа 3 — MQTT Auth: edge cases
Все запросы идут на `POST /internal/mqtt/auth`. Корректный ответ всегда HTTP 200.
Результат определяется полем `result` в теле: `"allow"` или `"deny"`.
| # | Тест | Входные данные | Ожидание | Результат |
|---|------|----------------|----------|-----------|
| 3.1 | Неверный пароль | правильный username, неверный pass | deny | ✅ PASS |
| 3.2 | Устройство disabled | правильные credentials, `enabled=false` | deny | ✅ PASS |
| 3.3 | Пустое тело | `{}` | deny | ✅ PASS |
| 3.4 | Username без `_` | `"username":"nounderscore"` | deny | ✅ PASS |
| 3.5 | Несуществующий deviceID | `"username":"sless_ghost-999"` | deny | ✅ PASS |
| 3.6 | Пустой namespace | `"username":"_dev01"` | deny | ✅ PASS |
| 3.7 | Пустой deviceID | `"username":"sless_"` | deny | ✅ PASS |
| 3.8 | Bridge: неверный пароль | bridge username, wrong pass | deny | ✅ PASS |
| 3.9 | Невалидный JSON body | `not-json` | deny | ✅ PASS |
| 3.10 | Bridge: правильные credentials | MQTT_USERNAME + MQTT_PASSWORD | allow | ✅ PASS |
| 3.11 | Правильные device credentials | sless_e2e-test-01 + корректный pass | allow + ACL rules | ✅ PASS |
**ACL в ответе при allow (пример для устройства):**
```json
{
"result": "allow",
"acl": [
{"permission":"allow","action":"publish","topic":"sless/telemetry/e2e-test-01"},
{"permission":"allow","action":"subscribe","topic":"sless/telemetry/e2e-test-01"},
{"permission":"deny","action":"all","topic":"#"}
]
}
```
---
### Группа 4 — Device lifecycle (PATCH / DELETE)
| # | Тест | Действие | Ожидание | Результат |
|---|------|----------|----------|-----------|
| 4.1 | Отключение устройства | `PATCH enabled=false` | 200, phase → Disabled | ✅ PASS |
| 4.2 | Auth отключённого | auth с правильным паролем | deny | ✅ PASS |
| 4.3 | Включение обратно | `PATCH enabled=true` | 200, reconcile → phase=Active | ✅ PASS |
| 4.4 | DELETE устройства | `DELETE /devices/to-delete` | 204 | ✅ PASS |
| 4.5 | Cascade: Secret удалён | `kubectl get secret iot-del-01` | NotFound | ✅ PASS |
| 4.6 | Cascade: IoTDevice удалён | `kubectl get iotdevice to-delete` | NotFound | ✅ PASS |
---
### Группа 5 — ACL изоляция топиков
| # | Тест | Действие | Ожидание | Результат |
|---|------|----------|----------|-----------|
| 5.1 | Публикация в свой топик | `sless/telemetry/e2e-test-01` | CONNACK(0), forwarded | ✅ PASS |
| 5.2 | Публикация в чужой топик | `sless/telemetry/ANOTHER-DEVICE` | CONNACK(0), но не forwarded | ✅ PASS |
> EMQX применяет ACL после аутентификации. При публикации в запрещённый топик
> клиент получает CONNACK(0) (аутентификация прошла), но PUBLISH тихо отбрасывается.
> Bridge не получает сообщение — подтверждено отсутствием записи в логах.
---
### Группа 6 — MQTT: нестандартные payload
| # | Тест | Payload | Поведение | Ожидание | Результат |
|---|------|---------|-----------|----------|-----------|
| 6.1 | Невалидный JSON | `THIS IS NOT JSON AT ALL !@#` | bridge оборачивает в строку | `"payload":"THIS IS NOT JSON AT ALL !@#"` | ✅ PASS (by design) |
| 6.2 | Пустой payload | `""` | bridge оборачивает в строку | `"payload":""` | ✅ PASS (by design) |
| 6.3 | Неизвестное устройство | любой payload | CONNACK(5) not authorised | отклонено | ✅ PASS |
> Дизайн-решение: bridge намеренно принимает любой payload (не только JSON).
> Невалидный payload оборачивается в JSON-строку (`json.Marshal(string(payload))`).
> Это позволяет передавать raw данные от устройств старых форматов.
---
### Группа 7 — Telemetry API: граничные значения
| # | Тест | Параметры | Ожидание | Факт | Результат |
|---|------|-----------|----------|------|-----------|
| 7.1 | limit=2 | `?limit=2` | count=2 | count=2 ✓ | ✅ PASS |
| 7.2 | limit=0 (default) | `?limit=0` | count=50 | count=50 ✓ | ✅ PASS |
| 7.3 | limit отрицательный | `?limit=-1` | count=50 (default) | count=50 ✓ | ✅ PASS |
| 7.4 | limit cap | `?limit=9999`, >1000 записей | count=1000 | count=1000 ✓ | ✅ PASS |
| 7.5 | Фильтр device_id | `?device_id=dev-02` | только записи dev-02 | count=21, все dev-02 ✓ | ✅ PASS |
| 7.6 | Несуществующий device_id | `?device_id=ghost` | count=0, items=[] | count=0 ✓ | ✅ PASS |
| 7.7 | Несуществующий namespace | `/namespaces/unknown-ns-xyz/...` | count=0, items=[] (нет tenant DB) | count=0 ✓ | ✅ PASS |
---
### Группа 8 — Нагрузочные тесты
| # | Тест | Параметры | Ожидание | Результат |
|---|------|-----------|----------|-----------|
| 8.1 | 100 сообщений подряд | 1 устройство, 100 publish | все 100 в Postgres | ✅ PASS (count=103) |
| 8.2 | 900 сообщений подряд | 1 устройство, 900 publish | все в Postgres | ✅ PASS |
| 8.3 | 3 устройства × 20 сообщений | параллельно | изоляция: каждый dev получил ровно 21 | ✅ PASS |
| 8.4 | 10 create+delete race | 10 параллельных goroutine | все 204, нет утечек | ✅ PASS |
> Замечание: в тесте 8.1 и 8.2 использовался один и тот же device.
> Финальный count dev-02/03/04 = 21 (1 из предыдущей сессии + 20 нагрузочных).
---
## Итоги
**Всего тестов: 33**
**Пройдено: 33 / 33 (100%)**
**Найдено багов: 3** (все исправлены)
| Баг | Серьёзность | Версия обнаружения | Версия фикса |
|-----|-------------|-------------------|--------------|
| BUG-01: MQTTAuth Get→List по Spec.DeviceID | Critical | v0.2.3 | v0.2.4 |
| BUG-02: PG15+ GRANT перед CREATE DATABASE OWNER | Critical | v0.2.4 | v0.2.5 |
| BUG-03: query param `device` → `device_id` | Minor | v0.2.5 | v0.2.6 |
**Финальная версия: `naeel/iot-operator:v0.2.6`**
---
## История версий
| Версия | Дата | Изменение |
|--------|------|-----------|
| v0.2.3 | 2026-04-12 | Деплой: bridge auth fix (bridge username без `_`) |
| v0.2.4 | 2026-04-12 | Fix BUG-01: MQTTAuth List вместо Get |
| v0.2.5 | 2026-04-12 | Fix BUG-02: GRANT перед CREATE DATABASE (PG15+) |
| v0.2.6 | 2026-04-21 | Fix BUG-03: query param device→device_id |
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# 2026-04-12 — GitHub Copilot (Claude Opus 4.6)
## Задача
@@ -1,3 +1,5 @@
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# IoT MVP — E2E Demo
## Что делает этот пример
@@ -1,3 +1,4 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
"""
Создано: 2026-04-04
handler.py — обработчик IoT-телеметрии для демонстрации IoT MVP.
@@ -1,3 +1,5 @@
# ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (RabbitMQ/serverless). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
# Создано: 2026-04-04
# E2E Demo: IoT Device → MQTT → RabbitMQ → Serverless Function
#
+99
View File
@@ -0,0 +1,99 @@
# Нагрузочные тесты IoT
Контур: устройство → wss (EMQX) → бридж → SQS `iot-telemetry` → consumer → PG → API.
## Запуск
```bash
cd loadtests
python3 -m loadtests.run <scenario> [опции]
# или из корня репо:
python3 -m loadtests.run <scenario> [опции]
```
Требования: Python 3.10+, `paho-mqtt` (`pip install paho-mqtt`).
Конфигурация через env (дефолты — прод):
| Env | Дефолт |
|---|---|
| `IOT_API` | `https://iot.containerk8s.dev.nubes.ru` |
| `IOT_WS` | `wss://exqx.containerk8s.dev.nubes.ru/mqtt` |
| `IOT_NS_PREFIX` | `lt` |
| `IOT_CLEANUP` | `1` (удалять созданные тестом устройства) |
Тест сам регистрирует устройства через API (JWT структурный) в namespace
`lt_<run-id>` и удаляет их после прогона при `IOT_CLEANUP=1`.
## Сценарии
| Сценарий | Что проверяет |
|---|---|
| `baseline` | Равномерная нагрузка: потери/дубли/задержка (p50/p95/p99) доставки в PG. |
| `burst` | Всплеск xN: рост очереди и время восстановления (recovery). |
| `large-payload` | Payload до ~900KB (лимит EMQX 1MB). |
| `reconnect-storm` | Периодические разрывы соединений (эмуляция edge-разрывов ~150с), QoS1. |
| `multitenant` | Много namespace: задержка первого сообщения (EnsureTenantDB). |
| `acl-violation` | Публикация в чужой топик → EMQX должен рвать сессию. |
| `auth-neg` | Неверный пароль → CONNACK 4, неизвестный юзер → CONNACK 5. |
| `api-crud` | Нагрузка на CRUD устройств (POST/GET/DELETE). |
| `telemetry-query` | Нагрузка на чтение телеметрии. |
| `soak` | Длительный прогон с периодическими срезами sent/delivered. |
Примеры:
```bash
python3 -m loadtests.run baseline --devices 50 --rate 2 --duration 120 --qos 0
python3 -m loadtests.run burst --devices 100 --rate 1 --burst-mult 10 --duration 30
python3 -m loadtests.run reconnect-storm --devices 100 --rate 1 --reconnect-every 30 --duration 300
python3 -m loadtests.run multitenant --tenants 20 --devices-per-tenant 3
python3 -m loadtests.run api-crud --threads 10 --iterations 20
python3 -m loadtests.run telemetry-query --threads 10 --iterations 50 --query-limit 100
python3 -m loadtests.run soak --devices 50 --rate 1 --duration 3600 --slice-sec 300
```
## Ограничения
- **SQS-лимит 256KB** на сообщение (shared-sqs отклоняет: `InvalidParameterValue
message size exceeds the limit`) → payload устройств ≤ ~250KB с учётом
envelope. Бридж дропает oversize с логом `payload too large for SQS`.
EMQX пропускает до 1MB, но узким местом конвейера является SQS.
- API отдаёт максимум **1000 строк** телеметрии на запрос; шлюз платформы
рвёт ответы >~15КБ (баг MSS/MTU, тикет Nubes) → верификатор ходит
страницами по 50 (`offset`). Большие страницы НЕ использовать.
- Задержка = `ts(PG) - sent_at - skew`; skew калибруется первым сообщением
(часы тест-машины и PG могут расходиться).
- Consumer long-poll до ~20с → после публикаций нужна пауза перед сверкой
(встроена в сценарии).
## Критерии успеха (базовые)
- `baseline`: loss_rate = 0, duplicates = 0, p99 < 10с при ≤100 msg/s.
- `burst`: recovery < 120с после конца пика.
- `reconnect-storm`: loss_rate < 0.01 (QoS1), forced_reconnects > 0.
- `acl-violation`: foreign_accepted = 0.
- `auth-neg`: rc = 4 и rc = 5.
- `soak`: delivered растёт монотонно, провалов нет.
## Тесты с отключением сервисов (вручную, нужен kubectl с ВМ)
Снаружи отключить SQS/PG нельзя — их блокируют на кластере:
1. **SQS-outage** (обрыв бриджа): заблокировать egress монолита к shared-sqs
network policy или `kubectl delete endpoints` — 3 минуты, затем восстановить;
метрики: ошибки SendMessage в логах бриджа, время восстановления доставки.
(Известная проблема: SendMessage в handler блокирует MQTT-поток — см. HISTORY
секция 31, Sonnet-ревью, находка №1.)
2. **PG-outage**: `kubectl -n <pg-ns> scale deployment postgresqlk8s --replicas=0`
на 5 минут; метрики: глубина SQS (ApproximateNumberOfMessages), дубли после
восстановления (visibility timeout 30с — см. находку №2 ревью).
Оба теста — ТОЛЬКО на стенде, не на проде.
## Что гонять на проде
Умеренно (безопасно): `baseline` (≤100 msg/s), `auth-neg`, `acl-violation`,
`api-crud`, `telemetry-query`, `multitenant` (≤20 тенантов).
Осторожно (off-peak): `burst` (x10 кратко), `reconnect-storm` (≤100 устройств),
`large-payload` (≤5 устройств).
Не на проде: SQS-outage, PG-outage, `soak` >1ч с высоким rate.
+1
View File
@@ -0,0 +1 @@
# loadtests — набор нагрузочных тестов контура IoT.
+139
View File
@@ -0,0 +1,139 @@
# common.py — общие примитивы нагрузочных тестов IoT.
#
# Конфигурация через env (дефолты — прод-платформа):
# IOT_API — базовый URL API (https://iot.containerk8s.dev.nubes.ru)
# IOT_WS — wss URL EMQX (wss://exqx.containerk8s.dev.nubes.ru/mqtt)
# IOT_NS_PREFIX — префикс namespace для тестов (lt)
# IOT_CLEANUP — удалять созданные устройства после теста (1)
import base64
import json
import os
import ssl
import threading
import time
import urllib.request
from urllib.parse import urlparse
API = os.environ.get("IOT_API", "https://iot.containerk8s.dev.nubes.ru")
WS = os.environ.get("IOT_WS", "wss://exqx.containerk8s.dev.nubes.ru/mqtt")
NS_PREFIX = os.environ.get("IOT_NS_PREFIX", "lt")
CLEANUP = os.environ.get("IOT_CLEANUP", "1") == "1"
_ws = urlparse(WS)
WS_HOST = _ws.hostname or ""
WS_PORT = _ws.port or 443
WS_PATH = _ws.path or "/mqtt"
# Платформа рвёт внешние wss ~150с: паблишер должен уметь реконнектиться.
EDGE_BREAK_SEC = 150
def mint_jwt(sub="loadtest", ttl=86400):
h = base64.urlsafe_b64encode(b'{"alg":"none","typ":"JWT"}').rstrip(b"=").decode()
p = base64.urlsafe_b64encode(
json.dumps({"sub": sub, "exp": int(time.time()) + ttl}).encode()
).rstrip(b"=").decode()
return h + "." + p + ".sig"
class API:
"""Тонкая обёртка над REST API монолита."""
def __init__(self, base=API):
self.base = base.rstrip("/")
self.token = mint_jwt()
self.ctx = ssl.create_default_context()
self.ctx.check_hostname = False
self.ctx.verify_mode = ssl.CERT_NONE
def _req(self, method, path, body=None):
url = self.base + path
data = json.dumps(body).encode() if body is not None else None
# Внешний путь платформы даёт таймауты ~31-33с (~5.5% запросов) —
# ретраи 3 с паузами (см. doc/sqs-integration.md, тикет Nubes).
last = None
for attempt in range(3):
try:
req = urllib.request.Request(
url, data=data, method=method,
headers={"Authorization": "Bearer " + self.token,
"Content-Type": "application/json"},
)
with urllib.request.urlopen(req, timeout=15, context=self.ctx) as r:
raw = r.read().decode()
return json.loads(raw) if raw.strip() else {}
except Exception as e:
last = e
time.sleep(1 + attempt)
raise last
def create_device(self, ns, name, device_id):
return self._req("POST", f"/v1/namespaces/{ns}/iot/devices",
{"name": name, "device_id": device_id})
def get_device(self, ns, name):
return self._req("GET", f"/v1/namespaces/{ns}/iot/devices/{name}")
def list_devices(self, ns):
return self._req("GET", f"/v1/namespaces/{ns}/iot/devices")
def delete_device(self, ns, name):
return self._req("DELETE", f"/v1/namespaces/{ns}/iot/devices/{name}")
def telemetry(self, ns, device_id="", limit=1000, offset=0):
q = f"?limit={limit}&offset={offset}"
if device_id:
q += f"&device_id={device_id}"
return self._req("GET", f"/v1/namespaces/{ns}/iot/telemetry{q}")
class Counter:
"""Потокобезопасные счётчики метрик."""
def __init__(self):
self._l = threading.Lock()
self.v = {}
def inc(self, key, n=1):
with self._l:
self.v[key] = self.v.get(key, 0) + n
def set(self, key, val):
with self._l:
self.v[key] = val
def get(self, key, default=0):
with self._l:
return self.v.get(key, default)
def snapshot(self):
with self._l:
return dict(self.v)
def ws_tls_opts(client):
"""wss с самоподписанным/платформенным сертификатом — без проверки."""
client.tls_set(cert_reqs=ssl.CERT_NONE)
client.tls_insecure_set(True)
def percentile(values, q):
if not values:
return 0.0
s = sorted(values)
i = min(len(s) - 1, int(round(q * (len(s) - 1))))
return s[i]
def latency_stats(ms_list):
return {
"n": len(ms_list),
"p50_ms": round(percentile(ms_list, 0.50), 1),
"p95_ms": round(percentile(ms_list, 0.95), 1),
"p99_ms": round(percentile(ms_list, 0.99), 1),
"max_ms": round(max(ms_list), 1) if ms_list else 0.0,
}
def now_ms():
return int(time.time() * 1000)
+147
View File
@@ -0,0 +1,147 @@
# publisher.py — MQTT-паблишер: один поток на устройство.
#
# Каждый DevicePublisher:
# - подключается по wss (subprotocol mqtt), проверяет CONNACK через on_connect;
# - публикует в <ns>/telemetry/<device_id> с заданной частотой;
# - нумерует сообщения (seq) и кладёт sent_at (epoch ms) — для верификатора;
# - умеет периодически рвать соединение (reconnect_every) — эмуляция
# edge-разрывов платформы (~150с) и reconnect-storm;
# - ведёт метрики: sent, conn_ok, conn_fail, disconnects, connack_rc{...}.
import json
import ssl
import threading
import time
import paho.mqtt.client as mqtt
from .common import Counter, WS_HOST, WS_PATH, WS_PORT, now_ms, ws_tls_opts
class DevicePublisher(threading.Thread):
def __init__(self, run_id, ns, device_id, username, password,
rate=1.0, duration=60.0, qos=0, payload_size=128,
reconnect_every=0, counter=None, extra_topic=None,
publish_foreign=False):
super().__init__(daemon=True)
self.run_id = run_id
self.ns = ns
self.device_id = device_id
self.username = username
self.password = password
self.rate = rate # сообщений/сек
self.duration = duration # секунд
self.qos = qos
self.payload_size = payload_size
self.reconnect_every = reconnect_every # 0 = не рвать
self.counter = counter or Counter()
self.extra_topic = extra_topic # дополнительный (чужой) топик
self.publish_foreign = publish_foreign # публиковать в чужой топик
self.connack_rc = None
self.disconnected = threading.Event()
self.stop = threading.Event()
self.topic = f"{ns}/telemetry/{device_id}"
self._connack = threading.Event()
# --- MQTT ---
def _on_connect(self, client, userdata, flags, rc, props=None):
self.connack_rc = rc
self.counter.inc(f"connack_rc{rc}")
if rc == 0:
self.counter.inc("conn_ok")
else:
self.counter.inc("conn_fail")
self._connack.set()
def _on_disconnect(self, client, userdata, rc, props=None):
self.counter.inc("disconnects")
self.disconnected.set()
def _client(self):
c = mqtt.Client(client_id=f"lt-{self.run_id}-{self.device_id}",
transport="websockets")
c.ws_set_options(path=WS_PATH)
c.username_pw_set(self.username, self.password)
ws_tls_opts(c)
c.on_connect = self._on_connect
c.on_disconnect = self._on_disconnect
c.reconnect_delay_set(min_delay=2, max_delay=10)
return c
def _payload(self, seq):
pad = "x" * max(0, self.payload_size)
return json.dumps({
"run_id": self.run_id,
"seq": seq,
"sent_at": now_ms(),
"device_id": self.device_id,
"pad": pad,
})
def _connect(self, client, timeout=20):
self._connack.clear()
client.connect(WS_HOST, WS_PORT, timeout)
client.loop_start()
return self._connack.wait(timeout)
# --- поток ---
def run(self):
client = self._client()
seq = 0
t0 = time.monotonic()
next_t = t0
interval = 1.0 / self.rate if self.rate > 0 else 1.0
connected = False
last_reconnect = time.monotonic()
while not self.stop.is_set() and (time.monotonic() - t0) < self.duration:
if not connected:
if not self._connect(client):
self.counter.inc("conn_fail")
time.sleep(2)
continue
connected = True
# периодический разрыв — эмуляция edge-разрывов платформы
if self.reconnect_every and \
time.monotonic() - last_reconnect >= self.reconnect_every:
self.counter.inc("forced_reconnects")
client.disconnect()
client.loop_stop()
client = self._client()
connected = False
last_reconnect = time.monotonic()
continue
now = time.monotonic()
if now < next_t:
time.sleep(min(next_t - now, 0.5))
continue
next_t += interval
if next_t < now: # отстали — не навёрстываем очередью
next_t = now + interval
payload = self._payload(seq)
r = client.publish(self.topic, payload, qos=self.qos)
if r.rc == mqtt.MQTT_ERR_SUCCESS:
self.counter.inc("sent")
seq += 1
else:
self.counter.inc("publish_errors")
# потеряли соединение — переподключимся
connected = False
if self.publish_foreign and self.extra_topic:
# ACL-тест: публикация в чужой топик должна разорвать сессию
self.counter.inc("foreign_publish")
client.publish(self.extra_topic, payload, qos=0)
if self.disconnected.wait(3):
self.counter.inc("foreign_denied")
else:
self.counter.inc("foreign_accepted")
self.disconnected.clear()
try:
client.disconnect()
client.loop_stop()
except Exception:
pass
+82
View File
@@ -0,0 +1,82 @@
# run.py — CLI запуска нагрузочных сценариев.
#
# Примеры:
# python3 -m loadtests.run baseline --devices 50 --rate 2 --duration 120
# python3 -m loadtests.run burst --devices 100 --rate 1 --burst-mult 10 --duration 30
# python3 -m loadtests.run large-payload --payload-size 900000
# python3 -m loadtests.run reconnect-storm --devices 100 --reconnect-every 30
# python3 -m loadtests.run multitenant --tenants 20 --devices-per-tenant 3
# python3 -m loadtests.run acl-violation
# python3 -m loadtests.run auth-neg
# python3 -m loadtests.run api-crud --threads 10 --iterations 20
# python3 -m loadtests.run telemetry-query --threads 10 --iterations 50
# python3 -m loadtests.run soak --devices 50 --rate 1 --duration 3600 --slice-sec 300
#
# Общие ограничения:
# - на устройство максимум ~900 сообщений за сценарий (API отдаёт ≤1000 строк);
# - тест создаёт СВОИ устройства (namespace lt_*) и удаляет их при IOT_CLEANUP=1.
import argparse
import json
from . import scenarios
def main():
p = argparse.ArgumentParser(prog="loadtests")
sub = p.add_subparsers(dest="scenario", required=True)
def common(sp):
sp.add_argument("--devices", type=int, default=50)
sp.add_argument("--rate", type=float, default=1.0)
sp.add_argument("--duration", type=float, default=60.0)
sp.add_argument("--qos", type=int, choices=[0, 1], default=0)
sp.add_argument("--payload-size", type=int, default=128)
sp.add_argument("--reconnect-every", type=float, default=0.0)
s = sub.add_parser("baseline", help="равномерная нагрузка N устройств")
common(s)
s = sub.add_parser("burst", help="всплеск: тихо → пик → тихо, замер recovery")
common(s)
s.add_argument("--burst-mult", type=float, default=10.0)
s = sub.add_parser("large-payload", help="крупные payload (до ~900KB)")
common(s)
s = sub.add_parser("reconnect-storm", help="периодические разрывы соединений")
common(s)
s.set_defaults(reconnect_every=30, qos=1)
s = sub.add_parser("multitenant", help="много namespace, задержка первого сообщения")
s.add_argument("--tenants", type=int, default=20)
s.add_argument("--devices-per-tenant", type=int, default=3)
s.add_argument("--rate", type=float, default=0.2)
s.add_argument("--duration", type=float, default=60.0)
s.add_argument("--qos", type=int, choices=[0, 1], default=0)
sub.add_parser("acl-violation", help="публикация в чужой топик → отказ")
sub.add_parser("auth-neg", help="неверные креды → CONNACK 4/5")
s = sub.add_parser("api-crud", help="нагрузка на CRUD устройств")
s.add_argument("--threads", type=int, default=10)
s.add_argument("--iterations", type=int, default=20)
s = sub.add_parser("telemetry-query", help="нагрузка на чтение телеметрии")
s.add_argument("--threads", type=int, default=10)
s.add_argument("--iterations", type=int, default=50)
s.add_argument("--query-limit", type=int, default=100)
s.add_argument("--devices", type=int, default=10)
s = sub.add_parser("soak", help="длительный прогон со срезами")
common(s)
s.add_argument("--slice-sec", type=int, default=300)
args = p.parse_args()
fn = getattr(scenarios, args.scenario.replace("-", "_"))
report = fn(args)
print(json.dumps(report, ensure_ascii=False, indent=2, default=str))
if __name__ == "__main__":
main()
+434
View File
@@ -0,0 +1,434 @@
# scenarios.py — нагрузочные сценарии.
#
# Каждый сценарий: prepare → run → verify → report (dict) → cleanup.
# Все устройства создаются самим тестом и помечены run_id; cleanup удаляет
# только их (если IOT_CLEANUP=1).
import json
import threading
import time
from .common import API, CLEANUP, Counter, NS_PREFIX, latency_stats, now_ms
from .publisher import DevicePublisher
from .verifier import Verifier
def _ns(run_id):
return f"{NS_PREFIX}_{run_id}"
def _create_devices(api, ns, run_id, count, device_prefix="dev"):
devices = []
for i in range(count):
name = f"{device_prefix}{i}"
d = api.create_device(ns, name, f"{device_prefix}-{i}")
# POST возвращает устройство БЕЗ пароля — пароль только в GET по имени.
d = api.get_device(ns, name)
devices.append({
"name": name,
"device_id": d["device_id"],
"username": d["mqtt_username"],
"password": d["mqtt_password"],
})
return devices
def _cleanup(api, ns, devices):
if not CLEANUP:
return
for d in devices:
try:
api.delete_device(ns, d["name"])
except Exception:
pass
def _run_publishers(run_id, ns, devices, **kw):
"""Запускает паблишеры, ждёт завершения, возвращает счётчики."""
counter = Counter()
pubs = [DevicePublisher(run_id, ns, d["device_id"], d["username"],
d["password"], counter=counter, **kw)
for d in devices]
for p in pubs:
p.start()
for p in pubs:
p.join()
return counter.snapshot()
def _wait_delivery(api, ns, run_id, devices, expected_total, timeout=120):
"""Ждёт, пока доедет expected_total сообщений (или таймаут)."""
v = Verifier(api, ns, run_id)
t0 = time.monotonic()
while time.monotonic() - t0 < timeout:
per = sum(v.device_report(d["device_id"], 0)["delivered"]
for d in devices)
rep = v.run_report(devices, expected_per_device=0)
if rep["delivered"] >= expected_total:
return rep, time.monotonic() - t0
time.sleep(5)
return v.run_report(devices, expected_per_device=0), time.monotonic() - t0
# --------------------------------------------------------------------------
# 1. BASELINE — равномерная нагрузка
# --------------------------------------------------------------------------
def baseline(args):
run_id = f"base-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, args.devices)
try:
expected_per_device = max(1, int(args.rate * args.duration))
t0 = now_ms()
counters = _run_publishers(
run_id, ns, devices, rate=args.rate, duration=args.duration,
qos=args.qos, payload_size=args.payload_size,
reconnect_every=args.reconnect_every)
send_ms = now_ms() - t0
time.sleep(10) # consumer long-poll до ~20с
rep = Verifier(api, ns, run_id).run_report(
devices, expected_per_device)
rep.update({
"scenario": "baseline",
"ns": ns,
"send_ms": send_ms,
"publisher": counters,
"rate_rps": round(counters.get("sent", 0) / max(1, send_ms / 1000), 2),
})
return rep
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 2. BURST — всплеск
# --------------------------------------------------------------------------
def burst(args):
run_id = f"burst-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, args.devices)
try:
quiet = 20
spike = args.duration
low = _run_publishers(run_id + "-l", ns, devices,
rate=args.rate, duration=quiet, qos=args.qos)
high = _run_publishers(run_id + "-h", ns, devices,
rate=args.rate * args.burst_mult,
duration=spike, qos=args.qos)
tail = _run_publishers(run_id + "-t", ns, devices,
rate=args.rate, duration=quiet, qos=args.qos)
# Фазы различаются суффиксом run_id — верифицируем фазу "-h" отдельно.
high_sent = high.get("sent", 0)
expected_per_device = max(1, high_sent // max(1, len(devices)))
rep_high = Verifier(api, ns, run_id + "-h").run_report(
devices, expected_per_device)
# recovery: сколько времени после конца всплеска очередь отдала всё
_, recovery_s = _wait_delivery(
api, ns, run_id + "-h", devices, high_sent, timeout=300)
return {
"scenario": "burst",
"ns": ns,
"quiet_phase": low,
"spike_phase": high,
"tail_phase": tail,
"sent_high_total": high_sent,
"recovery_sec": round(recovery_s, 1),
"high": rep_high,
}
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 3. LARGE_PAYLOAD — крупные сообщения
# Верификация через API невозможна: строка с большим payload в ответе >15 КБ,
# а шлюз платформы рвёт такие ответы (баг MSS/MTU, тикет Nubes). Доставку
# проверять по логам монолита: 'consumer: telemetry saved'.
# --------------------------------------------------------------------------
def large_payload(args):
run_id = f"big-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, min(args.devices, 10))
try:
counters = _run_publishers(
run_id, ns, devices, rate=args.rate, duration=args.duration,
qos=args.qos, payload_size=args.payload_size)
return {
"scenario": "large_payload",
"ns": ns,
"payload_size": args.payload_size,
"publisher": counters,
"note": "доставку смотреть в логах монолита (telemetry saved); "
"API-верификация невозможна из-за бага шлюза (>15KB ответ)",
}
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 4. RECONNECT_STORM — массовые переподключения
# --------------------------------------------------------------------------
def reconnect_storm(args):
run_id = f"rc-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, args.devices)
try:
expected = max(1, int(args.rate * args.duration))
counters = _run_publishers(
run_id, ns, devices, rate=args.rate, duration=args.duration,
qos=1, reconnect_every=args.reconnect_every)
time.sleep(10)
rep = Verifier(api, ns, run_id).run_report(devices, expected)
rep.update({
"scenario": "reconnect_storm",
"ns": ns,
"publisher": counters,
"reconnect_every_sec": args.reconnect_every,
})
return rep
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 5. MULTITENANT — много namespace, задержка первого сообщения
# --------------------------------------------------------------------------
def multitenant(args):
run_id = f"mt-{int(time.time())}"
api = API()
devices_per_tenant = args.devices_per_tenant
all_devices = []
tenant_devices = {}
for t in range(args.tenants):
ns = _ns(f"{run_id}-{t}")
devs = _create_devices(api, ns, run_id, devices_per_tenant,
device_prefix=f"t{t}")
tenant_devices[ns] = devs
all_devices.extend(devs)
try:
expected = max(1, int(args.rate * args.duration))
t0 = now_ms()
for ns, devs in tenant_devices.items():
_run_publishers(run_id, ns, devs, rate=args.rate,
duration=args.duration, qos=args.qos)
time.sleep(15)
first_lats = []
for ns, devs in tenant_devices.items():
v = Verifier(api, ns, run_id)
for d in devs:
r = v.device_report(d["device_id"], expected)
if r["first_latency_ms"] is not None:
first_lats.append(r["first_latency_ms"])
return {
"scenario": "multitenant",
"tenants": args.tenants,
"devices_per_tenant": devices_per_tenant,
"total_devices": len(all_devices),
"elapsed_ms": now_ms() - t0,
"first_msg_latency_ms": latency_stats(first_lats),
}
finally:
for ns, devs in tenant_devices.items():
_cleanup(api, ns, devs)
# --------------------------------------------------------------------------
# 6. ACL_VIOLATION — публикация в чужой топик
# --------------------------------------------------------------------------
def acl_violation(args):
run_id = f"acl-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, 2)
try:
victim_ns = _ns(f"{run_id}-victim")
victim = _create_devices(api, victim_ns, run_id, 1)[0]
attacker = devices[0]
foreign_topic = f"{victim_ns}/telemetry/{victim['device_id']}"
counter = Counter()
p = DevicePublisher(run_id, ns, attacker["device_id"],
attacker["username"], attacker["password"],
rate=1, duration=10, qos=0, counter=counter,
extra_topic=foreign_topic, publish_foreign=True)
p.start()
p.join()
return {
"scenario": "acl_violation",
"ns": ns,
"publisher": counter.snapshot(),
"expect": "foreign_denied=все, foreign_accepted=0 "
"(EMQX рвёт сессию: deny_action=disconnect)",
}
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 7. AUTH_NEG — отказ на неверные креды
# --------------------------------------------------------------------------
def auth_neg(args):
import paho.mqtt.client as mqtt
from .common import WS_HOST, WS_PATH, WS_PORT, ws_tls_opts
def attempt(client_id, username, password):
res = {}
c = mqtt.Client(client_id=client_id, transport="websockets")
c.ws_set_options(path=WS_PATH)
c.username_pw_set(username, password)
ws_tls_opts(c)
def on_connect(cl, ud, flags, rc, props=None):
res["rc"] = rc
c.on_connect = on_connect
try:
c.connect(WS_HOST, WS_PORT, 15)
c.loop_start()
time.sleep(2)
c.loop_stop()
except Exception as e:
res["exc"] = type(e).__name__
return res
results = {
"wrong_password": attempt("lt-neg-pass", "test_dev-001", "wrong-123"),
"unknown_user": attempt("lt-neg-user", "nosuch_user", "whatever"),
}
return {"scenario": "auth_neg",
"expect": "wrong_password rc=4, unknown_user rc=5",
"results": results}
# --------------------------------------------------------------------------
# 8. API_CRUD — нагрузка на CRUD устройств
# --------------------------------------------------------------------------
def api_crud(args):
run_id = f"api-{int(time.time())}"
ns = _ns(run_id)
api = API()
lat = {"POST": [], "GET": [], "DELETE": []}
lock = threading.Lock()
errors = Counter()
def worker(wid):
for i in range(args.iterations):
name = f"w{wid}-{i}"
for op, fn in (
("POST", lambda: api.create_device(ns, name, f"w{wid}-{i}")),
("GET", lambda: api.get_device(ns, name)),
("DELETE", lambda: api.delete_device(ns, name)),
):
t0 = now_ms()
try:
fn()
with lock:
lat[op].append(now_ms() - t0)
except Exception:
errors.inc(op)
threads = [threading.Thread(target=worker, args=(w,))
for w in range(args.threads)]
for t in threads:
t.start()
for t in threads:
t.join()
return {
"scenario": "api_crud",
"ns": ns,
"threads": args.threads,
"iterations_per_thread": args.iterations,
"POST": latency_stats(lat["POST"]),
"GET": latency_stats(lat["GET"]),
"DELETE": latency_stats(lat["DELETE"]),
"errors": errors.snapshot(),
}
# --------------------------------------------------------------------------
# 9. TELEMETRY_QUERY — нагрузка на чтение телеметрии
# --------------------------------------------------------------------------
def telemetry_query(args):
run_id = f"tq-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, max(1, args.devices))
try:
# сидируем данные
_run_publishers(run_id, ns, devices, rate=5, duration=20, qos=0)
time.sleep(10)
lat = []
lock = threading.Lock()
errors = Counter()
def worker(wid):
for _ in range(args.iterations):
t0 = now_ms()
try:
api.telemetry(ns, limit=args.query_limit)
with lock:
lat.append(now_ms() - t0)
except Exception:
errors.inc("query")
threads = [threading.Thread(target=worker, args=(w,))
for w in range(args.threads)]
t0 = now_ms()
for t in threads:
t.start()
for t in threads:
t.join()
elapsed = max(1, (now_ms() - t0) / 1000)
return {
"scenario": "telemetry_query",
"ns": ns,
"threads": args.threads,
"iterations": args.iterations,
"query_limit": args.query_limit,
"req_per_sec": round(len(lat) / elapsed, 2),
"latency": latency_stats(lat),
"errors": errors.snapshot(),
}
finally:
_cleanup(api, ns, devices)
# --------------------------------------------------------------------------
# 10. SOAK — длительный прогон с периодическими срезами
# --------------------------------------------------------------------------
def soak(args):
run_id = f"soak-{int(time.time())}"
ns = _ns(run_id)
api = API()
devices = _create_devices(api, ns, run_id, args.devices)
try:
counter = Counter()
pubs = [DevicePublisher(run_id, ns, d["device_id"], d["username"],
d["password"], rate=args.rate,
duration=args.duration, qos=args.qos,
counter=counter) for d in devices]
for p in pubs:
p.start()
v = Verifier(api, ns, run_id)
t0 = now_ms()
slices = []
while any(p.is_alive() for p in pubs):
time.sleep(args.slice_sec)
sent = counter.get("sent")
rep = v.run_report(devices, 0)
slices.append({
"elapsed_sec": int((now_ms() - t0) / 1000),
"sent": sent,
"delivered": rep["delivered"],
})
print(json.dumps(slices[-1]))
for p in pubs:
p.join()
expected = max(1, int(args.rate * args.duration))
rep = v.run_report(devices, expected)
rep.update({"scenario": "soak", "ns": ns, "slices": slices})
return rep
finally:
_cleanup(api, ns, devices)
+102
View File
@@ -0,0 +1,102 @@
# verifier.py — проверка доставки: потери, дубли, задержка.
#
# Схема: паблишер кладёт в payload run_id + seq + sent_at (epoch ms).
# Верификатор читает телеметрию через API и сверяет:
# - delivered — сколько строк с run_id дошло;
# - lost — сколько seq не доехало;
# - duplicates — сколько seq приехало более одного раза;
# - latency — ts(PG) - sent_at (epoch ms). Точность зависит от
# синхронизации часов тест-машины и платформы (обе NTP).
from datetime import datetime
from .common import latency_stats
def _ts_to_ms(ts):
"""'2026-08-16T14:23:22.363648+03:00' → epoch ms (UTC)."""
try:
return datetime.fromisoformat(ts).timestamp() * 1000
except (ValueError, TypeError):
return None
class Verifier:
def __init__(self, api, ns, run_id):
self.api = api
self.ns = ns
self.run_id = run_id
def device_report(self, device_id, expected):
"""Сверка по одному устройству. expected — сколько seq ждали.
Пагинация по 50 строк: шлюз платформы рвёт ответы >~15 КБ
(баг MSS/MTU, тикет Nubes) — большие страницы НЕ использовать."""
rows = []
offset = 0
pages = 0
while pages < 40:
page = self.api.telemetry(self.ns, device_id=device_id,
limit=50, offset=offset)
items = page.get("items", [])
rows.extend(items)
pages += 1
offset += 50
if len(items) < 50 or len(rows) >= max(expected + 100, 200):
break
seqs = {}
for r in rows:
p = r.get("payload") or {}
if p.get("run_id") != self.run_id:
continue
s = p.get("seq")
if s is None:
continue
seqs.setdefault(s, []).append(
(r.get("ts"), p.get("sent_at"))
)
delivered = len(seqs)
lost = max(0, expected - delivered)
duplicates = sum(len(v) - 1 for v in seqs.values() if len(v) > 1)
lat = []
first_lat = None
for s, entries in seqs.items():
ts, sent = entries[0]
ts_ms = _ts_to_ms(ts) if ts else None
if ts_ms is not None and isinstance(sent, (int, float)):
l = max(0.0, ts_ms - sent)
lat.append(l)
if s == 0:
first_lat = l
return {
"device_id": device_id,
"expected": expected,
"delivered": delivered,
"lost": lost,
"duplicates": duplicates,
"lat_ms": lat,
"latency": latency_stats(lat),
"first_latency_ms": round(first_lat, 1) if first_lat is not None else None,
}
def run_report(self, devices, expected_per_device):
"""Сводка по всем устройствам. Возвращает dict метрик."""
total_expected = expected_per_device * len(devices)
total_delivered = total_lost = total_dups = 0
per = []
all_lat = []
for d in devices:
r = self.device_report(d["device_id"], expected_per_device)
per.append(r)
total_delivered += r["delivered"]
total_lost += r["lost"]
total_dups += r["duplicates"]
all_lat += r["lat_ms"]
return {
"devices": len(devices),
"expected": total_expected,
"delivered": total_delivered,
"lost": total_lost,
"loss_rate": round(total_lost / total_expected, 6) if total_expected else 0.0,
"duplicates": total_dups,
"latency": latency_stats(all_lat),
"per_device": per,
}
+17
View File
@@ -0,0 +1,17 @@
# ws-probe — проверка WebSocket через платформенный ingress Nubes.
# Образ: naeel/iot-ws-probe (Docker Hub, публичный — платформа тянет только публичные).
FROM golang:1.25 AS builder
WORKDIR /workspace
COPY go.mod go.sum ./
RUN go mod download
COPY main.go ./
ARG VERSION=dev
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -ldflags "-X main.version=${VERSION}" -o ws-probe .
FROM gcr.io/distroless/static:nonroot
WORKDIR /
COPY --from=builder /workspace/ws-probe .
USER 65532:65532
EXPOSE 8080
ENTRYPOINT ["/ws-probe"]
+19
View File
@@ -0,0 +1,19 @@
# ws-probe — тестовый WS echo-сервер для проверки wss на платформе Nubes.
VERSION ?= v0.1.0
IMAGE ?= naeel/iot-ws-probe
.PHONY: build tidy docker-build docker-push
build:
CGO_ENABLED=0 go build -ldflags "-X main.version=$(VERSION)" -o ws-probe .
tidy:
go mod tidy
docker-build:
docker build --build-arg VERSION=$(VERSION) -t $(IMAGE):$(VERSION) -t $(IMAGE):latest .
docker-push:
docker push $(IMAGE):$(VERSION)
docker push $(IMAGE):latest
+5
View File
@@ -0,0 +1,5 @@
module ws-probe
go 1.25
require github.com/gorilla/websocket v1.5.3
+2
View File
@@ -0,0 +1,2 @@
github.com/gorilla/websocket v1.5.3 h1:saDtZ6Pbx/0u+bgYQ3q96pZgCzfhKXGPqt7kZ72aNNg=
github.com/gorilla/websocket v1.5.3/go.mod h1:YR8l580nyteQvAITg2hZ9XVh4b55+EU/adAjf1fMHhE=
+117
View File
@@ -0,0 +1,117 @@
// ws-probe — тестовый контейнер для проверки WebSocket (wss) через платформенный ingress Nubes.
//
// Назначение: подтвердить, что «Простой HTTP контейнер» платформы пропускает
// WebSocket upgrade (101 Switching Protocols) и держит долгоживущие соединения.
//
// Эндпоинты:
//
// GET / — инфо-страница (HTML)
// GET /health — {"status":"ok","version":...}
// GET /ws — WebSocket echo: отвечает на сообщения, шлёт ping каждые 20с
//
// Без кредов, без внешних зависимостей — только echo.
package main
import (
"encoding/json"
"log"
"net/http"
"os"
"time"
"github.com/gorilla/websocket"
)
var version = "dev"
const pageHTML = `<!DOCTYPE html>
<html><head><meta charset="utf-8"><title>ws-probe</title></head>
<body style="font-family:system-ui,sans-serif;padding:2rem">
<h1>ws-probe</h1>
<p>WebSocket echo: <code>/ws</code></p>
<p>Health: <code>/health</code></p>
</body></html>`
var upgrader = websocket.Upgrader{
ReadBufferSize: 1024,
WriteBufferSize: 1024,
CheckOrigin: func(r *http.Request) bool { return true },
}
func main() {
port := os.Getenv("PORT")
if port == "" {
port = "8080"
}
mux := http.NewServeMux()
mux.HandleFunc("/health", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
_ = json.NewEncoder(w).Encode(map[string]string{"status": "ok", "version": version})
})
mux.HandleFunc("/ws", wsEcho)
mux.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
_, _ = w.Write([]byte(pageHTML))
})
log.Printf("ws-probe %s listening on :%s", version, port)
if err := http.ListenAndServe(":"+port, mux); err != nil {
log.Fatal(err)
}
}
// wsEcho — апгрейд до WebSocket, echo сообщений, ping каждые 20с.
func wsEcho(w http.ResponseWriter, r *http.Request) {
conn, err := upgrader.Upgrade(w, r, nil)
if err != nil {
log.Printf("upgrade failed: %v", err)
return
}
defer conn.Close()
log.Printf("ws connected from %s (host=%s)", conn.RemoteAddr(), r.Host)
// Read deadline сбрасывается pong'ами — мёртвые соединения закрываются через 60с.
conn.SetReadDeadline(time.Now().Add(60 * time.Second))
conn.SetPongHandler(func(string) error {
conn.SetReadDeadline(time.Now().Add(60 * time.Second))
return nil
})
pingTicker := time.NewTicker(20 * time.Second)
defer pingTicker.Stop()
done := make(chan struct{})
go func() {
defer close(done)
for {
mt, msg, err := conn.ReadMessage()
if err != nil {
log.Printf("ws read error: %v", err)
return
}
log.Printf("ws recv %d bytes (type %d)", len(msg), mt)
if err := conn.WriteMessage(mt, msg); err != nil {
log.Printf("ws write error: %v", err)
return
}
log.Printf("ws echo sent")
}
}()
for {
select {
case <-done:
log.Printf("ws closed from %s", conn.RemoteAddr())
return
case t := <-pingTicker.C:
deadline := time.Now().Add(10 * time.Second)
if err := conn.WriteControl(websocket.PingMessage, []byte(t.Format(time.RFC3339)), deadline); err != nil {
log.Printf("ws ping error: %v", err)
return
}
}
}
}