142 lines
8.6 KiB
Markdown
142 lines
8.6 KiB
Markdown
> ⛔⛔⛔ ЛЕГАСИ (2026-08-16) — СТАРЫЙ IoT (k8s-деплой). НЕ ПРИНИМАТЬ ВО ВНИМАНИЕ. Актуальное: HISTORY/2026-08-16-session-log.md
|
||
|
||
# IoT Managed Service — Трекер прогресса
|
||
|
||
## 2026-04-12: Перенос из sless в отдельную репу
|
||
|
||
### Выполнено
|
||
- [x] Создана репа https://gitea.services.ngcloud.ru/Nail/IoT
|
||
- [x] Go модуль: `gitea.services.ngcloud.ru/Nail/IoT`
|
||
- [x] Перенесены все IoT-компоненты из sless:
|
||
- `iot/api/v1alpha1/` → `api/v1alpha1/` (CRD types: IoTDevice)
|
||
- `iot/controllers/` → `controllers/` (IoTDevice reconciler)
|
||
- `iot/cmd/mqtt-bridge/` → `cmd/mqtt-bridge/` (MQTT→Kafka)
|
||
- `iot/cmd/kafka-consumer/` → `cmd/kafka-consumer/` (Kafka→Postgres)
|
||
- `internal/storage/iotpg/` → `internal/storage/iotpg/` (per-tenant PG)
|
||
- `internal/api/handler/iot_*.go` → `internal/api/handler/` (REST handlers)
|
||
- `internal/api/ui/iot-*.html` → `internal/api/ui/` (embedded HTML)
|
||
- `internal/api/middleware/` → `internal/api/middleware/` (auth, logging)
|
||
- `deployments/k8s/iot-*.yaml` + `kafka.yaml` → `deployments/k8s/`
|
||
- `config/crd/bases/` → `config/crd/bases/`
|
||
- `doc/iot/`, `examples/IOT/` → `doc/`, `examples/`
|
||
- [x] Созданы новые файлы:
|
||
- `cmd/iot-operator/main.go` — точка входа (controller-manager + REST API)
|
||
- `internal/api/handler/handler.go` — упрощённый Handler (без S3/PG от sless)
|
||
- `internal/api/router.go` — только IoT маршруты
|
||
- `Dockerfile` — multi-stage build, 3 бинарника, distroless
|
||
- `Makefile` — build/docker/deploy команды
|
||
- `.gitignore`
|
||
- `.github/copilot-instructions.md`
|
||
- [x] Все import paths заменены: `sless/iot/...` → `Nail/IoT/...`
|
||
- [x] Все 3 бинарника собираются без ошибок (go build ./...)
|
||
- [x] Запушено в Gitea
|
||
|
||
### Следующие шаги
|
||
- [ ] Docker build + push на Docker Hub (`naeel/iot-operator`)
|
||
- [ ] Обновить k8s manifests для нового образа
|
||
- [ ] Деплой в кластер
|
||
- [ ] E2E тест: создание устройства → MQTT → Kafka → Postgres → API
|
||
- [ ] Убрать IoT-код из sless (опционально, после подтверждения что всё работает)
|
||
|
||
---
|
||
|
||
## 2026-04-12: Замена Kafka → shared-SQS + деплой в новый кластер
|
||
|
||
### Выполнено
|
||
- [x] Создана ветка `feature/replace-kafka-with-sqs`
|
||
- [x] Документировано решение: `doc/decisions/2026-04-12-replace-kafka-with-sqs.md`
|
||
- [x] **mqtt-bridge** (`cmd/mqtt-bridge/main.go`): Kafka Writer → AWS SDK SQS SendMessage
|
||
- [x] **sqs-consumer** (`cmd/sqs-consumer/main.go`): новый — заменяет kafka-consumer, SQS ReceiveMessage → Postgres
|
||
- [x] **kafka-consumer** (`cmd/kafka-consumer/`): удалён из кода
|
||
- [x] **admin stats** (`internal/api/handler/iot_admin_stats_handler.go`): Kafka lag → SQS GetQueueAttributes
|
||
- [x] **handler.go**: убрано поле KafkaBrokers
|
||
- [x] **iot-operator/main.go**: убрана передача KAFKA_BROKERS
|
||
- [x] go.mod: убран `segmentio/kafka-go`, добавлен `aws-sdk-go-v2` (v1.41.5 + sqs v1.42.25)
|
||
- [x] Dockerfile: kafka-consumer → sqs-consumer
|
||
- [x] Makefile: build-consumer → sqs-consumer
|
||
- [x] .gitignore: исправлен баг (паттерны без `/` игнорировали `cmd/` директории)
|
||
- [x] `go build ./...` проходит на ВМ
|
||
- [x] Коммит и пуш в ветку
|
||
|
||
### Деплой в кластер iot-naeel (новый кластер)
|
||
- [x] shared-SQS: создан tenant `iot-service` (t-96afe7e9f781f6ca), очередь `iot-telemetry`
|
||
- [x] Namespace `sless` создан
|
||
- [x] Secret `iot-sqs-credentials` создан
|
||
- [x] Secret `iot-bridge-credentials` создан
|
||
- [x] Postgres: переключён на managed PG17 (тот же что SQS billing)
|
||
- [x] Secret `iot-postgres-secret` создан (DSN → managed PG)
|
||
- [x] Docker: собран и запушен `naeel/iot-operator:v0.2.0` в Docker Hub
|
||
- [x] Deployment YAML: обновлены image на Docker Hub, убраны imagePullSecrets
|
||
- [x] EMQX: задеплоен (emqx.yaml + emqx-ws-ingress.yaml, адаптирован из sless)
|
||
- [x] iot-operator: задеплоен (новый iot-operator.yaml с RBAC)
|
||
- [x] CRD `iotdevices.iot.kube5s.ru` установлен
|
||
- [x] iot-mqtt-bridge: задеплоен, Running
|
||
- [x] iot-sqs-consumer: задеплоен, Running — подключился к PG и SQS
|
||
- [x] cert-manager: выпускает TLS для iot.kube5s.ru
|
||
- [x] Коммит и пуш
|
||
|
||
### Что работает
|
||
- Все 4 пода Running 1/1
|
||
- iot-operator: controller стартовал, MQTT auth/acl обрабатывает запросы от EMQX
|
||
- sqs-consumer: подключился к Postgres и SQS, polling loop запущен
|
||
- mqtt-bridge: подключён к EMQX и SQS, SQS queue resolved
|
||
- EMQX: MQTT :1883, WS :8083, dashboard :18083
|
||
|
||
### Следующие шаги
|
||
- [ ] E2E тест: создание устройства → MQTT → SQS → Postgres → API
|
||
- [ ] Нагрузочный тест
|
||
- [ ] Мерж ветки в master
|
||
- [ ] Убрать IoT-код из sless (опционально)
|
||
|
||
---
|
||
|
||
## 2026-04-12: Документация v0.2.3
|
||
|
||
### Выполнено
|
||
- [x] Аудит документации из репозитория sless (thinking 04-04/05/06/09, decisions, progress, api, examples)
|
||
- [x] Аудит документации в IoT репозитории (deployment.md, overview.md, endpoints.md, mvp-plan.md)
|
||
- [x] Анализ расхождений — определены устаревшие секции (Kafka, RabbitMQ)
|
||
- [x] Решение: старые документы НЕ удалять, новые создавать отдельно
|
||
- [x] Создан doc/deployment-v0.2.3.md (295 строк) — актуальная инструкция деплоя
|
||
- [x] Создан doc/architecture/current-v0.2.3.md (256 строк) — полная архитектура v0.2.3
|
||
- [x] Создан doc/api/endpoints-v0.2.3.md (~300 строк) — полная документация REST API
|
||
- [x] Создан doc/run-and-test.md (~180 строк) — руководство по запуску и E2E тесту
|
||
- [x] Обновлён doc/progress.md
|
||
- [x] Дописан doc/thinking/2026-04-12.md — лог мышления сессии
|
||
|
||
### Баг-фиксы v0.2.1—v0.2.3
|
||
- v0.2.1: mqtt-bridge — bridge auth fix (BridgeUsername/BridgePassword проверяется ДО парсинга username)
|
||
- v0.2.3: финальный образ со всеми фиксами
|
||
|
||
### Документация (сессия 2, вечер)
|
||
|
||
Проведён полный аудит IoT-документации из sless репы. Прочитано:
|
||
- sless/doc/thinking/2026-04-04.md (681 строк) — архитектура, первый деплой
|
||
- sless/doc/thinking/2026-04-05.md (178 строк) — телеметрия, MQTTX, UX
|
||
- sless/doc/thinking/2026-04-06.md (613 строк) — Kafka pipeline, 8 тестов
|
||
- sless/doc/thinking/2026-04-09.md (349 строк) — shared-sqs, TenantStore
|
||
- sless/doc/iot/deployment.md — инженерный документ деплоя (RabbitMQ)
|
||
- sless/doc/progress.md — IoT-записи
|
||
- sless/examples/IOT/ — E2E demo
|
||
|
||
Созданы НОВЫЕ актуальные файлы (старые НЕ тронуты — база знаний):
|
||
- [x] doc/deployment-v0.2.3.md — полная процедура деплоя (SQS, managed PG, bridge auth)
|
||
- [x] doc/architecture/current-v0.2.3.md — актуальная архитектура (без Kafka/RabbitMQ)
|
||
- [x] doc/api/endpoints-v0.2.3.md — все API эндпоинты с примерами запросов/ответов
|
||
- [x] doc/run-and-test.md — как запустить и протестировать E2E
|
||
|
||
## 2026-04-12 — v0.2.5: баг-фиксы и E2E тест
|
||
|
||
### Найдены и исправлены баги:
|
||
1. **MQTTAuth: Get по Name=deviceID** — заменено на List + фильтр по Spec.DeviceID
|
||
2. **PG15+ GRANT**: добавлен `GRANT role TO CURRENT_USER` перед `CREATE DATABASE ... OWNER`
|
||
|
||
### E2E тест пройден:
|
||
- Устройство создано через REST API (201)
|
||
- MQTT CONNECT + PUBLISH через EMQX — OK
|
||
- mqtt-bridge → SQS forwarding — OK
|
||
- sqs-consumer → Postgres (tenant DB created + telemetry saved) — OK
|
||
- REST API GET /telemetry — 2 записи с payload
|
||
|
||
### Docker Hub: `naeel/iot-operator:v0.2.5`
|