doc: обновлена документация — дополнения к архитектуре, деплою, прогрессу

- architecture/overview.md: добавлена актуальная схема (SQS, managed PG) - deployment.md: добавлена процедура деплоя в iot-naeel - progress.md: добавлен блок 2026-04-12 (Kafka→SQS, деплой) - api/endpoints.md: добавлен актуальный формат /iot-admin/stats - thinking/2026-04-12.md: дописан ход реализации и деплоя - copilot-instructions.md: добавлено правило «документацию не стирать» Старая документация (Kafka, RabbitMQ) сохранена как база знаний.
2026-04-12 16:16:46 +03:00
parent 150146edba
commit d4f7c5abc8
6 changed files with 332 additions and 0 deletions
@@ -57,3 +57,68 @@

 **Плюс:** AWS SDK for Go — стандартная библиотека, код станет проще. shared-SQS уже живой.
 **Минус:** polling latency (ReceiveMessage WaitTimeSeconds до 20s) vs Kafka push. Для IoT телеметрии — приемлемо.
+
+---
+
+## Продолжение — GitHub Copilot (Claude Opus 4.6)
+
+### Реализация замены Kafka → SQS
+
+**Что сделано:**
+
+1. **mqtt-bridge** — полностью переписан:
+   - Убран `segmentio/kafka-go`, добавлен `aws-sdk-go-v2` (sqs, config, credentials)
+   - `kafka.Writer` → `sqs.Client.SendMessage`
+   - При старте: `GetQueueUrl` для резолва URL очереди "iot-telemetry"
+   - Env vars: `SQS_ENDPOINT`, `SQS_ACCESS_KEY`, `SQS_SECRET_KEY`, `SQS_QUEUE_NAME`, `SQS_REGION`
+   - Формат сообщения (MessageBody JSON) не изменился: `{namespace, device_id, topic, payload, received_at}`
+
+2. **sqs-consumer** — создан с нуля (заменяет kafka-consumer):
+   - Long polling: `ReceiveMessage(WaitTimeSeconds=20)` — минимизирует запросы при пустой очереди
+   - At-least-once: `DeleteMessage` только после успешной записи в Postgres
+   - Использует `iotpg.IoTPostgresStore` — тот же механизм per-tenant DB что и kafka-consumer
+
+3. **admin stats handler** — переписан:
+   - Вместо Kafka consumer lag → `GetQueueAttributes(ApproximateNumberOfMessages, ApproximateNumberOfMessagesNotVisible)`
+   - Pod labels для consumer: `iot-kafka-consumer` → `iot-sqs-consumer`
+
+4. **Баг .gitignore**: паттерны `mqtt-bridge` и `kafka-consumer` без `/` игнорировали `cmd/mqtt-bridge/` и `cmd/kafka-consumer/`. Исправлено добавлением `/` префикса.
+
+5. **Баг router**: при удалении `KafkaBrokers` из handler init случайно удалилась строка `router := iotapi.NewRouter(h, log)`. Восстановлена.
+
+### Деплой в новый кластер iot-naeel
+
+**Обнаружения при деплое:**
+
+1. Кластер **полностью новый** — namespace `sless` не существовал, ничего не задеплоено.
+
+2. **Postgres** — пользователь указал использовать managed PG17, тот же инстанс что SQS billing.
+   Credentials в `/home/naeel/terra/SQS-service/secrets/iot_pg.md`.
+   Самодеплоенный postgres:16-alpine из YAML заменён на DSN к managed PG.
+
+3. **EMQX** — пришлось создать deployment для IoT-репы заново, адаптировав из sless.
+   Ключевое изменение: auth URL `sless-operator.sless.svc:9090` → `iot-operator.sless.svc:9090`.
+
+4. **iot-operator deployment** — его не было в IoT-репе! Создан новый:
+   - ServiceAccount + ClusterRole (iotdevices CRD, secrets, events, namespaces, leases)
+   - ClusterRoleBinding
+   - Deployment + Service :9090
+
+5. **kubectl токен** истекал за 24 часа — пользователь обновлял вручную.
+
+6. **Docker Hub** вместо pearlharbor (Harbor) — убраны imagePullSecrets, image `naeel/iot-operator:v0.2.0`.
+
+7. **shared-SQS tenant** создан через API:
+   - Tenant: `iot-service`, ID: `t-96afe7e9f781f6ca`
+   - Queue: `iot-telemetry`
+   - Admin token из Secret `shared-sqs-admin` в namespace `shared-sqs`
+
+### Результат
+
+Все 4 пода Running 1/1:
+- `iot-operator` — controller работает, MQTT auth/acl обрабатывает запросы
+- `emqx` — MQTT брокер, подключает IoT устройства
+- `iot-mqtt-bridge` — подписан на EMQX, SQS queue resolved
+- `iot-sqs-consumer` — подключён к PG и SQS, polling loop активен
+
+TLS сертификат для `iot.kube5s.ru` выпускается cert-manager.