docs: IoT telemetry storage architecture decisions and thinking log

2026-04-04 18:41:29 +03:00
parent b23ae40975
commit d57558c798
4 changed files with 386 additions and 13 deletions
@@ -102,3 +102,114 @@ listeners.ws.default {
 ```

 Ждём подтверждения от пользователя перед реализацией.
+
+---
+
+## Архитектурная дискуссия — IoT телеметрия и хранение данных
+
+### Контекст разговора
+
+Пользователь задал вопрос: "куда пишутся данные с IoT датчиков?"
+
+Выяснилось что сейчас данные теряются — function pod получает событие но никуда не сохраняет. Это нормально для serverless (пользователь сам решает), но для IoT платформы нужно автоматическое хранение.
+
+### Анализ сценариев использования
+
+Реалистичные клиенты для Nubes (облачный провайдер СНГ, малый/средний бизнес):
+1. Мониторинг объектов (склады, серверные, торговые точки) — температура, влажность, протечка
+2. Умные счётчики / ЖКХ — снятие показаний без выезда
+3. Небольшое производство / агро — теплицы, мини-заводы
+
+Общий паттерн для всех: датчик → данные в БД → алерт если порог → график
+
+### Решение по хранению данных
+
+**Вопрос**: один большой Postgres или отдельный на каждого?
+**Ответ**: один Postgres инстанс, но отдельная DATABASE на каждого tenant.
+
+Причины:
+- Вариант со одной таблицей + tenant_id — изоляция программная, ошибка в коде = утечка
+- Отдельная DATABASE — физическая изоляция, разные connection string, разные пароли
+- Клиент B не может подключиться к DATABASE клиента A даже при баге в коде платформы
+
+Структура:
+```
+Postgres инстанс
+├── sless_platform DB  — системные таблицы (tenants, invocations)
+├── tenant_abc DB      — только данные клиента A
+└── tenant_def DB      — только данные клиента B
+```
+
+### Решение по доступу клиента
+
+**Вопрос**: давать клиенту прямой доступ к Postgres?
+**Ответ**: нет. Только через REST API платформы.
+
+Причины:
+- Postgres внутри кластера, снаружи не торчит (security)
+- Единый endpoint `iot.kube5s.ru`
+- Легко добавить rate limit, биллинг, кеш
+- Клиент не зависит от деталей реализации хранилища
+
+API:
+```
+GET /v1/namespaces/{ns}/iot/telemetry?device=X&from=T&to=T
+GET /v1/namespaces/{ns}/iot/devices/{id}/last
+```
+
+### Решение по schema.sql
+
+Клиент может положить `schema.sql` рядом с функцией. При деплое платформа выполняет его в БД tenant'а.
+Это даёт низкий порог входа — клиент не шарит в Python, но может написать SQL по шаблону.
+
+### Ключевое архитектурное решение — разделение операторов
+
+**Решение**: sless-operator и iot-operator — ОТДЕЛЬНЫЕ компоненты.
+Пока в одном кластере, но сделать так чтобы могли быть в разных.
+
+**Namespace layout:**
+```
+namespace: sless          — платформа sless (operator, event-dispatcher, RabbitMQ, Postgres invocations)
+namespace: sless-{hash}   — tenant функции (function pods)
+namespace: iot            — платформа IoT (iot-operator, EMQX, Postgres telemetry)
+namespace: iot-{hash}     — tenant IoT (IoTDevice CRDs)
+```
+
+**Связь**:
+- Общий идентификатор tenant: `{hash}` одинаковый в обоих namespace
+- MQTT событие → RabbitMQ в sless → function pod в sless-{hash}
+- IoT operator НЕ импортирует пакеты sless-operator (loose coupling)
+- Общение только через k8s API и RabbitMQ
+
+**Postgres**:
+- sless имеет свой Postgres (invocations)
+- iot имеет свой Postgres (telemetry per tenant)
+- Разные StatefulSet, разные PVC
+
+### Что делает пользователь
+
+Клиент:
+1. Подключает устройство → данные автоматически пишутся в его `iot_telemetry`
+2. Пишет функцию которая реагирует на события
+3. Функция получает `DB_DSN` в env var (автоматически из Secret)
+4. Может делать SELECT/INSERT в свою БД через обычный SQL в коде функции
+5. Может читать телеметрию через REST API
+
+### Plan — следующие шаги (этап IoT Postgres)
+
+1. Поднять Postgres StatefulSet в namespace `iot`
+2. В iot-operator при создании IoTDevice namespace → `CREATE USER`, `CREATE DATABASE`, `CREATE TABLE iot_telemetry`, `CREATE TABLE iot_devices`
+3. Credentials → k8s Secret `iot-tenant-{ns}-pg`
+4. В iot-mqtt-bridge при получении MQTT сообщения → INSERT в tenant БД
+5. REST API endpoint для чтения телеметрии
+6. При деплое function → прокинуть `DB_DSN` в env var из Secret
+7. При деплое function → если есть `schema.sql` → выполнить в tenant БД
+
+### Технические решения
+
+- Postgres: `postgres:16-alpine` StatefulSet с PVC 10Gi в namespace `iot`
+- Connection pool: pgxpool (pgx v5) per-tenant, lazy init, max 5 conn per tenant
+- Таблица telemetry: `(id bigserial, device_id text, ts timestamptz default now(), payload jsonb)`
+- Индекс: `(device_id, ts DESC)` для быстрых запросов по устройству за период
+- Retention: пока без TTL, добавить позже через pg_partman или cron job
+