doc: 2026-04-06 thinking log + kafka integration plan

This commit is contained in:
Naeel
2026-04-06 16:03:57 +03:00
parent 184f5ceb91
commit e46a8bb3e3
2 changed files with 128 additions and 1 deletions
+35 -1
View File
@@ -1,6 +1,40 @@
# Прогресс разработки
Последнее обновление: 2026-04-05
Последнее обновление: 2026-04-06
---
## 2026-04-06 — Kafka интеграция (ветка iot-kafka, в процессе)
### Цель
Заменить прямой INSERT в Postgres из bridge на Kafka pipeline:
```
MQTT → bridge → Kafka → iot-kafka-consumer → Postgres
→ event-dispatcher → Functions (будущее)
```
### Обоснование
- RabbitMQ для IoT был подключён в bridge но бесполезен — никто не читал очередь
- Kafka даёт буферизацию, retention 7 дней, множество потребителей
- При переходе на managed Kafka в prod — только меняется KAFKA_BROKERS в Secret
### План
1. ✅ Документация + план
2. ✅ Ветка `iot-kafka`
3. ⏳ Helm: установить Kafka (bitnami, KRaft, 1 нод, PVC) в namespace `sless`
4. ⏳ bridge: убрать RabbitMQ, добавить Kafka producer (`segmentio/kafka-go`)
5. ⏳ Новый сервис `iot/cmd/kafka-consumer/main.go`
6. ⏳ Dockerfile + deployment манифесты
7. ⏳ Сборка v0.1.67, деплой, тест E2E
### Что НЕ меняется
- EMQX, operator, REST API, IoT Console
- `iotpg` storage package
- ACL, auth, namespace-изоляция
---
## 2026-04-05 (вечер) — v0.1.66: UX-правки + деструктивный инцидент
---