fix: bridge Kafka write async (v0.1.69) — MQTT callback не блокируется

This commit is contained in:
Naeel
2026-04-06 18:26:03 +03:00
parent c0a08ae78d
commit 387932ce10
5 changed files with 125 additions and 15 deletions
+34
View File
@@ -1255,3 +1255,37 @@ if err := h.K8s.Get(r.Context(), client.ObjectKey{...}, fn); err == nil {
**Gap:** Для production нужен отдельный API-deployment с ≥2 replicas.
---
## 2026-04-06 — IoT bridge: Kafka write должен быть async (v0.1.69)
### Контекст
Load test (100 msg burst) показал потерю 73/100 сообщений.
Первоначально записал в "backlog". Пользователь указал: это не backlog — это
архитектурная ошибка. Между компонентами pipeline не должно быть синхронных зависимостей.
### Решение
`kafka.Writer{Async: true}` — единственно правильный вариант для MQTT callback.
### Варианты которые рассматривались
1. **`Async: true` в kafka.Writer** — выбрано. Минимальное изменение, kafka-go сам управляет буфером и горутиной записи.
2. **Channel + отдельная горутина в handler** — избыточно. Дублирует то, что kafka-go уже делает внутри при Async=true. Лишний слой.
3. **Увеличить keepalive timeout** — не решает проблему, только отодвигает симптом.
### Почему `Async: true` безопасно
- Ошибки доставки идут в `ErrorLogger` — логируются, не теряются бесследно
- При shutdown: `kafkaWriter.Close()` (defer) дожидается flush буфера перед выходом
- При недоступности Kafka: kafka-go внутри делает retry, сообщения в памяти-буфере
### Принцип на будущее
**Каждое звено pipeline должно принимать и отдавать сообщения немедленно.**
Любой blocking call внутри event handler — потенциальная точка потери данных.