fix: review findings (async SQS dispatcher, backoff, batch insert, shutdown order, pagination, HMAC) + loadtest fixes; v0.1.6
This commit is contained in:
“Naeel”
@@ -34,16 +34,25 @@ func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, log *sl
|
||||
// OnConnectHandler, т.е. повторяется при каждом (ре)подключении.
|
||||
// Иначе после потери сессии EMQX бридж оставался бы без подписки
|
||||
// (прецедент 2026-08-16: реконнект без resubscribe → телеметрия терялась).
|
||||
handler := newMessageHandler(ctx, sqsClient, queueURL, log)
|
||||
//
|
||||
// Отправка в SQS — через диспатчер (канал + worker-пул): колбэк MQTT
|
||||
// не блокируется сетью (фикс CRITICAL из ревью 2026-08-16).
|
||||
dispatcher := newSQSDispatcher(sqsClient, queueURL, log)
|
||||
dispatcher.start(ctx)
|
||||
|
||||
handler := newMessageHandler(dispatcher, log)
|
||||
|
||||
client, err := connectMQTT(ctx, cfg, log, handler)
|
||||
if err != nil {
|
||||
dispatcher.closeAndWait()
|
||||
return err
|
||||
}
|
||||
defer client.Disconnect(250)
|
||||
|
||||
<-ctx.Done()
|
||||
log.Info("bridge: shutting down")
|
||||
// Порядок: сначала отключить MQTT (источник), затем слить остаток в SQS.
|
||||
client.Disconnect(2000)
|
||||
dispatcher.closeAndWait()
|
||||
return nil
|
||||
}
|
||||
|
||||
@@ -80,10 +89,12 @@ func connectMQTT(ctx context.Context, cfg *config.Config, log *slog.Logger, hand
|
||||
token := c.Subscribe(telemetryTopicFilter, 1, handler)
|
||||
if !token.WaitTimeout(10 * time.Second) {
|
||||
log.Error("bridge: resubscribe timeout", "filter", telemetryTopicFilter)
|
||||
c.Disconnect(100) // принудительный реконнект (подписка обязательна)
|
||||
return
|
||||
}
|
||||
if token.Error() != nil {
|
||||
log.Error("bridge: resubscribe failed", "filter", telemetryTopicFilter, "err", token.Error())
|
||||
c.Disconnect(100) // принудительный реконнект (подписка обязательна)
|
||||
return
|
||||
}
|
||||
log.Info("bridge: subscribed", "filter", telemetryTopicFilter)
|
||||
|
||||
@@ -1,15 +1,15 @@
|
||||
// handler.go — обработчик MQTT-сообщений: envelope → SQS SendMessage.
|
||||
// handler.go — обработчик MQTT-сообщений: envelope → канал диспатчера SQS.
|
||||
//
|
||||
// Колбэк НЕ делает сетевых вызовов: только парсинг топика и неблокирующий
|
||||
// enqueue. Отправка в SQS — worker-пул sqsDispatcher (см. sender.go).
|
||||
package bridge
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"log/slog"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
mqtt "github.com/eclipse/paho.mqtt.golang"
|
||||
)
|
||||
|
||||
@@ -22,15 +22,16 @@ type TelemetryEnvelope struct {
|
||||
ReceivedAt string `json:"received_at"`
|
||||
}
|
||||
|
||||
// newMessageHandler возвращает обработчик MQTT-сообщений.
|
||||
func newMessageHandler(ctx context.Context, sqsClient *sqs.Client, queueURL string, log *slog.Logger) mqtt.MessageHandler {
|
||||
// newMessageHandler возвращает обработчик MQTT-сообщений:
|
||||
// валидация топика "{namespace}/telemetry/{deviceId}" → enqueue в диспатчер.
|
||||
func newMessageHandler(dispatcher *sqsDispatcher, log *slog.Logger) mqtt.MessageHandler {
|
||||
return func(_ mqtt.Client, msg mqtt.Message) {
|
||||
topic := msg.Topic()
|
||||
payload := msg.Payload()
|
||||
|
||||
// Топик: "{namespace}/telemetry/{deviceId}".
|
||||
// Топик: "{namespace}/telemetry/{deviceId}". Пустые части — мусор.
|
||||
parts := strings.SplitN(topic, "/", 3)
|
||||
if len(parts) != 3 {
|
||||
if len(parts) != 3 || parts[0] == "" || parts[2] == "" || parts[1] != "telemetry" {
|
||||
log.Warn("bridge: unexpected topic format, skipping", "topic", topic)
|
||||
return
|
||||
}
|
||||
@@ -44,28 +45,12 @@ func newMessageHandler(ctx context.Context, sqsClient *sqs.Client, queueURL stri
|
||||
rawPayload = json.RawMessage(quoted)
|
||||
}
|
||||
|
||||
envelope := TelemetryEnvelope{
|
||||
dispatcher.enqueue(TelemetryEnvelope{
|
||||
Namespace: ns,
|
||||
DeviceID: deviceID,
|
||||
Topic: topic,
|
||||
Payload: rawPayload,
|
||||
ReceivedAt: time.Now().UTC().Format(time.RFC3339),
|
||||
}
|
||||
body, err := json.Marshal(envelope)
|
||||
if err != nil {
|
||||
log.Error("bridge: marshal envelope", "topic", topic, "err", err)
|
||||
return
|
||||
}
|
||||
|
||||
_, err = sqsClient.SendMessage(ctx, &sqs.SendMessageInput{
|
||||
QueueUrl: aws.String(queueURL),
|
||||
MessageBody: aws.String(string(body)),
|
||||
})
|
||||
if err != nil {
|
||||
log.Error("bridge: SQS SendMessage failed", "topic", topic, "err", err)
|
||||
return
|
||||
}
|
||||
log.Info("bridge: forwarded telemetry to SQS",
|
||||
"mqtt_topic", topic, "namespace", ns, "device", deviceID)
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,145 @@
|
||||
// sender.go — асинхронная отправка envelope в SQS из бриджа.
|
||||
//
|
||||
// Мотивация (Sonnet-ревью 2026-08-16, находка CRITICAL): SendMessage был
|
||||
// синхронным внутри MQTT-колбэка paho. При недоступности SQS (таймаут ~30с)
|
||||
// блокировался приём ВСЕХ MQTT-сообщений → потери телеметрии.
|
||||
//
|
||||
// Теперь: колбэк кладёт envelope в буферизованный канал НЕблокирующе
|
||||
// (переполнение — дроп со счётчиком), worker-пул отправляет в SQS с
|
||||
// ограниченными ретраями и backoff.
|
||||
package bridge
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"log/slog"
|
||||
"sync"
|
||||
"sync/atomic"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
"github.com/aws/aws-sdk-go-v2/service/sqs"
|
||||
)
|
||||
|
||||
// Константы диспатчера.
|
||||
const (
|
||||
// dispatcherQueueSize — буфер envelope перед SQS (~100 msg/s * 100с буфера).
|
||||
dispatcherQueueSize = 10000
|
||||
// dispatcherWorkers — горутин, отправляющих в SQS.
|
||||
dispatcherWorkers = 4
|
||||
// sendMaxAttempts — попыток SendMessage на одно сообщение.
|
||||
sendMaxAttempts = 3
|
||||
|
||||
// maxSQSBodyBytes — потолок размера envelope для SQS.
|
||||
// SQS (и shared-sqs) режут сообщения >256KB — запас на оверхед.
|
||||
maxSQSBodyBytes = 250 * 1024
|
||||
)
|
||||
|
||||
// sqsDispatcher — канал + worker-пул для отправки в SQS.
|
||||
type sqsDispatcher struct {
|
||||
ch chan TelemetryEnvelope
|
||||
client *sqs.Client
|
||||
queueURL string
|
||||
log *slog.Logger
|
||||
wg sync.WaitGroup
|
||||
dropped atomic.Int64
|
||||
}
|
||||
|
||||
// newSQSDispatcher создаёт диспатчер. start() запускает worker-пул.
|
||||
func newSQSDispatcher(client *sqs.Client, queueURL string, log *slog.Logger) *sqsDispatcher {
|
||||
return &sqsDispatcher{
|
||||
ch: make(chan TelemetryEnvelope, dispatcherQueueSize),
|
||||
client: client,
|
||||
queueURL: queueURL,
|
||||
log: log,
|
||||
}
|
||||
}
|
||||
|
||||
// start запускает worker-пул.
|
||||
func (d *sqsDispatcher) start(ctx context.Context) {
|
||||
for i := 0; i < dispatcherWorkers; i++ {
|
||||
d.wg.Add(1)
|
||||
go func(wid int) {
|
||||
defer d.wg.Done()
|
||||
d.worker(ctx, wid)
|
||||
}(i)
|
||||
}
|
||||
}
|
||||
|
||||
// enqueue кладёт envelope в канал НЕблокирующе. false = буфер полон (дроп).
|
||||
func (d *sqsDispatcher) enqueue(e TelemetryEnvelope) bool {
|
||||
select {
|
||||
case d.ch <- e:
|
||||
return true
|
||||
default:
|
||||
n := d.dropped.Add(1)
|
||||
if n%100 == 1 {
|
||||
d.log.Error("bridge: SQS dispatch queue full, dropping",
|
||||
"namespace", e.Namespace, "device", e.DeviceID,
|
||||
"dropped_total", n)
|
||||
}
|
||||
return false
|
||||
}
|
||||
}
|
||||
|
||||
// closeAndWait закрывает канал и ждёт завершения worker'ов (flush).
|
||||
func (d *sqsDispatcher) closeAndWait() {
|
||||
close(d.ch)
|
||||
d.wg.Wait()
|
||||
d.log.Info("bridge: SQS dispatcher stopped", "dropped_total", d.dropped.Load())
|
||||
}
|
||||
|
||||
// worker — цикл отправки из канала с ограниченными ретраями.
|
||||
func (d *sqsDispatcher) worker(ctx context.Context, wid int) {
|
||||
for e := range d.ch {
|
||||
body, err := json.Marshal(e)
|
||||
if err != nil {
|
||||
d.log.Error("bridge: marshal envelope", "worker", wid,
|
||||
"namespace", e.Namespace, "err", err)
|
||||
continue
|
||||
}
|
||||
if len(body) > maxSQSBodyBytes {
|
||||
// Лимит SQS 256KB — такие сообщения не пройдут в принципе
|
||||
// (проверено 2026-08-16: InvalidParameterValue message size
|
||||
// exceeds the limit). Дроп с явным логом.
|
||||
d.log.Error("bridge: payload too large for SQS, dropping",
|
||||
"worker", wid, "namespace", e.Namespace,
|
||||
"device", e.DeviceID, "bytes", len(body),
|
||||
"limit_bytes", maxSQSBodyBytes)
|
||||
continue
|
||||
}
|
||||
if err := d.sendWithRetry(ctx, string(body)); err != nil {
|
||||
d.log.Error("bridge: SQS send failed after retries, dropping",
|
||||
"worker", wid, "namespace", e.Namespace,
|
||||
"device", e.DeviceID, "err", err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// sendWithRetry — SendMessage с backoff 1с/2с/4с.
|
||||
func (d *sqsDispatcher) sendWithRetry(ctx context.Context, body string) error {
|
||||
var lastErr error
|
||||
backoff := time.Second
|
||||
for attempt := 1; attempt <= sendMaxAttempts; attempt++ {
|
||||
_, err := d.client.SendMessage(ctx, &sqs.SendMessageInput{
|
||||
QueueUrl: aws.String(d.queueURL),
|
||||
MessageBody: aws.String(body),
|
||||
})
|
||||
if err == nil {
|
||||
return nil
|
||||
}
|
||||
lastErr = err
|
||||
if ctx.Err() != nil {
|
||||
return lastErr
|
||||
}
|
||||
if attempt < sendMaxAttempts {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return lastErr
|
||||
case <-time.After(backoff):
|
||||
}
|
||||
backoff *= 2
|
||||
}
|
||||
}
|
||||
return lastErr
|
||||
}
|
||||
Reference in New Issue
Block a user