fix: review findings (async SQS dispatcher, backoff, batch insert, shutdown order, pagination, HMAC) + loadtest fixes; v0.1.6
This commit is contained in:
@@ -20,6 +20,9 @@ import (
|
||||
// errorBackoff — пауза между попытками при ошибках SQS.
|
||||
const errorBackoff = 5 * time.Second
|
||||
|
||||
// maxProcessBackoff — потолок backoff после ошибок обработки (PG).
|
||||
const maxProcessBackoff = 60 * time.Second
|
||||
|
||||
// Run — бесконечный long-poll цикл потребителя.
|
||||
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
|
||||
queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
|
||||
@@ -50,15 +53,31 @@ func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, store *
|
||||
continue
|
||||
}
|
||||
|
||||
processBackoff := time.Second
|
||||
for _, msg := range resp.Messages {
|
||||
if msg.Body == nil {
|
||||
if msg.Body == nil || *msg.Body == "" {
|
||||
log.Warn("consumer: empty message body, deleting",
|
||||
"message_id", aws.ToString(msg.MessageId))
|
||||
if err := deleteMessage(ctx, sqsClient, queueURL, msg.ReceiptHandle, log); err != nil {
|
||||
log.Error("consumer: DeleteMessage failed", "err", err, "message_id", aws.ToString(msg.MessageId))
|
||||
}
|
||||
continue
|
||||
}
|
||||
if err := processTelemetry(ctx, *msg.Body, store, log); err != nil {
|
||||
log.Error("consumer: process telemetry", "err", err, "message_id", aws.ToString(msg.MessageId))
|
||||
// Сообщение вернётся в очередь после visibility timeout.
|
||||
// Backoff с jitter — не долбить упавший PG в цикле
|
||||
// (фикс HIGH из ревью 2026-08-16: лавина ретраев).
|
||||
if !sleepCtx(ctx, processBackoff) {
|
||||
break
|
||||
}
|
||||
processBackoff *= 2
|
||||
if processBackoff > maxProcessBackoff {
|
||||
processBackoff = maxProcessBackoff
|
||||
}
|
||||
continue
|
||||
}
|
||||
processBackoff = time.Second
|
||||
if err := deleteMessage(ctx, sqsClient, queueURL, msg.ReceiptHandle, log); err != nil {
|
||||
log.Error("consumer: DeleteMessage failed", "err", err, "message_id", aws.ToString(msg.MessageId))
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user