IoT/internal/service/consumer/consumer.go

// Package consumer — чтение shared-SQS → per-tenant PostgreSQL.
//
// Роль старого sqs-consumer внутри монолита: long-poll цикл, обработка
// envelope телеметрии, DeleteMessage после успешной записи (at-least-once).
package consumer

import (
	"context"
	"errors"
	"log/slog"
	"time"

	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/service/sqs"

	"gitea.services.ngcloud.ru/Nail/IoT/internal/service/config"
	"gitea.services.ngcloud.ru/Nail/IoT/internal/service/sqsclient"
	"gitea.services.ngcloud.ru/Nail/IoT/internal/storage/iotpg"
)

// errorBackoff — пауза между попытками при ошибках SQS.
const errorBackoff = 5 * time.Second

// maxProcessBackoff — потолок backoff после ошибок обработки (PG).
const maxProcessBackoff = 60 * time.Second

// Run — бесконечный long-poll цикл потребителя.
func Run(ctx context.Context, cfg *config.Config, sqsClient *sqs.Client, store *iotpg.IoTPostgresStore, log *slog.Logger) error {
	queueURL, err := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSQueueName)
	if err != nil {
		return err
	}
	// DLQ присутствует не всегда: резолвим лениво, отказ не фатален (битые
	// сообщения тогда просто НЕ подтверждаются и оседают после ретраев).
	dlqURL, dlqErr := sqsclient.ResolveQueueURL(ctx, sqsClient, cfg.SQSDLQName)
	if dlqErr != nil {
		log.Warn("consumer: DLQ не найдена, битые сообщения будут только логироваться", "dlq", cfg.SQSDLQName, "err", dlqErr)
		dlqURL = ""
	}
	log.Info("consumer: SQS queue resolved", "queue", cfg.SQSQueueName, "dlq", cfg.SQSDLQName)

	for {
		if ctx.Err() != nil {
			break
		}

		resp, err := sqsClient.ReceiveMessage(ctx, &sqs.ReceiveMessageInput{
			QueueUrl:            aws.String(queueURL),
			MaxNumberOfMessages: 10,
			WaitTimeSeconds:     int32(cfg.SQSLongPollSeconds),
			VisibilityTimeout:   int32(cfg.SQSVisibilityTimeout),
		})
		if err != nil {
			if ctx.Err() != nil {
				break
			}
			log.Error("consumer: ReceiveMessage failed", "err", err)
			if !sleepCtx(ctx, errorBackoff) {
				break
			}
			continue
		}

		processBackoff := time.Second
		// Копим подтверждения, но НЕ удаляем из SQS сразу: InsertTelemetry лишь
		// буферизует и возвращает nil до фактической записи. Удаляем только после
		// успешного Flush — иначе краш/flush-ошибка = потеря подтверждённых
		// сообщений (P0-7).
		type pendingAck struct {
			handle string
			id     string
		}
		var pending []pendingAck
		for _, msg := range resp.Messages {
			if msg.Body == nil || *msg.Body == "" {
				log.Warn("consumer: empty message body", "message_id", aws.ToString(msg.MessageId))
				pending = append(pending, pendingAck{aws.ToString(msg.ReceiptHandle), aws.ToString(msg.MessageId)})
				continue
			}
			if err := processTelemetry(ctx, *msg.Body, store, log); err != nil {
				// Битый envelope → DLQ (а не бесконечный ретрай и не потеря):
				// кладём тело в DLQ, затем подтверждаем основное сообщение.
				if errors.Is(err, errInvalidEnvelope) {
					if dlqURL != "" {
						if derr := sendToDLQ(ctx, sqsClient, dlqURL, *msg.Body, log); derr != nil {
							log.Error("consumer: send to DLQ failed", "err", derr, "message_id", aws.ToString(msg.MessageId))
						}
					} else {
						log.Warn("consumer: invalid envelope dropped (DLQ отсутствует)", "message_id", aws.ToString(msg.MessageId))
					}
					// Подтверждаем: DLQ-отправка (или логирование) — терминальная обработка.
					pending = append(pending, pendingAck{aws.ToString(msg.ReceiptHandle), aws.ToString(msg.MessageId)})
					continue
				}
				log.Error("consumer: process telemetry", "err", err, "message_id", aws.ToString(msg.MessageId))
				// Сообщение НЕ подтверждаем — вернётся после visibility timeout.
				// Backoff с jitter — не долбить упавший PG в цикле
				// (фикс HIGH из ревью 2026-08-16: лавина ретраев).
				if !sleepCtx(ctx, processBackoff) {
					break
				}
				processBackoff *= 2
				if processBackoff > maxProcessBackoff {
					processBackoff = maxProcessBackoff
				}
				continue
			}
			processBackoff = time.Second
			pending = append(pending, pendingAck{aws.ToString(msg.ReceiptHandle), aws.ToString(msg.MessageId)})
		}

		if len(pending) == 0 {
			continue
		}
		// Сначала гарантируем запись в БД, только потом удаляем из SQS.
		if err := store.Flush(ctx); err != nil {
			log.Error("consumer: flush failed — сообщения НЕ удалены, вернутся после visibility timeout", "err", err)
			continue
		}
		for _, p := range pending {
			if err := deleteMessage(ctx, sqsClient, queueURL, p.handle, log); err != nil {
				log.Error("consumer: DeleteMessage failed", "err", err, "message_id", p.id)
			}
		}
	}

	log.Info("consumer: shutting down")
	return nil
}

// deleteMessage удаляет обработанное сообщение из очереди.
func deleteMessage(ctx context.Context, client *sqs.Client, queueURL string, receiptHandle string, log *slog.Logger) error {
	_, err := client.DeleteMessage(ctx, &sqs.DeleteMessageInput{
		QueueUrl:      aws.String(queueURL),
		ReceiptHandle: aws.String(receiptHandle),
	})
	return err
}

// sendToDLQ — кладёт битое неразборчивое сообщение в DLQ для диагностики.
func sendToDLQ(ctx context.Context, client *sqs.Client, dlqURL, body string, log *slog.Logger) error {
	_, err := client.SendMessage(ctx, &sqs.SendMessageInput{
		QueueUrl:    aws.String(dlqURL),
		MessageBody: aws.String(body),
	})
	return err
}

// sleepCtx — ожидание с прерыванием по ctx. false = ctx завершён.
func sleepCtx(ctx context.Context, d time.Duration) bool {
	select {
	case <-ctx.Done():
		return false
	case <-time.After(d):
		return true
	}
}