From e31f88ba6b6ec9f29fcd47b958dc2cdaddd01bbb Mon Sep 17 00:00:00 2001
From: Repinoid <tazet@narod.ru>
Date: Sat, 10 Oct 2026 18:53:34 +0300
Subject: [PATCH] =?UTF-8?q?fix(iot):=20=D0=BF=D0=BE=D1=81=D1=82=D1=80?=
 =?UTF-8?q?=D0=BE=D1=87=D0=BD=D1=8B=D0=B9=20fallback=20=D0=BF=D1=80=D0=B8?=
 =?UTF-8?q?=20=D0=BF=D0=BE=D1=81=D1=82=D0=BE=D1=8F=D0=BD=D0=BD=D0=BE=D0=B9?=
 =?UTF-8?q?=20=D0=BE=D1=88=D0=B8=D0=B1=D0=BA=D0=B5=20=D0=B1=D0=B0=D1=82?=
 =?UTF-8?q?=D1=87=D0=B0=20(=F0=9F=94=B42)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

Одна «ядовитая» строка (NULL/пустой payload, \u0000 в JSONB, битый JSON)
ронила весь multi-VALUES батч (до telemetryBatchSize валидных строк), который
классифицировался как permanent и выбрасывался целиком.

Добавлен flushRowsIndividually: при не-retryable ошибке батча вставляем строки
по одной (ON CONFLICT DO NOTHING) — валидные сохраняются, битая логируется.
---
 internal/storage/iotpg/iot_telemetry_store.go | 31 +++++++++++++++++++
 1 file changed, 31 insertions(+)

diff --git a/internal/storage/iotpg/iot_telemetry_store.go b/internal/storage/iotpg/iot_telemetry_store.go
index 36eac09..6064b02 100644
--- a/internal/storage/iotpg/iot_telemetry_store.go
+++ b/internal/storage/iotpg/iot_telemetry_store.go
@@ -209,9 +209,40 @@ func (s *IoTPostgresStore) flushTenant(ctx context.Context, ns string, rows []te
 	}
 	sb.WriteString(" ON CONFLICT DO NOTHING")
 	_, err = tenantDB.ExecContext(ctx, sb.String(), args...)
+	if err != nil && !isRetryableFlushErr(err) {
+		// Построчный fallback: одна «ядовитая» строка (NULL/пустой payload,
+		// \u0000 в JSONB, битый JSON) роняет весь multi-VALUES батч (до
+		// telemetryBatchSize валидных строк). Вставляем по одной — валидные
+		// сохраняются, битая логируется, namespace не блокируется (ревью 🔴2).
+		s.flushRowsIndividually(ctx, tenantDB, ns, rows)
+	}
 	return err
 }
 
+// flushRowsIndividually — построчная вставка при ПОСТОЯННОЙ ошибке батча.
+// Вызывается только из flushTenant, когда ошибка НЕ retryable (т.е. это данные,
+// а не сеть/PG). Каждая строка вставляется отдельным INSERT ... ON CONFLICT DO
+// NOTHING: валидные сохраняются, битая — логируется и пропускается (не роняет
+// соседние и не блокирует namespace вечными ретраями).
+func (s *IoTPostgresStore) flushRowsIndividually(ctx context.Context, tenantDB *sql.DB, ns string, rows []telemetryInsert) {
+	for _, r := range rows {
+		var mid any
+		if r.messageID != "" {
+			mid = r.messageID
+		}
+		ts := r.ts
+		if ts.IsZero() {
+			ts = time.Now().UTC()
+		}
+		_, err := tenantDB.ExecContext(ctx,
+			`INSERT INTO iot_telemetry (device_id, payload, message_id, ts) VALUES ($1, $2, $3, $4) ON CONFLICT DO NOTHING`,
+			r.deviceID, r.payload, mid, ts)
+		if err != nil {
+			s.log.Error("iotpg: poison row dropped", "namespace", ns, "device", r.deviceID, "err", err)
+		}
+	}
+}
+
 // NewFromEnv создаёт store из env var IOT_PG_DSN.
 // Возвращает (nil, nil) если переменная не задана — IoT Postgres опционален.
 func NewFromEnv(log *slog.Logger) (*IoTPostgresStore, error) {