HISTORY: фиксы гонок map, инцидент с рестартами пода

This commit is contained in:
“Naeel”
2026-08-14 18:52:48 +04:00
parent c4da02c814
commit 8c00c05d0c
+25
View File
@@ -568,3 +568,28 @@ DeleteQueue всегда успешен; NextSequenceNumber пересоздаё
**Осталось**: логин в консоль для применения лимита 50 к существующему тенанту,
затем повторный 30-мин нагрузочный тест.
## Фиксы гонок map — под падал под нагрузкой (14.08.2026)
**Инцидент**: 30-мин прогон показал 4 сбоя /health; под перезапускался 2 раза
(Exit Code 2). Логи упавшего контейнера: `fatal error: concurrent map read and map write`,
горутина `ChangeMessageVisibilityV1`, `change_message_visibility.go:50` —
чтение `SyncQueues.Queues[key]` БЕЗ блокировки; писатель — DeleteQueueV1 (delete под Lock),
массово вызываемый тестом.
**Анализ Соннета** (подтверждён): 3 файла читают map до Lock; смежный риск nil-deref
(очередь удаляется между проверкой и Lock); receive_message.go имел два RLock с окном
nil-deref; рекомендован перенос проверки внутрь Lock + defer Unlock.
**Исправлено (v0.1.35, digest `sha256:7436efd8…`)**:
- `change_message_visibility.go`: проверка существования внутри Lock, defer Unlock.
- `change_message_visibility_batch.go`: то же.
- `delete_message_batch.go`: то же.
- `send_message.go`: nil-guard под Lock + повторная проверка OOM-лимита под Lock.
- `send_message_batch.go`: nil-guard под Lock.
- `receive_message.go`: один RLock вместо двух (nil-deref окно закрыто).
- `errors.go`: добавлен код ошибки `OverLimit` (раньше отсутствовал — zero SqsErrorType).
**Проверки**: go build/vet OK, models-тесты OK; короткий прогон 120с: неожиданных 2
(оба сетевые ReadTimeout), сервисных 0, health_fail 0; под restarts 0.
30-мин прогон запущен 18:52:18 +04 — в процессе.