HISTORY: фиксы гонок map, инцидент с рестартами пода
This commit is contained in:
@@ -568,3 +568,28 @@ DeleteQueue всегда успешен; NextSequenceNumber пересоздаё
|
||||
**Осталось**: логин в консоль для применения лимита 50 к существующему тенанту,
|
||||
затем повторный 30-мин нагрузочный тест.
|
||||
|
||||
## Фиксы гонок map — под падал под нагрузкой (14.08.2026)
|
||||
|
||||
**Инцидент**: 30-мин прогон показал 4 сбоя /health; под перезапускался 2 раза
|
||||
(Exit Code 2). Логи упавшего контейнера: `fatal error: concurrent map read and map write`,
|
||||
горутина `ChangeMessageVisibilityV1`, `change_message_visibility.go:50` —
|
||||
чтение `SyncQueues.Queues[key]` БЕЗ блокировки; писатель — DeleteQueueV1 (delete под Lock),
|
||||
массово вызываемый тестом.
|
||||
|
||||
**Анализ Соннета** (подтверждён): 3 файла читают map до Lock; смежный риск nil-deref
|
||||
(очередь удаляется между проверкой и Lock); receive_message.go имел два RLock с окном
|
||||
nil-deref; рекомендован перенос проверки внутрь Lock + defer Unlock.
|
||||
|
||||
**Исправлено (v0.1.35, digest `sha256:7436efd8…`)**:
|
||||
- `change_message_visibility.go`: проверка существования внутри Lock, defer Unlock.
|
||||
- `change_message_visibility_batch.go`: то же.
|
||||
- `delete_message_batch.go`: то же.
|
||||
- `send_message.go`: nil-guard под Lock + повторная проверка OOM-лимита под Lock.
|
||||
- `send_message_batch.go`: nil-guard под Lock.
|
||||
- `receive_message.go`: один RLock вместо двух (nil-deref окно закрыто).
|
||||
- `errors.go`: добавлен код ошибки `OverLimit` (раньше отсутствовал — zero SqsErrorType).
|
||||
|
||||
**Проверки**: go build/vet OK, models-тесты OK; короткий прогон 120с: неожиданных 2
|
||||
(оба сетевые ReadTimeout), сервисных 0, health_fail 0; под restarts 0.
|
||||
30-мин прогон запущен 18:52:18 +04 — в процессе.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user