241 lines
15 KiB
Markdown
241 lines
15 KiB
Markdown
# SQS-service Progress
|
||
|
||
## Версия v0.1.x
|
||
|
||
### v0.1.24 (2026-04-12) — Prometheus metrics + Victoria Metrics integration
|
||
- ✅ Новый пакет `app/metrics/` — Prometheus counters, histograms, gauges
|
||
- ✅ Endpoint `/metrics` в формате Prometheus (promhttp.Handler)
|
||
- ✅ Метрики: sqs_requests_total, sqs_request_bytes_total, sqs_request_duration_seconds, sqs_errors_total, sqs_queues_count, sqs_messages_count
|
||
- ✅ Labels: tenant, operation — для фильтрации в Grafana
|
||
- ✅ Gauge updater: пересчёт очередей/сообщений per tenant каждые 15s
|
||
- ✅ VMServiceScrape создан в namespace shared-sqs — VMAgent скрейпит каждые 30s
|
||
- ✅ Go 1.23 в Dockerfile (требование prometheus client)
|
||
- ✅ Docker image `naeel/shared-sqs:v0.1.24` — собран и запушен
|
||
- ✅ Live deploy: все метрики отдаются, quick_test 31/31 PASS
|
||
|
||
#### Стресс-тест с нуля (2026-04-12)
|
||
- ✅ Namespace `shared-sqs` удалён и пересоздан с нуля
|
||
- ✅ Обнаружен и исправлен сменившийся пароль Redis (managed сервис обновил credentials)
|
||
- ✅ Обнаружено и исправлено: `server-snippet` аннотация заблокирована nginx ingress controller как "risky" — удалена из ingress.yaml
|
||
- ✅ Pod kill → восстановление за ~3 секунды, auto-reconnect Redis + PG
|
||
- ✅ Quick test: 31/31 PASS (приватная репа), 7/7 + 18/18 PASS (публичная репа)
|
||
- ✅ Нагрузка: 5 тенантов, 15 очередей, 120 сообщений (90 single + 30 batch), 90 received
|
||
- ✅ Billing PG: 176 записей, все 17 типов операций
|
||
- ✅ Prometheus /metrics: все sqs_* метрики заполнены реальными данными по тенантам
|
||
|
||
### v0.1.23 (2026-04-12) — billing: учёт SQS-операций в PostgreSQL
|
||
- ✅ Новый пакет `app/billing/` — подключение к PG, auto-migrate, async запись usage
|
||
- ✅ Интеграция в actionHandler — каждая успешная SQS-операция записывается
|
||
- ✅ Опциональность: если BILLING_PG_HOST не задан — billing выключен, SQS работает как раньше
|
||
- ✅ Helm chart: секция `billing:` в values.yaml, secret-billing.yaml, env в deployment.yaml
|
||
- ✅ Таблица `sqs_usage_records`: tenant_id, operation, queue_name, msg_count, msg_bytes, recorded_at
|
||
- ✅ Docker image `naeel/shared-sqs:v0.1.23` — собран и задеплоен с PG credentials
|
||
- ✅ Live: billing данные пишутся в PostgreSQL (17 типов операций за тест)
|
||
|
||
### v0.1.22 (2026-04-12) — demo UI showcase mode deployed
|
||
- ✅ Demo UI token поддержан сервером: `demo-ui-shared-sqs-ngcloud-2026`
|
||
- ✅ Реальный JWT login сохранён без изменений
|
||
- ✅ UI API ограничен текущим tenant-ом, без обзора всех tenant-ов
|
||
- ✅ Собран и запушен image `naeel/shared-sqs:v0.1.22`
|
||
- ✅ Live deployment обновлён до `naeel/shared-sqs:v0.1.22`
|
||
- ✅ Live smoke validation: `bash tests/quick_test.sh` → `31/31 PASS`
|
||
- ✅ Demo token на live `/ui/api/auth` возвращает demo tenant `t-demo-shared-sqs-ngcloud`
|
||
|
||
### v0.1.22-dev (2026-04-12) — demo UI login + UI tenant scoping
|
||
- ✅ Добавлен публичный UI demo token: `demo-ui-shared-sqs-ngcloud-2026`
|
||
- ✅ Demo token маппится на уже сидированный demo tenant `t-demo-shared-sqs-ngcloud`
|
||
- ✅ UI API больше не показывает чужие tenant-ы: `GET /ui/api/tenants` возвращает только текущий tenant
|
||
- ✅ UI health для авторизованного пользователя считает только его очереди и сообщения
|
||
- ✅ Создание и удаление tenant-а через UI отключены, чтобы demo/login-console не выглядела как admin panel
|
||
- ✅ Узкая валидация: `go test ./app/admin` PASS
|
||
- ✅ Публичный showcase README синхронизирован с новым demo UI token
|
||
|
||
### v0.1.21 (2026-04-11) — Redis schema v2 + per-message persistence
|
||
- ✅ Redis schema v2: metadata в HASH `ssq:queues`, сообщения в отдельных HASH `ssq:msg:{queueKey}`
|
||
- ✅ Per-message persistence: каждая операция (send/receive/delete/visibility) пишет только затронутое сообщение
|
||
- ✅ Migration v1→v2: автоматическая миграция при старте (59 очередей мигрировано)
|
||
- ✅ quick_test: 31/31 PASS
|
||
- ✅ shared_sqs_test: 28/28 PASS
|
||
- **Docker image:** `naeel/shared-sqs:v0.1.21`
|
||
|
||
### Производительность v0.1.21 (benchmark)
|
||
|
||
| Размер | shared-sqs | Yandex MQ | Сравнение |
|
||
|--------|-----------|-----------|-----------|
|
||
| 1KB | ~800ms | ~700ms | Паритет |
|
||
| 10KB | **880-965ms** | 916-996ms | **Быстрее** |
|
||
| 32KB | **883-939ms** | 905-948ms | **Быстрее** |
|
||
|
||
- Детальный сравнительный отчёт по API операциям: [doc/api/benchmark-comparison-2026-04-12.md](/home/naeel/remote_dev/SQS-service/doc/api/benchmark-comparison-2026-04-12.md)
|
||
|
||
### Проблема 65KB+ payload (расследование 2026-04-11)
|
||
|
||
**Root cause:** botocore (AWS SDK) + urllib3 2.0 + TLS record boundary.
|
||
- urllib3 2.0 отправляет headers и body двумя отдельными send() вызовами
|
||
- botocore убирает TCP_NODELAY (алгоритм Nagle включён)
|
||
- Последняя TLS-запись (~16KB) застревает из-за Nagle + delayed ACK
|
||
- nginx `client_body_timeout` срабатывает → HTTP 408
|
||
|
||
**Попытка фикса nginx:**
|
||
- ConfigMap: `client-body-timeout: "120"`, `client-body-buffer-size: "2m"` — применилось
|
||
- Аннотация `proxy-request-buffering: "off"` — НЕ подхватилась shturval controller
|
||
- pip boto3 (Python 3.12): исправлено (84ms → 13ms) ✅
|
||
- AWS CLI (Python 3.14.3 bundled): всё ещё зависает (51843ms) ❌
|
||
|
||
**Финальный вывод (2026-04-12):**
|
||
- проблема локализована на стороне platform ingress controller штурвала, а не в Go-сервисе shared-sqs;
|
||
- ingress приложения корректен, но controller выборочно применяет аннотации: `proxy-body-size` и `client-body-buffer-size` доходят до nginx.conf, а `proxy-request-buffering` остаётся `on`;
|
||
- upstream ingress-nginx эту аннотацию поддерживает, значит это platform-specific limitation/bug;
|
||
- hard-limit 32KB в код shared-sqs НЕ вводим;
|
||
- 32KB остаётся практической рекомендацией для AWS CLI / botocore в текущей инфраструктуре.
|
||
- внешние ссылки для повторного разбора сохранены в `doc/thinking/2026-04-12.md`, `doc/errors/65kb-payload-timeout-2026-04-11.md` и `doc/decisions/message-size-limit-2026-04-11.md`.
|
||
|
||
### v0.1.19 (2026-04-11) ✅ — ПРЕДЫДУЩАЯ DEPLOYED
|
||
- ✅ Валидация VisibilityTimeout (0–43200) в ReceiveMessage
|
||
- ✅ Валидация WaitTimeSeconds (0–20) в ReceiveMessage
|
||
- ✅ Пустой MessageBody → MissingParameter в SendMessage
|
||
- ✅ quick_test: **31/31** ✅
|
||
- ✅ hardcore_test: **114/116** ✅ (2 flaky — 100KB TLS, не баг сервера)
|
||
- ✅ stress_test: **21/23** ✅ (2 flaky — сеть/nginx, не баг сервера)
|
||
- **Docker image:** `naeel/shared-sqs:v0.1.19`
|
||
- **Helm:** `deployments/helm/shared-sqs/` appVersion v0.1.19
|
||
|
||
### v0.1.18 (2026-04-11) ✅
|
||
- ✅ 4 новые API команды: ChangeMessageVisibilityBatch, TagQueue, UntagQueue, ListQueueTags
|
||
- ✅ Итого API: **17 команд** (полная Yandex/AWS SQS совместимость)
|
||
- ✅ security: fix critical/high auth, idor, races and persistence
|
||
- ✅ security: address medium risks in jwt, redis ordering and body limit
|
||
- ✅ perf: optimize receive long polling and finalize formatting cleanup
|
||
|
||
### v0.1.15 (2026-04-10) ✅
|
||
- ✅ JWT auth через nubes API (deck-api-test.ngcloud.ru)
|
||
- ✅ Login page в UI (ввод токена → валидация → auto-provisioning tenant)
|
||
- ✅ /ui/api/* защищены JWT middleware
|
||
- ✅ TenantID совместим с sless namespace: sless-{SHA256(sub)[:8]}
|
||
|
||
### v0.1.14 (2026-04-10) ✅
|
||
- ✅ Фикс критического дедлока в `create_queue.go`
|
||
- ✅ Фикс UI: `m.sent` → `m.sent_at`
|
||
- ✅ Redis write-through persistence
|
||
- ✅ TLS Ingress: `qu.kube5s.ru`
|
||
|
||
### Security & Compatibility Wave (2026-04-10) ✅
|
||
- ✅ SigV4 подпись, IDOR fix, map race fix, persistence sync
|
||
- ✅ shared_sqs_test.sh PASS=28 FAIL=0
|
||
|
||
## Стресс-тестирование (2026-04-11) ✅
|
||
|
||
### Результаты stress_test.sh v2 (финальный прогон)
|
||
|
||
| # | Секция | Результат | Детали |
|
||
|---|--------|-----------|--------|
|
||
| 1 | Подготовка (тенанты, очереди) | ✅ | 3 тенанта, автогенерация AK/SK |
|
||
| 2 | Конкурентная отправка (10×20) | ✅ | 200/200 доставлено |
|
||
| 3 | Конкурентное чтение | ✅ | 200 прочитано, 200 удалено, 0 в очереди |
|
||
| 4 | Multi-tenant изоляция | ✅ | 0 чужих сообщений, 3×30=90 своих |
|
||
| 5 | Burst (50 одновременно) | ✅ | 50/50 доставлено |
|
||
| 6 | Kill pod + восстановление | ✅ | Данные из Redis — 100% recovery |
|
||
| 7 | Redis disconnect | ✅ | HTTP 200 из кеша, graceful degradation |
|
||
| 8 | Смешанная нагрузка (15s) | ✅* | send+recv+delete+attr, 1 flaky attr |
|
||
| 9 | Cleanup | ✅ | Тенанты и очереди удалены |
|
||
|
||
**Итого: 21/23 ✅, 2 ❌ (flaky сеть, не баги сервера)**
|
||
|
||
### Покрытие тестами
|
||
|
||
| Тест | Что проверяет | Результат |
|
||
|------|---------------|-----------|
|
||
| quick_test.sh | 17 SQS команд, smoke | 31/31 ✅ |
|
||
| hardcore_test.sh | Edge cases, лимиты, ошибки | 114/116 ✅ |
|
||
| stress_test.sh | Конкурентность, resilience, isolation | 21/23 ✅ |
|
||
| **Всего** | | **166/170 ✅ (97.6%)** |
|
||
|
||
## Next Steps
|
||
|
||
- [ ] Перед production без demo user удалить из кода demo UI token path, seeded demo tenant, demo credentials в README и все публичные demo-подсказки в UI
|
||
- [ ] Если demo path нужен дольше, сначала вынести его под явный feature flag с default=off для production окружения
|
||
- [ ] Per-queue locking (заменить глобальный мьютекс на per-queue sync.RWMutex)
|
||
- [ ] DLQ (Dead Letter Queue) — maxReceiveCount → перемещение в DLQ
|
||
- [ ] Rate limiting per tenant
|
||
- [ ] Prometheus метрики (exporter)
|
||
- [ ] Горизонтальное масштабирование (leader election или Redis-based state)
|
||
- [ ] Long polling оптимизация (channel-based вместо 100ms polling)
|
||
- [ ] Go unit tests (`go test ./...`)
|
||
|
||
### v0.1.15 (2026-04-10) ✅
|
||
- ✅ JWT auth через nubes API (deck-api-test.ngcloud.ru)
|
||
- ✅ Login page в UI (ввод токена → валидация → auto-provisioning tenant)
|
||
- ✅ Email пользователя в navbar
|
||
- ✅ /ui/api/* защищены JWT middleware (больше не публичные)
|
||
- ✅ TenantID совместим с sless namespace: sless-{SHA256(sub)[:8]}
|
||
- ✅ Сессия в localStorage (token + email)
|
||
- [ ] Docker build + deploy + E2E test
|
||
|
||
## Known Limitations
|
||
|
||
1. **Глобальный мьютекс** — SyncQueues.Lock() на весь сервис. При >50 rps — bottleneck.
|
||
Стресс-тест подтвердил: работает корректно (нет deadlock/race), но сериализует все операции.
|
||
2. **Нет DLQ** — сообщения после maxReceiveCount не перемещаются. Для production — must-have.
|
||
3. **Long Polling наивный** — polling каждые 100ms. При 20 клиентах = 200 poll/sec на пустую очередь.
|
||
4. **Нет rate limiting** — один тенант может degradировать сервис для остальных.
|
||
5. **Single pod** — replicas > 1 не работает из-за глобального мьютекса (два пода = два state).
|
||
6. **Нет метрик** — Prometheus exporter отсутствует.
|
||
7. **100KB сообщения** — 2/116 flaky в hardcore_test (TLS/nginx buffer, не баг сервера).
|
||
|
||
## Architecture
|
||
|
||
```
|
||
SQS-service/
|
||
├── app/
|
||
│ ├── cmd/main.go — точка входа
|
||
│ ├── models/model.go — Queue, Message, Tenant структуры
|
||
│ ├── gosqs/*.go — реализация SQS API операций
|
||
│ ├── admin/admin.go — Admin API (Create/List/Get Tenant)
|
||
│ ├── tenant/tenant.go — Multi-tenant изоляция
|
||
│ ├── auth/auth.go — AWS Signature V4 верификация
|
||
│ ├── persistence/redis.go — Redis adapter для persistence
|
||
│ ├── router/router.go — HTTP маршруты
|
||
│ └── ui/index.html — Web Console
|
||
├── deployments/k8s/ — Kubernetes манифесты
|
||
├── tests/ — E2E тесты
|
||
└── doc/ — Документация
|
||
```
|
||
|
||
## Technology Stack
|
||
|
||
- **Language**: Go 1.22
|
||
- **HTTP Server**: Go std net/http
|
||
- **Auth**: AWS Signature V4
|
||
- **Storage**: Redis (write-through)
|
||
- **Container**: Docker
|
||
- **Orchestration**: Kubernetes
|
||
- **DNS**: Ingress с TLS
|
||
|
||
## Demo Credentials (read-only для тестирования)
|
||
|
||
```
|
||
Access Key: SSAK-demo-shared-sqs
|
||
Secret Key: demo-secret-key-shared-sqs-ngcloud-2026
|
||
Endpoint: https://qu.kube5s.ru
|
||
```
|
||
|
||
TODO перед production без demo-доступа:
|
||
- удалить demo token path из [app/admin/admin.go](/home/naeel/remote_dev/SQS-service/app/admin/admin.go)
|
||
- выключить/удалить seeded demo tenant
|
||
- удалить публичные demo credentials и demo token из пользовательской документации
|
||
- убрать demo-подсказки из [app/ui/index.html](/home/naeel/remote_dev/SQS-service/app/ui/index.html)
|
||
|
||
## Deployment
|
||
|
||
```bash
|
||
# Kubernetes
|
||
kubectl apply -k deployments/k8s/
|
||
|
||
# Docker (local)
|
||
docker run -p 9090:9090 naeel/shared-sqs:v0.1.14
|
||
```
|
||
|
||
---
|
||
|
||
*Last updated: 2026-04-10*
|