Naeel
e9a26f7975
Phase 1 (Critical): - #1 JWT auth (done in v0.1.16) - #2 Batch message size validation in send_message_batch.go - #10 RLock in GetQueueUrlV1 (data race fix) Phase 2 (AWS-compatible limits): - #3 QueueName validation: max 80 chars, [a-zA-Z0-9_-](.fifo)? - #4 WaitTimeSeconds clamped to 0-20 - #5 ReceiveMessageWaitTimeSeconds clamped to 0-20 - #6 DelaySeconds clamped to 0-900 - #7 VisibilityTimeout clamped to 0-43200 - #8 MaxNumberOfMessages clamped to 1-10 - #9 Message attributes limited to 10 per message - #15 BatchEntryId length validated (max 80) - #16 DeduplicationID length validated (max 128) - #17 GroupID length validated (max 128) Phase 3 (Per-tenant resource limits): - #11 Max messages per queue (120K standard, 20K FIFO) - #12 Global tenant limit (1000) - #3.5 HTTP request body size limit (1MB via MaxBytesReader) Phase 4 (Stability): - #14 Duplicates map cleanup (already in PeriodicTasks) - #13 FIFO group lock timeout (already in visibility timeout reset) - #18 Redis size guard: skip save if >50MB Skipped (Low, no real risk): - #19 {account} URL param (informational only, not used for access) - #20 ReceiptHandle format (self-validating UUID#UUID) New file: app/gosqs/validation.go — centralized AWS SQS limits and validators
SQS-service — Multi-Tenant Message Queue Service
Совместимый с AWS SQS сервис очередей сообщений с поддержкой нескольких изолированных тенантов, developed from GoAws.
Возможности
- AWS SQS API-совместимый — работает с AWS SDK без изменений кода
- Многотенантность — каждый тенант имеет отдельный Access Key и Secret Key
- Redis persistence — очереди и сообщения сохраняются при перезапуске сервиса
- Web UI Console — управление тенантами и просмотр сообщений
- Kubernetes-ready — Helm/манифесты, TLS Ingress, здоровье-checks
- Admin API — управление тенантами программно
Быстрый старт
Локально
docker run -d -p 9090:9090 naeel/shared-sqs:latest
# Откройте http://localhost:9090
На Kubernetes
kubectl apply -k deployments/k8s/
Сборка локально
go build -o shared-sqs ./app/cmd
./shared-sqs --port 9090
Архитектура
app/
├── cmd/ — точка входа
├── models/ — структуры данных (Queue, Message, Tenant)
├── gosqs/ — реализация SQS API
├── admin/ — Admin API (Create Tenant, Get Tenant и т.д.)
├── tenant/ — изоляция и авторизация по тенанту
├── auth/ — AWS Signature V4 верификация
├── persistence/ — Redis adapter
├── router/ — HTTP маршруты
└── ui/ — Web Console (HTML/JS)
deployments/k8s/
├── deployment.yaml — Deployment с Redis sidecar
├── ingress.yaml — TLS, qu.kube5s.ru
└── redis.yaml — Redis Persistent Volume
Окружение
| Переменная | Значение | Описание |
|---|---|---|
PORT |
9090 | Порт HTTP сервера |
REDIS_URL |
localhost:6379 | Redis для persistence |
SHARED_SQS_SEED_DEMO |
true/false | Загрузить demo данные на старте |
API примеры
Создать очередь (как тенант)
curl -X POST "http://localhost:9090/" \
-H "Authorization: AWS4-HMAC-SHA256 Credential=SSAK-demo-shared-sqs/20260410/us-east-1/sqs/aws4_request" \
-d "Action=CreateQueue&QueueName=myqueue&Version=2012-11-05"
Отправить сообщение
aws sqs send-message \
--endpoint-url http://localhost:9090 \
--queue-url http://localhost:9090/demo-shared-sqs/myqueue \
--message-body "Hello World"
История
- v0.1.11 — Redis write-through persistence
- v0.1.13 — Фикс критического дедлока в CreateQueue
- v0.1.14 — Фикс UI (sent_at поле), TLS Ingress
Документация
- PLAN.md — детальный план разработки
- doc/byoc-credentials.md — BYOC интеграция
Ссылки
- Репо: https://gitea.services.ngcloud.ru/Nail/SQS-service
- Demo (dev): https://qu.kube5s.ru
- Основана на: GoAws