Nail/shared-SQS
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

benchmark: update with real throughput numbers (Python HTTP, no CLI overhead)

Browse Source
This commit is contained in:
Naeel
2026-04-12 19:16:28 +03:00
parent 0afb7c413f
commit 0df1db4a9c
1 changed files with 36 additions and 24 deletions
Download Patch File Download Diff File Expand all files Collapse all files
BENCHMARK-COMPARISON.md
+36 -24
View File
@@ -1,18 +1,38 @@
# Benchmark Comparison
# Benchmark Comparison: shared-SQS vs Yandex Message Queue
Итог сравнительных тестов shared-SQS и Yandex MQ.
Результаты сравнительных тестов shared-SQS и Yandex MQ.
Дата: 2026-04-12.
## Главное
## Ключевые результаты
- shared-SQS показал конкурентоспособные результаты относительно Yandex MQ.
- На основных API-операциях shared-SQS быстрее или на уровне Yandex MQ.
- Проверкой охвачены все 17 поддерживаемых SQS-операций.
- shared-SQS **в 2–2.5x быстрее** Yandex MQ при последовательных запросах.
- При высокой параллельности (50 workers) — **паритет**.
- Cold start shared-SQS — **53ms** vs **131ms** у Yandex MQ.
- Покрытие: все 17 SQS-операций.
## Показательные результаты
## Throughput (SendMessage, Python HTTP)
Прямое сравнение пропускной способности — тот же скрипт, те же условия запуска.
| Режим | shared-SQS | Yandex MQ | Разница |
|---|---:|---:|---|
| Cold start | 53 ms | 131 ms | shared-SQS **2.5x быстрее** |
| Sequential, 100 msg | **25 msg/s** (40 ms avg) | 11 msg/s (94 ms avg) | shared-SQS **2.3x быстрее** |
| 5 workers × 20 msg | **109 msg/s** (9 ms avg) | 46 msg/s (22 ms avg) | shared-SQS **2.4x быстрее** |
| 10 workers × 20 msg | **166 msg/s** (6 ms avg) | 87 msg/s (11 ms avg) | shared-SQS **1.9x быстрее** |
| 20 workers × 20 msg | **226 msg/s** (4 ms avg) | 139 msg/s (7 ms avg) | shared-SQS **1.6x быстрее** |
| 50 workers × 20 msg | **264 msg/s** (4 ms avg) | 267 msg/s (4 ms avg) | паритет |
> Тесты запускались с VM в том же датацентре. Без AWS CLI — чистый HTTP (Python urllib + SigV4).
## Latency по операциям (AWS CLI)
Замеры через `aws-cli` (включают ~700ms overhead на запуск CLI).
Показывают **относительную** разницу между провайдерами.
Формат: min / avg / max / p95, миллисекунды.
| Operation | Yandex MQ | shared-SQS |
| Операция | Yandex MQ | shared-SQS |
|---|---:|---:|
| GetQueueUrl | 766 / 1346 / 2266 / 2060 | 739 / 752 / 770 / 760 |
| GetQueueAttributes | 804 / 820 / 847 / 828 | 738 / 752 / 768 / 765 |
@@ -25,25 +45,17 @@
| DeleteMessageBatch 10 | 818 / 845 / 872 / 864 | 742 / 783 / 821 / 810 |
| ChangeMessageVisibilityBatch 10 | 806 / 829 / 848 / 841 | 803 / 824 / 838 / 836 |
## Покрытие
> Абсолютные цифры включают overhead AWS CLI (~700ms). Реальная latency сервиса — 4–40ms (см. таблицу throughput выше).
В тестах проверены:
- все 17 SQS-операций;
- smoke-сценарии;
- batch операции;
- queue lifecycle;
- tags;
- visibility timeout.
## Покрытие операций
## Throughput
В тестах проверены все 17 SQS-операций:
Тест `SendMessage 1KB`, 5 воркеров по 10 сообщений:
| Provider | Success | Total Time | Approx. Throughput |
|---|---:|---:|---:|
| Yandex MQ | 50 / 50 | 9116 ms | ~5 msg/s |
| shared-SQS | 50 / 50 | 8580 ms | ~5 msg/s |
- **Latency-сравнение (10):** GetQueueUrl, GetQueueAttributes, SendMessage, SendMessageBatch, ReceiveMessage, DeleteMessage, DeleteMessageBatch, ChangeMessageVisibility, ChangeMessageVisibilityBatch, SetQueueAttributes
- **Функционально (4):** CreateQueue, DeleteQueue, ListQueues, PurgeQueue
- **Tag-операции (3):** TagQueue, UntagQueue, ListQueueTags
## Вывод
shared-SQS уже выглядит сильной AWS SQS-compatible реализацией для пользовательских сценариев: latency низкая, batch-операции быстрые, покрытие операций полное.
shared-SQS — полнофункциональная AWS SQS-совместимая реализация.
В прямом сравнении с Yandex MQ: быстрее при малой и средней параллельности, паритет при высокой нагрузке.