From 8933b91aa54c197ce7ed6b2c3517331f9a5b405d Mon Sep 17 00:00:00 2001 From: Naeel Date: Sun, 12 Apr 2026 08:56:44 +0300 Subject: [PATCH] docs: expand benchmark coverage summary --- BENCHMARK-COMPARISON.md | 39 +++++++++++++++++++++++++++++++++++++++ 1 file changed, 39 insertions(+) diff --git a/BENCHMARK-COMPARISON.md b/BENCHMARK-COMPARISON.md index 5b8fff6..0a11ddc 100644 --- a/BENCHMARK-COMPARISON.md +++ b/BENCHMARK-COMPARISON.md @@ -9,6 +9,7 @@ - shared-sqs показал конкурентоспособные результаты относительно Yandex MQ. - На основных API-операциях shared-sqs в текущем прогоне быстрее или на уровне Yandex MQ. - На batch-операциях shared-sqs также выглядит сильно. +- Проверка не ограничивалась 2-3 вызовами: покрыты все 17 поддерживаемых SQS-операций, но в разных режимах проверки. ## Короткий вывод @@ -31,6 +32,44 @@ | DeleteMessageBatch 10 | 818 / 845 / 872 / 864 | 742 / 783 / 821 / 810 | shared-sqs быстрее | | ChangeMessageVisibilityBatch 10 | 806 / 829 / 848 / 841 | 803 / 824 / 838 / 836 | почти паритет, но shared-sqs чуть быстрее | +## Покрытие тестов по всем операциям + +Ниже показано, что именно было проверено по каждой из 17 операций. + +Обозначения: + +- `Сравнение latency` — операция вошла в прямой сравнительный benchmark shared-sqs vs Yandex MQ. +- `Функциональная проверка` — операция отдельно проверялась на корректную работу. +- `Только shared-sqs` — симметричного сравнения с Yandex MQ в этой части нет, но операция в сервисе проверялась. + +| Операция | Статус проверки | Комментарий | +|---|---|---| +| CreateQueue | Функциональная проверка | Использовалась в setup и проверялась как часть queue lifecycle | +| DeleteQueue | Функциональная проверка | Проверялась как часть queue lifecycle | +| GetQueueAttributes | Сравнение latency | Полноценное сравнение с Yandex MQ | +| GetQueueUrl | Сравнение latency | Полноценное сравнение с Yandex MQ | +| ListQueues | Сравнение latency | Полноценное сравнение с Yandex MQ | +| PurgeQueue | Сравнение latency | Контрольный замер, без многократного цикла | +| SetQueueAttributes | Сравнение latency | Полноценное сравнение с Yandex MQ | +| SendMessage | Сравнение latency | Сравнение для 1KB, 10KB и 32KB | +| SendMessageBatch | Сравнение latency | Batch из 10 сообщений | +| ReceiveMessage | Сравнение latency | Полноценное сравнение с Yandex MQ | +| DeleteMessage | Сравнение latency | Полноценное сравнение с Yandex MQ | +| DeleteMessageBatch | Сравнение latency | Batch delete на 10 сообщений | +| ChangeMessageVisibility | Сравнение latency | Полноценное сравнение с Yandex MQ | +| ChangeMessageVisibilityBatch | Сравнение latency | Batch visibility на 10 сообщений | +| TagQueue | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение | +| UntagQueue | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение | +| ListQueueTags | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение | + +Итог по покрытию: + +- `10` операций попали в прямой сравнительный latency-бенчмарк. +- `4` queue/control-plane операции дополнительно проходили функциональную проверку и lifecycle-сценарии. +- `3` tag-операции проверялись на стороне shared-sqs отдельно, без публичного симметричного baseline. + +Это и есть причина, почему в короткой верхней таблице было меньше строк: там были только самые показательные результаты, а не весь объём проведённой тестовой работы. + ## Throughput Тест: `SendMessage 1KB`, `5` воркеров по `10` сообщений.