docs: expand benchmark coverage summary
This commit is contained in:
@@ -9,6 +9,7 @@
|
|||||||
- shared-sqs показал конкурентоспособные результаты относительно Yandex MQ.
|
- shared-sqs показал конкурентоспособные результаты относительно Yandex MQ.
|
||||||
- На основных API-операциях shared-sqs в текущем прогоне быстрее или на уровне Yandex MQ.
|
- На основных API-операциях shared-sqs в текущем прогоне быстрее или на уровне Yandex MQ.
|
||||||
- На batch-операциях shared-sqs также выглядит сильно.
|
- На batch-операциях shared-sqs также выглядит сильно.
|
||||||
|
- Проверка не ограничивалась 2-3 вызовами: покрыты все 17 поддерживаемых SQS-операций, но в разных режимах проверки.
|
||||||
|
|
||||||
## Короткий вывод
|
## Короткий вывод
|
||||||
|
|
||||||
@@ -31,6 +32,44 @@
|
|||||||
| DeleteMessageBatch 10 | 818 / 845 / 872 / 864 | 742 / 783 / 821 / 810 | shared-sqs быстрее |
|
| DeleteMessageBatch 10 | 818 / 845 / 872 / 864 | 742 / 783 / 821 / 810 | shared-sqs быстрее |
|
||||||
| ChangeMessageVisibilityBatch 10 | 806 / 829 / 848 / 841 | 803 / 824 / 838 / 836 | почти паритет, но shared-sqs чуть быстрее |
|
| ChangeMessageVisibilityBatch 10 | 806 / 829 / 848 / 841 | 803 / 824 / 838 / 836 | почти паритет, но shared-sqs чуть быстрее |
|
||||||
|
|
||||||
|
## Покрытие тестов по всем операциям
|
||||||
|
|
||||||
|
Ниже показано, что именно было проверено по каждой из 17 операций.
|
||||||
|
|
||||||
|
Обозначения:
|
||||||
|
|
||||||
|
- `Сравнение latency` — операция вошла в прямой сравнительный benchmark shared-sqs vs Yandex MQ.
|
||||||
|
- `Функциональная проверка` — операция отдельно проверялась на корректную работу.
|
||||||
|
- `Только shared-sqs` — симметричного сравнения с Yandex MQ в этой части нет, но операция в сервисе проверялась.
|
||||||
|
|
||||||
|
| Операция | Статус проверки | Комментарий |
|
||||||
|
|---|---|---|
|
||||||
|
| CreateQueue | Функциональная проверка | Использовалась в setup и проверялась как часть queue lifecycle |
|
||||||
|
| DeleteQueue | Функциональная проверка | Проверялась как часть queue lifecycle |
|
||||||
|
| GetQueueAttributes | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| GetQueueUrl | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| ListQueues | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| PurgeQueue | Сравнение latency | Контрольный замер, без многократного цикла |
|
||||||
|
| SetQueueAttributes | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| SendMessage | Сравнение latency | Сравнение для 1KB, 10KB и 32KB |
|
||||||
|
| SendMessageBatch | Сравнение latency | Batch из 10 сообщений |
|
||||||
|
| ReceiveMessage | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| DeleteMessage | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| DeleteMessageBatch | Сравнение latency | Batch delete на 10 сообщений |
|
||||||
|
| ChangeMessageVisibility | Сравнение latency | Полноценное сравнение с Yandex MQ |
|
||||||
|
| ChangeMessageVisibilityBatch | Сравнение latency | Batch visibility на 10 сообщений |
|
||||||
|
| TagQueue | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение |
|
||||||
|
| UntagQueue | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение |
|
||||||
|
| ListQueueTags | Только shared-sqs | Функционально проверялась, но не вынесена в прямое сравнение |
|
||||||
|
|
||||||
|
Итог по покрытию:
|
||||||
|
|
||||||
|
- `10` операций попали в прямой сравнительный latency-бенчмарк.
|
||||||
|
- `4` queue/control-plane операции дополнительно проходили функциональную проверку и lifecycle-сценарии.
|
||||||
|
- `3` tag-операции проверялись на стороне shared-sqs отдельно, без публичного симметричного baseline.
|
||||||
|
|
||||||
|
Это и есть причина, почему в короткой верхней таблице было меньше строк: там были только самые показательные результаты, а не весь объём проведённой тестовой работы.
|
||||||
|
|
||||||
## Throughput
|
## Throughput
|
||||||
|
|
||||||
Тест: `SendMessage 1KB`, `5` воркеров по `10` сообщений.
|
Тест: `SendMessage 1KB`, `5` воркеров по `10` сообщений.
|
||||||
|
|||||||
Reference in New Issue
Block a user