Gatling vs JMeter vs The Grinder: сравнение инструментов нагрузочного теста

@PostMapping(path="/rewards/add")
public @ResponseBody RewardsAccount addRewardsAcount(@RequestBody RewardsAccount body)

@GetMapping(path="/rewards/find/{customerId}")
public @ResponseBody Optional<RewardsAccount> findCustomer(@PathVariable Integer customerId)

@PostMapping(path="/transactions/add")
public @ResponseBody Transaction addTransaction(@RequestBody Transaction transaction)

@GetMapping(path="/transactions/findAll/{rewardId}")
public @ResponseBody Iterable<Transaction> findTransactions(@PathVariable Integer rewardId)

.exec(http("get__reward")
  .get("/rewards/find/${custId}")
  .check(jsonPath("$.id").saveAs("rwdId")))
.pause(1)

.body(StringBody(
  """{
    "customerRewardsId":"${rwdId}",
    "customerId":"${custId}",
    "transactionDate":"${txtDate}"
  }""")).asJson)

val scn = scenario("RewardsScenario")
  .repeat(10) {
  ...
  }
  setUp(
    scn.inject(atOnceUsers(100))
  ).protocols(httpProtocol)

<HTTPSamplerProxy guiclass="HttpTestSampleGui" testclass="HTTPSamplerProxy" testname="Add Transaction" enabled="true">

<JSONPostProcessor guiclass="JSONPostProcessorGui" testclass="JSONPostProcessor" testname="Transaction Id Extractor" enabled="true">

<stringProp name="LoopController.loops">10</stringProp>

<stringProp name="ThreadGroup.num__threads">100</stringProp>

customerId = str(random.nextInt());
result = request1.POST("http://localhost:8080/transactions/add",
  "{"'"customerRewardsId"'":null,"'"customerId"'":"+ customerId + ","'"transactionDate"'":null}")
txnId = parseJsonString(result.getText(), "id")

grinder.threads = 100
grinder.processes = 1
grinder.runs = 10

GATLING__HOME\bin\gatling.bat

jmeter-n.cmd -t -l TestPlan.jmx -e -o[path to output folder]----

Как и Гатлинг, Grinder требует, чтобы мы установили __JAVA__HOME__ и __GRINDERPATH__. Тем не менее, ему нужно еще несколько свойств:

[source,powershell,gutter:,true]

Как упоминалось выше, мы предоставляем файл __grinder.properties__ для дополнительной настройки, такой как потоки, запуски, процессы и хосты консоли.

Наконец, мы загружаем консоль и агентов с помощью:

[source,powershell,gutter:,true]

[source,powershell,gutter:,true]

====  4.2. Результаты теста

Каждый из тестов проводился по десять прогонов с 100 пользователями/потоками. Давайте распакуем некоторые из основных моментов:

[cols=",^,^,^,^,^",]

| ================================================= ====================== | | **  Успешные запросы **  | **  Ошибки **  | **  Общее время тестирования (с) **  | **  Среднее время ответа (мс) **  | **  Пиковая пропускная способность **

| **  Gatling **  | 4100 запросов | 100 (soft) **  | 31 | 64,5 | 132 req/s

| **  JMeter **  | 4135 Запросов | 0 | 35 | 81 | 1080 req/s

| **  Grinder **  | 5000 запросов | 0 | 5.57 | 65.72 | 1284 req/s | =================================== =========================================

Взгляд показывает, что Grinder работает в 6 раз быстрее, чем два других инструмента для полного тестирования. Два других такта работали примерно через 30 секунд. Один и тот же шаг между The Grinder и Gatling, создав 100 потоков, занял 1544 мс и 16 мс соответственно.

И хотя Grinder высокоскоростен, он идет за счет дополнительного времени разработки и меньшего разнообразия выходных данных.

Дополнительное примечание У Гатлинга 100 «мягких» сбоев из-за логической проверки несуществующего идентификатора вознаграждения. Другие инструменты не считают условный сбой ошибкой. Это ограничение запечатлено в Gatling API.

[[test-summary]]

===  5. Резюме

Теперь пришло время взглянуть на каждый из инструментов нагрузочного тестирования.

[cols="^,^,^,^",]

| ==================================== | | **  Gatling **  | **  JMeter **  | **  The Grinder **  | Проект и сообщество | 9 | 9 | 6 | Производительность | 7 | 7 | 10 | Скриптистит/API | 7 | 9 | 8 | UI | 8 | 8 | 5 | Отчеты | 9 | 7 | 6 | Интеграция | 7 | 9 | 7 | **  Сводка **  | **  7,8 **  | **  8,2 **  | **  7 **  | ======================= ==================

**  Гатлинга: **

**  Твердый, отточенный инструмент для нагрузочного тестирования, который выводит красивые отчеты с

Scala скриптинг
**  Уровни поддержки Open Source и Enterprise для продукта

**  JMeter: **

**  Надежный API (через GUI) для разработки тестовых скриптов без программирования

требуется
**  Поддержка Apache Foundation и отличная интеграция с Maven

**  Мясорубка: **

**  Быстрый инструмент для нагрузочного тестирования производительности для разработчиков, использующих Jython

**  Межсерверная масштабируемость обеспечивает еще больший потенциал для больших тестов

Проще говоря, если скорость и масштабируемость необходимы, используйте Grinder.

Если хорошо выглядящие интерактивные графики помогают показать выигрыш в производительности, чтобы аргументировать изменения, используйте Gatling.

JMeter - это инструмент для сложной бизнес-логики или уровня интеграции со многими типами сообщений. Как часть Apache Software Foundation, JMeter предоставляет зрелый продукт и большое сообщество.

===  6. Заключение

В заключение мы видим, что инструменты имеют сравнимые функциональные возможности в одной области, в то время как в других они сияют. Правильный инструмент для правильной работы - разговорная мудрость, которая работает в разработке программного обеспечения.

Наконец, API и скрипты можно найти https://github.com/eugenp/tutorials/tree/master/testing-modules/load-testing-comparison[on Github].