Gatling vs JMeter vs The Grinder: Comparaison des outils de test de charge

@PostMapping(path="/rewards/add")
public @ResponseBody RewardsAccount addRewardsAcount(@RequestBody RewardsAccount body)

@GetMapping(path="/rewards/find/{customerId}")
public @ResponseBody Optional<RewardsAccount> findCustomer(@PathVariable Integer customerId)

@PostMapping(path="/transactions/add")
public @ResponseBody Transaction addTransaction(@RequestBody Transaction transaction)

@GetMapping(path="/transactions/findAll/{rewardId}")
public @ResponseBody Iterable<Transaction> findTransactions(@PathVariable Integer rewardId)

.exec(http("get__reward")
  .get("/rewards/find/${custId}")
  .check(jsonPath("$.id").saveAs("rwdId")))
.pause(1)

.body(StringBody(
  """{
    "customerRewardsId":"${rwdId}",
    "customerId":"${custId}",
    "transactionDate":"${txtDate}"
  }""")).asJson)

val scn = scenario("RewardsScenario")
  .repeat(10) {
  ...
  }
  setUp(
    scn.inject(atOnceUsers(100))
  ).protocols(httpProtocol)

<HTTPSamplerProxy guiclass="HttpTestSampleGui" testclass="HTTPSamplerProxy" testname="Add Transaction" enabled="true">

<JSONPostProcessor guiclass="JSONPostProcessorGui" testclass="JSONPostProcessor" testname="Transaction Id Extractor" enabled="true">

<stringProp name="LoopController.loops">10</stringProp>

<stringProp name="ThreadGroup.num__threads">100</stringProp>

customerId = str(random.nextInt());
result = request1.POST("http://localhost:8080/transactions/add",
  "{"'"customerRewardsId"'":null,"'"customerId"'":"+ customerId + ","'"transactionDate"'":null}")
txnId = parseJsonString(result.getText(), "id")

grinder.threads = 100
grinder.processes = 1
grinder.runs = 10

GATLING__HOME\bin\gatling.bat

jmeter-n.cmd -t -l TestPlan.jmx -e -o[path to output folder]----

Comme Gatling, The Grinder nécessite la définition de __JAVA__HOME__ et __GRINDERPATH__. Cependant, il a également besoin de quelques propriétés supplémentaires:

[source,powershell,gutter:,true]

Comme indiqué ci-dessus, nous fournissons un fichier __grinder.properties__ pour une configuration supplémentaire, telle que des threads, des exécutions, des processus et des hôtes de la console.

Enfin, nous amorçons la console et les agents avec:

[source,powershell,gutter:,true]

[source,powershell,gutter:,true]

====  4.2. Résultats de test

Chacun des tests a effectué dix analyses avec 100 utilisateurs/threads. Décrivons quelques points saillants:

[cols=",^,^,^,^,^",]

| ============================================== ====================== | | **  Requêtes retenues **  | **  Erreurs **  | **  Durée totale du test **  | **  Temps de réponse moyen (ms) **  | **  Débit de pointe **

| **  Gatling **  | 4100 requêtes | 100 (soft) **  | 31 | 64.5 | 132 req/s

| **  JMeter **  | 4135 Requêtes | 0 | 35 | 81 | 1080 req/s

| **  Le moulin **  | 5000 requêtes | 0 | 5.57 | 65.72 | 1284 demandes | s ========================================

Un coup d’œil montre que The Grinder est 6 fois plus rapide que les deux autres outils pour un test complet. Les deux autres ont enregistré le même temps à environ 30 secondes. La même étape entre The Grinder et Gatling, créant 100 threads, a pris 1544ms et 16ms respectivement.

Et bien que The Grinder soit à haute vitesse, il entraîne un temps de développement supplémentaire et une diversité de données de sortie moindre.

Remarque complémentaire Gatling a 100 défaillances «logicielles» en raison de la vérification logique d’un identifiant de récompense inexistant. Les autres outils ne considèrent pas l'échec conditionnel comme une erreur. Cette limitation est intégrée à l'API Gatling.

[[test-summary]]

===  5. Résumé

Il est maintenant temps d’examiner globalement chacun des outils de test de charge.

[cols="^,^,^,^",]

| ===================================== | | **  Gatling **  | **  JMeter **  | **  The Grinder **  | Projet et communauté | 9 | 9 | 6 | Performances | 7 | 7 | 10 | Scriptability/API | 7 | 9 | 8 | UI | 8 | 8 | 5 | Rapports | 9 | 7 | 6 | Intégration | 7 | 9 | 7 | **  Résumé **  | **  7.8 **  | **  8.2 **  | **  7 **  | ================== ===================

**  Gatling: **

**  Outil de test de charge solide et poli qui produit de superbes rapports avec

Scala Scripting
**  Niveaux de support Open Source et Enterprise pour le produit

**  JMeter: **

**  API robuste (via l'interface graphique) pour le développement de scripts de test sans codage

Champs obligatoires
**  Support Apache Foundation et intégration parfaite avec Maven

**  Le moulin: **

**  Outil de test de performance rapide pour les développeurs utilisant Jython

**  L'évolutivité inter-serveur offre encore plus de potentiel pour des tests volumineux

En bref, si la vitesse et l’évolutivité sont nécessaires, utilisez The Grinder.

Si de superbes graphiques interactifs vous aident à démontrer un gain de performance pour plaider en faveur d'un changement, utilisez Gatling.

JMeter est l'outil de la logique métier complexe ou une couche d'intégration comportant de nombreux types de messages. Dans le cadre de Apache Software Foundation, JMeter fournit un produit mature et une grande communauté.

===  6. Conclusion

En conclusion, on constate que les outils ont des fonctionnalités comparables dans certains domaines et brillant dans d’autres. Le bon outil pour le bon travail est la sagesse familière qui fonctionne dans le développement de logiciels.

Enfin, l’API et les scripts sont disponibles sur https://github.com/eugenp/tutorials/tree/master/testing-modules/load-testing-comparison[on Github].