Success, warning, failed
Ce que veut dire un warning, d'où il vient, et comment il remonte d'une étape jusqu'à un monitor.
Un test répondait par oui ou par non : il est passé, ou il a cassé. Les checks ont ajouté une troisième réponse. Une page qui met neuf secondes à charger au lieu de deux n'est pas cassée, mais vous voulez le savoir. C'est le rôle du statut warning : quelque chose ne va pas, le parcours fonctionne quand même.
D'où vient un warning
Rien ne déclenche un warning tout seul. Un warning existe parce que vous avez écrit une condition pour lui, dans l'onglet Vérifications d'une étape, qui contient deux groupes :
- Conditions de succès, qui se lisent "Réussit si". L'étape échoue dès que l'une d'elles n'est pas remplie.
- Avertissements, qui se lisent "Avertit si". L'étape passe quand même, et l'exécution est signalée.
Déplacez une condition d'un groupe à l'autre par glisser-déposer, ou via son menu (Déplacer vers les avertissements, Déplacer vers les conditions de succès), pour changer ce que coûte un problème donné. Chaque groupe a sa propre logique et / ou, et les conditions peuvent être imbriquées en sous-groupes quand une règle a besoin des deux.
Les tests existants n'ont aucun check : ils ne peuvent donc rapporter que success ou failed. Un test commence à rapporter des warnings à partir du moment où vous lui ajoutez des conditions.
Ce sur quoi vous pouvez écrire une condition dépend de l'étape :
| Étape | Champs disponibles |
|---|---|
| Accéder à la page de départ | URL, Temps de chargement |
| Toute autre étape navigateur | URL, Durée de l'étape |
| Appel API | Code de statut, texte de statut, en-tête de réponse, corps de réponse et les temps de réponse |
| Récupérer un mail | Expéditeur, destinataire, CC, sujet, contenu, pièces jointes, nom de pièce jointe |
| Vérifier un PDF | Texte extrait, nombre de pages, taille du fichier, nom du fichier |
Les mêmes trois mots à chaque niveau
| Niveau | Success | Warning | Failed |
|---|---|---|---|
| Étape | Toutes les conditions de succès remplies | Une condition du groupe Avertissements s'est déclenchée | Une condition de succès n'est pas remplie |
| Exécution | Tous les tests ont réussi | Tous les tests ont réussi, au moins un avec un warning | Au moins un test a échoué |
| Monitor | Success | Degraded, en jaune | Failed |
Un monitor a trois autres états qui ne disent rien de votre application : Problème de device (l'agent ou le device a lâché, l'exécution ne prouve donc rien), En pause, En cours et Planifié.
Ce qu'un warning change vraiment
L'exécution continue. Un warning n'arrête jamais un test, et n'arrête jamais le test suivant dans une campaign.
L'exécution est classée en warning, et la liste des exécutions filtre sur ce statut : un passage en revue hebdomadaire des warnings tient en un clic.
Le monitor passe Degraded, en jaune, dans la liste des monitors et sur le statut en temps réel.
L'intervalle passe au jaune sur Détails du statut, où un warning prime sur un succès : un intervalle qui contient les deux se lit en warning.
L'uptime compte les warnings comme de l'indisponibilité. Le pourcentage d'uptime, ce sont les exécutions réussies sur l'ensemble des exécutions : un monitor qui ne fait que warner perd quand même de l'uptime. Un warning sert à être prévenu, pas à garder le chiffre au vert.
La sévérité Warning d'une alerte est autre chose. Les sévérités d'alerte viennent des seuils que vous posez sur une métrique, pas des checks d'un test. Un test peut warner sans déclencher aucune alerte, et une alerte peut être critique sur un test qui n'a jamais warné.
Et ensuite ?
Last updated on