Introduction aux métriques, surveillance et alertes

Les métriques représentent les mesures brutes d’utilisation des ressources ou de comportement pouvant être observées et collectées sur l’ensemble de vos systèmes. Il peut s’agir de résumés d’utilisation de bas niveau fournis par le système d’exploitation ou de types de données de niveau supérieur liés à la fonctionnalité ou au travail spécifique d’un composant, telles que les demandes traitées à la seconde ou l’appartenance à un pool de serveurs Web. Certaines métriques sont présentées par rapport à une capacité totale, tandis que d’autres sont représentées par un taux indiquant «l’activité» d’un composant.

Les mesures les plus simples au départ sont souvent celles que votre système d’exploitation expose déjà pour représenter l’utilisation des ressources physiques sous-jacentes. Données sur l’espace disque, la charge du processeur, l’utilisation de swap, etc. sont déjà disponibles, fournissent une valeur immédiate et peuvent être transférés vers un système de surveillance sans trop de travail supplémentaire. De nombreux serveurs Web, serveurs de base de données et autres logiciels fournissent également leurs propres métriques, qui peuvent également être transmises.

Pour d’autres composants, notamment vos propres applications, vous devrez peut-être ajouter du code ou des interfaces pour exposer les métriques qui vous intéressent. La collecte et l’exposition de métriques sont parfois appelées ajouter * une instrumentation * à vos services.

Les métriques sont utiles car elles fournissent des informations sur le comportement et la santé de vos systèmes, en particulier lorsqu’elles sont analysées de manière globale. Ils représentent la matière première utilisée par votre système de surveillance pour créer une vue globale de votre environnement, automatiser les réponses aux changements et alerter les êtres humains en cas de besoin. Les métriques sont les valeurs de base utilisées pour comprendre les tendances historiques, mettre en corrélation divers facteurs et mesurer les changements dans vos performances, votre consommation ou vos taux d’erreur.

Alors que les métriques représentent les données de votre système, la surveillance consiste à collecter, à regrouper et à analyser ces valeurs pour améliorer la connaissance des caractéristiques et du comportement de vos composants. Les données de différentes parties de votre environnement sont collectées dans un * système de surveillance * chargé du stockage, de l’agrégation, de la visualisation et du lancement de réponses automatisées lorsque les valeurs répondent à des exigences spécifiques.

En général, la différence entre les mesures et la surveillance reflète la différence entre les données et les informations. Les données sont composées de faits bruts non traités, tandis que les informations sont produites en analysant et en organisant les données afin de créer un contexte offrant de la valeur. La surveillance prend des données de métrique, les agrège et les présente de différentes manières, ce qui permet aux humains d’extraire des informations de la collection d’éléments individuels.

Les systèmes de surveillance remplissent de nombreuses fonctions connexes. Leur première responsabilité est d’accepter et de stocker les données entrantes et historiques. Bien que les valeurs représentant le moment actuel soient utiles, il est presque toujours plus utile d’afficher ces chiffres par rapport aux valeurs passées pour fournir un contexte autour des changements et des tendances. Cela signifie qu’un système de surveillance devrait être capable de gérer des données sur plusieurs périodes, ce qui peut impliquer l’échantillonnage ou l’agrégation de données plus anciennes.

Deuxièmement, les systèmes de surveillance fournissent généralement des visualisations de données. Bien que les métriques puissent être affichées et comprises sous forme de valeurs ou de tableaux individuels, les humains sont beaucoup mieux à même de reconnaître les tendances et de comprendre comment les composants s’emboîtent lorsque l’information est organisée de manière visuellement significative. Les systèmes de surveillance représentent généralement les composants qu’ils mesurent avec des graphiques et des tableaux de bord configurables. Cela permet de comprendre l’interaction de variables complexes ou de modifications au sein d’un système en jetant un coup d’œil sur un affichage.

Une fonction supplémentaire fournie par les systèmes de surveillance est l’organisation et la corrélation des données provenant de différentes entrées. Pour que les métriques soient utiles, les administrateurs doivent être en mesure de reconnaître les modèles entre différentes ressources et parmi des groupes de serveurs. Par exemple, si une application connaît un pic de taux d’erreur, un administrateur doit pouvoir utiliser le système de surveillance pour déterminer si cet événement coïncide avec l’épuisement de la capacité d’une ressource associée.

Enfin, les systèmes de surveillance servent généralement de plateforme pour définir et activer les alertes, ce dont nous parlerons plus loin.

Les alertes constituent le composant réactif d’un système de surveillance qui exécute des actions en fonction des modifications des valeurs de mesure. Les définitions d’alertes sont composées de deux composants: une condition ou un seuil basé sur des métriques et une action à exécuter lorsque les valeurs se situent en dehors des conditions acceptables.

Bien que les systèmes de surveillance soient extrêmement utiles pour l’interprétation et l’investigation actives, l’un des principaux avantages d’un système de surveillance complet est de permettre aux administrateurs de se désengager du système. Les alertes vous permettent de définir les situations qu’il est judicieux de gérer activement, tout en s’appuyant sur la surveillance passive du logiciel pour surveiller les conditions changeantes.

Bien que la notification des parties responsables soit l’action la plus courante en matière d’alerte, certaines réponses programmatiques peuvent également être déclenchées en fonction de dépassements de seuil. Par exemple, une alerte indiquant que vous avez besoin de plus de ressources processeur pour traiter la charge actuelle peut être traitée avec un script qui redimensionne automatiquement cette couche de votre application. Bien qu’il ne s’agisse pas d’une alerte à proprement parler car elle n’aboutit pas à une notification, le même mécanisme de système de surveillance peut souvent aussi être utilisé pour lancer ces processus.

Cependant, le principal objectif de l’alerte reste d’attirer l’attention de l’homme sur l’état actuel de vos systèmes. L’automatisation des réponses est un mécanisme important permettant de garantir que les notifications ne sont déclenchées que dans des situations qui nécessitent l’attention d’un être humain bien informé. L’alerte elle-même doit contenir des informations sur ce qui ne va pas et où aller pour trouver des informations supplémentaires. L’individu répondant à l’alerte peut ensuite utiliser le système de surveillance et les outils associés, tels que les fichiers journaux, pour rechercher la cause du problème et mettre en œuvre une stratégie d’atténuation.

Une infrastructure même de complexité modérée requiert des distinctions en termes de gravité d’alerte afin que les équipes ou individus responsables puissent être avertis à l’aide de méthodes adaptées à l’ampleur du problème. Par exemple, l’utilisation croissante du stockage peut justifier un ticket de travail ou un courrier électronique, tandis qu’une augmentation du taux d’erreur ou une absence de réponse des clients peut nécessiter l’envoi d’une page au personnel sur appel.

Au bas de la hiérarchie des métriques primitives se trouvent des indicateurs basés sur l’hôte. Il s’agit de tout ce qui est impliqué dans l’évaluation de la santé ou des performances d’une machine individuelle, ignorant pour le moment ses piles d’applications et ses services. Ceux-ci sont principalement constitués de l’utilisation ou des performances du système d’exploitation ou du matériel, tels que:

Celles-ci peuvent vous donner une idée des facteurs qui peuvent influer sur la capacité d’un ordinateur à rester stable ou à effectuer un travail.

La prochaine catégorie de métriques que vous voudrez peut-être examiner est la métrique d’application. Il s’agit de métriques relatives à des unités de traitement ou de travail dépendant des ressources au niveau de l’hôte, telles que des services ou des applications. Les types de métriques spécifiques à examiner dépendent de ce que le service fournit, des dépendances dont il dispose et des autres composants avec lesquels il interagit. Les métriques à ce niveau sont des indicateurs de la santé, des performances ou de la charge d’une application:

Ces indicateurs permettent de déterminer si une application fonctionne correctement et efficacement.

Pour la plupart des types d’infrastructures, les indicateurs de réseau et de connectivité constitueront un autre ensemble de données intéressant à explorer. Ce sont des indicateurs importants de la disponibilité vers l’extérieur, mais ils sont également essentiels pour garantir que les services sont accessibles aux autres machines pour tous les systèmes couvrant plusieurs machines. Comme pour les autres mesures dont nous avons discuté jusqu’à présent, les réseaux doivent être vérifiés pour leur exactitude fonctionnelle globale et leur capacité à fournir les performances nécessaires en examinant:

Le suivi de votre couche réseau peut vous aider à améliorer la disponibilité et la réactivité de vos services internes et externes.

Lorsque vous traitez avec une infrastructure à l’échelle horizontale, une autre couche d’infrastructure pour laquelle vous aurez besoin d’ajouter des métriques concerne les pools de serveurs. Les métriques relatives aux serveurs individuels sont utiles, mais à l’échelle, un service est mieux représenté par la capacité d’un ensemble de machines à effectuer un travail et à répondre correctement aux demandes. Ce type de métrique est à bien des égards une extrapolation de niveau supérieur des métriques application et serveur, mais dans ce cas, les ressources sont des serveurs homogènes au lieu de composants au niveau de la machine. Certaines données que vous pourriez vouloir suivre sont:

La collecte de données qui résume l’intégrité des collections de serveurs est importante pour comprendre les capacités réelles de votre système à gérer la charge et à réagir aux changements.

Les autres mesures que vous souhaitez peut-être ajouter à votre système sont celles liées aux dépendances externes. Les services fournissent souvent des pages de statut ou une API pour détecter les pannes de service, mais le suivi de ces derniers au sein de vos propres systèmes, ainsi que vos interactions réelles avec le service, peut vous aider à identifier les problèmes avec vos fournisseurs susceptibles d’affecter vos opérations. Voici certains éléments pouvant être suivis à ce niveau:

Il existe de nombreux autres types de métriques qu’il peut être utile de collecter. La conceptualisation des informations les plus importantes à différents niveaux de focalisation peut vous aider à identifier les indicateurs les plus utiles pour prédire ou identifier les problèmes. N’oubliez pas que les indicateurs les plus précieux pour les niveaux supérieurs sont probablement les ressources fournies par les couches inférieures.

L’une des exigences les plus élémentaires d’un système de surveillance adéquat est d’être externe à d’autres services. Bien qu’il soit parfois utile de regrouper des services, les principales responsabilités d’un système de surveillance, son utilité pour diagnostiquer les problèmes et sa relation avec les systèmes surveillés signifient qu’il est important que votre système de surveillance soit accessible de manière indépendante. Votre système de surveillance aura inévitablement des effets sur les systèmes qu’il surveille, mais vous devez vous efforcer de minimiser cet effet afin de réduire l’impact de votre suivi sur les performances et d’accroître la fiabilité de votre surveillance en cas d’autres problèmes du système.

Une autre exigence de base est la fiabilité. Comme un système de surveillance est responsable de la collecte, du stockage et de la fourniture d’un accès à des informations de grande valeur, il est important que vous puissiez avoir confiance qu’il fonctionne correctement au quotidien. Des métriques perdues, des pannes de service et des alertes peu fiables peuvent avoir un impact négatif immédiat sur votre capacité à gérer efficacement votre infrastructure. Cela s’applique non seulement à la fiabilité du logiciel principal, mais également à la configuration que vous activez, car des erreurs telles qu’une alerte erronée peuvent entraîner une perte de confiance dans le système.

La possibilité d’afficher des résumés de haut niveau et de demander plus de détails à la demande est une caractéristique importante pour garantir que les données de métriques sont utiles et utilisables par les opérateurs. La conception de tableaux de bord présentant de manière immédiatement intelligible les données les plus souvent consultées peut aider les utilisateurs à comprendre l’état du système en un coup d’œil. De nombreuses vues de tableau de bord peuvent être créées pour différentes fonctions ou domaines d’intérêt.

Il est également important de pouvoir explorer à partir d’affichages récapitulatifs les informations les plus pertinentes pour la tâche en cours. Il est essentiel d’ajuster de manière dynamique l’échelle des graphiques, de supprimer les métriques inutiles et de superposer des informations provenant de plusieurs systèmes pour rendre l’outil interactif utile pour les enquêtes ou l’analyse des causes premières.

Un système de surveillance est particulièrement utile lorsqu’il dispose d’un riche historique de données pouvant aider à établir des tendances, des modèles et des cohérences sur de longues périodes. Idéalement, toutes les informations seraient conservées indéfiniment dans leur granularité d’origine, mais des contraintes de coûts et de ressources peuvent parfois rendre nécessaire le stockage de données plus anciennes à une résolution réduite. Les systèmes de surveillance offrant la flexibilité nécessaire pour travailler avec des données à la fois avec une granularité totale et dans un format échantillonné offrent un éventail plus large d’options pour gérer une quantité de données sans cesse croissante.

Une fonctionnalité connexe utile est la possibilité d’importer facilement des ensembles de données existants. Si la réduction de la densité d’informations de vos métriques historiques n’est pas une option attrayante, le déchargement de données plus anciennes vers une solution de stockage à long terme peut constituer une meilleure solution. Dans ce cas, vous n’avez pas besoin de conserver des données plus anciennes dans le système, mais vous devez pouvoir les recharger en masse lorsque vous souhaitez les analyser ou les utiliser.

Le système de surveillance est chargé de fournir une vue globale de l’ensemble de votre infrastructure. Il doit donc pouvoir afficher des informations connexes, même si elles proviennent de systèmes différents ou présentent des caractéristiques différentes. Les administrateurs doivent être capables de coller des informations provenant de parties différentes de leurs systèmes, à leur guise, afin de comprendre les interactions potentielles et l’état général de l’ensemble de l’infrastructure. Pour que la synchronisation des données de différents systèmes soit fiable, il est indispensable de s’assurer que la synchronisation de l’heure est configurée sur tous vos systèmes.

Pour que votre système de surveillance soit une représentation précise de vos systèmes, vous devez être en mesure de procéder à des ajustements en fonction de l’évolution des machines et de l’infrastructure. Une friction minimale lors de l’ajout de machines supplémentaires vous aidera à le faire. Il est également important de pouvoir retirer facilement les machines mises hors service sans détruire les données collectées qui leur sont associées. Le système doit rendre ces opérations aussi simples que possible pour encourager la mise en place d’une surveillance dans le cadre du processus de provisionnement ou de retrait d’instance.

Une capacité connexe importante est la facilité avec laquelle le système de surveillance peut être configuré pour suivre des métriques entièrement nouvelles. Cela dépend de la manière dont les métriques sont définies dans la configuration de surveillance principale, ainsi que de la variété et de la qualité des mécanismes disponibles pour envoyer des données métriques au système. La définition de nouvelles métriques est généralement plus complexe que l’ajout de machines, mais la réduction de la complexité de l’ajout ou du réglage de métriques aidera votre équipe à répondre aux exigences changeantes dans un délai approprié.

L’un des aspects les plus importants d’un système de surveillance à évaluer concerne ses capacités d’alerte. Outre des exigences de fiabilité très strictes, le système d’alerte doit être suffisamment souple pour notifier les opérateurs via plusieurs supports et suffisamment puissant pour pouvoir composer des déclencheurs de notification réfléchis et exploitables. De nombreux systèmes rejettent la responsabilité de l’envoi de notifications à d’autres parties en proposant des intégrations avec des services de radiomessagerie ou des applications de messagerie existantes. Cela minimise la responsabilité de la fonctionnalité d’alerte et fournit généralement des options plus flexibles puisque le plug-in doit simplement utiliser une API externe.

La partie que le système de surveillance ne peut pas différer, cependant, définit les paramètres d’alerte. Les alertes sont définies en fonction de valeurs situées en dehors des plages acceptables, mais les définitions peuvent nécessiter certaines nuances afin d’éviter les alertes excessives. Par exemple, les pointes momentanées ne sont souvent pas un sujet de préoccupation, mais une charge élevée et soutenue peut nécessiter l’attention de l’opérateur. Pour pouvoir définir clairement les paramètres d’une alerte, il est indispensable de composer un ensemble de conditions d’alerte robustes et fiables.