Comment surveiller votre système Ubuntu 16.04 avec Sysdig

Sysdig est une application complète de suivi, de capture et d’analyse de l’activité du système open-source. Il comporte un puissant langage de filtrage avec une sortie personnalisable, ainsi que des fonctionnalités de base pouvant être étendues avec des scripts Lua appelés chisels.

L’application fonctionne en exploitant le noyau, ce qui lui permet de voir tous les appels système et toutes les informations transitant par le noyau. Cela en fait également un excellent outil pour surveiller et analyser l’activité du système et les événements générés par les conteneurs d’applications exécutés sur un système.

L’application principale Sysdig surveille le serveur sur lequel elle est installée. Cependant, la société à l’origine du projet propose une version hébergée appelée Sysdig Cloud qui peut surveiller un nombre illimité de serveurs à distance.

L’application autonome est disponible sur la plupart des distributions Linux, mais elle est également disponible, avec des fonctionnalités plus limitées, sous Windows et macOS. Outre l’outil de ligne de commande + sysdig +, Sysdig est également livré avec une interface utilisateur interactive appelée + csysdig + avec des options similaires.

Dans ce didacticiel, vous allez installer et utiliser Sysdig pour surveiller un serveur Ubuntu 16.04. Vous allez diffuser des événements en direct, les enregistrer dans des fichiers, filtrer les résultats et explorer l’interface utilisateur interactive + csysdig +.

Pour compléter ce tutoriel, vous aurez besoin de:

Il existe un paquet Sysdig dans le référentiel Ubuntu, mais c’est généralement une révision ou deux derrière la version actuelle. Au moment de la publication, par exemple, l’installation de Sysdig à l’aide du gestionnaire de paquets d’Ubuntu vous procurera Sysdig 0.8.0. Toutefois, vous pouvez l’installer en utilisant un script officiel de la page de développement du projet, qui est la méthode d’installation recommandée. C’est la méthode que nous allons utiliser.

Mais tout d’abord, mettez à jour la base de données de paquets pour vous assurer de disposer de la liste la plus récente des paquets disponibles:

Téléchargez maintenant le script d’installation de Sysdig avec + curl + à l’aide de la commande suivante:

Cela télécharge le script d’installation dans le fichier + install-sysdig + dans le dossier actuel. Vous devrez exécuter ce script avec des privilèges élevés et il est dangereux d’exécuter des scripts que vous téléchargez à partir d’Internet. Avant d’exécuter le script, vérifiez son contenu en l’ouvrant dans un éditeur de texte ou en utilisant la commande + less + pour afficher le contenu à l’écran:

Une fois que vous êtes familiarisé avec les commandes que le script va exécuter, exécutez-le avec la commande suivante:

La commande installera toutes les dépendances, y compris les en-têtes et les modules du noyau. La sortie de l’installation sera semblable à celle-ci:

Maintenant que Sysdig est installé, voyons comment l’utiliser.

Dans cette section, vous utiliserez la commande + sysdig + pour examiner certains événements sur votre serveur Ubuntu 16.04. La commande + sysdig + nécessite l’exécution des privilèges root, ainsi que de nombreuses options et filtres. Le moyen le plus simple d’exécuter la commande est sans aucun argument. Cela vous donnera une vue en temps réel des données système actualisées toutes les deux secondes:

Mais comme vous le verrez dès que vous exécuterez la commande, il peut s’avérer difficile d’analyser les données en cours d’écriture à l’écran, car elles sont diffusées en continu et de nombreux événements se produisent sur votre serveur. Arrêtez + sysdig + en appuyant sur + CTRL + C +.

Avant de relancer la commande avec certaines options, familiarisons-nous avec le résultat en consultant un exemple de résultat de la commande:

Les colonnes de sortie sont:

Voici ce que chaque colonne signifie:

Exécuter + sysdig + comme dans la commande précédente n’a pratiquement aucune valeur, car il y a tellement d’informations en streaming. Mais vous pouvez appliquer des options et des filtres à la commande en utilisant cette syntaxe:

Vous pouvez voir la liste complète des filtres disponibles en utilisant:

Il existe une longue liste de filtres couvrant plusieurs classes ou catégories. Voici quelques cours:

Comme il n’est pas pratique de couvrir tous les filtres de ce didacticiel, essayons-en quelques-uns, en commençant par le filtre * syslog.severity.str * de la classe * syslog *, qui vous permet d’afficher les messages envoyés à syslog à un niveau de gravité spécifique. Cette commande affiche les messages envoyés à syslog au niveau "information":

Tuez la commande en appuyant sur + CTRL + C +.

La sortie, qui devrait être assez facile à interpréter, devrait ressembler à ceci:

Vous pouvez également filtrer sur un seul processus. Par exemple, pour rechercher des événements à partir de + nano +, exécutez cette commande:

Depuis cette commande filers sur + nano +, vous devrez utiliser l’éditeur de texte + nano + pour ouvrir un fichier et voir toutes les sorties. Ouvrez un autre éditeur de terminal, connectez-vous à votre serveur et utilisez + nano + pour ouvrir un fichier texte. Écrivez quelques caractères et sauvegardez le fichier. Revenez ensuite à votre terminal d’origine.

Vous verrez alors des résultats similaires à ceux-ci:

Encore une fois, supprimez la commande en tapant + CTRL + C +.

Obtenir une vue en temps réel des événements système en utilisant + sysdig + n’est pas toujours la meilleure méthode pour l’utiliser. Heureusement, il existe un autre moyen: enregistrer les événements dans un fichier pour l’analyser ultérieurement. Voyons comment.

La capture d’événements système dans un fichier à l’aide de + sysdig + vous permet d’analyser ces événements ultérieurement. Pour sauvegarder les événements système dans un fichier, passez + sysdig + l’option * -w * et spécifiez un nom de fichier cible, comme ceci:

Sysdig conservera les événements générés dans le fichier cible jusqu’à ce que vous appuyiez sur les touches + CTRL + C +. Avec le temps, ce fichier peut devenir assez volumineux. Avec l’option * -n *, vous pouvez toutefois spécifier le nombre d’événements que vous souhaitez que Sysdig capture. Une fois que le nombre cible d’événements a été capturé, il se ferme. Par exemple, pour enregistrer 300 événements dans un fichier, tapez:

Bien que vous puissiez utiliser Sysdig pour capturer un nombre spécifié d’événements dans un fichier, une meilleure approche consisterait à utiliser l’option * -C * pour décomposer une capture en fichiers plus petits d’une taille spécifique. Et pour ne pas surcharger le stockage local, vous pouvez demander à Sysdig de ne conserver que quelques-uns des fichiers enregistrés. En d’autres termes, Sysdig prend en charge la capture d’événements dans des journaux avec rotation de fichier, en une seule commande.

Par exemple, pour enregistrer des événements en continu dans des fichiers dont la taille ne dépasse pas 1 Mo et ne conserver que les cinq derniers fichiers (c’est ce que fait l’option * -W *), exécutez la commande suivante:

Répertoriez les fichiers en utilisant + ls -l sysdig-trace * + et vous verrez une sortie semblable à celle-ci, avec cinq fichiers journaux:

Comme pour la capture en temps réel, vous pouvez appliquer des filtres aux événements enregistrés. Par exemple, pour enregistrer 200 événements générés par le processus + nano +, tapez cette commande:

Ensuite, dans un autre terminal connecté à votre serveur, ouvrez un fichier avec + nano + et générez des événements en tapant du texte ou en sauvegardant le fichier. Les événements seront capturés sous la forme + sysdig-trace-nano.scap + jusqu’à ce que + sysdig + enregistre 200 événements.

Comment feriez-vous pour capturer tous les événements d’écriture générés sur votre serveur? Vous appliqueriez le filtre comme ceci:

Appuyez sur + CTRL + C + après quelques instants pour quitter.

Vous pouvez faire beaucoup plus lorsque vous enregistrez l’activité du système dans un fichier en utilisant + sysdig +, mais ces exemples auraient dû vous donner une assez bonne idée de la marche à suivre. Voyons comment analyser ces fichiers.

Lire des données capturées dans un fichier avec Sysdig est aussi simple que de passer le commutateur * -r * à la commande + sysdig +, comme ceci:

Cela affichera tout le contenu du fichier à l’écran, ce qui n’est pas vraiment la meilleure approche, surtout si le fichier est volumineux. Heureusement, vous pouvez appliquer les mêmes filtres lors de la lecture du fichier que vous avez appliqué lors de son écriture.

Par exemple, pour lire le fichier de trace + sysdig-trace-nano.scap + que vous avez créé, mais ne regardez qu’un type d’événement spécifique, comme les événements d’écriture, tapez cette commande:

La sortie devrait être semblable à:

Examinons le contenu du fichier que vous avez enregistré dans la section précédente: le fichier + sysdig-write-events.scap +. Nous savons que tous les événements sauvegardés dans le fichier sont des événements en écriture. Voyons donc le contenu:

Ceci est une sortie partielle. Vous verrez quelque chose comme ceci s’il y avait une activité SSH sur le serveur lorsque vous avez capturé les événements:

Notez que toutes les lignes de la sortie précédente contiennent * 11.11.11.11: 51282→ 22.22.22.22:ssh*. Ce sont des événements provenant de l’adresse IP externe du client, + 11.11.11.11 + à l’adresse IP du serveur, + 22.22.22.22 +. Ces événements se sont produits via une connexion SSH au serveur, ils sont donc attendus. Mais existe-t-il d’autres événements d’écriture SSH qui ne proviennent pas de cette adresse IP de client connue? C’est facile à découvrir.

Il existe de nombreux opérateurs de comparaison que vous pouvez utiliser avec Sysdig. Le premier que vous avez vu est * = . Les autres sont *! = *, *> *, *> = *, * < Et * ⇐ *. Dans la commande suivante, * fd.rip * filtre sur l’adresse IP distante. Nous allons utiliser l’opérateur de comparaison *! = * Pour rechercher des événements provenant d’adresses IP autres que + 11.11.11.11 +:

Une sortie partielle, indiquant qu’il y a eu des événements d’écriture provenant d’adresses IP autres que l’adresse IP du client, s’affiche dans la sortie suivante:

Une enquête plus approfondie a également montré que l’adresse IP non autorisée + 33.33.33.33 + appartenait à une machine en Chine. C’est quelque chose d’inquiétant! C’est juste un exemple de la façon dont vous pouvez utiliser Sysdig pour surveiller de près le trafic qui frappe votre serveur.

Voyons comment utiliser quelques scripts supplémentaires pour analyser le flux d’événements.

Dans le langage Sysdig, chisels sont des scripts Lua que vous pouvez utiliser pour analyser le flux d’événements Sysdig afin d’effectuer des actions utiles. Près de 50 scripts sont fournis avec chaque installation Sysdig et vous pouvez afficher une liste des burins disponibles sur votre système à l’aide de cette commande:

Certains des burins les plus intéressants incluent:

Pour une description plus détaillée d’un ciseau, y compris des arguments associés, utilisez l’indicateur + -i +, suivi du nom du ciseau. Ainsi, par exemple, pour afficher plus d’informations sur le ciseau + netstat +, tapez:

Maintenant que vous savez tout ce que vous devez savoir sur l’utilisation du burin + netstat, mettez-le au pouvoir pour surveiller votre système en exécutant:

La sortie devrait ressembler à ceci:

Si vous voyez des connexions * ESTABLISHED * SSH à partir d’une adresse IP autre que la vôtre dans la colonne * Adresse du client *, cela devrait être un drapeau rouge et vous devriez approfondir l’analyse.

+ Spy_users + est un outil beaucoup plus intéressant, qui vous permet de visualiser l’activité interactive des utilisateurs sur le système.

Quittez cette commande:

Ensuite, ouvrez un deuxième terminal et connectez-vous à votre serveur. Exécutez des commandes dans ce second terminal, puis revenez sur votre terminal en exécutant + sysdig +. Les commandes que vous avez tapées dans le premier terminal seront répercutées sur le terminal sur lequel vous avez exécuté la commande + sysdig -c spy_users +.

Explorons ensuite Csysdig, un outil graphique.

Csysdig est l’autre utilitaire fourni avec Sysdig. Il possède une interface utilisateur interactive qui offre les mêmes fonctionnalités que celles disponibles sur la ligne de commande avec + sysdig +. C’est comme + top +, + htop + et + strace +, mais plus riche en fonctionnalités.

Comme la commande + sysdig +, la commande + csysdig + peut effectuer une surveillance en direct et peut capturer des événements dans un fichier pour une analyse ultérieure. Mais + csysdig + vous donne une vue plus utile en temps réel des données système actualisées toutes les deux secondes. Pour voir un exemple, tapez la commande suivante:

Cela ouvrira une interface semblable à celle de la figure suivante, qui affiche les données d’événement générées par tous les utilisateurs et toutes les applications de l’hôte surveillé.

image: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/LEhCwvI.jpg [Interface principale de Csysdig]

Au bas de l’interface se trouvent plusieurs boutons permettant d’accéder aux différents aspects du programme. Le plus notable est le bouton * Vues *, qui s’apparente à des catégories de métriques collectées par + csysdig +. 29 vues sont disponibles telles que * Processus *, * Appels système *, * Threads *, * Conteneurs *, * Processus *, * Défauts de page *, * Fichiers * et * Répertoires *.

Lorsque vous démarrez + csysdig + sans arguments, vous verrez les événements en direct à partir de la vue * Processus *. En cliquant sur le bouton * Vues * ou en appuyant sur la touche + F2 +, vous verrez la liste des vues disponibles, y compris une description des colonnes. Vous pouvez également afficher une description des colonnes en appuyant sur la touche + F7 + ou en cliquant sur le bouton * Légende *. Et une page de manuel récapitulative de l’application elle-même (+ csysdig +) est accessible en appuyant sur la touche + F1 + ou en cliquant sur le bouton * Aide *.

L’image suivante montre une liste de l’interface * Views * de l’application.

image: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/R7oHHHT.jpg [fenêtre de vues Csysdig]

Bien que vous puissiez exécuter + csysdig + sans options ni arguments, la syntaxe de la commande, comme avec + sysdig + s, prend généralement la forme suivante:

L’option la plus courante est * -d *, utilisée pour modifier le délai entre les mises à jour en millisecondes. Par exemple, pour afficher la sortie + csysdig + mise à jour toutes les 10 secondes, au lieu de la valeur par défaut de 2 secondes, tapez:

Vous pouvez exclure les informations d’utilisateur et de groupe des vues avec l’option * -E *:

Cela peut faire en sorte que + csysdig + démarre plus rapidement, mais le gain de vitesse est négligeable dans la plupart des situations.

Pour ordonner à + ​​csysdig + d’arrêter la capture après un certain nombre d’événements, utilisez l’option * -n *. L’application se fermera une fois ce nombre atteint. Le nombre d’événements capturés doit être dans les cinq chiffres; sinon, vous ne verrez même pas l’interface utilisateur + csysdig +:

Pour analyser un fichier de trace, passez + csysdig + l’option * -r *, comme suit:

Vous pouvez utiliser les mêmes filtres que ceux utilisés avec + sysdig + pour restreindre la sortie de + csysdig +. Ainsi, par exemple, plutôt que d’afficher les données d’événement générées par tous les utilisateurs du système, vous pouvez filtrer la sortie par les utilisateurs en lançant + csysdig + avec la commande suivante, qui affichera les données d’événement générées uniquement par l’utilisateur root:

La sortie devrait être semblable à celle montrée dans l’image suivante, même si elle reflétera ce qui est en cours d’exécution sur votre serveur:

image: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/CFsMTrH.jpg [données Csysdig générées par la racine]

Pour afficher la sortie d’un exécutable générant un événement, transmettez au filtre le nom du fichier binaire sans le chemin. L’exemple suivant montre tous les événements générés par la commande + nano +. En d’autres termes, tous les fichiers ouverts où l’éditeur de texte est + nano +:

Il existe plusieurs dizaines de filtres disponibles, que vous pouvez afficher à l’aide de la commande suivante:

Vous remarquerez que c’est la même option que vous avez utilisée pour afficher les filtres disponibles avec la commande + sysdig +. Donc + sysdig + et + csysdig + sont à peu près les mêmes. La principale différence est que + csysdig + est livré avec une interface utilisateur interactive conviviale pour la souris. Pour quitter + csysdig + à tout moment, appuyez sur la touche + Q + de votre clavier.

Sysdig vous aide à surveiller et à dépanner votre serveur. Cela vous donnera un aperçu complet de toutes les activités du système sur un hôte surveillé, y compris celles générées par les conteneurs d’applications. Bien que ce tutoriel ne couvre pas spécifiquement les conteneurs, la capacité à surveiller l’activité du système générée par les conteneurs est ce qui distingue Sysdig des applications similaires. Plus d’informations sont disponibles sur la page home du projet.

Les burins de Sysdig sont une extension puissante de la fonctionnalité principale de Sysdig. Ils sont écrits en Lua, vous pouvez donc toujours les personnaliser ou en écrire un à partir de rien. Pour en savoir plus sur la fabrication des ciseaux, visitez la page du projet official.