Comment installer et utiliser GoAccess Web Log Analyzer avec Apache sous Debian 7

GoAccess vous permet de surveiller les journaux du serveur Web en temps réel, à l’aide d’un simple tableau de bord en ligne de commande, afin d’afficher et d’analyser rapidement les statistiques de trafic. Il fonctionne entièrement dans un terminal avec des statistiques organisées dans des panneaux distincts sur un tableau de bord déroulant. Il est également possible d’utiliser GoAccess pour générer des rapports de trafic Web HTML, JSON et CSV.

Ce didacticiel explique comment installer le logiciel à partir des sources, puis explique comment utiliser, afficher et parcourir le programme en ligne de commande.

image: https: //assets.digitalocean.com/articles/GoAccess_Apache_Debian/1.jpg [Tableau de bord GoAccess]

GoAccess fonctionnera avec les fichiers journaux de presque tout autre serveur Web. Cependant, le formatage spécifique du fichier journal doit être défini dans GoAccess pour fonctionner correctement.

Ce guide se concentrera sur l’utilisation d’Apache en tant que serveur Web choisi, avec ou sans hôtes virtuels configurés.

Veuillez compléter ces conditions préalables avant de commencer ce tutoriel.

Plus le trafic Web géré par le VPS est important, plus le nombre de données utilisées par GoAccess est important - plus c’est mieux, dans ce cas.

Pour commencer, + ssh + sur votre serveur en tant qu’utilisateur disposant des privilèges d’élévation + sudo +. Suivez ensuite les étapes ci-dessous.

Cette commande met à jour la base de données du gestionnaire de paquets + apt-get.

Installez les nouvelles mises à jour des paquets système Debian.

Confirmez lorsque vous êtes invité à mettre à jour de nouveaux paquets en entrant + y + pour oui.

Le paquetage + build essential + fournit plusieurs paquets subsidiaires très importants, tels que + make +, nécessaires à la compilation de logiciels sous Debian et Linux. C’est une nécessité pour les étapes d’installation de GoAccess plus loin dans ce guide.

Voici comment installer le paquet en utilisant + apt-get:

Voici les dépendances nécessaires pour installer et utiliser GoAccess sur votre VPS. Acquérez-les en utilisant le gestionnaire de paquets + apt-get.

Maintenant que les packages système nécessaires sont en place, nous pouvons obtenir et créer GoAccess.

Le répertoire + / usr / local / src + est un endroit approprié pour créer le logiciel GoAccess. Donnez à votre * compte * actuel * propriétaire de ce compte utilisateur de ce répertoire en lançant:

Puis donnez au répertoire les autorisations de lecture, d’écriture et d’exécution pour ce même utilisateur via la commande:

Allez dans ce répertoire avec la commande + cd +:

GoAccess est en version 0.8.5 pour sa version stable au moment de la rédaction. Pour le télécharger, utilisez la commande + wget + ci-dessous.

Maintenant, la commande + tar peut être utilisée pour extraire et décompresser le fichier` + .tar.gz` téléchargé et son contenu.

Allez dans le répertoire récemment décompressé comme ceci.

Exécutez le script configure trouvé dans ce répertoire avec les deux préfixes indiqués dans la commande suivante:

Utilisez la commande + make + pour créer le makefile requis pour l’installation de GoAccess.

La commande suivante installera GoAccess (en utilisant le fichier makefile précédemment créé) dans les répertoires système, le rendant ainsi exécutable via Debian.

Le fichier principal de configuration de GoAccess contient plusieurs lignes dont nous devons tenir un commentaire afin de pouvoir utiliser certaines fonctionnalités avancées du programme ultérieurement dans le didacticiel.

Nous allons éditer le fichier en utilisant l’éditeur de texte + vi + de la manière suivante:

Un commentaire dans cette configuration est désigné par le signe + # + et signifie que le serveur ignorera les informations suivantes sur la même ligne. Dans ce fichier, nous devons supprimer un total de deux symboles + # + pour supprimer le commentaire de deux lignes.

Le premier est le paramètre + date-format et il apparaît ici comme ceci.

Pour supprimer le symbole de commentaire (+ # +), appuyez plusieurs fois sur + j + pour placer votre curseur sur la ligne à modifier, qui correspond à la ligne + date-format% d /% b /% Y + . Une fois que la ligne a atteint la ligne et que vous sélectionnez les touches + # +, appuyez sur + x + pour la supprimer.

Si cela est fait correctement, votre amendement devrait maintenant ressembler à ceci:

_ * Remarque: * Vous pouvez appuyer sur + ECHAP + et taper +: q +, puis + ENTER + pour quitter le fichier sans enregistrer vos modifications, si vous pensez que vous avez commis des erreurs ou des modifications accidentelles. _

La deuxième ligne à ne pas commenter est l’une des lignes + log-format +, et la ligne exacte dépend de votre configuration Apache. Choisissez la première option si vous n’exécutez qu’un seul hôte Apache et la seconde si vous avez _ hôtes virtuels_ configurés. Si vous n’êtes pas sûr, vous devriez probablement suivre la section «Configuration des hôtes non virtuels».

_ * Attention: * Ne commentez que * une * de ces lignes. _

Pour une configuration sans hôtes virtuels, supprimez le symbole dièse de la ligne suivante (+ # +) de la même manière que précédemment.

Pour une configuration avec des hôtes virtuels, supprimez le symbole dièse de la ligne suivante (+ # +) de la même manière que précédemment.

Après avoir supprimé le commentaire * une * des lignes + log-format +, appuyez sur + ESC +. Puis tapez +: wq et appuyez sur` + ENTER`. Ceci écrira les modifications apportées au fichier et quittera l’éditeur de texte + vi +.

Nous pouvons maintenant exécuter GoAccess sur n’importe quel fichier journal Apache en texte brut répondant aux critères de formatage pris en charge.

Ajoutons notre utilisateur actuel au groupe d’administrateurs (* adm *) dans Debian afin que nous puissions exécuter ces commandes sans avoir besoin du préfixe * sudo * pour les autorisations d’utilisateur root.

+ usermod + peut changer les propriétés de nos utilisateurs en incluant l’argument + -g + et le nom du groupe que nous souhaitons ajouter à (* adm *), suivis de l’utilisateur en question (dans ce cas * sammy *). Assurez-vous de remplacer ++ dans la prochaine commande par votre propre nom d’utilisateur Linux.

Après avoir exécuté la commande ci-dessus, déconnectez-vous de votre VPS en tapant + exit + puis + ENTER +. Reconnectez-vous ensuite au SMV avec votre utilisateur sudo. C’est ainsi que les modifications que nous avons apportées précédemment à l’utilisateur avec + usermod + prennent effet.

Vous devez maintenant disposer des autorisations appropriées pour exécuter GoAccess en tant que cet utilisateur * sans utiliser sudo *, et également accéder au répertoire des journaux Apache.

Nous allons maintenant localiser le répertoire des journaux.

Les serveurs Web en général enregistrent toutes les demandes HTTP entrantes et traitées pour les fichiers journaux.

Nous devons trouver où Apache stocke ses journaux afin de pouvoir les utiliser. Par défaut, sur les systèmes Debian, les fichiers journaux Apache sont stockés dans:

+ / var / log / apache2 +

Pour voir le contenu de ce répertoire, vous pouvez utiliser la commande list comme ceci:

Vous trouverez ici les fichiers journaux décrits précédemment, dont certains sont compressés dans des fichiers + .gz + si votre serveur fonctionne suffisamment longtemps. Le plus récent qui est en cours d’écriture et géré par le serveur Web est celui qui est décompressé et qui s’appelle + access.log +.

Pour une configuration avec des hôtes virtuels configurés, vous devrez peut-être «+ cd » dans les sous-répertoires à partir de « / apache2 +» pour localiser les fichiers journaux de chaque hôte.

Si vous avez trouvé les fichiers journaux ici, passez à l’étape suivante (* Step 11 *).

Il vous suffit de lire ces informations supplémentaires si vous rencontrez des problèmes pour localiser vos fichiers journaux.

L’emplacement de ces journaux d’accès est contrôlé par la directive + CustomLog de la configuration d’Apache. Si vous avez modifié ce paramètre, il est possible que vos journaux d’accès Apache se trouvent dans un répertoire différent.

Pour trouver la directive + CustomLog + et sa définition, vous pouvez utiliser + grep + sur l’un des fichiers de configuration d’Apache, comme indiqué dans la commande suivante.

Cela affichera tous les répertoires personnalisés ajoutés dans le fichier + apache2.conf +.

Sinon, vous pouvez exécuter cette commande, ce qui peut prendre un certain temps si vous avez beaucoup de fichiers sur votre serveur:

Tous les fichiers du système nommés + access.log + seront affichés.

Une fois que le répertoire contenant les fichiers journaux de votre serveur Apache est localisé, vous pouvez y exécuter GoAccess avec la commande suivante. Dans cette commande, assurez-vous de remplacer ++ par votre propre chemin de répertoire du fichier journal, s’il est différent de celui standard Apache.

Une fois cette commande exécutée, le tableau de bord GoAccess s’affiche.

L’argument + -f + indique au programme d’utiliser le chemin de répertoire fourni, et l’argument + -a + active toutes les statistiques enregistrées pour chaque hôte agent analysé.

Si vous souhaitez exécuter GoAccess sur des journaux plus anciens - les fichiers de type compressés + .gz + -, ils doivent être extraits et décompressés. Le programme ne sera * pas * exécuté sur ces fichiers compressés avec la commande ci-dessus.

Vous pouvez faire cette extraction avec le programme + gunzip + dans Debian si vous le souhaitez.

Par exemple:

Le nom du fichier + access.log.10.gz + situé à la fin de la commande devra correspondre au nom du fichier compressé que vous souhaitez extraire.

Voici le tableau de bord GoAccess.

image: https: //assets.digitalocean.com/articles/GoAccess_Apache_Debian/2.jpg [Tableau de bord GoAccess]

Voici comment interagir avec le tableau de bord:

Maintenant que vous pouvez vous déplacer dans l’interface, examinons le contenu réel de chaque module. Les sections correspondent aux modules et titres numérotés du programme. Toutes les valeurs _ «Hit» _ affichées sont basées sur le nombre total de demandes trouvées dans le ou les fichiers journaux fournis (sauf indication contraire).

Le tableau de bord indique le nombre de: demandes valides, demandes non valides, temps pris pour analyser les données fournies, visiteurs uniques sur le serveur, fichiers demandés de manière unique, fichiers statiques uniques (généralement des types de fichiers images), référents HTTP uniques (URL), 404 erreurs non trouvées, la taille du fichier journal analysé et enfin toute la bande passante consommée.

Ce module est répertorié par jour avec les dates incluses. Les requêtes HTTP possédant la même adresse IP, la même date et le même agent sont considérées comme une visite unique. Cela inclut les robots Web / araignées.

Fichiers demandés affiche les fichiers les plus demandés sur votre serveur Web et affiche ledit hits sous forme de nombre et de pourcentage, ainsi que l’heure à laquelle l’hôte a été servi (bande passante), le protocole utilisé et le type de demande utilisé.

Inclut uniquement les fichiers statiques demandés le plus souvent, tels que: + jpg , ` css `, ` swf `, ' js + , + gif + et + png + `, avec les mêmes métriques que le dernier module fourni pour chaque occurrence.

Classé comme les modules précédents avec les mêmes statistiques, ce module répertorie les principales requêtes HTTP 404: Not Found Error récurrentes et l’URL demandée.

Les hôtes ont des informations plus détaillées sur les hôtes eux-mêmes qui se connectent à votre serveur Web, tels que le nombre de connexions, leurs adresses IP global et certains des mêmes types de métriques répétées.

Le module développé ici peut afficher encore plus d’informations, telles que le résultat de la recherche DNS inversée de l’hôte et le pays d’origine, si l’argument + -a + de l’ancien est activé. Une liste d’utilisateurs agents peut être affichée en sélectionnant l’adresse IP souhaitée, puis en appuyant sur + ENTER +.

Ici, le système d’exploitation de l’hôte est affiché et l’utilisation du système d’exploitation est classée. Ceci est basé sur des visites uniques, contrairement à la plupart des autres données du module.

Le module Navigateur suit le même concept que le dernier module, sauf que dans ce cas, le type de navigateur de l’hôte utilisé pour connecter une session est classé à la place. Encore une fois, ceci est basé sur des visiteurs uniques et non sur le total des demandes.

Si l’hôte en question a accédé au site via une autre ressource, ou s’il était lié / redirigé vers vous depuis un autre hôte, l’URL à partir de laquelle il a été référé sera fourni ici dans ce module.

Ce module est presque identique au dernier (* URL de référence *); La seule différence est que l’adresse générale du site est affichée et non le point d’origine exact pour une référence.

Indique les mots clés utilisés dans les recherches Google, le cache Google et Google Translate qui ont amené votre serveur Web à gérer un hôte. À l’heure actuelle, cela ne prend en charge que Google et aucun autre moteur de recherche.

Ce module contient un résumé des emplacements géographiques déterminés à partir des adresses IP des hôtes hôtes. S’il est incapable de déterminer ceci, il sera marqué comme + location unknown +.

HTTP Status Codes contient des statistiques sur les valeurs des codes de statut globaux dans les requêtes HTTP, exprimées en tant que quantité et pourcentage.

Déplacez-vous dans le répertoire personnel de votre utilisateur avec + cd + et + ~ + + pour continuer à exécuter ces commandes supplémentaires. La commande secondaire + pwd + imprime votre répertoire de travail actuel pour vous permettre de confirmer que vous y avez basculé correctement.

Après avoir terminé ce guide, vous devez savoir comment installer GoAccess, utiliser ses fonctionnalités essentielles et pouvoir utiliser plusieurs autres fonctionnalités qui rendent GoAccess plus flexible.

Voici un récapitulatif complet de ce qui a été couvert: