So installieren und verwenden Sie GoAccess Web Log Analyzer mit Apache unter Debian 7

Mit GoAccess können Sie Webserver-Protokolle mithilfe eines einfachen Befehlszeilen-Dashboards in Echtzeit überwachen, um Verkehrsdaten schnell anzuzeigen und zu analysieren. Es läuft vollständig in einem Terminal mit Statistiken, die in separaten Panels auf einem scrollbaren Dashboard angeordnet sind. Es ist auch möglich, mit GoAccess HTML-, JSON- und CSV-Webverkehrsberichte zu generieren.

In diesem Tutorial wird gezeigt, wie Sie die Software von der Quelle aus installieren und wie Sie das Programm in der Befehlszeile verwenden, anzeigen und navigieren.

Bild: https://assets.digitalocean.com/articles/GoAccess_Apache_Debian/1.jpg [GoAccess-Dashboard]

GoAccess funktioniert mit Protokolldateien von fast jedem anderen Webserver. Die spezifische Formatierung der Protokolldatei muss jedoch in GoAccess definiert sein, damit sie ordnungsgemäß funktioniert.

Dieses Handbuch konzentriert sich auf die Verwendung von Apache als ausgewählten Webserver mit oder ohne konfigurierten virtuellen Hosts.

Bitte füllen Sie diese Voraussetzungen aus, bevor Sie mit diesem Lernprogramm beginnen.

Je mehr Web-Verkehr der VPS verarbeitet, desto mehr Daten muss GoAccess verarbeiten - in diesem Fall ist mehr besser.

Beginnen Sie mit "+ ssh " auf Ihrem Server als Benutzer, der über die Berechtigung " sudo +" verfügt. Führen Sie dann die folgenden Schritte aus.

Dieser Befehl aktualisiert die Package Manager-Datenbank + apt-get.

Installieren Sie alle neuen Updates für die Debian-Systempakete.

Bestätigen Sie, wenn Sie zum Aktualisieren neuer Pakete aufgefordert werden, indem Sie "+ y +" für "yes" eingeben.

Das Paket + build essential + enthält einige sehr wichtige Hilfspakete wie + make +, die zum Kompilieren von Software unter Debian und Linux erforderlich sind. Dies ist eine Notwendigkeit für die Installationsschritte von GoAccess später im Handbuch.

So installieren Sie das Paket mit + apt-get:

Hier sind die Abhängigkeiten aufgeführt, die für die Installation und Verwendung von GoAccess auf Ihrem VPS erforderlich sind. Erwerben Sie sie mit dem Paket-Manager "+ apt-get +".

Nachdem wir die erforderlichen Systempakete installiert haben, können wir GoAccess beziehen und erstellen.

Das Verzeichnis "+ / usr / local / src +" ist ein geeigneter Ort, um die GoAccess-Software zu erstellen. Geben Sie Ihrem * aktuellen * Debian-Benutzerkonto den Besitz dieses Verzeichnisses, indem Sie Folgendes ausführen:

Geben Sie dann dem Verzeichnis Lese-, Schreib- und Ausführungsberechtigungen für denselben Benutzer über den folgenden Befehl:

Wechseln Sie mit dem Befehl + cd + in dieses Verzeichnis:

GoAccess ist in der Release-Version 0.8.5 für den zum Zeitpunkt des Schreibens stabilen Build enthalten. Verwenden Sie zum Herunterladen den folgenden Befehl + wget +.

Jetzt können Sie mit dem Befehl "+ tar" die heruntergeladene "+ .tar.gz" -Datei und ihren Inhalt extrahieren und entpacken.

Wechseln Sie wie folgt in das neu entpackte Verzeichnis.

Führen Sie das configure-Skript in diesem Verzeichnis mit den beiden im nächsten Befehl angegebenen Präfixen aus:

Verwenden Sie den Befehl + make +, um das makefile zu erstellen, das für die Installation von GoAccess erforderlich ist.

Der folgende Befehl installiert GoAccess (unter Verwendung des zuvor erstellten makefile) in Systemverzeichnissen und macht es über Debian ausführbar.

In der Hauptkonfigurationsdatei von GoAccess sind mehrere Zeilen kommentiert, die Sie _kommentieren müssen, um einige erweiterte Funktionen des Programms später im Lernprogramm nutzen zu können.

Wir werden die Datei mit dem Texteditor "+ vi +" folgendermaßen bearbeiten:

Ein Kommentar in dieser Konfiguration wird mit einem "+ # " gekennzeichnet und bedeutet, dass der Server die nachfolgenden Informationen in derselben Zeile danach ignoriert. In dieser Datei müssen insgesamt zwei " # +" - Symbole entfernt werden, um zwei Zeilen aus dem Kommentar zu entfernen.

Das erste ist die Einstellung "+ Datumsformat" und hier sieht es so aus.

Um das Kommentarsymbol (+ # +) zu entfernen, drücken Sie mehrmals + j +, um den Cursor auf die zu bearbeitende Zeile zu bewegen, bei der es sich um die Zeile + Datumsformat% d /% b /% Y + handelt . Sobald es die Linie erreicht und das + # + auswählt, drücken Sie + x +, um es zu löschen und zu entfernen.

Bei richtiger Ausführung sollte Ihre Änderung nun so aussehen:

_ * Hinweis: * Sie können + ESC + drücken und +: q + und dann + ENTER + eingeben, um die Datei zu beenden, ohne Ihre Änderungen zu speichern, wenn Sie glauben, Fehler oder versehentliche Änderungen vorgenommen zu haben. _

Die zweite Zeile, die nicht kommentiert werden muss, ist eine der Zeilen "+ log-format +", und die genaue Zeile hängt von Ihrem Apache-Setup ab. Wählen Sie die erste Option, wenn Sie nur einen Apache-Host ausführen, und die zweite, wenn Sie virtuelle Hosts eingerichtet haben. Wenn Sie sich nicht sicher sind, sollten Sie wahrscheinlich den Abschnitt "Nicht virtuelle Hosts einrichten" befolgen.

_ * Warnung: * Nur eine * dieser Zeilen auskommentieren. _

Entfernen Sie bei einem Setup ohne virtuelle Hosts das Rautezeichen ("+ # +") der folgenden Zeile auf die gleiche Weise wie zuvor.

Entfernen Sie bei einem Setup mit virtuellen Hosts das Raute-Zeichen der folgenden Zeile ("+ # +") auf die gleiche Weise wie zuvor.

Drücken Sie nach dem Auskommentieren einer der Zeilen im Protokollformat die Tastenkombination "+ ESC ". Geben Sie dann ": wq" ein und drücken Sie "+ ENTER". Dadurch werden die Änderungen, die wir an der Datei vorgenommen haben, gespeichert und der Texteditor + vi + beendet.

Wir können jetzt GoAccess für alle Apache-Protokolldateien im Nur-Text-Format ausführen, die die unterstützten Formatierungskriterien erfüllen.

Fügen wir unseren aktuellen Benutzer der Administratorgruppe (* adm *) in Debian hinzu, damit wir diese Befehle ausführen können, ohne das * sudo * -Präfix für Root-Benutzerberechtigungen zu benötigen.

+ usermod + kann die Eigenschaften unseres Benutzers ändern, indem das Argument + -g + und der Gruppenname, den wir zu (* adm *) hinzufügen möchten, gefolgt von dem betreffenden Benutzer (in diesem Fall * sammy *) angegeben werden. Stellen Sie sicher, dass Sie im nächsten Befehl "++" durch Ihren eigenen Linux-Benutzernamen ersetzen.

Trennen Sie nach dem Ausführen des obigen Befehls die Verbindung zu Ihrem VPS, indem Sie "+ exit " und dann " ENTER " eingeben. Melden Sie sich dann mit Ihrem sudo-Benutzer wieder beim VPS an. Dies ist so, dass die Änderungen, die wir zuvor mit ` usermod +` am Benutzer vorgenommen haben, wirksam werden.

Sie sollten nun über die richtigen Berechtigungen verfügen, um GoAccess als dieser Benutzer * auszuführen, ohne sudo * zu verwenden. Außerdem sollten Sie Zugriff auf das Apache-Protokollverzeichnis haben.

Jetzt suchen wir das Protokollverzeichnis.

Webserver zeichnen im Allgemeinen alle eingehenden und verarbeiteten HTTP-Anforderungen an Protokolldateien auf.

Wir müssen herausfinden, wo Apache seine Protokolle speichert, damit wir sie verwenden können. Standardmäßig werden auf Debian-Systemen Apache-Protokolldateien gespeichert in:

+ / var / log / apache2 +

Um den Inhalt dieses Verzeichnisses anzuzeigen, können Sie den Befehl list folgendermaßen verwenden:

Hier finden Sie die zuvor beschriebenen Protokolldateien, von denen einige in "+ .gz " - Dateien komprimiert sind, wenn Ihr Server lange genug ausgeführt wurde. Das aktuellste, das derzeit auf den Webserver geschrieben und von diesem verarbeitet wird, ist das unkomprimierte mit dem Namen " access.log +".

Bei einem Setup mit konfigurierten virtuellen Hosts müssen Sie möglicherweise "+ cd " aus " / apache2 +" in Unterverzeichnisse kopieren, um die Protokolldateien der einzelnen Hosts zu finden.

Wenn Sie die Protokolldateien hier gefunden haben, fahren Sie mit dem nächsten Schritt fort (* Schritt 11 *).

Sie müssen diese weiteren Informationen nur lesen, wenn Sie Probleme beim Auffinden Ihrer Protokolldateien haben.

Der Speicherort dieser Zugriffsprotokolle wird durch die Direktive "+ CustomLog" in der Apache-Konfiguration gesteuert. Wenn Sie diese Einstellung geändert haben, befinden sich Ihre Apache-Zugriffsprotokolle möglicherweise in einem anderen Verzeichnis.

Um die Direktive "+ CustomLog " und ihre Einstellungen zu finden, können Sie " grep +" für eine der Apache-Konfigurationsdateien verwenden, wie im nächsten Befehl gezeigt.

Dadurch werden alle benutzerdefinierten Verzeichnisse ausgegeben, die in der Datei "+ apache2.conf +" hinzugefügt wurden.

Alternativ können Sie diesen Befehl ausführen, der einige Zeit in Anspruch nehmen kann, wenn sich auf Ihrem Server viele Dateien befinden:

Dadurch werden alle Dateien auf dem System mit dem Namen "+ access.log +" angezeigt.

Sobald sich das Verzeichnis mit Ihren Apache-Server-Protokolldateien befindet, können Sie mit dem nächsten Befehl GoAccess auf diesen ausführen. Stellen Sie in diesem Befehl sicher, dass "++" durch Ihren eigenen Protokolldateiverzeichnispfad ersetzt wird, falls dieser vom Standard-Apache-Pfad abweicht.

Sobald Sie diesen Befehl ausführen, wird das GoAccess-Dashboard angezeigt.

Das Argument "+ -f " weist das Programm an, den angegebenen Verzeichnispfad zu verwenden, und das Argument " -a +" aktiviert alle aufgezeichneten Statistiken für jeden analysierten Host-Agenten.

Wenn Sie GoAccess für ältere Protokolle ausführen möchten - die komprimierten Dateien vom Typ "+ .gz +" - müssen diese extrahiert und entpackt werden. Das Programm wird * nicht * auf diesen komprimierten Dateien mit dem oben gezeigten Befehl ausgeführt.

Sie können dieses Extrahieren mit dem Programm + gunzip + in Debian durchführen, wenn Sie dies wünschen.

Zum Beispiel:

Der Dateiname "+ access.log.10.gz +" am Ende des Befehls muss mit dem Namen der komprimierten Datei übereinstimmen, die Sie extrahieren möchten.

Dies ist das GoAccess-Dashboard.

Bild: https://assets.digitalocean.com/articles/GoAccess_Apache_Debian/2.jpg [GoAccess-Dashboard]

So interagieren Sie mit dem Dashboard:

Nachdem Sie sich nun in der Benutzeroberfläche bewegen können, werfen wir einen Blick auf die tatsächlichen Inhalte der einzelnen Module. Die Abschnitte hier entsprechen den nummerierten Modulen und Titeln im Programm. Alle angezeigten _ "Treffer" _ -Werte basieren auf der Gesamtmenge der Anforderungen, die in der bereitgestellten Protokolldatei bzw. den bereitgestellten Dateien gefunden wurden (sofern nicht anders angegeben).

Das Dashboard zeigt die Anzahl der gültigen Anforderungen, ungültigen Anforderungen, die für die Analyse der bereitgestellten Daten benötigte Zeit, eindeutige Besucher des Servers, eindeutig angeforderte Dateien, eindeutige statische Dateien (normalerweise Bilddateitypen), eindeutige HTTP-Verweise (URLs), eindeutige 404 Nicht gefundene Fehler, die Größe der analysierten Protokolldatei und zuletzt die verbrauchte Bandbreite.

Dieses Modul ist tageweise mit Datumsangaben aufgeführt. HTTP-Anforderungen mit derselben IP, demselben Datum und demselben Agenten werden als eindeutiger Besuch betrachtet. Dies schließt Web-Crawler / Spider ein.

Angeforderte Dateien zeigt die am häufigsten angeforderten Dateien auf Ihrem Webserver an und zeigt hits als Zahl und Prozentsatz an, zusammen mit der Zeit, für die der Host bedient wurde (Bandbreite), dem verwendeten Protokoll und dem verwendeten Anforderungstyp.

Umfasst nur statische Dateien, die am häufigsten angefordert werden, wie: + jpg +, + css +, + swf +, + js +, + gif + und + png +, mit denselben Metriken wie die letzten Modul für jedes Vorkommen zur Verfügung gestellt.

In diesem Modul werden, wie in den vorherigen Modulen mit denselben Statistiken, die häufigsten wiederkehrenden HTTP 404: Not Found Error-Anforderungen und die angeforderte URL aufgelistet.

Hosts verfügt über detailliertere Informationen zu den Hosts, die eine Verbindung zu Ihrem Webserver herstellen, z. B. die Anzahl der Verbindungen, ihre globalen IP-Adressen und einige der gleichen wiederholten Metriktypen.

Das erweiterte Modul kann hier noch mehr Informationen wie das Reverse-DNS-Lookup-Ergebnis eines Hosts und das Herkunftsland anzeigen, wenn das Argument "+ -a " aus einer früheren Version aktiviert ist. Eine Liste der Benutzeragenten kann angezeigt werden, indem Sie die gewünschte IP-Adresse auswählen und dann die Taste " ENTER +" drücken.

Hier wird das Betriebssystem des Hosts angezeigt, und die Betriebssystemnutzung wird nach Rang geordnet. Dies basiert im Gegensatz zu den meisten anderen Moduldaten auf eindeutigen Besuchen.

Das Browser-Modul folgt demselben Konzept wie das letzte Modul, außer dass in diesem Fall der Browsertyp des Hosts, der zum Verbinden einer Sitzung verwendet wird, eine Rangfolge erhält. Dies basiert wiederum auf eindeutigen Besuchern und nicht auf Gesamtanforderungen insgesamt.

Wenn der betreffende Host über eine andere Ressource auf die Site zugegriffen hat oder von einem anderen Host zu Ihnen weitergeleitet wurde, wird die URL, von der aus auf sie verwiesen wurde, hier in diesem Modul angegeben.

Dieses Modul ist fast identisch mit dem letzten (* Referrer URLs *); Der einzige Unterschied besteht darin, dass die allgemeine Standortadresse angezeigt wird und nicht der genaue Ausgangspunkt für eine Überweisung.

Meldet in der Google-Suche, im Google-Cache und in der Google-Übersetzung verwendete Schlüsselwörter, die dazu geführt haben, dass Ihr Webserver einen Host verwaltet. Derzeit werden nur Google und keine anderen Suchmaschinen unterstützt.

Dieses Modul enthält eine Zusammenfassung der geografischen Standorte, die anhand der IP-Adressen der besuchten Hosts ermittelt wurden. Wenn dies nicht festgestellt werden kann, wird es als "+ Ort unbekannt +" markiert.

HTTP-Statuscodes enthalten Statistiken zu den Werten der Gesamtstatuscodes in HTTP-Anforderungen, angegeben als Menge und Prozentsatz.

Wechseln Sie mit "+ cd " und " ~ " in das Ausgangsverzeichnis Ihres Benutzers, um mit diesen zusätzlichen Befehlen fortzufahren. Der sekundäre Befehl ` pwd +` gibt Ihr aktuelles Arbeitsverzeichnis aus, sodass Sie bestätigen können, dass Sie korrekt darauf umgestellt haben.

Nachdem Sie dieses Handbuch ausgefüllt haben, sollten Sie wissen, wie Sie GoAccess installieren, seine Hauptfunktionen nutzen und in der Lage sein, verschiedene andere Funktionen zu verwenden, die GoAccess flexibler machen.

Hier ist eine vollständige Zusammenfassung dessen, was behandelt wurde: