Verwendung von Logrotate und S3cmd zum Archivieren von Protokollen im Objektspeicher unter Ubuntu 16.04

Die von Ihren Servern und Anwendungen erstellten Protokolldateien enthalten zahlreiche Informationen, die möglicherweise beim Debuggen von Software, Untersuchen von Sicherheitsvorfällen und Generieren aufschlussreicher Metriken und Statistiken hilfreich sind.

Eine typische Protokollierungsstrategie besteht heutzutage darin, alle diese Informationen über einen Protokollaggregationsdienst wie https://www.digitalocean.com/community/tutorial_series/centralized-logging-with-elk-stack-elasticsearch-logstash-and-kibana- zu zentralisieren. on-ubuntu-14-04 [the Elastic stack] oder Graylog . Dies ist ideal für Echtzeitanalysen und kurz- bis mittelfristige historische Untersuchungen. Oft ist es jedoch aufgrund von Speicherbeschränkungen oder anderen Problemen mit Serverressourcen nicht möglich, Langzeitdaten in diesen Systemen zu speichern.

Eine gebräuchliche Lösung für diese langfristigen Speicheranforderungen ist die Archivierung von Protokollen mit einem Objektspeicherdienst. Die Protokolle können für spätere Analysen, gesetzliche Aufbewahrungspflichten oder zu Sicherungszwecken auf unbestimmte Zeit verfügbar bleiben.

In diesem Tutorial verwenden wir Logrotate auf einem Ubuntu 16.04-Server, um + syslog + -Protokolle an einen Objektspeicherdienst zu senden. Diese Technik kann auf alle von Logrotate bearbeiteten Protokolle angewendet werden.

Um dieses Tutorial abzuschließen, benötigen Sie Folgendes:

Wenn Sie die Voraussetzungen erfüllt haben, starten Sie SSH auf Ihrem Server.

Wir werden ein Tool namens * S3cmd * verwenden, um unsere Protokolle an jeden S3-kompatiblen Objektspeicherdienst zu senden. Vor der Installation von S3cmd müssen einige Tools installiert werden, die uns bei der Installation von Python-Programmen helfen (S3cmd ist in Python geschrieben):

Wechseln Sie als Nächstes in ein Verzeichnis, in das Sie schreiben können, und laden Sie die S3cmd-Datei + .tar.gz + herunter:

Wenn der Download abgeschlossen ist, entpacken und entpacken Sie die Datei mit dem Dienstprogramm + tar +:

Wechseln Sie dann in das resultierende Verzeichnis und installieren Sie die Software mit + sudo +:

Testen Sie die Installation, indem Sie + s3cmd + nach den Versionsinformationen fragen:

Wenn Sie eine ähnliche Ausgabe sehen, wurde S3cmd erfolgreich installiert. Als Nächstes konfigurieren wir S3cmd so, dass eine Verbindung zu unserem Objektspeicherdienst hergestellt wird.

S3cmd verfügt über einen interaktiven Konfigurationsprozess, mit dem die Konfigurationsdatei erstellt werden kann, die für die Verbindung zu unserem Objektspeicherserver erforderlich ist. Der * root * -Benutzer benötigt Zugriff auf diese Konfigurationsdatei. Daher starten wir den Konfigurationsprozess mit + sudo + und platzieren die Konfigurationsdatei im Home-Verzeichnis des * root * -Benutzers:

Das interaktive Setup wird gestartet. Gegebenenfalls können Sie die Standardantworten (in Klammern) durch Drücken von "+ ENTER" akzeptieren. Wir werden die folgenden Optionen mit Lösungsvorschlägen für einen Space in der NYC3-Region von DigitalOcean durchgehen. Ersetzen Sie die S3-Endpunkt- und Bucket-Vorlage nach Bedarf durch andere DigitalOcean-Rechenzentren oder andere Objektspeicheranbieter:

An dieser Stelle fasst "+ s3cmd " Ihre Antworten zusammen und fordert Sie auf, die Verbindung zu testen. Drücken Sie ` y ` und dann ` ENTER +`, um den Test zu starten:

Nach dem Test werden Sie aufgefordert, die Einstellungen zu speichern. Geben Sie dazu erneut "+ y " und dann " ENTER " ein. Die Konfigurationsdatei wird an den Speicherort geschrieben, den wir zuvor mit der Befehlszeilenoption " - config +" angegeben haben.

Im nächsten Schritt richten wir Logrotate so ein, dass S3cmd zum Hochladen unserer Protokolle verwendet wird.

Logrotate ist ein leistungsstarkes und flexibles System zur Verwaltung der Rotation und Komprimierung von Protokolldateien. Ubuntu verwendet es standardmäßig, um alle in + / var / log + gefundenen Systemprotokolle zu verwalten.

In diesem Lernprogramm aktualisieren wir die Konfiguration, um das Protokoll "+ syslog +" bei jeder Drehung an den Objektspeicher zu senden.

Öffnen Sie zunächst die Logrotate-Konfigurationsdatei für "+ rsyslog +", den Systemprotokollprozessor:

Es gibt zwei Konfigurationsblöcke. Wir sind an der ersten interessiert, die sich mit "+ / var / log / syslog +" befasst:

/etc/logrotate.d/rsyslog

Diese Konfiguration gibt an, dass "+ / var / log / syslog " täglich gedreht wird (" daily "), wobei sieben alte Protokolle beibehalten werden (" rotate 7 "). Es wird kein Fehler ausgegeben, wenn die Protokolldatei fehlt (" missingok "), und das Protokoll wird nicht gedreht, wenn es leer ist (" notifempty "). Gedrehte Protokolle werden komprimiert (` compress `), jedoch nicht die aktuellste (` delaycompress `). Schließlich weist das Skript " postrotate " " rsyslog +" an, in die neue Protokolldatei zu wechseln, nachdem die alte entfernt wurde.

Bevor wir unsere neuen Konfigurationsanweisungen hinzufügen, löschen Sie die oben hervorgehobene Zeile + delaycompress +. Wir möchten, dass alle unsere alten Protokolle sofort komprimiert werden, bevor sie an den Objektspeicher gesendet werden.

Fügen Sie als Nächstes die folgenden Zeilen am Ende des Konfigurationsblocks hinzu (außerhalb des Blocks + postrotate +… + endscript +, aber innerhalb der schließenden Klammer +} +):

/etc/logrotate.d/rsyslog

Stellen Sie sicher, dass der markierte Bereich oben durch den richtigen Bucket-Namen ersetzt wird. Diese Optionen aktivieren datumsbasierte Dateinamenerweiterungen (+ dateext +), damit wir unsere Protokolldateien mit einem Zeitstempel versehen können. Wir setzen dann das Format dieser Erweiterungen mit + dateformat +. Die Dateien erhalten Dateinamen wie "+ syslog-2017-11-07-1510091490.gz +": Jahr, Monat, Datum und dann einen Zeitstempel. Der Zeitstempel stellt sicher, dass wir zwei Protokolldateien am selben Tag versenden können, ohne dass die Dateinamen in Konflikt stehen. Dies ist erforderlich, wenn wir aus irgendeinem Grund eine Protokollrotation erzwingen müssen (mehr dazu im nächsten Schritt).

Das Skript + lastaction + wird ausgeführt, nachdem alle Protokolldateien komprimiert wurden. Es legt eine Variable mit dem Hostnamen des Servers fest und synchronisiert dann mit "+ s3cmd sync " alle Syslog-Dateien bis zu Ihrem Objektspeicher-Bucket und legt sie in einem Ordner mit dem Namen "hostname" ab. Beachten Sie, dass der letzte Schrägstrich in "" s3: /// $ HOSTNAME / "" signifikant ist. Ohne das würde ` s3cmd ` ` / $ HOSTNAME +` als einzelne Datei behandeln, nicht als Verzeichnis voller Protokolldateien.

Speichern und schließen Sie die Konfigurationsdatei. Wenn Logrotate das nächste Mal täglich ausgeführt wird, wird "+ / var / log / syslog +" in einen datumsbasierten Dateinamen verschoben, komprimiert und hochgeladen.

Wir können dies sofort erzwingen, um zu testen, ob es ordnungsgemäß funktioniert:

Dadurch werden viele Informationen für viele Protokolldateien ausgegeben. Die Teile, die für das "+ syslog +" - Protokoll und unseren Upload relevant sind, sind oben auszugsweise aufgeführt. Ihre Ausgabe sollte ähnlich aussehen, mit einigen Hinweisen auf einen erfolgreichen Upload. Möglicherweise werden weitere Dateien hochgeladen, wenn der Server nicht brandneu ist.

Als Nächstes richten wir optional einen Dienst ein, der uns beim Hochladen von Protokollen vor dem Herunterfahren des Systems hilft.

Dieser Schritt ist optional und nur erforderlich, wenn Sie kurzlebige Server konfigurieren, die häufig heruntergefahren und zerstört werden. In diesem Fall können Sie jedes Mal, wenn Sie einen Server zerstören, bis zu einem Tag Protokolle verlieren.

Um dies zu beheben, müssen wir Logrotate ein letztes Mal ausführen lassen, bevor das System heruntergefahren wird. Dazu erstellen wir einen systemd-Dienst, der den Befehl "+ logrotate +" ausführt, wenn er gestoppt wird.

Öffnen Sie zunächst eine neue Servicedatei in einem Texteditor:

Fügen Sie die folgende Service-Definition ein:

/etc/systemd/system/logrotate-shutdown.service

Diese Datei definiert einen Dienst, der beim Start nichts unternimmt (es fehlt die Anweisung "+ ExecStart ") und beim Stoppen " logrotate " (mit der Option " - force ") ausführt. Es wird ausgeführt, bevor die Netzwerkverbindung aufgrund der Zeile ` After = network.target +` getrennt wird.

Speichern Sie die Datei und beenden Sie Ihren Texteditor, dann "+ start " und " enable " den Dienst mit " systemctl +":

Überprüfen Sie den Status des neuen Dienstes:

Wir wollen sehen, dass es "+ active " ist. Die Tatsache, dass es " beendet " hat, ist in Ordnung, da es keinen " ExecStart +" - Befehl gibt.

Sie können die Funktionsfähigkeit des neuen Dienstes testen, indem Sie ihn manuell stoppen:

oder indem Sie Ihr System neu starten:

Bei beiden Methoden wird der Befehl Logrotate ausgelöst und eine neue Protokolldatei hochgeladen. Wenn Sie das System nicht ordnungsgemäß herunterfahren, gehen keine Protokolle verloren, wenn Sie einen Server zerstören.

In diesem Tutorial haben wir S3cmd installiert, es für die Verbindung mit unserem Objektspeicherdienst konfiguriert und Logrotate so konfiguriert, dass es Protokolldateien hochlädt, wenn es + / var / log / syslog + dreht. Anschließend richten wir einen systemd-Dienst ein, der beim Herunterfahren "+ logrotate --force +" ausführt, um sicherzustellen, dass keine Protokolle verloren gehen, wenn kurzlebige Server zerstört werden.

Um mehr über die für Logrotate verfügbaren Konfigurationen zu erfahren, lesen Sie die entsprechende Handbuchseite, indem Sie in der Befehlszeile "+ man logrotate +" eingeben. Weitere Informationen zu S3cmd finden Sie auf Ihre Website.