So messen Sie die Leistung von MySQL-Abfragen mit mysqlslap

Wir beginnen mit der automatischen SQL-Generierung von mysqlslap. Wenn wir automatisch generiertes SQL verwenden, erstellt mysqlslap eine separate temporäre Datenbank - passend mysqlslap genannt. Diese Datenbank enthält eine einfache Tabelle mit einer Ganzzahl- und einer Varchar-Typ-Spalte, die mit Beispieldaten gefüllt sind. Auf diese Weise können Sie schnell und einfach die Gesamtleistung des Datenbankservers überprüfen.

Zunächst testen wir eine einzelne Client-Verbindung, indem wir eine Iteration eines automatisch generierten SQL durchführen:

Die Ausgabe sollte folgendermaßen aussehen:

mysqlslap meldet einige Benchmarking-Statistiken, wie in der Ausgabe gezeigt. Es gibt die durchschnittliche, minimale und maximale Anzahl von Sekunden an, die zum Ausführen der Abfrage benötigt wurden. Wir können auch sehen, dass die Anzahl der für diesen Auslastungstest verwendeten Clientverbindungen eins betrug.

Versuchen Sie nun 50 gleichzeitige Verbindungen und lassen Sie die automatisch generierte Abfrage zehnmal ausführen:

Dieser Befehl bedeutet, dass fünfzig simulierte Clientverbindungen dieselbe Testabfrage zur selben Zeit auslösen und dieser Test zehnmal wiederholt wird.

Die Ausgabe zeigt uns einen deutlichen Unterschied zur erhöhten Belastung:

Beachten Sie, wie das Feld jetzt einen Wert von 50 anzeigt. Die durchschnittliche Anzahl von Abfragen pro Client beträgt null.

Automatisch generiertes SQL erstellt eine einfache Tabelle mit zwei Feldern. In den meisten Produktionsumgebungen sind die Tabellenstrukturen viel größer. Wir können mysqlslap anweisen, dies zu emulieren, indem wir der Testtabelle zusätzliche Felder hinzufügen. Dazu können wir zwei neue Parameter verwenden: + - number-char-cols + und + - number-int-cols +. Diese Parameter geben die Anzahl der varchar- und int-Spaltentypen an, die der Testtabelle hinzugefügt werden sollen.

Im folgenden Beispiel testen wir mit einer automatisch generierten SQL-Abfrage, die für eine Tabelle mit 5 numerischen Spalten und 20 Zeichentypspalten ausgeführt wird. Wir simulieren außerdem 50 Client-Verbindungen und möchten, dass der Test 100 Mal wiederholt wird:

Dieser sollte etwas länger dauern. Während der Test ausgeführt wird, können wir zum anderen Terminalfenster wechseln, in dem eine MySQL-Sitzung ausgeführt wird, und sehen, was los ist. Beachten Sie, dass der Test abgeschlossen wird, wenn Sie zu lange warten und die Testdatenbank nicht angezeigt wird.

Von der MySQL-Eingabeaufforderung aus:

Beachten Sie die Datenbank:

Sie können die Tabelle in der Testdatenbank überprüfen, wenn Sie möchten. es heißt * t1 *.

Überprüfen Sie erneut Ihr anderes Terminalfenster. Wenn der Test abgeschlossen ist, werden Sie feststellen, dass sich die Leistung mit der erhöhten Last noch weiter verlangsamt hat:

Kehren Sie zu Ihrer MySQL-Terminalsitzung zurück. Wir können sehen, dass mysqlslap seine Wegwerfdatenbank gelöscht hat. An der MySQL-Eingabeaufforderung:

Automatisch generiertes SQL ist gut, wenn Sie die physischen Ressourcen des Servers evaluieren. Dies ist hilfreich, wenn Sie die Auslastung eines bestimmten Systems ermitteln möchten.

Wenn Sie Leistungsprobleme für eine bestimmte datenbankabhängige Anwendung beheben möchten, möchten Sie jedoch echte Abfragen für echte Daten testen. Diese Abfragen stammen möglicherweise von Ihrem Web- oder Anwendungsserver.

Im Moment gehen wir davon aus, dass Sie die spezifische Abfrage kennen, die Sie testen möchten. Im nächsten Abschnitt zeigen wir Ihnen, wie Sie nach Abfragen suchen, die auf Ihrem Server ausgeführt werden.

Wir beginnen mit Inline-Abfragen. Mit dieser Option können Sie mysqlslap eine Inline-Abfrage geben. Die SQL-Anweisungen dürfen keine Zeilenumbrüche enthalten und müssen durch Semikolons (;) getrennt sein. Die Abfragen müssen auch in doppelte Anführungszeichen eingeschlossen werden.

Im folgenden Codeausschnitt führen wir eine einfache Abfrage für die Tabelle aus. Die Tabelle "deptemp" enthält mehr als dreihunderttausend Datensätze. Beachten Sie, wie wir die Datenbank mit der Option angegeben haben:

Das wird eine Weile dauern. Sie sollten nach ein oder zwei Minuten einen solchen Leistungsbenchmark erhalten:

(Hinweis: Wenn diese Abfrage länger als zehn Minuten hängt oder keine Ausgabe liefert, sollten Sie sie mit einer niedrigeren Zahl für und / oder erneut versuchen oder auf einem größeren Server versuchen.)

Als Nächstes verwenden wir mehrere SQL-Anweisungen im Parameter. Im folgenden Beispiel beenden wir jede Abfrage mit einem Semikolon. mysqlslap weiß, dass wir mehrere separate SQL-Befehle verwenden, weil wir die Option angegeben haben:

Dieser Test verwendet die gleiche Anzahl von Verbindungen und die gleiche Anzahl von Iterationen. Bei mehreren SELECT-Anweisungen war die Leistung jedoch inkrementell langsamer (durchschnittlich 23,8 Sekunden gegenüber 18,486 Sekunden):

Produktions-SQL-Anweisungen können kompliziert sein. Es ist einfacher, einem Skript eine komplizierte SQL-Anweisung hinzuzufügen, als sie für Tests einzugeben. Daher können wir mysqlslap anweisen, die Abfrage aus einer Skriptdatei zu lesen.

Um dies zu veranschaulichen, erstellen wir eine Skriptdatei aus den SQL-Befehlen. Wir können das folgende Code-Snippet verwenden, um eine solche Datei zu erstellen:

Die Datei enthält jetzt alle fünf SELECT-Anweisungen.

Da dieses Skript mehrere Abfragen enthält, können wir ein neues Testkonzept einführen. mysqlslap kann die Abfragen parallelisieren. Wir können dies tun, indem wir die Anzahl der Abfragen angeben, die jeder Testclient ausführen soll. mysqlslap macht das mit der Option. Wenn also 50 Verbindungen und 1000 Abfragen ausgeführt werden müssen, führt jeder Client jeweils ca. 20 Abfragen aus.

Schließlich können wir auch den Schalter verwenden, der uns einen Hinweis auf die verwendeten Rechenressourcen gibt.

Im folgenden Codeausschnitt bitten wir mysqlslap, die soeben erstellte Skriptdatei zu verwenden. Wir spezifizieren auch den Parameter. Der Vorgang wird zweimal wiederholt und wir möchten Debugging-Informationen in der Ausgabe erhalten:

Nach Abschluss dieses Befehls sehen wir einige interessante Ergebnisse:

Hier beträgt die durchschnittliche Anzahl von Sekunden, um alle Abfragen in unserer MySQL-Instanz auszuführen, 217 Sekunden, fast 4 Minuten. Dies hing sicherlich mit der Größe des für unsere virtuelle Maschine verfügbaren Arbeitsspeichers und der CPU zusammen, war jedoch auch auf die große Anzahl von Abfragen durch eine moderate Anzahl von Clientverbindungen zurückzuführen, die zweimal wiederholt wurden.

Wir können sehen, dass es eine große Anzahl von nicht-physischen Seitenfehlern gab. Seitenfehler treten auf, wenn keine Daten im Speicher gefunden werden und das System sie aus der Auslagerungsdatei auf der Festplatte abrufen muss. Die Ausgabe zeigt auch CPU-bezogene Informationen. In diesem Fall sehen wir eine große Anzahl von Kontextwechseln.

Bisher haben wir in unseren Beispielen Abfragen für die ursprüngliche Mitarbeiterdatenbank ausgeführt. Das ist etwas, was DBAs sicherlich nicht möchten, dass Sie es tun. Und dafür gibt es einen guten Grund. Sie möchten nicht hinzufügen, dass Ihre Produktionsdatenbank geladen wird, und Sie möchten keine Testabfragen ausführen, mit denen Daten in Ihre Produktionstabellen gelöscht, aktualisiert oder eingefügt werden können.

Wir zeigen Ihnen, wie Sie eine Sicherungskopie einer Produktionsdatenbank erstellen und in eine Testumgebung kopieren. In diesem Beispiel befindet es sich auf demselben Server, aber Sie würden es idealerweise auf einen separaten Server mit derselben Hardwarekapazität kopieren.

Noch wichtiger ist, dass wir Ihnen zeigen, wie Sie Abfragen live aus der Produktionsdatenbank aufzeichnen und sie einem Testskript hinzufügen. Das heißt, Sie erhalten Abfragen aus der Produktionsdatenbank, führen jedoch Tests für die Testdatenbank aus.

Die allgemeinen Schritte lauten wie folgt und können für jeden mysqlslap-Test verwendet werden:

Zunächst erstellen wir ein Backup der Mitarbeiterdatenbank. Wir erstellen ein separates Verzeichnis für die Sicherung:

Erstellen Sie das Backup und verschieben Sie es in das neue Verzeichnis:

Gehen Sie zu Ihrem MySQL-Testserver. Erstellen Sie die Datenbank:

Wenn Sie zu diesem Zeitpunkt einen separaten Server zum Testen verwenden, sollten Sie die Datei auf diesen kopieren. Importieren Sie die Sicherungsdaten von Ihrer Hauptterminalsitzung in die Datenbank:

Aktivieren Sie auf Ihrem * produktiven MySQL-Datenbankserver * das allgemeine MySQL-Abfrageprotokoll, und geben Sie einen Dateinamen für dieses Protokoll an. Das allgemeine Abfrageprotokoll erfasst Verbindungs-, Trennungs- und Abfrageaktivitäten für eine MySQL-Datenbankinstanz.

Führen Sie nun die Abfragen, die Sie testen möchten, auf dem Produktions-MySQL-Server aus. In diesem Beispiel führen wir eine Abfrage über die Befehlszeile aus. Möglicherweise möchten Sie jedoch Abfragen aus Ihrer Anwendung generieren, anstatt sie direkt auszuführen. Wenn Sie einen langsamen Prozess oder eine langsame Webseite haben, die Sie testen möchten, sollten Sie diesen Prozess durchlaufen oder jetzt auf diese Webseite zugreifen. Wenn Sie beispielsweise einen Einkaufswagen ausführen, möchten Sie möglicherweise den Checkout-Vorgang jetzt abschließen, wodurch alle entsprechenden Abfragen auf dem Datenbankserver ausgelöst werden.

Dies ist die Abfrage, die wir auf dem MySQL-Produktionsserver ausführen. Verwenden Sie zuerst die richtige Datenbank:

Führen Sie nun die Abfrage aus:

Erwartete Ausgabe:

Die allgemeine Protokollierung wird deaktiviert, wenn die Abfrage abgeschlossen ist:

Beachten Sie, dass beim Verlassen der Protokollierung weiterhin Abfragen zum Protokoll hinzugefügt werden, was das Testen möglicherweise erschwert. Stellen Sie daher sicher, dass Sie das Protokoll sofort nach Abschluss des Tests deaktivieren. Überprüfen wir, ob die Protokolldatei im Verzeichnis erstellt wurde:

Kopieren Sie diese Datei in unser MySQL-Testverzeichnis. Wenn Sie zum Testen einen separaten Server verwenden, kopieren Sie diesen auf diesen Server.

In dieser Protokolldatei sollte sich eine ganze Menge Daten befinden. In diesem Beispiel sollte die gewünschte Abfrage fast fertig sein. Überprüfen Sie den letzten Teil der Datei:

Erwartete Ausgabe:

Dieses Protokoll zeigt SQL-Befehle und ihre Zeitstempel. Die SQL-Anweisung am Ende der Datei interessiert uns. Es sollte genau so aussehen wie der Befehl, den wir in der Produktionsdatenbank ausgeführt haben, da wir ihn dort erfasst haben.

In diesem Beispiel kannten wir die Abfrage bereits. In einer Produktionsumgebung kann diese Methode jedoch sehr nützlich sein, um Abfragen zu finden, von denen Sie möglicherweise nicht wissen, dass sie auf Ihrem Server ausgeführt werden.

Beachten Sie, dass diese Datei völlig anders aussieht, wenn Sie während der Protokollierung unterschiedliche Abfragen ausgeführt oder ausgelöst haben. In einem realen Szenario könnte diese Datei mit Hunderten von Einträgen überflutet werden, die von allen verschiedenen Verbindungen stammen. Ihr Ziel ist es, die Abfragen zu finden, die einen Engpass verursachen. Sie können zunächst eine Liste aller Zeilen erstellen, die den Text enthalten. Dann erhalten Sie eine Liste mit genau den Abfragen, die während des Tests in Ihrer Datenbank ausgeführt wurden.

Kopieren Sie jede Abfrage, die Sie testen möchten, in eine Datei, die mit der Erweiterung "+ .sql +" endet.

Zum Beispiel:

Der Inhalt sollte die MySQL-Abfrage sein, die Sie testen möchten, ohne Zeilenumbrüche und ohne Semikolon am Ende:

Stellen Sie als Nächstes sicher, dass die Abfrageergebnisse nicht zwischengespeichert werden. Kehren Sie zu Ihrer * MySQL-Sitzung testen * zurück. Führen Sie den folgenden Befehl aus:

Jetzt ist es an der Zeit, das Dienstprogramm mysqlslap mit der Skriptdatei auszuführen. Stellen Sie sicher, dass Sie den richtigen Skriptdateinamen im Parameter verwenden. Wir werden nur zehn gleichzeitige Verbindungen verwenden und den Test zweimal wiederholen. Führen Sie dies von Ihrem * Testserver * aus:

Die Benchmark-Ausgabe sieht in unserem System folgendermaßen aus:

Wie können wir diesen Benchmark verbessern?

Sie benötigen eine gewisse Vertrautheit mit MySQL-Abfragen, um beurteilen zu können, was die Abfrage tut.

Wenn Sie auf die Abfrage zurückblicken, sehen Sie, dass sie mehrere Joins über mehrere Tabellen hinweg ausführt. Die Abfrage zeigt die Job-Historie der Mitarbeiter an und verknüpft dabei die verschiedenen Tabellen nach Feld. Das Feld wird auch zum Beitreten verwendet. Da es jedoch nur wenige Abteilungsdatensätze gibt, werden wir dies ignorieren. Da die Datenbank viele Einträge enthält, ist es logisch anzunehmen, dass das Erstellen von Indizes für das Feld die Abfrage verbessern kann.

Mit ein wenig Übung können Sie, sobald Sie Abfragen gefunden haben, die den Server belasten (das ist der Teil, bei dem mysqlslap hilft!), Beurteilungen zu den Abfragen vornehmen, die auf Ihren Kenntnissen von MySQL und Ihrer Datenbank basieren.

Als Nächstes können Sie versuchen, Ihre Datenbank oder die darin ausgeführten Abfragen zu verbessern.

In unserem Fall fügen wir die oben genannten Indizes hinzu. Wir werden drei Indizes für erstellen. Ein Index wird für das Feld in der Tabelle erstellt, ein weiterer Index für das Feld in der Tabelle und der letzte Index für das Feld in der Tabelle.

Gehen wir zu unserer Test-MySQL-Sitzung und führen Sie die folgenden Befehle aus:

Wenn wir zu unserem Hauptterminalfenster auf dem Testserver zurückkehren und mysqlslap mit denselben Parametern ausführen, werden wir einen Unterschied im Benchmark feststellen:

Wir können sehen, dass sich die durchschnittliche, minimale und maximale Ausführungszeit der Abfrage sofort verbessert. Anstelle von durchschnittlich 68 Sekunden wird die Abfrage jetzt in 55 Sekunden ausgeführt. Das ist eine Verbesserung von 13 Sekunden bei gleicher Ladung.

Da diese Datenbankänderung in der Testumgebung zu einem guten Ergebnis geführt hat, können Sie sie jetzt auf Ihren Produktionsdatenbankserver übertragen. Beachten Sie jedoch, dass Datenbankänderungen in der Regel Nachteile in Bezug auf ihre Vor- und Nachteile haben.

Sie können das Testen von Befehlen und Verbesserungen mit allen Abfragen wiederholen, die Sie aus Ihrem Protokoll abgerufen haben.

mysqlslap ist ein einfaches, leichtgewichtiges Tool, das einfach zu bedienen ist und sich direkt in die MySQL-Datenbank-Engine einfügt. Es ist für alle Editionen von MySQL ab Version 5.1.4 verfügbar.

In diesem Tutorial haben wir gesehen, wie man mysqlslap mit seinen verschiedenen Optionen benutzt und mit einer Beispieldatenbank herumgespielt. Sie können andere Beispieldatenbanken von der MySQL-Site herunterladen und mit diesen auch üben. Wie bereits erwähnt, * führen Sie bitte keine Tests auf einem Produktionsdatenbankserver durch. *

Der letzte Anwendungsfall in diesem Lernprogramm betraf nur eine Abfrage. Während wir die Leistung dieser Abfrage etwas verbessert haben, indem wir allen drei Tabellen zusätzliche Indizes hinzugefügt haben, ist der Vorgang im wirklichen Leben möglicherweise nicht so einfach. Das Hinzufügen zusätzlicher Indizes kann unter Umständen die Systemleistung beeinträchtigen, und Datenbankadministratoren müssen häufig die Vorteile des Hinzufügens eines zusätzlichen Index gegenüber den möglicherweise anfallenden Leistungskosten abwägen.

Testszenarien im realen Leben sind komplexer, aber dies sollte Ihnen die Werkzeuge bieten, um mit dem Testen und Verbessern Ihrer Datenbankleistung zu beginnen.