Eine Einführung in Big Data-Konzepte und -Terminologie

Der Umfang der verarbeiteten Informationen hilft bei der Definition von Big-Data-Systemen. Diese Datensätze können um Größenordnungen größer sein als herkömmliche Datensätze, was in jeder Phase des Verarbeitungs- und Speicherlebenszyklus mehr Bedacht erfordert.

Da die Arbeitsanforderungen die Fähigkeiten eines einzelnen Computers überschreiten, wird dies häufig zu einer Herausforderung beim Poolen, Zuweisen und Koordinieren von Ressourcen aus Computergruppen. Cluster-Management und Algorithmen, die Aufgaben in kleinere Teile aufteilen können, gewinnen zunehmend an Bedeutung.

Eine andere Art und Weise, in der sich Big Data erheblich von anderen Datensystemen unterscheidet, ist die Geschwindigkeit, mit der sich Informationen durch das System bewegen. Daten fließen häufig aus mehreren Quellen in das System und werden häufig in Echtzeit verarbeitet, um Erkenntnisse zu gewinnen und das aktuelle Systemverständnis zu aktualisieren.

Dieser Fokus auf nahezu sofortiges Feedback hat viele Big-Data-Experten von einem chargenorientierten Ansatz und einem Echtzeit-Streaming-System abgehalten. Daten werden ständig hinzugefügt, massiert, verarbeitet und analysiert, um dem Zustrom neuer Informationen Rechnung zu tragen und wertvolle Informationen frühzeitig zu finden, wenn sie am relevantesten sind. Diese Ideen erfordern robuste Systeme mit hochverfügbaren Komponenten, um Ausfälle entlang der Datenpipeline zu vermeiden.

Big-Data-Probleme sind häufig einzigartig, da sowohl die zu verarbeitenden Quellen als auch ihre relative Qualität sehr unterschiedlich sind.

Daten können von internen Systemen wie Anwendungs- und Serverprotokollen, von Social Media-Feeds und anderen externen APIs, von Sensoren für physische Geräte und von anderen Anbietern erfasst werden. Big Data versucht, potenziell nützliche Daten unabhängig von ihrer Herkunft zu verarbeiten, indem alle Informationen in einem einzigen System zusammengefasst werden.

Die Formate und Medientypen können ebenfalls erheblich variieren. Rich Media-Medien wie Bilder, Videodateien und Audioaufnahmen werden zusammen mit Textdateien, strukturierten Protokollen usw. aufgenommen. Während herkömmliche Datenverarbeitungssysteme möglicherweise erwarten, dass Daten in die Pipeline gelangen, die bereits gekennzeichnet, formatiert und organisiert ist, akzeptieren und speichern Big-Data-Systeme Daten normalerweise näher an ihrem Rohzustand. Im Idealfall werden alle Transformationen oder Änderungen an den Rohdaten zum Zeitpunkt der Verarbeitung gespeichert.

Verschiedene Einzelpersonen und Organisationen haben vorgeschlagen, die ursprünglichen drei V zu erweitern, obwohl diese Vorschläge eher Herausforderungen als Qualitäten von Big Data beschreiben. Einige häufige Ergänzungen sind:

Aufgrund der Qualität von Big Data sind einzelne Computer häufig nicht in der Lage, die Daten in den meisten Phasen zu verarbeiten. Um den hohen Speicher- und Rechenanforderungen von Big Data besser gerecht zu werden, eignen sich Computercluster besser.

Die Big-Data-Clustering-Software kombiniert die Ressourcen vieler kleinerer Maschinen und möchte eine Reihe von Vorteilen bieten:

Für die Verwendung von Clustern ist eine Lösung zum Verwalten der Clustermitgliedschaft, zum Koordinieren der Ressourcenfreigabe und zum Planen der tatsächlichen Arbeit auf einzelnen Knoten erforderlich. Die Clustermitgliedschaft und Ressourcenzuweisung kann von Software wieHadoop’s YARN (was für Yet Another Resource Negotiator steht) oderApache Mesos verwaltet werden.

Der zusammengesetzte Computercluster fungiert häufig als Grundlage, auf der andere Software die Daten verarbeitet. Die am Computing-Cluster beteiligten Maschinen sind in der Regel auch an der Verwaltung eines verteilten Speichersystems beteiligt, auf die wir bei der Erörterung der Datenpersistenz eingehen werden.

Bei der Datenaufnahme werden Rohdaten erfasst und dem System hinzugefügt. Die Komplexität dieses Vorgangs hängt stark vom Format und der Qualität der Datenquellen ab und davon, wie weit die Daten vor der Verarbeitung vom gewünschten Zustand entfernt sind.

Eine Möglichkeit, Daten zu einem Big-Data-System hinzuzufügen, sind dedizierte Aufnahme-Tools. Technologien wieApache Sqoop können vorhandene Daten aus relationalen Datenbanken übernehmen und einem Big-Data-System hinzufügen. In ähnlicher Weise sindApache Flume undApache Chukwa Projekte zum Aggregieren und Importieren von Anwendungs- und Serverprotokollen. Warteschlangensysteme wieApache Kafka können auch als Schnittstelle zwischen verschiedenen Datengeneratoren und einem Big-Data-System verwendet werden. Ingestion-Frameworks wieGobblin können dazu beitragen, die Ausgabe dieser Tools am Ende der Ingestion-Pipeline zu aggregieren und zu normalisieren.

Während des Einnahmeprozesses findet normalerweise ein gewisses Maß an Analyse, Sortierung und Kennzeichnung statt. Dieser Prozess wird manchmal als ETL bezeichnet und steht für Extrahieren, Transformieren und Laden. Während sich dieser Begriff herkömmlicherweise auf ältere Data-Warehousing-Prozesse bezieht, gelten einige der gleichen Konzepte für Daten, die in das Big-Data-System eingegeben werden. Typische Vorgänge können das Ändern der eingehenden Daten zum Formatieren, das Kategorisieren und Kennzeichnen von Daten, das Herausfiltern nicht benötigter oder fehlerhafter Daten oder das potenzielle Überprüfen der Einhaltung bestimmter Anforderungen umfassen.

Unter Berücksichtigung dieser Fähigkeiten sollten die erfassten Daten im Idealfall so roh wie möglich gehalten werden, um eine größere Flexibilität in der gesamten Pipeline zu gewährleisten.

Bei den Aufnahmeprozessen werden die Daten in der Regel an die Komponenten übergeben, die den Speicher verwalten, damit sie zuverlässig auf der Festplatte gespeichert werden können. Dies scheint ein einfacher Vorgang zu sein, doch das eingehende Datenvolumen, die Verfügbarkeitsanforderungen und die verteilte Rechenschicht machen komplexere Speichersysteme erforderlich.

Dies bedeutet normalerweise die Nutzung eines verteilten Dateisystems für die Speicherung von Rohdaten. Lösungen wie das Dateisystem vonApache Hadoop’s HDFSermöglichen das Schreiben großer Datenmengen über mehrere Knoten im Cluster. Dies stellt sicher, dass auf die Daten von Rechenressourcen zugegriffen werden kann, dass sie für speicherinterne Vorgänge in den RAM des Clusters geladen werden können und dass Komponentenfehler ordnungsgemäß behandelt werden können. Anstelle von HDFS können auch andere verteilte Dateisysteme verwendet werden, einschließlichCeph undGlusterFS.

Daten können für einen strukturierteren Zugriff auch in andere verteilte Systeme importiert werden. Verteilte Datenbanken, insbesondere NoSQL-Datenbanken, eignen sich gut für diese Rolle, da sie häufig mit denselben fehlertoleranten Überlegungen entworfen wurden und heterogene Daten verarbeiten können. Abhängig davon, wie Sie die Daten organisieren und darstellen möchten, stehen viele verschiedene Arten verteilter Datenbanken zur Auswahl. Lesen Sie unsereNoSQL comparison guide, um mehr über einige der Optionen und deren Zweck zu erfahren.

Sobald die Daten verfügbar sind, kann das System mit der Verarbeitung der Daten beginnen, um tatsächliche Informationen anzuzeigen. Die Rechenschicht ist möglicherweise der vielfältigste Teil des Systems, da die Anforderungen und der beste Ansatz je nach Art der gewünschten Erkenntnisse erheblich variieren können. Daten werden häufig wiederholt verarbeitet, entweder iterativ mit einem einzigen Tool oder mit einer Reihe von Tools, um verschiedene Arten von Erkenntnissen zu ermitteln.

Batch processing ist eine Methode zum Berechnen eines großen Datensatzes. Der Prozess umfasst das Aufteilen der Arbeit in kleinere Teile, das Planen jedes Teils auf einer einzelnen Maschine, das erneute Mischen der Daten basierend auf den Zwischenergebnissen und das anschließende Berechnen und Zusammenstellen des Endergebnisses. Diese Schritte werden häufig einzeln als Aufteilen, Zuordnen, Mischen, Reduzieren und Zusammensetzen oder gemeinsam als Algorithmus zur Reduzierung verteilter Zuordnungen bezeichnet. Dies ist die Strategie vonApache Hadoop’s MapReduce. Die Stapelverarbeitung ist am nützlichsten, wenn Sie mit sehr großen Datenmengen arbeiten, die viel Rechenaufwand erfordern.

Während die Stapelverarbeitung für bestimmte Arten von Daten und Berechnungen gut geeignet ist, erfordern andere Workloads mehrreal-time processing. Die Echtzeitverarbeitung erfordert, dass Informationen sofort verarbeitet und bereitgestellt werden, und das System muss reagieren, sobald neue Informationen verfügbar werden. Ein Weg, dies zu erreichen, iststream processing, das mit einem kontinuierlichen Datenstrom arbeitet, der aus einzelnen Elementen besteht. Ein weiteres gemeinsames Merkmal von Echtzeitprozessoren ist das In-Memory-Computing, das mit Darstellungen der Daten im Cluster-Speicher arbeitet, um ein Zurückschreiben auf die Festplatte zu vermeiden.

Apache Storm,Apache Flink undApache Spark bieten verschiedene Möglichkeiten, um eine Echtzeit- oder nahezu Echtzeitverarbeitung zu erreichen. Bei jeder dieser Technologien gibt es Kompromisse, die sich darauf auswirken können, welcher Ansatz für jedes einzelne Problem am besten geeignet ist. Im Allgemeinen ist die Echtzeitverarbeitung am besten geeignet, um kleinere Datenblöcke zu analysieren, die sich ändern oder dem System schnell hinzugefügt werden.

Die obigen Beispiele stellen Rechenrahmen dar. Es gibt jedoch viele andere Möglichkeiten, Daten in einem Big-Data-System zu verarbeiten oder zu analysieren. Diese Tools werden häufig in die oben genannten Frameworks eingebunden und bieten zusätzliche Schnittstellen für die Interaktion mit den zugrunde liegenden Ebenen. Beispielsweise bietetApache Hive eine Data-Warehouse-Schnittstelle für Hadoop,Apache Pig eine Abfrage-Schnittstelle auf hoher Ebene, während SQL-ähnliche Interaktionen mit Daten mit Projekten wieApache Drill,Apache Impalaerzielt werden können ) s,Apache Spark SQL undPresto. Für maschinelles Lernen können Projekte wieApache SystemML,Apache Mahout undApache Spark’s MLlib nützlich sein. Für die reine Analyseprogrammierung, die im Big-Data-Ökosystem breite Unterstützung bietet, sind sowohlRals auchPython beliebte Optionen.

Aufgrund der Art der Informationen, die in Big-Data-Systemen verarbeitet werden, ist das Erkennen von Trends oder Änderungen der Daten im Zeitverlauf häufig wichtiger als die Werte selbst. Die Visualisierung von Daten ist eine der nützlichsten Methoden, um Trends zu erkennen und eine große Anzahl von Datenpunkten zu erfassen.

Die Echtzeitverarbeitung wird häufig zur Visualisierung von Anwendungs- und Servermetriken verwendet. Die Daten ändern sich häufig und große Deltas in den Metriken weisen in der Regel auf erhebliche Auswirkungen auf den Zustand der Systeme oder der Organisation hin. In diesen Fällen können Projekte wiePrometheus nützlich sein, um die Datenströme als Zeitreihendatenbank zu verarbeiten und diese Informationen zu visualisieren.

Eine beliebte Methode zur Visualisierung von Daten ist dasElastic Stack, das früher als ELK-Stack bezeichnet wurde. Der aus Logstash für die Datenerfassung, Elasticsearch für die Datenindizierung und Kibana für die Visualisierung bestehende Elastic-Stack kann mit Big-Data-Systemen verwendet werden, um eine visuelle Schnittstelle mit den Ergebnissen von Berechnungen oder Rohdaten zu bilden. Ein ähnlicher Stapel kann mitApache Solr für die Indizierung und einer Kibana-Gabel namensBanana zur Visualisierung erreicht werden. Der von diesen erstellte Stapel heißtSilk.

Eine andere Visualisierungstechnologie, die normalerweise für interaktive datenwissenschaftliche Arbeiten verwendet wird, ist ein Daten- „Notizbuch“. Diese Projekte ermöglichen die interaktive Erkundung und Visualisierung der Daten in einem Format, das das Teilen, Präsentieren oder Zusammenarbeiten erleichtert. Beliebte Beispiele für diese Art von Visualisierungsschnittstelle sindJupyter Notebook undApache Zeppelin.