Introduction aux concepts et à la terminologie Big Data

L’ampleur des informations traitées permet de définir les systèmes Big Data. Ces jeux de données peuvent avoir des ordres de grandeur supérieurs à ceux des jeux de données traditionnels, ce qui demande plus de réflexion à chaque étape du cycle de vie du traitement et du stockage.

Souvent, du fait que les exigences de travail dépassent les capacités d’un seul ordinateur, la mise en commun, l’allocation et la coordination des ressources provenant de groupes d’ordinateurs deviennent un défi. La gestion des grappes et des algorithmes capables de décomposer des tâches en éléments plus petits deviennent de plus en plus importants.

Une autre différence entre les mégadonnées et les autres systèmes de données réside dans la rapidité avec laquelle l’information circule dans le système. Les données arrivent fréquemment dans le système à partir de sources multiples et doivent souvent être traitées en temps réel pour obtenir des informations et mettre à jour la compréhension actuelle du système.

Cette focalisation sur le retour quasi instantané a conduit de nombreux praticiens du Big Data à abandonner une approche par lots et à se rapprocher d’un système de streaming en temps réel. Les données sont constamment ajoutées, massées, traitées et analysées afin de faire face à l’afflux de nouvelles informations et de révéler rapidement des informations précieuses dès qu’elles sont pertinentes. Ces idées nécessitent des systèmes robustes avec des composants hautement disponibles pour se prémunir contre les défaillances le long du pipeline de données.

Les problèmes liés aux mégadonnées sont souvent uniques en raison du large éventail de sources traitées et de leur qualité relative.

Les données peuvent être ingérées à partir de systèmes internes tels que les journaux des applications et des serveurs, des flux de médias sociaux et d’autres API externes, à partir de capteurs de périphériques physiques et d’autres fournisseurs. Le Big Data cherche à traiter des données potentiellement utiles, quelle que soit leur origine, en consolidant toutes les informations dans un système unique.

Les formats et les types de supports peuvent également varier considérablement. Les médias enrichis, tels que les images, les fichiers vidéo et les enregistrements audio, sont intégrés aux fichiers texte, aux journaux structurés, etc. Alors que les systèmes de traitement de données plus traditionnels peuvent s’attendre à ce que les données entrent dans le pipeline déjà étiqueté, formaté et organisé, les systèmes de données volumineuses acceptent et stockent généralement les données plus près de leur état brut. Idéalement, toute transformation ou modification des données brutes se produira en mémoire au moment du traitement.

Diverses personnes et organisations ont suggéré d’élargir les trois V originaux, bien que ces propositions aient eu tendance à décrire les défis plutôt que les qualités du Big Data. Certains ajouts courants sont:

En raison des qualités du Big Data, les ordinateurs individuels sont souvent insuffisants pour traiter les données à la plupart des étapes. Pour mieux répondre aux besoins de stockage et de calcul élevés du Big Data, les grappes d’ordinateurs sont mieux adaptées.

Le logiciel de clustering de données volumineuses combine les ressources de nombreuses petites machines et cherche à fournir un certain nombre d’avantages:

L’utilisation de clusters nécessite une solution pour gérer l’appartenance à un cluster, coordonner le partage des ressources et planifier le travail réel sur des nœuds individuels. L’appartenance à un cluster et l’allocation de ressources peuvent être gérées par des logiciels tels que * Hadoop’s YARN * (qui signifie Yet Another Resource Negotiator) ou * Apache Mesos *.

Le cluster informatique assemblé sert souvent de base aux interfaces logicielles avec lesquelles le logiciel traite les données. Les machines impliquées dans le cluster informatique sont également généralement impliquées dans la gestion d’un système de stockage distribué, ce dont nous parlerons quand nous parlerons de la persistance des données.

L’ingestion de données est le processus consistant à prendre des données brutes et à les ajouter au système. La complexité de cette opération dépend fortement du format et de la qualité des sources de données et de la distance qui sépare les données de l’état souhaité avant leur traitement.

Les données peuvent être ajoutées à un système de données volumineuses grâce à des outils d’ingestion dédiés. Des technologies telles que * Apache Sqoop * peuvent extraire des données existantes de bases de données relationnelles et les ajouter à un système Big Data. De même, * Apache Flume * et * Apache Chukwa * sont des projets conçus pour agréger et importer des journaux d’application et de serveur. Les systèmes de file d’attente tels que * Apache Kafka * peuvent également être utilisés comme interface entre divers générateurs de données et un système Big Data. Les cadres d’ingestion tels que * Gobblin * peuvent aider à agréger et à normaliser les résultats de ces outils à la fin du pipeline d’ingestion.

Au cours du processus d’ingestion, un certain niveau d’analyse, de tri et d’étiquetage a généralement lieu. Ce processus est parfois appelé ETL, qui signifie extraire, transformer et charger. Bien que ce terme se réfère conventionnellement aux processus d’entreposage de données hérités, certains des mêmes concepts s’appliquent aux données qui entrent dans le système Big Data. Les opérations typiques peuvent inclure la modification des données entrantes pour les formater, la catégorisation et l’étiquetage des données, le filtrage des données inutiles ou erronées ou la validation éventuelle du respect de certaines exigences.

En gardant à l’esprit ces capacités, idéalement, les données capturées devraient être conservées aussi brutes que possible pour une plus grande flexibilité à long terme.

Les processus d’ingestion transfèrent généralement les données aux composants qui gèrent le stockage, afin de pouvoir les conserver de manière fiable sur le disque. Bien que cela semble être une opération simple, le volume de données entrantes, les exigences de disponibilité et la couche informatique répartie rendent nécessaires des systèmes de stockage plus complexes.

Cela signifie généralement qu’il faut utiliser un système de fichiers distribué pour le stockage de données brutes. Des solutions telles que le système de fichiers HDFS * * d’Apache Hadoop permettent d’écrire de grandes quantités de données sur plusieurs nœuds du cluster. Cela garantit que les données sont accessibles aux ressources informatiques, peuvent être chargées dans la mémoire vive du cluster pour les opérations en mémoire et permettent de gérer correctement les défaillances des composants. D’autres systèmes de fichiers distribués peuvent être utilisés à la place de HDFS, notamment * Ceph * et * GlusterFS *.

Les données peuvent également être importées dans d’autres systèmes distribués pour un accès plus structuré. Les bases de données distribuées, en particulier les bases de données NoSQL, conviennent parfaitement à ce rôle car elles sont souvent conçues avec les mêmes considérations de tolérance aux pannes et peuvent gérer des données hétérogènes. Vous pouvez choisir parmi de nombreux types de bases de données distribuées en fonction de la manière dont vous souhaitez organiser et présenter les données. Pour en savoir plus sur certaines des options et sur le but qu’elles servent le mieux, lisez notre NoSQL guide de comparaison.

Une fois les données disponibles, le système peut commencer à les traiter pour afficher les informations réelles. La couche de calcul est peut-être la partie la plus diverse du système car les exigences et la meilleure approche peuvent varier considérablement en fonction du type d’informations souhaité. Les données sont souvent traitées à plusieurs reprises, soit de manière itérative par un seul outil, soit en utilisant un certain nombre d’outils pour faire apparaître différents types d’informations.

Bien que le traitement par lots convienne bien à certains types de données et de calculs, les autres charges de travail nécessitent davantage de * traitements en temps réel *. Le traitement en temps réel exige que les informations soient traitées et préparées immédiatement et que le système réagisse à mesure que de nouvelles informations deviennent disponibles. Un moyen d’y parvenir est le * traitement de flux *, qui opère sur un flux continu de données composé d’éléments individuels. Une autre caractéristique commune des processeurs temps réel est l’informatique en mémoire, qui utilise des représentations des données dans la mémoire du cluster pour éviter d’avoir à écrire sur le disque.

Les exemples ci-dessus représentent des cadres de calcul. Cependant, il existe de nombreuses autres façons de traiter ou d’analyser des données dans un système Big Data. Ces outils se connectent fréquemment aux cadres ci-dessus et fournissent des interfaces supplémentaires pour interagir avec les couches sous-jacentes. Par exemple, * Apache Hive * fournit une interface de stockage de données pour Hadoop, * Apache Pig * fournit une interface de requête de haut niveau, tandis que des interactions de type SQL avec des données peuvent être obtenues avec des projets tels que * Apache Drill *, * Apache Impala *, * Apache Spark SQL * et * Presto *. Pour l’apprentissage automatique, des projets tels que * Apache SystemML *, * Apache Mahout * et * Apache Spark’s MLlib * peuvent être utiles. Pour la programmation analytique directe qui prend largement en charge l’écosystème du Big Data, * R * et * Python * sont des choix courants.

En raison du type d’informations traitées dans les systèmes Big Data, il est souvent plus important de reconnaître les tendances ou les modifications des données au fil du temps que les valeurs elles-mêmes. La visualisation des données est l’un des moyens les plus utiles de repérer les tendances et de donner un sens à un grand nombre de points de données.

Le traitement en temps réel est fréquemment utilisé pour visualiser les métriques des applications et des serveurs. Les données changent fréquemment et les deltas importants dans les métriques indiquent généralement des impacts significatifs sur la santé des systèmes ou de l’organisation. Dans ces cas, des projets tels que * Prometheus * peuvent être utiles pour traiter les flux de données sous forme de base de données chronologiques et pour visualiser ces informations.

Un moyen populaire de visualiser les données est le * Elastic Stack *, anciennement connu sous le nom de pile ELK. Composée de Logstash pour la collecte de données, d’Elasticsearch pour l’indexation des données et de Kibana pour la visualisation, la pile Elastic peut être utilisée avec des systèmes Big Data pour établir une interface visuelle avec les résultats de calculs ou de mesures brutes. Une pile similaire peut être obtenue en utilisant * Apache Solr * pour l’indexation et un fork de Kibana appelé * Banana * pour la visualisation. La pile créée par ceux-ci s’appelle * Silk *.

Une autre technologie de visualisation généralement utilisée pour les travaux de science des données interactifs est un «cahier» de données. Ces projets permettent une exploration et une visualisation interactives des données dans un format propice au partage, à la présentation ou à la collaboration. Les exemples courants de ce type d’interface de visualisation sont * Jupyter Notebook * et * Apache Zeppelin *.