Введение в концепции и терминологию больших данных

Масштаб обрабатываемой информации помогает определить большие системы данных. Эти наборы данных могут быть на несколько порядков больше, чем традиционные наборы данных, что требует большего внимания на каждом этапе жизненного цикла обработки и хранения.

Часто, поскольку рабочие требования превышают возможности одного компьютера, это становится проблемой объединения, распределения и координации ресурсов из групп компьютеров. Управление кластерами и алгоритмы, способные разбивать задачи на более мелкие части, становятся все более важными.

Другой способ, с помощью которого большие данные значительно отличаются от других систем данных, - это скорость, с которой информация проходит через систему. Данные часто поступают в систему из нескольких источников, и часто ожидается, что они будут обрабатываться в режиме реального времени, чтобы получить представление и обновить текущее понимание системы.

Этот акцент на почти мгновенной обратной связи отвел многих специалистов по работе с большими данными от пакетно-ориентированного подхода и приблизился к потоковой системе в реальном времени. Данные постоянно добавляются, массируются, обрабатываются и анализируются, чтобы не отставать от притока новой информации и своевременно раскрывать ценную информацию, когда она наиболее актуальна. Эти идеи требуют надежных систем с высокодоступными компонентами для защиты от сбоев в конвейере данных.

Проблемы больших данных часто уникальны из-за широкого спектра обрабатываемых источников и их относительного качества.

Данные могут поступать из внутренних систем, таких как журналы приложений и серверов, из каналов социальных сетей и других внешних API, от датчиков физических устройств и от других поставщиков. Большие данные стремятся обрабатывать потенциально полезные данные независимо от того, откуда они поступают, объединяя всю информацию в единую систему.

Форматы и типы носителей также могут значительно различаться. Мультимедийные файлы, такие как изображения, видеофайлы и аудиозаписи, принимаются вместе с текстовыми файлами, структурированными журналами и т. Д. В то время как более традиционные системы обработки данных могут ожидать, что данные поступят в конвейер, уже помеченный, отформатированный и организованный, системы больших данных обычно принимают и хранят данные ближе к исходному состоянию. В идеале любые преобразования или изменения необработанных данных будут происходить в памяти во время обработки.

Различные люди и организации предложили расширить первоначальные три V, хотя эти предложения, как правило, описывают проблемы, а не качества больших данных. Некоторые общие дополнения:

Из-за качества больших данных отдельные компьютеры часто не подходят для обработки данных на большинстве этапов. Для лучшего удовлетворения больших объемов данных и вычислительных потребностей больших данных лучше подходят компьютерные кластеры.

Программное обеспечение для кластеризации больших данных объединяет ресурсы множества небольших машин, стремясь обеспечить ряд преимуществ:

Использование кластеров требует решения для управления членством в кластере, координации совместного использования ресурсов и планирования фактической работы на отдельных узлах. Членство в кластере и распределение ресурсов могут быть обработаны с помощью программного обеспечения, такого как * Hadoop’s YARN * (что означает еще один согласователь ресурсов) или * Apache Mesos *.

Собранный вычислительный кластер часто выступает в качестве основы, с которой взаимодействует другое программное обеспечение для обработки данных. Машины, включенные в вычислительный кластер, также обычно участвуют в управлении распределенной системой хранения, о которой мы поговорим, когда будем обсуждать постоянство данных.

Прием данных - это процесс сбора необработанных данных и их добавления в систему. Сложность этой операции в значительной степени зависит от формата и качества источников данных и от того, насколько далеко данные находятся от требуемого состояния до обработки.

Одним из способов добавления данных в систему больших данных являются специальные инструменты приема. Такие технологии, как * Apache Sqoop *, могут брать существующие данные из реляционных баз данных и добавлять их в систему больших данных. Аналогично, * Apache Flume * и * Apache Chukwa * - это проекты, предназначенные для объединения и импорта журналов приложений и серверов. Системы очередей, такие как * Apache Kafka *, также могут использоваться в качестве интерфейса между различными генераторами данных и большой системой данных. Инфраструктуры проглатывания, такие как * Gobblin *, могут помочь агрегировать и нормализовать вывод этих инструментов в конце конвейера проглатывания.

В процессе приема обычно происходит некоторый уровень анализа, сортировки и маркировки. Этот процесс иногда называют ETL, что означает извлечение, преобразование и загрузку. Хотя этот термин обычно относится к устаревшим процессам хранилища данных, некоторые из тех же понятий применимы к данным, поступающим в систему больших данных. Типичные операции могут включать изменение входящих данных для их форматирования, категоризацию и маркировку данных, фильтрацию ненужных или неверных данных или потенциальную проверку их соответствия определенным требованиям.

Учитывая эти возможности, в идеале, захваченные данные должны храниться как можно более сырыми для большей гибкости в дальнейшем.

Процессы загрузки обычно передают данные компонентам, управляющим хранилищем, чтобы их можно было надежно сохранить на диске. Хотя это кажется простой операцией, объем входящих данных, требования к доступности и уровень распределенных вычислений требуют более сложных систем хранения.

Обычно это означает использование распределенной файловой системы для хранения необработанных данных. Такие решения, как файловая система * Apache Hadoop HDFS *, позволяют записывать большие объемы данных на нескольких узлах кластера. Это гарантирует, что данные могут быть доступны для вычислительных ресурсов, могут быть загружены в ОЗУ кластера для операций в памяти и могут корректно обрабатывать сбои компонентов. Вместо HDFS можно использовать другие распределенные файловые системы, включая * Ceph * и * GlusterFS *.

Данные также могут быть импортированы в другие распределенные системы для более структурированного доступа. Распределенные базы данных, особенно базы данных NoSQL, хорошо подходят для этой роли, потому что они часто разрабатываются с учетом отказоустойчивости и могут обрабатывать разнородные данные. Существует много различных типов распределенных баз данных на выбор, в зависимости от того, как вы хотите организовать и представить данные. Чтобы узнать больше о некоторых опциях и о том, для чего они лучше всего подходят, прочитайте наш https://www.digitalocean.com/community/tutorials/a-comparison-of-nosql-database-management-systems-and-models[NoSQL руководство по сравнению.

Как только данные станут доступны, система может начать обработку данных для отображения фактической информации. Уровень вычислений является, пожалуй, самой разнообразной частью системы, поскольку требования и наилучший подход могут значительно различаться в зависимости от того, какой тип понимания требуется. Данные часто обрабатываются многократно, либо итеративно, с помощью одного инструмента, либо с помощью ряда инструментов, чтобы раскрыть различные типы идей.

В то время как пакетная обработка хорошо подходит для определенных типов данных и вычислений, другие рабочие нагрузки требуют большей * обработки в реальном времени *. Обработка в реальном времени требует немедленной обработки и подготовки информации, а также реагирования системы по мере поступления новой информации. Одним из способов достижения этого является * потоковая обработка *, которая работает с непрерывным потоком данных, состоящим из отдельных элементов. Другой распространенной характеристикой процессоров реального времени являются вычисления в памяти, которые работают с представлениями данных в памяти кластера, чтобы избежать необходимости обратной записи на диск.

Приведенные выше примеры представляют вычислительные рамки. Однако существует много других способов вычисления или анализа данных в большой системе данных. Эти инструменты часто подключаются к вышеупомянутым платформам и предоставляют дополнительные интерфейсы для взаимодействия с нижележащими уровнями. Например, * Apache Hive * предоставляет интерфейс хранилища данных для Hadoop, * Apache Pig * предоставляет высокоуровневый интерфейс запросов, в то время как SQL-подобные взаимодействия с данными могут быть достигнуты с помощью таких проектов, как * Apache Drill *, * Apache Impala *, * Apache Spark SQL * и * Presto *. Для машинного обучения могут быть полезны такие проекты, как * Apache SystemML *, * Apache Mahout * и * Apache Spark MLlib *. Для прямого аналитического программирования, которое имеет широкую поддержку в экосистеме больших данных, оба типа * R * и * Python * являются популярным выбором.

Из-за типа информации, обрабатываемой в больших системах данных, распознавание тенденций или изменений в данных с течением времени часто важнее самих ценностей. Визуализация данных является одним из наиболее полезных способов определения трендов и определения большого количества точек данных.

Обработка в реальном времени часто используется для визуализации метрик приложений и серверов. Данные часто меняются, и большие расхождения в показателях обычно указывают на значительное влияние на работоспособность систем или организации. В таких случаях такие проекты, как * Prometheus *, могут быть полезны для обработки потоков данных в виде базы данных временных рядов и визуализации этой информации.

Одним из популярных способов визуализации данных является * Elastic Stack *, ранее известный как стек ELK. Составленный из Logstash для сбора данных, Elasticsearch для индексирования данных и Kibana для визуализации, стек Elastic можно использовать с системами больших данных для визуального взаимодействия с результатами вычислений или необработанными метриками. Подобный стек может быть достигнут с использованием * Apache Solr * для индексации и вилки Kibana с именем * Banana * для визуализации. Созданный ими стек называется * Silk *.

Еще одна технология визуализации, обычно используемая для интерактивной работы с данными, - это блокнот данных. Эти проекты позволяют проводить интерактивное исследование и визуализацию данных в формате, удобном для совместного использования, представления или сотрудничества. Популярные примеры этого типа интерфейса визуализации - * Jupyter Notebook * и * Apache Zeppelin *.