Первые шаги с PySpark и обработка больших данных

Несмотря на свою популярность какjust ascripting language, Python предоставляет несколькоprogramming paradigms, напримерarray-oriented programming,object-oriented programming,asynchronous programming и многие другие. Одна из парадигм, которая представляет особый интерес для начинающих профессионалов в области больших данных, - этоfunctional programming.

Функциональное программирование является распространенной парадигмой, когда вы имеете дело с большими данными. Функциональная запись составляет кодembarrassingly parallel. Это означает, что легче взять ваш код и запустить его на нескольких процессорах или даже на совершенно разных компьютерах. Вы можете обойти ограничения физической памяти и ЦП одной рабочей станции, запустив несколько систем одновременно.

Это сила экосистемы PySpark, позволяющая вам брать функциональный код и автоматически распределять его по всему кластеру компьютеров.

К счастью для программистов Python, многие из основных идей функционального программирования доступны в стандартной библиотеке и встроенных программах Python. Вы можете изучить многие концепции, необходимые для обработки больших данных, не выходя из комфорта Python.

Основная идея функционального программирования заключается в том, что данными должны манипулировать функции без сохранения какого-либо внешнего состояния. Это означает, что ваш код избегает глобальных переменных и всегда возвращаетnew data вместо того, чтобы манипулировать данными на месте.

Еще одна распространенная идея в функциональном программировании -anonymous functions. Python предоставляет анонимные функции с использованием ключевого словаlambda, не путать сAWS Lambda functions.

Теперь, когда вы знаете некоторые термины и понятия, вы можете исследовать, как эти идеи проявляются в экосистеме Python.

Как и в любом хорошем руководстве по программированию, вам нужно начать с примераHello World. Ниже приведен эквивалент PySpark:

Пока не беспокойтесь обо всех деталях. Основная идея заключается в том, чтобы иметь в виду, что программа PySpark не сильно отличается от обычной программы Python.

Note: Эта программа, скорее всего, вызоветException в вашей системе, если у вас еще не установлен PySpark или нет указанного файлаcopyright, что вы увидите, как это сделать. позже.

Вы скоро узнаете все детали этой программы, но внимательно посмотрите. Программа подсчитывает общее количество строк и количество строк, содержащих словоpython в файле с именемcopyright.

Помните,a PySpark program isn’t that much different from a regular Python program, ноexecution model can be very different из обычной программы Python, особенно если вы работаете в кластере.

За кулисами может происходить много вещей, которые распределяют обработку по нескольким узлам, если вы находитесь в кластере. Однако пока что представьте программу как программу Python, использующую библиотеку PySpark.

Теперь, когда вы увидели некоторые общие функциональные концепции, существующие в Python, а также простую программу PySpark, пришло время углубиться в Spark и PySpark.

Apache Spark состоит из нескольких компонентов, поэтому его описание может быть затруднительным. По своей сути Spark - это общийengine для обработки больших объемов данных.

Spark записывается вScala и работает наJVM. Spark имеет встроенные компоненты для обработки потоковых данных, машинного обучения, обработки графиков и даже взаимодействия с данными через SQL.

В этом руководстве вы узнаете только об основных компонентах Spark для обработки больших данных. Однако все остальные компоненты, такие как машинное обучение, SQL и т. Д., Также доступны для проектов Python через PySpark.

Spark реализован в Scala, языке, который работает на JVM, так как вы можете получить доступ ко всем этим функциям через Python?

PySpark является ответом.

Текущая версия PySpark - 2.4.3 и работает с Python 2.7, 3.3 и выше.

Вы можете думать о PySpark как обертке на основе Python поверх Scala API. Это означает, что у вас есть два набора документации для ссылки:

Документы PySpark API имеют примеры, но часто вам нужно обратиться к документации по Scala и перевести код в синтаксис Python для своих программ PySpark. К счастью, Scala - очень читаемый язык программирования на основе функций.

PySpark взаимодействует с API на основе Spark Scala черезPy4J library. Py4J не является специфичным для PySpark или Spark. Py4J позволяет любой программе на Python общаться с кодом на основе JVM.

Существует две причины, по которым PySpark основан на функциональной парадигме:

Еще один способ представить PySpark - это библиотека, которая позволяет обрабатывать большие объемы данных на одном компьютере или кластере компьютеров.

В контексте Python подумайте о том, что PySpark может обрабатывать параллельную обработку без необходимости в модуляхthreading илиmultiprocessing. Все сложные коммуникации и синхронизация между потоками, процессами и даже разными процессорами выполняются Spark.

Для взаимодействия с PySpark вы создаете специализированные структуры данных, называемыеResilient Distributed Datasets (RDD).

RDD скрывают всю сложность преобразования и автоматического распределения ваших данных по нескольким узлам с помощью планировщика, если вы работаете в кластере.

Чтобы лучше понять API PySpark и структуры данных, вспомните упомянутую ранее программуHello World:

Точкой входа любой программы PySpark является объектSparkContext. Этот объект позволяет вам подключаться к кластеру Spark и создавать RDD. Строкаlocal[*] - это специальная строка, обозначающая, что вы используете кластерlocal, что является еще одним способом сказать, что вы работаете в одномашинном режиме. * указывает Spark создать столько рабочих потоков, сколько логических ядер на вашем компьютере.

СозданиеSparkContext может быть более сложным, если вы используете кластер. Чтобы подключиться к кластеру Spark, вам может потребоваться обработать аутентификацию и некоторые другие сведения, относящиеся к вашему кластеру. Вы можете настроить эти детали аналогично следующему:

Вы можете приступить к созданию RDD, когда у вас будетSparkContext.

Вы можете создавать RDD несколькими способами, но одним из распространенных способов является функция PySparkparallelize(). parallelize() может преобразовывать некоторые структуры данных Python, такие как списки и кортежи, в RDD, что дает вам функциональность, которая делает их отказоустойчивыми и распределенными.

Чтобы лучше понять СДР, рассмотрим другой пример. Следующий код создает итератор из 10 000 элементов, а затем используетparallelize() для распределения этих данных на 2 раздела:

>>>

parallelize() превращает этот итератор в набор чиселdistributed и предоставляет вам все возможности инфраструктуры Spark.

Обратите внимание, что этот код использует методfilter() RDD вместо встроенного в Pythonfilter(), который вы видели ранее. Результат тот же, но то, что происходит за кулисами, радикально отличается. При использовании метода RDDfilter() эта операция выполняется распределенным образом между несколькими процессорами или компьютерами.

Опять же, представьте, что Spark выполняет за вас работуmultiprocessing, и все это инкапсулировано в структуре данных RDD.

take() - это способ увидеть содержимое вашего RDD, но только небольшую часть. take() переносит это подмножество данных из распределенной системы на одну машину.

take() важен для отладки, поскольку проверка всего набора данных на одном компьютере может быть невозможна. СДР оптимизированы для использования с большими данными, поэтому в реальных условиях на одной машине может не хватить ОЗУ для хранения всего вашего набора данных.

Note: Spark временно выводит информацию вstdout при запуске подобных примеров в оболочке, и вы скоро увидите, как это сделать. Вашstdout может временно отображать что-то вроде[Stage 0:> (0 + 1) / 1].

Текстstdout демонстрирует, как Spark разделяет RDD и обрабатывает ваши данные на несколько этапов на разных процессорах и машинах.

Другой способ создания RDD - это чтение файла сtextFile(), который вы видели в предыдущих примерах. СДР являются одной из основополагающих структур данных для использования PySpark, поэтому многие функции API возвращают СДР.

Одно из ключевых отличий между СДР и другими структурами данных заключается в том, что обработка задерживается до тех пор, пока не будет запрошен результат. Это похоже на aPython generator. Разработчики в экосистеме Python обычно используют терминlazy evaluation для объяснения этого поведения.

Вы можете объединить несколько преобразований в одном RDD без какой-либо обработки. Эта функция возможна, потому что Spark поддерживаетdirected acyclic graphпреобразований. Базовый график активируется только тогда, когда запрашиваются окончательные результаты. В предыдущем примере вычисления не производились, пока вы не запросили результаты, вызвавtake().

Есть несколько способов запросить результаты от RDD. Вы можете явно запросить результаты для оценки и сбора на одном узле кластера, используяcollect() в RDD. Вы также можете неявно запросить результаты различными способами, одним из которых, как вы видели ранее, было использованиеcount().

Note: Будьте осторожны при использовании этих методов, потому что они извлекают весь набор данных в память, что не будет работать, если набор данных слишком велик, чтобы поместиться в RAM одной машины.

Опять же, обратитесь кPySpark API documentation для получения более подробной информации обо всех возможных функциях.

Как правило, вы запускаете программы PySpark наHadoop cluster, но поддерживаются и другие варианты развертывания кластера. Вы можете прочитатьSpark’s cluster mode overview для более подробной информации.

Note: Настройка одного из этих кластеров может быть сложной задачей и выходит за рамки данного руководства. В идеале у вашей команды есть несколько инженеров-волшебниковDevOps, которые помогут наладить это. Если нет, Hadoop публикуетa guide, чтобы помочь вам.

В этом руководстве вы увидите несколько способов запуска программ PySpark на локальном компьютере. Это полезно для тестирования и обучения, но вы быстро захотите взять свои новые программы и запустить их в кластере, чтобы действительно обрабатывать большие данные.

Иногда настройка PySpark сама по себе может быть сложной задачей из-за всех необходимых зависимостей.

PySpark работает поверх JVM и требует много базовой инфраструктуры Java для работы. При этом мы живем в эпохуDocker, что значительно упрощает эксперименты с PySpark.

Более того, замечательные разработчикиJupyter сделали за вас всю тяжелую работу. Они публикуютDockerfile, который включает все зависимости PySpark вместе с Jupyter. Таким образом, вы можете экспериментировать прямо в блокноте Jupyter!

Note: Ноутбуки Jupyter обладают множеством функций. ПосмотритеJupyter Notebook: An Introduction, чтобы узнать больше о том, как эффективно использовать записные книжки.

Во-первых, вам нужно установить Docker. Взгляните наDocker in Action – Fitter, Happier, More Productive, если у вас еще нет настройки Docker.

Note: Образы Docker могут быть довольно большими, поэтому убедитесь, что вы используете около 5 ГБ дискового пространства для использования PySpark и Jupyter.

Затем вы можете запустить следующую команду, чтобы загрузить и автоматически запустить Docker-контейнер с предварительно созданной установкой PySpark для одного узла. Эта команда может занять несколько минут, поскольку она загружает изображения непосредственно изDockerHub вместе со всеми требованиями для Spark, PySpark и Jupyter:

Как только эта команда прекращает печатать вывод, у вас есть работающий контейнер, в котором есть все необходимое для тестирования ваших программ PySpark в среде с одним узлом.

Чтобы остановить ваш контейнер, введите [.keys] #Ctrl [.kbd .key-c] # C ## в том же окне, в котором вы ввели команду `+ docker run`.

Теперь пришло время, наконец, запустить некоторые программы!

Существует несколько способов выполнения программ PySpark, в зависимости от того, предпочитаете ли вы командную строку или более визуальный интерфейс. Для интерфейса командной строки вы можете использовать командуspark-submit, стандартную оболочку Python или специализированную оболочку PySpark.

Во-первых, вы увидите более визуальный интерфейс с ноутбуком Jupyter.

Как вы уже видели, PySpark поставляется с дополнительными библиотеками для таких вещей, как машинное обучение и SQL-подобные манипуляции с большими наборами данных. Однако вы также можете использовать другие общие научные библиотеки, такие какNumPy иPandas.

Вы должны установить их в той же средеon each cluster node, и тогда ваша программа сможет использовать их как обычно. Затем вы можете использовать все уже знакомые вам приемыidiomatic Pandas.

Remember:Pandas DataFrames быстро оцениваются, поэтому все данные должны поместиться в памятиon a single machine.

Вскоре после изучения основ PySpark вы наверняка захотите приступить к анализу огромных объемов данных, которые, вероятно, не будут работать, когда вы используете режим с одним компьютером. Установка и обслуживание кластера Spark выходят за рамки данного руководства и, скорее всего, являются работой на полный рабочий день.

Так что, возможно, пришло время посетить ИТ-отдел в вашем офисе или изучить размещенное кластерное решение Spark. Одно из возможных размещенных решений -Databricks.

Databricks позволяет размещать ваши данные с помощьюMicrosoft Azure илиAWS и имеетfree 14-day trial.

После того, как у вас есть работающий кластер Spark, вы захотите поместить все свои данные в этот кластер для анализа. У Spark есть несколько способов импорта данных:

Вы даже можете читать данные напрямую из сетевой файловой системы, как работали предыдущие примеры.

Нет недостатка в способах получить доступ ко всем вашим данным, независимо от того, используете ли вы размещенное решение, такое как Databricks, или свой кластер машин.

PySpark является хорошей отправной точкой в ​​обработке больших данных.

Из этого руководства вы узнали, что вам не нужно тратить много времени на предварительное обучение, если вы знакомы с несколькими концепциями функционального программирования, такими какmap(),filter() иbasic Python. ) с. Фактически, вы можете использовать весь Python, который вы уже знаете, включая знакомые инструменты, такие как NumPy и Pandas, непосредственно в своих программах PySpark.

Теперь вы можете: