PySparkとビッグデータ処理の最初のステップ

just、scripting languageとして人気があるにもかかわらず、Pythonはarray-oriented programming、object-oriented programming、asynchronous programmingなどのいくつかのprogramming paradigmsを公開しています。 意欲的なビッグデータの専門家にとって特に興味深いパラダイムの1つは、functional programmingです。

関数型プログラミングは、ビッグデータを扱う際の一般的なパラダイムです。 機能的な方法で書くと、embarrassingly parallelコードになります。 つまり、コードを取得して複数のCPUまたはまったく異なるマシンで実行する方が簡単です。 一度に複数のシステムで実行することにより、単一のワークステーションの物理メモリとCPUの制限を回避できます。

これはPySparkエコシステムの力であり、機能的なコードを取得して、コンピューターのクラスター全体に自動的に配布できます。

Pythonプログラマにとって幸いなことに、関数型プログラミングのコアアイデアの多くは、Pythonの標準ライブラリとビルトインで利用できます。 Pythonの快適さを離れることなく、ビッグデータ処理に必要な多くの概念を学ぶことができます。

関数型プログラミングの核となる考え方は、外部状態を維持せずに関数によってデータを操作する必要があるということです。 これは、コードがグローバル変数を回避し、データをインプレースで操作する代わりに常にnew dataを返すことを意味します。

関数型プログラミングのもう1つの一般的な考え方は、anonymous functionsです。 Pythonは、AWS Lambda functionsと混同しないように、lambdaキーワードを使用して無名関数を公開します。

用語と概念のいくつかを知ったので、これらのアイデアがPythonエコシステムでどのように現れるかを探ることができます。

他の優れたプログラミングチュートリアルと同様に、Hello Worldの例から始めたいと思うでしょう。 以下はPySparkに相当するものです。

まだすべての詳細について心配する必要はありません。 主なアイデアは、PySparkプログラムが通常のPythonプログラムとそれほど変わらないことを念頭に置くことです。

Note: PySparkがまだ​​インストールされていない場合、または指定されたcopyrightファイルがない場合、このプログラムはシステム上でExceptionを発生させる可能性があります。これを行う方法を説明します。後で。

このプログラムの詳細はすぐに学習しますが、よく見てください。 プログラムは、copyrightという名前のファイル内の行の総数と単語pythonを含む行の数をカウントします。

a PySpark program isn’t that much different from a regular Python programを覚えておいてください。ただし、特にクラスターで実行している場合は、通常のPythonプログラムからのexecution model can be very differentを使用してください。

クラスター上にいる場合、複数のノードに処理を分散させる背後で多くのことが発生する可能性があります。 ただし、現時点では、プログラムをPySparkライブラリを使用するPythonプログラムと考えてください。

PythonとシンプルなPySparkプログラムに存在するいくつかの一般的な機能概念を見てきたので、今度はSparkとPySparkについてさらに詳しく見ていきましょう。

Apache Sparkは複数のコンポーネントで構成されているため、説明が難しい場合があります。 本質的に、Sparkは大量のデータを処理するための汎用engineです。

SparkはScalaで記述され、JVMで実行されます。 Sparkには、ストリーミングデータの処理、機械学習、グラフ処理、さらにSQLを介したデータとのやり取りのためのコンポーネントが組み込まれています。

このガイドでは、ビッグデータを処理するためのコアSparkコンポーネントについてのみ学習します。 ただし、機械学習やSQLなどの他のすべてのコンポーネントはすべて、PySparkを介してPythonプロジェクトでも使用できます。

Sparkは、JVM上で実行される言語であるScalaに実装されていますが、Pythonを介してすべての機能にアクセスするにはどうすればよいですか？

PySparkが答えです。

PySparkの現在のバージョンは2.4.3であり、Python 2.7、3.3以上で動作します。

PySparkは、Scala APIの上にあるPythonベースのラッパーと考えることができます。 これは、参照する2つのドキュメントセットがあることを意味します。

PySpark APIドキュメントには例がありますが、多くの場合、Scalaのドキュメントを参照して、コードをPySparkプログラムのPython構文に変換する必要があります。 幸いなことに、Scalaは非常に読みやすい関数ベースのプログラミング言語です。

PySparkは、Py4J libraryを介してSparkScalaベースのAPIと通信します。 Py4JはPySparkやSparkに固有のものではありません。 Py4Jでは、あらゆるPythonプログラムがJVMベースのコードと通信できます。

PySparkが機能的パラダイムに基づいている理由は2つあります。

PySparkを考えるもう1つの方法は、単一のマシンまたはマシンのクラスターで大量のデータを処理できるライブラリです。

Pythonのコンテキストでは、PySparkには、threadingまたはmultiprocessingモジュールを必要とせずに並列処理を処理する方法があると考えてください。 スレッド、プロセス、さらにはさまざまなCPU間の複雑な通信と同期はすべて、Sparkによって処理されます。

PySparkと対話するには、Resilient Distributed Datasets（RDD）と呼ばれる特殊なデータ構造を作成します。

RDDは、クラスターで実行している場合、スケジューラーによってデータを複数のノードに自動的に変換および分散する複雑さをすべて隠します。

PySparkのAPIとデータ構造をよりよく理解するために、前述のHello Worldプログラムを思い出してください。

PySparkプログラムのエントリポイントは、SparkContextオブジェクトです。 このオブジェクトを使用すると、Sparkクラスターに接続してRDDを作成できます。 local[*]文字列は、localクラスターを使用していることを示す特別な文字列です。これは、シングルマシンモードで実行していることを示す別の方法です。 *は、マシン上に論理コアと同じ数のワーカースレッドを作成するようにSparkに指示します。

クラスターを使用している場合、SparkContextの作成はより複雑になる可能性があります。 Sparkクラスターに接続するには、認証とクラスターに固有の他のいくつかの情報を処理する必要がある場合があります。 これらの詳細は、次のように設定できます。

SparkContextを取得したら、RDDの作成を開始できます。

RDDはさまざまな方法で作成できますが、一般的な方法の1つは、PySparkparallelize()関数です。 parallelize()は、リストやタプルなどの一部のPythonデータ構造をRDDに変換できます。これにより、フォールトトレラントで分散型の機能が提供されます。

RDDをよりよく理解するために、別の例を検討してください。 次のコードは、10,000要素のイテレーターを作成し、parallelize()を使用してそのデータを2つのパーティションに分散します。

>>>

parallelize()は、そのイテレータをdistributedの数値のセットに変換し、Sparkのインフラストラクチャのすべての機能を提供します。

このコードは、前に見たPythonの組み込みfilter()の代わりに、RDDのfilter()メソッドを使用していることに注意してください。 結果は同じですが、舞台裏で起こっていることは大幅に異なります。 RDDfilter()メソッドを使用することにより、その操作は複数のCPUまたはコンピューターに分散して実行されます。

繰り返しますが、これを、Sparkがmultiprocessingを実行し、すべてRDDデータ構造にカプセル化されていると想像してください。

take()は、RDDの内容を確認する方法ですが、小さなサブセットにすぎません。 take()は、データのサブセットを分散システムから単一のマシンにプルします。

take()は、単一のマシンでデータセット全体を検査できない場合があるため、デバッグにとって重要です。 RDDはビッグデータでの使用に最適化されているため、現実のシナリオでは、単一のマシンにデータセット全体を保持するのに十分なRAMがない場合があります。

Note: Sparkは、シェルでこのような例を実行すると、一時的に情報をstdoutに出力します。これについては、すぐに説明します。 stdoutは、一時的に[Stage 0:> (0 + 1) / 1]のようなものを表示する場合があります。

stdoutテキストは、SparkがRDDを分割し、データをさまざまなCPUとマシン間で複数のステージに処理する方法を示しています。

RDDを作成する別の方法は、前の例で見たtextFile()を含むファイルを読み込むことです。 RDDはPySparkを使用するための基本的なデータ構造の1つであるため、APIの多くの関数はRDDを返します。

RDDと他のデータ構造の重要な違いの1つは、結果が要求されるまで処理が遅延することです。 これはPython generatorに似ています。 Pythonエコシステムの開発者は通常、この動作を説明するためにlazy evaluationという用語を使用します。

処理を行わずに、同じRDDに複数の変換を積み重ねることができます。 Sparkは変換のdirected acyclic graphを維持するため、この機能が可能です。 基になるグラフは、最終結果が要求されたときにのみアクティブになります。 前の例では、take()を呼び出して結果を要求するまで、計算は行われませんでした。

RDDから結果を要求する方法は複数あります。 RDDでcollect()を使用して、評価および収集する結果を単一のクラスターノードに明示的に要求できます。 また、さまざまな方法で結果を暗黙的に要求することもできます。その1つは、前に見たようにcount()を使用していました。

Note:これらのメソッドを使用するときは、データセット全体をメモリにプルするので注意してください。データセットが大きすぎて単一のマシンのRAMに収まらない場合は機能しません。

繰り返しになりますが、考えられるすべての機能の詳細については、PySpark API documentationを参照してください。

通常、Hadoop clusterでPySparkプログラムを実行しますが、他のクラスター展開オプションもサポートされています。 詳細については、Spark’s cluster mode overviewを参照してください。

Note:これらのクラスターの1つをセットアップするのは難しい場合があり、このガイドの範囲外です。 理想的には、チームにはそれを機能させるのに役立つウィザードDevOpsのエンジニアがいます。 そうでない場合、Hadoopはa guideを公開して支援します。

このガイドでは、ローカルマシンでPySparkプログラムを実行するいくつかの方法を紹介します。 これはテストや学習に役立ちますが、すぐに新しいプログラムを取得してクラスターで実行し、ビッグデータを真に処理したいと思うでしょう。

必要な依存関係がすべてあるため、PySpark自体をセットアップするのも難しい場合があります。

PySparkはJVMの上で実行され、機能するために多くの基盤となるJavaインフラストラクチャが必要です。 そうは言っても、私たちはDockerの時代に生きているので、PySparkの実験がはるかに簡単になります。

さらに良いことに、Jupyterの背後にいる驚くべき開発者は、あなたのためにすべての面倒な作業を行ってくれました。 それらは、JupyterとともにすべてのPySpark依存関係を含むDockerfileを公開します。 したがって、Jupyterノートブックで直接実験できます。

Note:Jupyterノートブックには多くの機能があります。 ノートブックを効果的に使用する方法の詳細については、Jupyter Notebook: An Introductionを確認してください。

まず、Dockerをインストールする必要があります。 Dockerをまだセットアップしていない場合は、Docker in Action – Fitter, Happier, More Productiveを確認してください。

Note: Dockerイメージは非常に大きくなる可能性があるため、PySparkとJupyterを使用するために約5GBのディスクスペースを使用しても問題がないことを確認してください。

次に、次のコマンドを実行して、事前に構築されたPySparkシングルノードセットアップでDockerコンテナーをダウンロードし、自動的に起動できます。 このコマンドは、Spark、PySpark、およびJupyterのすべての要件とともに、DockerHubから直接画像をダウンロードするため、数分かかる場合があります。

そのコマンドが出力の印刷を停止すると、シングルノード環境でPySparkプログラムをテストするために必要なすべてを備えた実行中のコンテナーができます。

コンテナを停止するには、「+ dockerrun」コマンドを入力したのと同じウィンドウで[.keys]＃Ctrl [.kbd .key-c]＃C ##と入力します。

いよいよいくつかのプログラムを実行します。

PySparkプログラムを実行するには、コマンドラインを使用するか、より視覚的なインターフェースを使用するかに応じて、いくつかの方法があります。 コマンドラインインターフェイスの場合は、spark-submitコマンド、標準のPythonシェル、または専用のPySparkシェルを使用できます。

最初に、Jupyterノートブックのより視覚的なインターフェースが表示されます。

既に見たように、PySparkには、機械学習やSQLのような大規模なデータセットの操作などを行うための追加のライブラリが付属しています。 ただし、NumPyやPandasなどの他の一般的な科学ライブラリを使用することもできます。

これらを同じ環境on each cluster nodeにインストールする必要があります。そうすれば、プログラムは通常どおりにそれらを使用できます。 そうすれば、すでに知っているおなじみのidiomatic Pandasのトリックをすべて自由に使用できます。

Remember:Pandas DataFramesは熱心に評価されるため、すべてのデータがメモリon a single machineに収まる必要があります。

PySparkの基本を学んだらすぐに、シングルマシンモードを使用していると機能しない可能性が高い膨大な量のデータの分析を確実に開始する必要があります。 Sparkクラスターのインストールとメンテナンスは、このガイドの範囲外であり、それ自体がフルタイムの仕事である可能性があります。

そのため、オフィスのIT部門を訪問するか、ホストされているSparkクラスターソリューションを検討する時間になるかもしれません。 潜在的なホストソリューションの1つは、Databricksです。

Databricksを使用すると、Microsoft AzureまたはAWSでデータをホストでき、free 14-day trialでデータをホストできます。

動作中のSparkクラスターができたら、すべてのデータを分析のためにそのクラスターに取り込みます。 Sparkには、データをインポートする方法がいくつかあります。

Network File Systemから直接データを読み取ることもできます。これは、前の例の仕組みです。

Databricksのようなホスト型ソリューションを使用している場合でも、独自のマシンのクラスターを使用している場合でも、すべてのデータにアクセスする方法が不足することはありません。

PySparkは、ビッグデータ処理への優れたエントリポイントです。

このチュートリアルでは、map()、filter()、basic Pythonなどの関数型プログラミングの概念に精通していれば、事前に多くの時間を費やす必要がないことを学びました。 ）s。 実際、NumPyやPandasなどの使い慣れたツールを含め、PySparkプログラムで直接知っているすべてのPythonを使用できます。

次のことができるようになりました。