GSP104

概要

Cloud Dataproc は、Apache Spark クラスタと Apache Hadoop クラスタをより簡単かつ低コストで実行できるようにする、高速で使いやすいフルマネージド クラウド サービスです。これまで数時間から数日かかっていたオペレーションを数秒から数分で処理できます。Cloud Dataproc クラスタは迅速に作成でき、いつでもサイズ変更が可能です。このため、データ パイプラインの成長にクラスタが追いつかなくなることを心配する必要はありません。

このラボでは、Google Cloud で gcloud を使用して Google Cloud Dataproc クラスタを作成します。そして、このクラスタで簡単な Apache Spark ジョブを実行する方法、ワーカー数を変更する方法を学びます。