arrow_back

Dataproc：Qwik Start - 指令列

加入 登录
Test and share your knowledge with our community!
done
Get access to over 700 hands-on labs, skill badges, and courses

Dataproc：Qwik Start - 指令列

Lab 30 分钟 universal_currency_alt 1 积分 show_chart 入门级
Test and share your knowledge with our community!
done
Get access to over 700 hands-on labs, skill badges, and courses

GSP104

Google Cloud 自修研究室標誌

總覽

Cloud Dataproc 是運作快速又容易使用的全代管雲端服務，能以更簡單且更具成本效益的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾秒或幾分鐘就能完成。您可以快速建立 Cloud Dataproc 叢集，並隨時視情況調整規模，無須擔心叢集無法容納資料管道。

本研究室將說明如何使用 Google Cloud 的 gcloud 建立 Google Cloud Dataproc 叢集、在叢集中執行簡單的 Apache Spark 工作，然後修改叢集中的工作站數量。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

  • 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。
注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」(研究室詳細資料) 面板會顯示下列項目：

    • 「Open Google Console」(開啟 Google 控制台) 按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的暫時憑證
    • 完成這個研究室所需的其他資訊 (如有)

  2. 按一下「Open Google Console」(開啟 Google 控制台)。接著，研究室會啟動相關資源並開啟另一個分頁，當中會顯示「Sign in」(登入) 頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意事項：如果頁面中顯示了「Choose an account」(選擇帳戶) 對話方塊，請按一下「Use Another Account」(使用其他帳戶)。

  3. 如有必要，請複製「Lab Details」(研究室詳細資料) 面板中的使用者名稱，然後貼到「Sign in」(登入) 對話方塊。按一下「Next」(下一步)。

  4. 複製「Lab Details」(研究室詳細資料) 面板中的密碼，然後貼到「Welcome」(歡迎使用) 對話方塊。按一下「Next」(下一步)。

    重要注意事項：請務必使用左側面板中的憑證，而非 Google Cloud 技能重點加強的憑證。 注意事項：如果使用自己的 Google Cloud 帳戶來進行這個研究室，可能會產生額外費用。

  5. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Cloud 控制台稍後會在這個分頁中開啟。

注意事項：按一下畫面左上方的導覽選單，即可在選單中查看 Google Cloud 產品與服務的清單。「導覽選單」圖示

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 「啟動 Cloud Shell」圖示。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶：
gcloud auth list

  1. 點按「授權」。

  2. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID：
gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

工作 1：建立叢集

  1. 在 Cloud Shell 中執行下列指令來設定區域：
gcloud config set dataproc/region {{{project_0.default_region | Region}}}
  1. Dataproc 會建立暫存值區和臨時值區，並由同一區域中的叢集共用。我們並未指定要使用的帳戶，因此 Dataproc 會使用 Compute Engine 預設服務帳戶，不過這類帳戶預設不具備儲存空間值區權限。現在就來新增權限吧！
  • 首先，請執行下列指令來擷取 PROJECT_ID 和 PROJECT_NUMBER：
PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
  • 接著執行下列指令，為 Compute Engine 預設服務帳戶授予「儲存空間管理員」角色。
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin
  1. 執行下列指令建立 example-cluster 叢集，這個叢集採用 e2-standard-4 VM 和預設 Cloud Dataproc 設定：
gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4
  1. 當系統要求您確認叢集的可用區時，請輸入 Y。

叢集會在幾分鐘內建立完成。

Waiting for cluster creation operation...done. Created [... example-cluster]

畫面上顯示「Created」訊息時，即可繼續後續工作。

測試已完成的工作

請點選「Check my progress」，確認工作已完成。如果成功建立 Dataproc 叢集，您就會看見評估分數。

建立 Dataproc 叢集

工作 2：提交工作

  • 執行下列指令提交範例 Spark 工作，以計算圓周率的粗估值：
gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

這個指令會指定下列項目：

  • 您要在 example-cluster 叢集上執行 Spark 工作
  • class，其中包含工作計算圓周率時採用的主要方法
  • 含有工作程式碼的 jar 檔案所在位置
  • 要傳遞至工作的參數；在本例中是指任務數量，也就是 1000
注意：傳遞至工作的參數前方必須加上雙破折號 (--)，詳情請參閱 gcloud 說明文件。

終端機視窗會顯示工作執行中和最終輸出的內容：

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

測試已完成的工作

請點選「Check my progress」，確認工作已完成。如果成功提交工作，您就會看見評估分數。

提交工作

工作 3：更新叢集

  1. 如要將叢集中的工作站數量變更為四，請執行下列指令：
gcloud dataproc clusters update example-cluster --num-workers 4

指令輸出內容會顯示更新後的叢集詳細資料：

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.
  1. 您也能使用相同指令來減少工作站節點數量：
gcloud dataproc clusters update example-cluster --num-workers 2

您現在可以透過 Google Cloud 的 gcloud 指令列，建立 Dataproc 叢集並調整工作站數量。

工作 4：隨堂測驗

完成下列選擇題能加深您的印象，更清楚本研究室介紹的概念，請盡力回答即可。

恭喜！

藉由建立 Google Cloud Dataproc 叢集，您已瞭解 Google Cloud gcloud 指令列的使用方式。

完成任務

這個自修研究室是「Baseline: Data, ML, AI」任務的一部分。任務是一系列相關聯的研究室，這些研究室構成一個完整的學習路徑。完成這項任務後即可獲得徽章，以表彰您的成就。您可以公開展示徽章，並在線上履歷或社群媒體帳戶中加入徽章連結。歡迎報名參加這個任務，立即取得完成學分。如要查看所有可以參加的任務，請參閱 Google Cloud Skills Boost 目錄。

後續步驟/瞭解詳情

這個研究室屬於 Qwik Start 研究室系列，此系列旨在帶您一窺 Google Cloud 的眾多功能。歡迎在研究室目錄中搜尋「Qwik Start」，看看接下來要參加哪個研究室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2023 年 10 月 23 日

研究室上次測試日期：2023 年 10 月 23 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。