GSP617

總覽

Cloud Logging 可做為多項 Google Cloud 服務 (包括 BigQuery) 記錄檔的中央存放區，也很適合當做短期至中期的記錄檔儲存空間。許多產業都需要長期保留記錄檔。如要保留記錄檔，用於長期歷來資料分析或複雜的稽核作業，您可以設定接收器，將特定記錄檔匯出至 BigQuery。

在這個研究室中，您將透過 Cloud Logging 查看 BigQuery 記錄檔、設定接收器，將記錄檔匯出至 BigQuery，並運用 SQL 分析記錄檔。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」(研究室詳細資料) 面板會顯示下列項目：

   • 「Open Google Console」(開啟 Google 控制台) 按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個研究室所需的其他資訊 (如有)

2. 按一下「Open Google Console」(開啟 Google 控制台)。接著，研究室會啟動相關資源並開啟另一個分頁，當中會顯示「Sign in」(登入) 頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意事項：如果頁面中顯示了「Choose an account」(選擇帳戶) 對話方塊，請按一下「Use Another Account」(使用其他帳戶)。

3. 如有必要，請複製「Lab Details」(研究室詳細資料) 面板中的使用者名稱，然後貼到「Sign in」(登入) 對話方塊。按一下「Next」(下一步)。

4. 複製「Lab Details」(研究室詳細資料) 面板中的密碼，然後貼到「Welcome」(歡迎使用) 對話方塊。按一下「Next」(下一步)。

   重要注意事項：請務必使用左側面板中的憑證，而非 Google Cloud 技能重點加強的憑證。 注意事項：如果使用自己的 Google Cloud 帳戶來進行這個研究室，可能會產生額外費用。

5. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Cloud 控制台稍後會在這個分頁中開啟。

注意事項：按一下畫面左上方的導覽選單，即可在選單中查看 Google Cloud 產品與服務的清單。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

2. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

3. 點按「授權」。

4. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

工作 1：開啟 BigQuery

開啟 BigQuery 控制台

1. 在 Google Cloud 控制台中，依序選取「導覽選單」>「BigQuery」。

接著，畫面中會顯示「歡迎使用 Cloud 控制台中的 BigQuery」訊息方塊，當中會列出快速入門導覽課程指南的連結和版本資訊。

2. 點選「完成」。

BigQuery 控制台會隨即開啟。

工作 2：建立資料集

1. 在「Explorer」專區中，找出名稱開頭為 qwiklabs-gcp- 的專案，點選旁邊的三點圖示。

2. 點選「建立資料集」。

3. 將「資料集 ID」設為 bq_logs。

4. 點選「建立資料集」。

點選「Check my progress」，確認目標已達成。 建立資料集

工作 3：執行查詢

首先，請執行簡單的查詢來產生記錄檔。您稍後會設定這個記錄檔，並匯出至 BigQuery。

1. 複製下列查詢，貼到 BigQuery 查詢編輯器：

SELECT current_date

2. 點選「執行」。

工作 4：設定從 Cloud Logging 匯出的記錄檔

1. 在 Cloud 控制台中，依序選取「導覽選單」>「記錄」>「記錄檔探索工具」。

注意：如果出現提示訊息，請為「尚未儲存工作」點選「離開」。

2. 在「資源」中選取「BigQuery」，然後點選「套用」。

3. 接著點選右上方的「執行查詢」按鈕。

畫面上應會顯示一些查詢產生的記錄項目。

尋找含有「jobcompleted」字樣的項目。

4. 點選左側的箭頭，展開項目內容。

點選右側的「展開巢狀欄位」按鈕。

畫面上會顯示完整的 JSON 記錄項目。請向下捲動，查看不同欄位。

5. 向上捲動，回到項目的標頭處，點選「jobcompleted」並選擇「顯示相符的項目」。

這項操作會使用正確的字詞設定查詢內容。如果沒有看到，請切換「顯示查詢」按鈕。

建立接收器

您現在已取得所需的記錄檔，接著要設定接收器。

1. 在「更多動作」下拉式選單中，點選「建立接收器」。

2. 按照下方指示填入欄位：

• 在「接收器名稱」中填入 JobComplete，然後點選「下一步」。
• 選取「BigQuery 資料集」做為接收器服務。
• 選取「bq_logs」(您先前設定的資料集) 做為 BigQuery 資料集 (目的地)。
• 其餘選項保留預設設定。

3. 點選「建立接收器」。

BigQuery 之後產生的任何記錄項目，都會匯出至 bq_logs 資料集裡的資料表。

點選「Check my progress」，確認目標已達成。 建立接收器

工作 5：執行範例查詢

如要在新資料表中填入一些記錄檔，請執行部分範例查詢。

• 前往「Cloud Shell」，將下列 BigQuery 指令新增至 Cloud Shell：

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

畫面上應會顯示各查詢傳回的結果。

點選「Check my progress」，確認目標已達成。 執行範例查詢

工作 6：在 BigQuery 查看記錄檔

1. 依序選取「導覽選單」>「BigQuery」，前往 BigQuery。

2. 依序展開名稱開頭為 qwiklabs-gcp- 的來源 > bq_logs 資料集。

畫面上應會顯示「cloudaudit_googleapis_com_data_access」資料表 (實際名稱可能有出入)。

注意：如果未顯示資料表，您可能須重新執行範例查詢。

3. 點選資料表名稱並檢查結構定義，您會看到大量欄位。

如果點選「預覽」，卻沒有看到近期查詢的記錄檔，這是因為記錄檔串流至資料表。也就是說，您可以查詢新資料，但相關記錄檔暫時不會顯示在「預覽」中。

為了讓資料表更易於使用，請建立「檢視表」。檢視表會顯示欄位的部分內容，並執行一些計算作業，得出查詢時間的指標。

4. 點選「編寫新查詢」。在 BigQuery 查詢編輯器中，將 換成您的專案名稱，然後執行下列 SQL 指令。您可以在研究室頁面左側的「Lab Details」面板中，輕鬆複製專案 ID。

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

點選「Check my progress」，確認目標已達成。 在 BigQuery 查看記錄檔

5. 現在要對檢視表執行查詢。請編寫新查詢，然後執行下列指令：

SELECT * FROM bq_logs.v_querylogs

6. 捲動至執行完成的查詢結果。

恭喜！

您已成功將 BigQuery 記錄檔從 Cloud Logging 匯出至 BigQuery 資料表，並透過 SQL 分析。

後續步驟/瞭解詳情

• 詳閱 Cloud Logging 說明文件。
• 詳閱 BigQuery 說明文件。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 2 月 5 日

研究室上次測試日期：2023 年 9 月 27 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。