GSP617

Panoramica

Cloud Logging funge da repository centrale per i log di vari servizi Google Cloud, incluso BigQuery, ed è ideale per l'archiviazione dei log a breve e medio termine. Molti settori richiedono la conservazione dei log per periodi prolungati. Per conservare i log per analisi storiche estese o controlli complessi, puoi configurare un sink per esportare log specifici in BigQuery.

In questo lab visualizzerai i log di BigQuery all'interno di Cloud Logging, configurerai un sink per esportarli in BigQuery e quindi li analizzerai mediante SQL.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Avvia lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in prima persona, in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: utilizza una finestra del browser in incognito o privata per eseguire questo lab. Ciò evita eventuali conflitti tra il tuo account personale e l'account Studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: se hai già un account o un progetto Google Cloud personale, non utilizzarlo per questo lab per evitare addebiti aggiuntivi al tuo account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si apre una finestra popup per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Pulsante Apri console Google
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google. Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Note: se visualizzi la finestra di dialogo Scegli un account, fai clic su Utilizza un altro account.

3. Se necessario, copia il Nome utente dal riquadro Dettagli lab e incollalo nella finestra di dialogo di accesso. Fai clic su Avanti.

4. Copia la Password dal riquadro Dettagli lab e incollala nella finestra di dialogo di benvenuto. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali presenti nel riquadro di sinistra. Non utilizzare le tue credenziali Google Cloud Skills Boost. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

5. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: puoi visualizzare il menu con un elenco di prodotti e servizi Google Cloud facendo clic sul menu di navigazione in alto a sinistra.

Attiva Cloud Shell

Cloud Shell è una macchina virtuale in cui sono caricati strumenti per sviluppatori. Offre una home directory permanente da 5 GB e viene eseguita su Google Cloud. Cloud Shell fornisce l'accesso da riga di comando alle risorse Google Cloud.

1. Fai clic su Attiva Cloud Shell nella parte superiore della console Google Cloud.

Quando la connessione è attiva, l'autenticazione è già avvenuta e il progetto è impostato sul tuo PROJECT_ID. L'output contiene una riga che dichiara il PROJECT_ID per questa sessione:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud è lo strumento a riga di comando di Google Cloud. È preinstallato su Cloud Shell e supporta il completamento tramite tasto Tab.

2. (Facoltativo) Puoi visualizzare il nome dell'account attivo con questo comando:

gcloud auth list

3. Fai clic su Autorizza.

4. L'output dovrebbe avere ora il seguente aspetto:

Output:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facoltativo) Puoi elencare l'ID progetto con questo comando:

gcloud config list project

Output:

[core] project = <project_ID>

Output di esempio:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: per la documentazione completa di gcloud, in Google Cloud, fai riferimento alla Panoramica dell'interfaccia a riga di comando gcloud.

Attività 1: apri BigQuery

Apri la console BigQuery

1. Nella console Google Cloud, seleziona il menu di navigazione > BigQuery:

Si aprirà la finestra con il messaggio Ti diamo il benvenuto in BigQuery su Cloud Console. Questa finestra fornisce un link alla guida rapida e alle note di rilascio.

2. Fai clic su Fine.

Si aprirà la console di BigQuery.

Attività 2: crea un set di dati

1. Nella sezione Explorer, fai clic sui tre puntini accanto al progetto che inizia con qwiklabs-gcp-.

2. Fai clic su Crea set di dati.

3. Imposta ID set di dati su bq_logs.

4. Fai clic su CREA SET DI DATI.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Crea un set di dati

Attività 3: esegui una query

Innanzitutto, esegui una query semplice che genera un log. Successivamente utilizzerai questo log per configurare l'esportazione dei log in BigQuery.

1. Copia e incolla la query seguente nell'editor di query di BigQuery:

SELECT current_date

2. Fai clic su ESEGUI.

Attività 4: configura l'esportazione dei log da Cloud Logging

1. Nella console Cloud, seleziona Menu di navigazione > Logging > Esplora log.

Nota: se richiesto, fai clic su ESCI per Lavoro non salvato.

2. In Risorsa, seleziona BigQuery, quindi fai clic su Applica.

3. Ora fai clic sul pulsante Esegui query in alto a destra.

Dovrebbero essere visualizzate alcune voci di log della query.

Cerca la voce che contiene la parola "jobcompleted".

4. Fai clic sulla freccia a sinistra per espandere la voce.

Quindi fai clic sul pulsante Espandi campi nidificati sul lato destro.

Viene visualizzata la voce di log JSON completa. Scorri verso il basso e dai un'occhiata ai diversi campi.

5. Scorri di nuovo verso l'alto fino all'intestazione della voce, fai clic su jobcompleted e scegli Mostra voci corrispondenti.

In questo modo viene impostata la ricerca con i termini corretti. Potresti dover attivare/disattivare il pulsante Mostra query per visualizzarla.

Crea un sink

Ora che hai i log che ti servono, è il momento di configurare un sink.

1. Fai clic su Crea sink dal menu a discesa Altre azioni.

2. Compila i campi come segue:

• Nome sink: JobComplete e fai clic su AVANTI.
• Seleziona il servizio sink: Set di dati BigQuery.
• Seleziona set di dati BigQuery (Destinazione): bq_logs (il set di dati configurato in precedenza).
• Lascia le impostazioni del resto delle opzioni sui valori predefiniti.

3. Fai clic su CREA SINK.

Tutte le voci di log successive di BigQuery vengono ora esportate in una tabella nel set di dati bq_logs.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Crea un sink

Attività 5: esegui query di esempio

Per popolare la nuova tabella con alcuni log, esegui alcune query di esempio.

• Vai a Cloud Shell, quindi aggiungi ciascuno dei seguenti comandi BigQuery in Cloud Shell:

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

Dovresti vedere i risultati di ogni query.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Esegui query di esempio

Attività 6: visualizza i log in BigQuery

1. Torna a BigQuery (Menu di navigazione > BigQuery).

2. Espandi la tua risorsa iniziando con il nome qwiklabs-gcp- ed espandi il tuo set di dati bq_logs.

Il nome può variare, ma dovresti vedere una tabella "cloudaudit_googleapis_com_data_access".

Nota: potresti dover eseguire nuovamente le query di esempio per visualizzare la tabella.

3. Fai clic sul nome della tabella, quindi ispeziona lo schema della tabella e nota che include un numero molto elevato di campi.

Se hai fatto clic su Anteprima e vuoi sapere perché non vengono visualizzati i log per le query eseguite di recente, dipende dal fatto che i log vengono inseriti in modalità flusso nella tabella, il che significa che è possibile eseguire query sui nuovi dati ma non verranno visualizzati in Anteprima per un po'.

Per rendere la tabella più utilizzabile, crea un elemento VIEW che estragga un sottoinsieme di campi, oltre a eseguire alcuni calcoli per ricavare una metrica per il tempo delle query.

4. Fai clic su Crea nuova query. Nell'EDITOR di query BigQuery, esegui questo comando SQL dopo aver sostituito con il nome del tuo progetto (l'ID progetto può essere facilmente copiato dal riquadro Dettagli lab sul lato sinistro della pagina del lab):

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Visualizza i log in BigQuery

5. Ora esegui una query sull'elemento VIEW. Crea una nuova query ed esegui questo comando:

SELECT * FROM bq_logs.v_querylogs

6. Scorri i risultati delle query eseguite.

Complimenti!

Hai esportato i log di BigQuery da Cloud Logging in una tabella BigQuery, quindi li hai analizzati mediante SQL.

Prossimi passi/Scopri di più

• Leggi la documentazione di Cloud Logging.
• Leggi la documentazione di BigQuery.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 5 febbraio 2024

Ultimo test del lab: 27 settembre 2023

Copyright 2024 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.