GSP651

Présentation

Dans cet atelier, vous allez découvrir comment contrôler vos coûts BigQuery en modifiant un quota.

Objectifs de l'atelier

• Effectuer des requêtes sur un ensemble de données public et explorer les coûts associés
• Modifier un quota
• Essayer d'exécuter à nouveau la requête après avoir modifié le quota

Tarifs de BigQuery

BigQuery propose des tarifs souples et évolutifs, adaptés à vos exigences techniques et à votre budget.

BigQuery peut engendrer des coûts de stockage et de requêtes. Dans cet atelier, vous examinez les coûts des requêtes. Pour en savoir plus, consultez les tarifs de BigQuery.

Il existe deux modèles de tarification dans BigQuery pour les coûts des requêtes :

• À la demande : les tarifs à la demande sont basés sur la quantité de données traitées par chaque requête exécutée. Il s'agit de l'option la plus flexible.

• Taux fixe : les clients qui optent pour ce modèle achètent des ressources dédiées au traitement des requêtes. Les requêtes ne sont pas facturées de manière individuelle. Ces tarifs prévisibles sont plus adaptés aux clients qui disposent d'un budget fixe.

Préparation

Dans cette section, vous accédez aux consoles Google Cloud et BigQuery.

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Ouvrir la console BigQuery

1. Dans la console Google Cloud, sélectionnez le menu de navigation > BigQuery.

Le message Bienvenue sur BigQuery dans Cloud Console s'affiche. Il contient un lien vers le guide de démarrage rapide et les notes de version.

2. Cliquez sur OK.

La console BigQuery s'ouvre.

Tâche 1 : Interroger un ensemble de données public dans BigQuery

Dans cet atelier, vous interrogez l'ensemble de données public bigquery-public-data:wise_all_sky_data_release. Pour en savoir plus sur cet ensemble de données, consultez l'article de blog Interroger les étoiles à l'aide des SIG BigQuery.

1. Dans l'éditeur de requête, saisissez la requête suivante :

   SELECT w1mpro_ep, mjd, load_id, frame_id FROM `bigquery-public-data.wise_all_sky_data_release.mep_wise` ORDER BY mjd ASC LIMIT 500

2. N'exécutez pas la requête. À la place, veuillez répondre à la question suivante :

Le traitement de grandes quantités de données sans un contrôle approprié des coûts, même pour des requêtes simples comme dans l'exemple ci-dessus, peut entraîner des frais non anticipés sur votre facture. Pour gérer ces coûts, examinez le fonctionnement des tarifs de BigQuery et découvrez comment configurer des quotas personnalisés pour vos équipes.

3. À présent, exécutez la requête et voyez à quelle vitesse BigQuery traite un tel volume de données.

Cliquez sur Vérifier ma progression pour valider l'objectif.

Interroger un ensemble de données public dans BigQuery

Tâche 2 : Découvrir les coûts des requêtes

Le premier To de données de requêtes traitées chaque mois est gratuit.

• Pour plus d'informations sur les coûts, consultez le guide des tarifs BigQuery.
• Pour en savoir plus sur le calcul et l'estimation des coûts dans Google Cloud, utilisez le Simulateur de coût Google Cloud.

Tâche 3 : Mettre à jour le quota BigQuery

Cette tâche consiste à modifier le quota de l'API BigQuery de manière à restreindre les données traitées dans les requêtes de votre projet.

1. Dans Cloud Shell, exécutez la commande suivante pour consulter vos quotas d'utilisation actuels associés à l'API BigQuery :

gcloud alpha services quota list --service=bigquery.googleapis.com --consumer=projects/${DEVSHELL_PROJECT_ID} --filter="usage"

consumerQuotaLimits affiche vos limites actuelles de requêtes par jour. Il existe des quotas distincts pour l'utilisation par projet et l'utilisation par utilisateur.

2. Exécutez la commande suivante dans Cloud Shell pour modifier votre quota par utilisateur afin qu'il atteigne 0,25 Tio par jour :

gcloud alpha services quota update --consumer=projects/${DEVSHELL_PROJECT_ID} --service bigquery.googleapis.com --metric bigquery.googleapis.com/quota/query/usage --value 262144 --unit 1/d/{project}/{user} --force

3. Une fois le quota modifié, examinez à nouveau consumerQuotaLimits :

gcloud alpha services quota list --service=bigquery.googleapis.com --consumer=projects/${DEVSHELL_PROJECT_ID} --filter="usage"

Les mêmes limites devraient s'afficher, cette fois accompagnées par consumerOverride avec les valeurs utilisées lors de l'étape précédente :

--- consumerQuotaLimits: - metric: bigquery.googleapis.com/quota/query/usage quotaBuckets: - defaultLimit: '9223372036854775807' effectiveLimit: '9223372036854775807' unit: 1/d/{project} - metric: bigquery.googleapis.com/quota/query/usage quotaBuckets: - consumerOverride: name: projects/33699896259/services/bigquery.googleapis.com/consumerQuotaMetrics/bigquery.googleapis.com%2Fquota%2Fquery%2Fusage/limits/%2Fd%2Fproject%2Fuser/consumerOverrides/Cg1RdW90YU92ZXJyaWRl overrideValue: '262144' defaultLimit: '9223372036854775807' effectiveLimit: '262144' unit: 1/d/{project}/{user} displayName: Query usage metric: bigquery.googleapis.com/quota/query/usage unit: MiBy

Vous allez ensuite réexécuter votre requête avec le quota modifié.

Tâche 4 : Réexécuter votre requête

1. Dans la console Cloud, cliquez sur BigQuery.

2. La requête que vous avez précédemment exécutée doit toujours se trouver dans l'éditeur de requête. Si ce n'est pas le cas, collez-y la requête suivante, puis cliquez sur Exécuter :

   SELECT w1mpro_ep, mjd, load_id, frame_id FROM `bigquery-public-data.wise_all_sky_data_release.mep_wise` ORDER BY mjd ASC LIMIT 500

   Notez que le programme de validation affiche encore Cette requête traitera 1,36 To lors de son exécution. Cependant, cette requête a été correctement exécutée et n'a pas traité de données. À votre avis, pourquoi ?

Remarque : Si votre requête est déjà bloquée par votre quota personnalisé, ne vous inquiétez pas. Il est probable que vous ayez défini ce quota et réexécuté la requête avant que la première n'ait eu le temps de mettre les résultats en cache.

Les requêtes qui utilisent des résultats mis en cache ne génèrent pas de frais supplémentaires et ne sont pas comptabilisées dans votre quota. Pour en savoir plus, consultez la page Utiliser les résultats de requête mis en cache.

Pour pouvoir tester le nouveau quota, vous devez désactiver la mise en cache de la requête pour traiter les données à l'aide de la requête précédente.

3. Pour tester le quota modifié, désactivez les résultats de requête mis en cache. Dans le volet Résultats de la requête, cliquez sur Plus > Paramètres de requête :

4. Décochez l'option Utiliser les résultats mis en cache et cliquez sur Enregistrer.

5. Réexécutez la requête pour qu'elle soit comptabilisée dans votre quota journalier.

6. Une fois que la requête a été correctement exécutée et a traité 1,36 To de données, exécutez-la une nouvelle fois.

   Que s'est-il passé ? Avez-vous pu exécuter la requête ? Vous avez normalement reçu un message d'erreur semblable à celui-ci :

   Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerUserPerDay, which is set by your administrator. For more information, see https://cloud.google.com/bigquery/cost-controls (Quota personnalisé dépassé : vous avez dépassé le quota personnalisé d'utilisation des requêtes par jour et par utilisateur, défini par votre administrateur. Pour plus d'informations, consultez https://cloud.google.com/bigquery/cost-controls)

Cliquez sur Vérifier ma progression pour valider l'objectif.

Réexécuter votre requête

Tâche 5 : Découvrir les bonnes pratiques BigQuery

Les quotas peuvent être utilisés pour contrôler les coûts, mais il incombe à votre entreprise de déterminer des quotas pertinents pour votre équipe. Cet exemple illustre comment définir des quotas pour éviter les coûts inattendus. L'optimisation de vos requêtes est une manière, parmi d'autres, de réduire la quantité de données interrogées.

Découvrez comment optimiser les requêtes BigQuery dans le guide sur le contrôle des coûts dans BigQuery.

Félicitations !

Dans cet atelier, vous avez réalisé les tâches suivantes :

• Effectuer des requêtes sur un ensemble de données public et découvrir les coûts associés
• Modifier le quota de l'API BigQuery
• Essayer de réexécuter la requête après modification du quota

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Qwiklabs Optimizing your Google Cloud Costs. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête ou à une autre quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Atelier suivant

Continuez sur votre lancée en suivant l'atelier Cloud Monitoring : Qwik Start ou consultez ces suggestions :

• Cloud Functions : Qwik Start – Outil de ligne de commande
• Éliminer les adresses IP inutilisées

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 10 octobre 2023

Dernier test de l'atelier : 10 octobre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.