menu
arrow_back

Building Dynamic Pipelines in Cloud Data Fusion Using Macros

Building Dynamic Pipelines in Cloud Data Fusion Using Macros

1 Stunde 30 Minuten 7 Guthabenpunkte

GSP809

Google Cloud Self-Paced Labs

Overview

  • In Data Fusion, you can use Macros to introduce dynamic variables for plugin configurations so that you can specify the variable substitutions at runtime.

  • Macros are defined as variables wrapped inside of a **${ }**. Plugins that have macro enabled fields will contain a blue M icon.

10-01-overview.png

  • A typical use case for macros is to allow for variable substitution when the pipeline is run, so instead of using hard coded paths, you could use dynamic paths. This way you’re able to specify which particular file you want to process when the pipeline is invoked. In addition to macros you'll use wildcards as well.

Wenn Sie sich in Qwiklabs anmelden, erhalten Sie Zugriff auf den Rest des Labs – und mehr!

  • Sie erhalten vorübergehenden Zugriff auf Google Cloud Console.
  • Mehr als 200 Labs für Einsteiger und Experten.
  • In kurze Sinneinheiten eingeteilt, damit Sie in Ihrem eigenen Tempo lernen können.
Beitreten, um dieses Lab zu starten
Punktzahl

—/40

Create a bucket using gcp console

Schritt ausführen

/ 10

Create cloud data fusion instance

Schritt ausführen

/ 10

Test your pipeline

Schritt ausführen

/ 10

Build and execute dynamic pipeline.

Schritt ausführen

/ 10