Detaillierter Kursinhalt
Modul 1 - Dataform-Kernkomponenten
Themen:
- SQL-Arbeitsablauf
- Repositories und Arbeitsbereiche
- Standarddateien und -ordner
- Kompilierte Diagramme
Zielsetzungen:
- Verstehen der Komponenten des Dataflow-Kerns.
Modul 2 - Tabellendefinitionen und Abhängigkeiten
Themen:
- Deklarieren Sie eine Datenquelle.
- Erstellen Sie eine Tabelle.
- Erstellen Sie eine inkrementelle Tabelle.
- Partitionierungs- und Clustering-Optionen festlegen.
- Erstellen Sie eine leere Tabelle.
- Erstellen Sie eine externe BigLake-Tabelle.
- Erstellen Sie Ansichten und materialisierte Ansichten.
- Definieren Sie Abhängigkeiten.
Zielsetzungen:
- Erstellen von Tabellen und Ansichten in BigQuery mit Dataform
Modul 3 - BigQuery-Tabellen und Ansichten dokumentieren
Themen:
- Verwenden Sie Spaltenbeschreibungen.
- Verwenden Sie global definierte JavaScript-Konstanten.
- Etiketten hinzufügen.
Zielsetzungen:
- Dokumentieren Sie BigQuery-Tabellen und -Ansichten.
Aktivitäten:
- Übung: SQL-Workflows mit Abhängigkeiten in Dataform erstellen
Modul 4 - BigQuery-Sicherheitseinstellungen
Themen:
- IAM-Zugriff auf Datensätze und Tabellen/Ansichten
- Sicherheit auf Säulenebene
- Sicherheit auf Zeilenebene
Zielsetzungen:
- Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform
Modul 5 - Behauptungen
Themen:
- Verwenden Sie integrierte Assertions.
- Erstellen Sie manuelle Assertions.
Zielsetzungen:
- Verwenden Sie Assertions zur Validierung von Daten in Dataform-Workflows.
Aktivitäten:
- Übung: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform.
Modul 6 - SQL-Workflow-Ausführungen
Themen:
- Dataform-Code-Lebenszyklus.
- Was passiert bei der Kompilierung?
- Anpassen und Planen der Kompilierungsergebnisse.
- Ausführen von Arbeitsabläufen (UI, Cloud Scheduler, Cloud Composer).
- Protokollierung und Überwachung.
Zielsetzungen:
- Automatisierte Ausführung von Dataform SQL-Workflows.
Aktivitäten:
- Übung: SQL-Workflow-Ausführungen in Dataform automatisieren und überwachen
Modul 7 - Erweiterte Anwendungsfälle
Themen:
- Erstellen Sie eine BigLake-Tabelle nach dem Datei-Upload mit Cloud Run-Funktionen.
- Erstellen Sie eine Pipeline für maschinelles Lernen mit BigQuery ML.
- Arbeit mit sich langsam verändernden Dimensionen Typ 2.
Zielsetzungen:
- Erkunden Sie weitere Anwendungsfälle für Dataform.
Aktivitäten:
- Übung: Erstellen einer BigLake-Tabelle mit Dataform unter Verwendung von Cloud Run Functions.