Was bietet mir der Workshop?
Der Workshop vermittelt praxisnahes Wissen für modernes Data Engineering mit Microsoft Azure. Im Mittelpunkt stehen die Entwicklung von Datenprodukten sowie Datenaufnahme, Transformation und Modellierung mit Azure Data Factory, Synapse, Databricks und dbt.
Die Teilnehmer arbeiten mit zentralen Konzepten wie Change Data Capture, PySpark, Delta Lake und Medaillon-Architektur. Ergänzend behandelt der Workshop Azure AI Services, Microsoft Purview, Data Lineage und Sicherheitskonzepte.
Was lernen die Teilnehmer?
- Datenprodukte auf Microsoft Azure konzipieren und entwickeln
- Change Data Capture und Batch-Ingestion für die Datenanbindung einsetzen
- Transformationen mit PySpark und dbt in Azure durchführen
- Datenmodelle mit Star Schema, Data Vault und Medaillon-Architektur umsetzen
- Azure Data Factory, Synapse und Databricks im Data Engineering einsetzen
- Azure AI Services und Microsoft Purview in Datenprojekten nutzen
- Governance, Data Lineage und Sicherheitskonzepte in Azure anwenden
Für wen ist der Kurs geeignet?
Der Workshop richtet sich an IT-Entwickler, Datenbankentwickler, Datenanalysten, Datenarchitekten und Data Scientists. Vorausgesetzt werden Grundkenntnisse in SQL und Datenverarbeitung sowie erste Erfahrungen mit Cloud-Diensten.
Programmierkenntnisse, beispielsweise in Python oder SQL, sind von Vorteil.
Was erhalten die Teilnehmer?
- Live-Workshop über zwei Tage von 9 bis 17 Uhr
- Durchführung in deutscher Sprache per Videokonferenz
- Schulungsunterlagen und Fachbegriffe in deutscher und englischer Sprache
- Vorabzugang zu technischen Materialien und Umgebungen
- Praktische Hands-on-Übungen mit Azure-Komponenten
- Teilnahmebestätigung nach Abschluss
Warum dieser Workshop?
Der Workshop verbindet Grundlagen moderner Datenprodukte mit der praktischen Arbeit in Azure Data Factory, Synapse, Databricks und weiteren Werkzeugen für Data Engineering. Theorie, Live-Demonstrationen und Übungen zeigen den Weg von der Datenaufnahme bis zur Nutzung und Governance.
Trainer Mario Meir-Huber bringt langjährige Erfahrung in Big Data, Data Analytics, Data Engineering und Microsoft Azure ein.
Agenda
Von der Idee bis zur Datenverarbeitung
Begrüßung & Überblick
- Einführung: Was sind Datenprodukte?
- Rolle von Data Engineering im Produktlebenszyklus
Grundlagen & Architekturen für Datenprodukte
- Datenmanagement: Bestandteile und Arbeitsaufläufe
- Azure-Komponenten für Data Engineering
- Architekturmuster (z. B. Domain-Driven Design, Data Mesh, Medaillon-Architektur, Event Driven Architecture)
Data Ingest – Wege von der Quelle nach Azure
- Batch vs. Streaming. Outbox Pattern
- Übersicht zu Azure Data Factory, Event Hubs
- Einführung in Change Data Capture (CDC)
- Einführung in Batch Ingestion mit DAGs (Airflow, ADF Data Flows)
Hands-on: Data Ingestion mit Azure
- Daten aus SQL, APIs und Filesystemen laden
- CDC am Beispiel mit SQL Server oder PostgreSQL
- Orchestrierung mit Data Factory / Synapse
Datenverarbeitung – Grundlagen
- Übersicht: Azure Databricks, Synapse, Data Lake,
- Einführung in Transformationen mit PySpark
- Erste Schritte mit dbt auf Azure
Transformation, Modellierung & Verwendung von Datenprodukten
Modellierung & Medaillon-Architektur
- Bronze, Silver, Gold Layer in Azure
- Data Contracts & Quality Gates
- Modellierung: Star Schema, Kimball, Data Vault
Hands-on: Transformationen & Modellierung
- Umsetzung von Transformationen in dbt oder Notebooks
- Aufbau der Medaillon-Struktur mit Delta Lake
- Validierung & Dokumentation von Transformationen
Datenverwendung – Mehrwert aus Datenprodukten ziehen
- Azure AI Services & Azure Machine Learning (Überblick)
- Notebooks & Power BI für Business User
- Governance & Katalogisierung: Microsoft Purview
- Zugriffskonzepte & Security-Rollen
Hands-on: Daten nutzen & dokumentieren
- Analyse & Visualisierung mit Power BI / Synapse
- Klassifikation & Katalogisierung von Daten
- Data Lineage nachvollziehen
