Was bietet mir der Workshop?
Der Workshop vermittelt praxisnahes Wissen zur Entwicklung moderner Datenprodukte mit Microsoft Azure. In zwei Tagen lernen die Teilnehmer, Datenaufnahme, Transformation und Modellierung mit Azure Data Factory, Synapse, Databricks und dbt umzusetzen.
Der Fokus liegt auf produktionsreifem Data Engineering, Medaillon-Architektur und der Nutzung von Azure AI und Governance-Tools.
Seminarbeschreibung
Am Ende des Workshops können die Teilnehmer:
- Datenprodukte auf Microsoft Azure konzipieren und entwickeln
- Change Data Capture (CDC) und Batch-Ingestion für Datenanbindung einsetzen
- Transformationen mit PySpark und dbt in Azure durchführen
- Datenmodelle nach Best Practices (Star Schema, Data Vault, Medaillon-Architektur) anwenden
- Azure Data Factory, Synapse und Databricks sicher bedienen
- Azure AI Services und Microsoft Purview in Datenprojekten einsetzen
- Governance, Data Lineage und Sicherheitskonzepte in Azure nutzen
Für wen ist der Kurs geeignet?
Der Kurs richtet sich an IT-Entwickler, Datenbankentwickler, Datenanalysten, Datenarchitekten und Data Scientists.
Teilnahmevoraussetzungen:
- Grundkenntnisse in SQL und Datenverarbeitung
- Erste Erfahrungen mit Cloud-Diensten
- Programmierkenntnisse (z. B. Python oder SQL) sind von Vorteil
Was erhalten Teilnehmer?
- Live-Workshop über 2 Tage (9–17 Uhr)
- Durchführung in deutscher Sprache per Videokonferenz
- Schulungsunterlagen und Fachbegriffe in Originalsprache (Deutsch/Englisch)
- Vorabzugang zu allen technischen Materialien und Umgebungen
- Praktische Hands-on-Übungen mit Azure-Komponenten
- Teilnahmebestätigung nach Abschluss
Warum dieser Workshop?
- Teilnehmer lernen, moderne Datenprodukte mit Azure sicher und effizient umzusetzen
- Der Fokus liegt auf praxisnaher Anwendung von Data Engineering, Transformation und Governance
- Trainer mit langjähriger Erfahrung in Microsoft Azure und Datenarchitekturen
- Kombination aus Theorie, Live-Demonstrationen und praktischen Übungen
- Optimale Vorbereitung auf Data Engineering, AI-Integration und Compliance-Anforderungen im Unternehmen
Agenda der IT-Schulung
Von der Idee bis zur Datenverarbeitung
Begrüßung & Überblick
- Einführung: Was sind Datenprodukte?
- Rolle von Data Engineering im Produktlebenszyklus
Grundlagen & Architekturen für Datenprodukte
- Datenmanagement: Bestandteile und Arbeitsaufläufe
- Azure-Komponenten für Data Engineering
- Architekturmuster (z. B. Domain-Driven Design, Data Mesh, Medaillon-Architektur, Event Driven Architecture)
Data Ingest – Wege von der Quelle nach Azure
- Batch vs. Streaming. Outbox Pattern
- Übersicht zu Azure Data Factory, Event Hubs
- Einführung in Change Data Capture (CDC)
- Einführung in Batch Ingestion mit DAGs (Airflow, ADF Data Flows)
Hands-on: Data Ingestion mit Azure
- Daten aus SQL, APIs und Filesystemen laden
- CDC am Beispiel mit SQL Server oder PostgreSQL
- Orchestrierung mit Data Factory / Synapse
Datenverarbeitung – Grundlagen
- Übersicht: Azure Databricks, Synapse, Data Lake,
- Einführung in Transformationen mit PySpark
- Erste Schritte mit dbt auf Azure
Transformation, Modellierung & Verwendung von Datenprodukten
Modellierung & Medaillon-Architektur
- Bronze, Silver, Gold Layer in Azure
- Data Contracts & Quality Gates
- Modellierung: Star Schema, Kimball, Data Vault
Hands-on: Transformationen & Modellierung
- Umsetzung von Transformationen in dbt oder Notebooks
- Aufbau der Medaillon-Struktur mit Delta Lake
- Validierung & Dokumentation von Transformationen
Datenverwendung – Mehrwert aus Datenprodukten ziehen
- Azure AI Services & Azure Machine Learning (Überblick)
- Notebooks & Power BI für Business User
- Governance & Katalogisierung: Microsoft Purview
- Zugriffskonzepte & Security-Rollen
Hands-on: Daten nutzen & dokumentieren
- Analyse & Visualisierung mit Power BI / Synapse
- Klassifikation & Katalogisierung von Daten
- Data Lineage nachvollziehen
Lernziele
- Verständnis für Aufbau, Architektur und Nutzen moderner Datenprodukte
- Methoden zur Datenanbindung mit Change Data Capture (CDC) und Batch-DAGs
- Anwendung von Transformationen und Modellierung mit dbt, PySpark und Medaillon-Architektur
- Nutzung von Azure Data Factory, Synapse und Databricks im Data Engineering
- Einsatzmöglichkeiten von Azure AI Services, Machine Learning und Microsoft Purview
- Grundlagen zu Governance, Data Lineage und Sicherheitskonzepten in Azure
- Orientierung, wie eigene Datenprodukte und Anwendungsfälle gestaltet werden können
