Eckdaten
Zielgruppe: BI-Expert*innen, Datenanalyst*innen, Datenarchitekt*innen, Datenexperten | Dauer 4 Tage | 9:00–17:00 Uhr | Trainer: New Elements GmbH | Online-Seminar | Teilnehmerzahl: 4-12
Ziele
In diesem Kurs wird das Data Engineering mit Fokus auf die Verwendung von Azure-Datenplattformtechnologien für Batch- und Echtzeit-Analyselösungen vermittelt.
Zu Beginn werden die wichtigsten Rechen- und Speichertechnologien vermittelt, die zum Aufbau einer analytischen Lösung verwendet werden. Im Workshop wird aufgezeigt, wie in Dateien gespeicherte Daten in einem Data Lake interaktiv untersucht werden können
Es werden verschiedene Techniken zur Dateneingabe (Ingestion) erlernt, einschließlich des Ladens von Daten mittels Apache Spark in Azure Synapse Analytics oder Azure Databricks sowie der Nutzung von Azure Data Factory oder Azure Synapse Pipelines.
Die Transformation von Daten wird mit den gleichen Technologien durchgeführt, die für die Dateneingabe verwendet werden. Zudem wird die Bedeutung der Implementierung von Sicherheitsmaßnahmen hervorgehoben, um Daten sowohl im Ruhezustand als auch während der Übertragung zu schützen.
Abschließend wird demonstriert, wie ein Echtzeit-Analysesystem erstellt wird, um effektive Echtzeit-Analyselösungen zu entwickeln.
Der Workshop wird per Videokonferenz durchgeführt. Nach erfolgreichem Abschluss des Kurses wird ein Teilnahme Zertifikat ausgestellt.
Zielgruppe
- Business-Intelligence-Experten
- Datenanalysten
- Datenarchitekten
- Datenexperten
Voraussetzungen
- AZ-900 - Azure Fundamentals
- DP-900 - Microsoft Azure Data Fundamentals
Agenda
Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Einführung in Azure Synapse Analytics
- Erläuterung von Azure Databricks
- Erläuterung in Azure Data Lake-Speicher
- Beschreiben der Delta Lake-Architektur
- Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics
Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen
- Möglichkeiten von Azure Synapse Serverless SQL Pools
- Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
- Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
- Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools
Datenexploration und -umwandlung in Azure Databricks
- Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit fortgeschrittenen DataFrames-Methoden in Azure Databricks
Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
- Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
- Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Daten in das Data Warehouse aufnehmen und laden
- Vewenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
- Ingestion im Petabyte-Bereich mit Azure Data Factory
Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines
- Orchestrierung der Datenbewegung und -transformation in Azure Data Factory
End-to-End-Sicherheit mit Azure Synapse Analytics
- Data Warehouse in Azure Synapse Analytics sichern
- Konfigurieren und Verwalten von Secrets in Azure Key Vault
- Implementierung von Compliance-Kontrollen für sensible Daten
Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen
- Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfrage von Azure Cosmos DB mit Apache Spark-Pools
- Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools
Stream-Verarbeitung in Echtzeit mit Stream Analytics
- Zuverlässiges Messaging für Big Data-Anwendungen mit Azure Event Hubs ermöglichen
- Arbeiten mit Daten-Streams mithilfe von Azure Stream Analytics
- Einlesen von Daten-Streams mit Azure Stream Analytics
Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks
- Verarbeiten von Streaming-Daten mit Azure Databricks Structured Streaming