Microsoft Fabric: (Teil 2 von 5)
Eine technische Deep-Dive-Serie von insight 42Dies ist Teil 2 eines Deep Dive in Azures Zukunft der Cloud-Datenplattformen.
Datenarchitektur im Fabric-Zeitalter neu denken
Im ersten Teil dieser Serie haben wir die Evolution der Datenplattformen beleuchtet und Microsoft Fabric als nächsten Schritt dieser Reise vorgestellt. Nun tauchen wir tiefer in die architektonischen Implikationen von Fabric ein und untersuchen, wie sein einheitlicher Ansatz und die zentrale OneLake-Speicherschicht ein grundlegendes Umdenken beim Entwurf und Bau von Data Lakes und Data Warehouses erzwingen. Die klassischen Grenzen zwischen diesen beiden Konzepten verschwimmen, und ein neues, stärker integriertes Architekturmuster entsteht.
Dieser Beitrag analysiert den Wandel von getrennten Data Lakes und Warehouses hin zu einer einheitlichen Lakehouse-Architektur innerhalb von Fabric. Außerdem werfen wir einen detaillierten Blick auf die Medallion-Architektur – ein beliebtes Entwurfsmuster zur Organisation von Daten in einem Lakehouse – und darauf, wie sie sich in einer Fabric-Umgebung wirksam umsetzen lässt.
Die Konvergenz von Data Lakes und Data Warehouses
Jahrelang wurden Data Lakes und Data Warehouses als getrennte, wenn auch komplementäre Komponenten einer modernen Datenplattform behandelt. Data Lakes dienten der Speicherung roher, unstrukturierter Daten sowie explorativer Analyse und Data Science, während Data Warehouses strukturierte, kuratierte Daten für Business Intelligence und Reporting bereithielten. Diese Trennung schuf jedoch erhebliche Herausforderungen:
- Datenduplizierung: Daten mussten zwischen Data Lake und Data Warehouse kopiert und verschoben werden, was zu höheren Speicherkosten und Konsistenzproblemen führte.
- Komplexe ETL-Pipelines: Fragile und komplexe ETL-Pipelines (Extract, Transform, Load) waren nötig, um Daten zu bewegen und zu transformieren, was den Entwicklungs- und Wartungsaufwand erhöhte.
- Datensilos: Die Trennung von Daten und Tools erzeugte Silos, die es verschiedenen Teams erschwerten, effektiv zusammenzuarbeiten und Daten zu teilen.
Microsoft Fabric will diese Herausforderungen lösen, indem es Data Lake und Data Warehouse zu einer einzigen, integrierten Experience vereint. Im Zentrum dieser Konvergenz steht OneLake, das als Single Source of Truth für alle Daten fungiert, sowie das Lakehouse als primäres Architekturmuster.
OneLake und Workspaces: das Fundament
Bevor wir in die Medallion-Architektur eintauchen, müssen wir verstehen, wie OneLake Daten über Workspaces organisiert. OneLake bietet eine einzige, einheitliche Speicherschicht, in der alle Fabric-Items – Lakehouses, Warehouses und andere Artefakte – ihre Daten ablegen.
Abbildung 1: OneLake-Workspace-Architektur mit vereinheitlichter Security, Governance und Multi-Cloud-Datenzugriff über Shortcuts.
Das Lakehouse: ein neues architektonisches Herzstück
Ein Lakehouse in Fabric ist nicht bloß ein Data Lake mit einer SQL-Schicht obendrauf, sondern ein First-Class-Citizen, der die besten Eigenschaften von Data Lakes und Data Warehouses vereint. Es bietet:
| Funktion | Beschreibung |
|---|---|
| Direkter Datenzugriff | Alle Fabric-Workloads, einschließlich Power BI, können direkt auf die Daten im Lakehouse zugreifen, ohne sie importieren oder kopieren zu müssen. |
| Offene Datenformate | Daten werden im quelloffenen Delta-Format gespeichert, sodass Sie nicht an ein proprietäres Ökosystem gebunden sind. |
| ACID-Transaktionen | Das Delta-Format bietet ACID-Garantien (Atomicity, Consistency, Isolation, Durability) und sichert so Zuverlässigkeit und Konsistenz der Daten. |
| Einheitliche Governance | Alle Daten im Lakehouse unterliegen denselben Security- und Compliance-Policies, zentral verwaltet über Microsoft Purview. |
Die Medallion-Architektur in Fabric umsetzen
Die Medallion-Architektur ist ein Daten-Entwurfsmuster, das sich zunehmender Beliebtheit für die Organisation von Daten in einem Lakehouse erfreut. Sie gliedert Daten logisch in drei Schichten – Bronze, Silber und Gold – mit dem Ziel, Qualität und Struktur der Daten schrittweise und fortschreitend zu verbessern, während sie durch die Schichten wandern [1].
Abbildung 2: Die Medallion-Architektur mit dem Fortschritt der Daten von roh (Bronze) über bereinigt (Silber) bis geschäftsbereit (Gold).
Sehen wir uns an, wie sich jede dieser Schichten in einer Microsoft-Fabric-Umgebung wirksam umsetzen lässt.
Bronze-Schicht: die Rohdaten
In der Bronze-Schicht landen alle Rohdaten aus den verschiedenen Quellsystemen. Ziel dieser Schicht ist es, die Daten in ihrem ursprünglichen, unveränderten Zustand zu erfassen – als historisches Archiv und als Quelle für eine erneute Verarbeitung, falls nötig. Zentrale Merkmale der Bronze-Schicht sind:
| Merkmal | Beschreibung |
|---|---|
| Schema-on-Read | Daten werden in ihrem nativen Format aufgenommen und gespeichert, ohne Schema-Enforcement. |
| Append-only | Daten werden in der Regel an bestehende Tabellen angehängt, um eine vollständige Historie zu bewahren. |
| Minimale Verarbeitung | In dieser Schicht erfolgen nur minimale Transformationen, etwa das Casting von Datentypen. |
| Vollständige Historie | Lückenloser Audit-Trail aller aufgenommenen Daten für Compliance und erneute Verarbeitung. |
In Fabric lässt sich die Bronze-Schicht über ein dediziertes Lakehouse für die Rohdaten-Ingestion umsetzen. Daten gelangen über Data-Factory-Pipelines, Spark-Notebooks oder Shortcuts zu externen Datenquellen in dieses Lakehouse.
Silber-Schicht: die bereinigten und konsolidierten Daten
In der Silber-Schicht werden die Rohdaten aus der Bronze-Schicht bereinigt, transformiert und angereichert. Ziel dieser Schicht ist eine saubere, konsistente und konsolidierte Sicht auf die Daten, die von verschiedenen nachgelagerten Anwendungen und Analytics-Workloads genutzt werden kann. Zentrale Merkmale der Silber-Schicht sind:
| Merkmal | Beschreibung |
|---|---|
| Datenbereinigung | Fehlende Werte behandeln, Formate standardisieren und Datenqualitätsprobleme beheben. |
| Deduplizierung | Dubletten entfernen, um die Datengenauigkeit sicherzustellen. |
| Schema-Enforcement | Ein klar definiertes Schema auf die Daten anwenden. |
| Geschäftslogik | Geschäftsregeln und Transformationen anwenden, um die Daten anzureichern. |
In Fabric wird die Silber-Schicht typischerweise als separates Lakehouse oder als Satz kuratierter Tabellen im selben Lakehouse wie die Bronze-Schicht umgesetzt. Spark-Notebooks und Dataflow Gen2 sind die primären Tools für die Transformationen, die Daten von Bronze nach Silber überführen.
Gold-Schicht: die geschäftsbereiten Daten
Die Gold-Schicht ist die letzte, hochgradig kuratierte Schicht der Medallion-Architektur. Sie enthält aggregierte Daten auf Geschäftsebene, optimiert für Reporting und Analytics. Ziel dieser Schicht ist eine Single Source of Truth für zentrale Geschäftskennzahlen und Dimensionen. Zentrale Merkmale der Gold-Schicht sind:
| Merkmal | Beschreibung |
|---|---|
| Aggregationen | Daten werden auf verschiedene Granularitätsstufen aggregiert, um unterschiedliche Reporting-Anforderungen zu bedienen. |
| Geschäftskennzahlen | Key Performance Indicators (KPIs) und weitere Geschäftskennzahlen werden berechnet und gespeichert. |
| Semantische Modelle | Daten werden in Star-Schemata oder anderen dimensionalen Modellen für Self-Service-BI organisiert. |
| Bereit für BI | Die Daten sind für die Nutzung durch BI-Tools wie Power BI optimiert. |
In Fabric lässt sich die Gold-Schicht als Fabric Data Warehouse oder als Satz hochgradig kuratierter Tabellen in einem Lakehouse umsetzen. Die Wahl zwischen Warehouse und Lakehouse hängt von den konkreten Anforderungen des Anwendungsfalls ab. Warehouses bieten eine klassischere SQL-basierte Experience, während Lakehouses mehr Flexibilität und direkte Integration mit anderen Fabric-Workloads bieten.
Zusammenfassung der Umsetzung
| Schicht | Zweck | Fabric-Umsetzung | Wichtige Tools |
|---|---|---|---|
| Bronze | Rohdaten-Ingestion | Dediziertes Lakehouse | Data Factory, Spark, Shortcuts |
| Silber | Bereinigte und konsolidierte Daten | Kuratierte Lakehouse-Tabellen | Spark, Dataflow Gen2 |
| Gold | Geschäftsbereite Daten | Data Warehouse oder kuratiertes Lakehouse | SQL, Spark, Power BI |
Die Zukunft der Datenarchitektur ist einheitlich
Microsoft Fabric ist ein bedeutender Schritt nach vorn in der Evolution der Datenplattformen. Indem es Data Lake und Data Warehouse zu einer einzigen, integrierten Experience vereint, hat Fabric das Potenzial, die Datenlandschaft zu vereinfachen, Datensilos aufzubrechen und die Time-to-Value zu beschleunigen. Die Medallion-Architektur liefert ein bewährtes Entwurfsmuster, um Daten in dieser neuen, einheitlichen Welt zu organisieren.
Doch wie wir im nächsten Teil dieser Serie sehen werden, ist die Realität der Umsetzung dieser neuen Architekturen nicht frei von Herausforderungen. In Teil 3 werfen wir einen kritischen Blick auf die Security-, Compliance- und Netzwerktrennungs-Herausforderungen, denen Organisationen bei der Einführung von Microsoft Fabric begegnen, und beleuchten die praktischen Lösungen und Workarounds, die heute verfügbar sind.
Quellen
[1] What is the medallion lakehouse architecture? – Azure Databricks
← Zurück: Teil 1: Einführung in Fabric | Weiter: Teil 3: Security, Compliance und Netzwerktrennung
#MicrosoftFabric #MedallionArchitecture #DataLakehouse #OneLake #DataArchitecture #DataEngineering #BronzeSilverGold #UnifiedDataPlatform #DeltaLake #DataGovernance #CloudData #FabricImplementation #DataModeling #ETLSimplification #DataWarehouseModernization