Data Mesh in Azure – Schritt für Schritt zum Governed Mesh

Die täglich von Unternehmen produzierten Datenmengen wachsen exponentiell – und mit ihnen die Begehrlichkeiten rund um die darin ruhenden, geschäftlichen Werte. Vor diesem Hintergrund ermöglicht es das Data-Mesh-Konzept, konkrete Anwendungsfälle für Daten schneller und effizienter in die Realität umzusetzen. Analysten und Data Scientists erhalten mehr Freiheit und Flexibilität. Aber auch fachliche Mitarbeiter werden dazu ermutigt, neue Wege mit Daten zu gehen und Lösungen in Eigeninitiative zu realisieren.

Die Datenprodukte haben dann oftmals einen deutlich höheren Praxisnutzen, als es beim Umweg über ein zentrales IT-Team der Fall wäre. Ebenso gehören Engpässe in der Umsetzung neuer Anforderungen der Vergangenheit an. Dabei ist es prinzipiell gar nicht so schwer, eine Data-Mesh-Architektur für das eigene Unternehmen zu realisieren. Microsoft etwa bietet im Rahmen seines Cloud Adoption Frameworks mit dem „Cloud Scale Analytics Szenario“ eine vielfach bewährte Referenzarchitektur.

Die entsprechenden Vorlagen und Best Practices sind ein guter Ausgangspunkt für die eigene Data-Mesh-Plattform in der Azure Cloud. Sie ermöglichen es, sich Schritt für Schritt einer komplexeren Data-Mesh-Struktur mit zentraler Datenhoheit zu nähern.

Basiskomponenten werden bereitgestellt

Für einen Data Mesh in Azure bietet die Microsoft-Referenzarchitektur zunächst zwei grundlegende Komponenten:

• Data Management Zone: Die essenziellen Funktionen für das Datenmanagement, wie die Stammdatenverwaltung, Daten- und API-Kataloge sowie eine Data Lineage.
• Data Landing Zone: Die Kerntechnologien zum Aufbau von Datenprodukten, wie Databricks für die Datenverarbeitung oder Power BI zur Datenvisualisierung.

Abhängig von Ihren Geschäftszielen und dem technologischen Know-how lässt sich ein Data Mesh nun auf unterschiedliche Weise angehen. Die gängigsten Implementierungsformen sind:

1. „All-in-One“ mit einer Landing Zone
2. Datenintegration und Datenanalyse getrennt
3. Datennutzung und -verteilung getrennt

Die gängigsten Formen der Data-Mesh-Implementierung im Überblick. Sie können auch als schrittweise Annäherungen an einen „Fully Governed Mesh“ betrachtet werden.

Die einzelnen Data-Mesh-Ansätze unterscheiden sich im Wesentlichen hinsichtlich der Verwendung und Verbindung der Data Management und Data Landing Zones. Sie können auch als einzelne Stufen eines Entwicklungsprozesses betrachtet werden, der einen Data-Mesh-Ansatz mit begrenzten Freiheitsgraden zum Ziel hat.

All-in-One: Eine Data Landing Zone

Data Meshs mit lediglich einer Data Landing Zone ermöglichen die Bündelung aller Daten-Teams bzw. Data Domains in einer einzigen Azure Subscription. Sämtliche Domänen verwenden einen standardisierten Satz an Kerntechnologien, der von einem zentralen Betriebsteam bereitgestellt wird. Die Freiheiten bei der Self-Service-Analyse sind somit gegenüber anderen Mesh-Formen eher limitiert. Dafür lässt sich der Gesamtaufbau einfacher verwalten und weiterentwickeln. Beispielsweise werden die Sicherheitsmaßnahmen für alle Domänen zentral überwacht und gesteuert.

Data Mesh mit einer einzelnen Data Landing Zone.

Dank der unkomplizierten Implementierung und Verwaltung eignet sich dieser Aufbau insbesondere für kleinere Unternehmen, die zunächst einmal ihre Struktur und Fachbereiche abbilden wollen. Infolgedessen handelt es sich auch um einen guten Einstiegspunkt, von dem aus die Architektur nach und nach durch weitere Data Landing Zones mit anderen Funktionalitäten erweitert werden kann.

Datenintegration und Datenanalyse trennen

In einem nächsten Schritt besteht die Möglichkeit, die Datenintegration und Datenanalyse über einzelne Data Landing Zones voneinander zu trennen. Das heißt: Eine Data Landing Zone übernimmt die Integration aus den verschiedenen Cloud- und On-Premises-Quellsystemen. Zudem werden hier grundlegende Datenprodukte erzeugt, auf die die einzelnen Daten-Teams bei ihren Analysen aufbauen können, wie zum Beispiel dimensionale Stammdaten-Modelle.

Data Mesh mit quell- und zielsystembezogener Trennung.

Währenddessen liegt bei der andere Landing Zone der Fokus auf Datenprodukten, die einen Mehrwert für die Domänen bzw. die Fachbereiche dahinter liefern, etwa in Form von Reports, Dashboards oder Machine-Learning-Modellen. Dabei rückt die Datenverantwortung näher an die Abteilungen. Zudem können Datenprodukte mit anderen Domänen geteilt werden. Entsprechend kommen erstmals die Data-Mesh-Prinzipien „Data Ownership“ und „Data as a product“ voll zum Tragen. In der Folge können sich die einzelnen Domänen stärker spezialisieren und ihre Produktivität weiter erhöhen.

Eigene Zonen für Datennutzung und -verteilung

Eine weitere Ausbaustufe des „regulierten“ Data Meshs kann eine Differenzierung zwischen der Datenverteilung und Datennutzung vorsehen. Hierbei fungiert eine Landing Zone als „Produktionsbereich“, in dem spezialisierte Daten-Teams selbstständig eigene Datenprodukte entwickeln können. Die andere Landing Zone dient indes als zentrale Verteilerplattform mit standardisierten Speicherkonten und Self-Service-Diensten, über die die autarken Domänen ihre Produkte unternehmensweit bereitstellen bzw. mit den anderen Teams austauschen können.

Data Mesh mit Hub- und Spoke-Data-Landing-Zones.

Bei diesem Aufbau handelt es sich bereits um einen vollwertigen „Fully Governed Mesh“. Er ermöglicht nicht nur eine klare Trennung von Domänen, beispielsweise nach Funktion oder Region. Ebenso kann die unternehmenseigene Data Governance durch ein zentrales Betriebsteam laufend überwacht und gesteuert werden. Daher ist der Ansatz vor allem für Branchen und Unternehmen mit hohen Kontroll- und Sicherheitsbedürfnissen interessant, wie etwa den Versicherungs- oder Finanzsektor. Größere Freiheiten werden dann durch eine sukzessive Dezentralisierung der Datenverantwortungen und -verteilung erzielt.

Wollen auch Sie mit einem individuellen Data-Mesh-Ansatz einen höheren geschäftlichen Nutzen aus Ihren Daten ziehen? Dann informieren Sie sich über unser Webinar Wie Sie mit einer Data-Mesh-Strategie Ihre KI-Ziele erreichen.