Data Warehouse (DWH)

Was ist ein Data Warehouse?

Bei einem Data Warehouse (DWH) handelt es sich um eine zentrale Unternehmensdatenbank, die für geschäftliche Analyseszenarien optimiert ist. Das DWH führt die im Unternehmen verteilten Datenbestände aus meist heterogenen Systemen wie CRM und ERP zusammen, vereinheitlicht diese und stellt sie zur weiteren Verwendung bereit. Die Wahl der richtigen Data Warehouse-Software ist entscheidend, um eine leistungsstarke und kohärente Datenlösung zu entwickeln, die auf die spezifischen Bedürfnisse eines Unternehmens abgestimmt ist. Dadurch kann sich der Nutzer eine globale Sicht auf alle Quelldaten verschaffen – oder konkreter: den Kunden sowie das gesamte Geschäft.

Traditionelle Anwendungsfälle sind das unternehmensweite Standard-Berichtswesen und Ad-hoc-Analysen durch Fachabteilungen oder Data Scientisten. Die gewonnenen Erkenntnisse tragen zu mehr Transparenz, besseren Entscheidungen sowie einer sicheren Unternehmenssteuerung bei. Mit den stetig wachsenden Datenmengen und den resultierenden Möglichkeiten haben sich allerdings auch die Anforderungen an das Data Warehouse deutlich erhöht. Ein modernes DWH muss ebenso einen Beitrag zu Anwendungsfällen aus den Bereichen Echtzeit/Internet of Things, Künstliche Intelligenz und Process Mining leisten können. Entsprechend sind der Aufbau und die verwendeten Technologien einem massiven Wandel unterzogen. So finden sich die bekannten Data Warehouse-Strukturen zunehmend in vollintegrierten Cloud-Plattformen wieder, die alle Themen der unternehmensweiten Datenanalyse unter einem Dach vereinen.

Arten von Data Warehouses

Es gibt verschiedene Arten von Data Warehouses, die je nach Anforderungen und Zielen des Unternehmens eingesetzt werden können. Die wichtigsten Arten sind:

1. Enterprise Data Warehouse (EDW): Ein zentrales Data Warehouse, das alle Daten des Unternehmens enthält. Es bietet eine umfassende und einheitliche Sicht auf die Geschäftsdaten und unterstützt die strategische Entscheidungsfindung.
2. Operational Data Store (ODS): Ein Data Warehouse, das für die operative Verarbeitung von Daten eingesetzt wird. Es ermöglicht den Zugriff auf aktuelle und detaillierte Daten, die für tägliche Geschäftsprozesse benötigt werden.
3. Datamart: Ein Data Warehouse, das für die Analyse von Daten in einer bestimmten Abteilung oder Region eingesetzt wird. Es bietet eine fokussierte und spezialisierte Sicht auf die Daten, die für spezifische Analysezwecke genutzt werden können.

Diese verschiedenen Arten von Data Warehouses ermöglichen es Unternehmen, ihre Datenanalyse und -verarbeitung an ihre spezifischen Bedürfnisse anzupassen und so die Effizienz und Effektivität ihrer Geschäftsprozesse zu steigern.

Was ist Data Warehousing?

Data Warehousing ist der Prozess, bei dem Daten aus verschiedenen Quellen gesammelt, organisiert und analysiert werden, um Unternehmen bei der Entscheidungsfindung zu unterstützen. Es handelt sich um eine zentrale Plattform, auf der Daten aus unterschiedlichen Quellen wie Datenbanken, Excel-Tabellen und anderen Systemen gespeichert und analysiert werden können. Durch die Integration und Konsolidierung dieser Datenquellen ermöglicht Data Warehousing eine umfassende und einheitliche Sicht auf die Geschäftsdaten eines Unternehmens. Dies erleichtert nicht nur die Datenanalyse, sondern auch die Erstellung fundierter Berichte und Dashboards, die für strategische Entscheidungen unerlässlich sind.

Erstellen eines Data Warehouse

Das Erstellen eines Data Warehouse ist ein komplexer Prozess, der mehrere Schritte umfasst. Die wichtigsten Schritte sind:

• Definition der Anforderungen: In diesem Schritt werden die Ziele und Anforderungen des Data Warehouse definiert. Es ist wichtig, die spezifischen Bedürfnisse des Unternehmens zu verstehen, um ein maßgeschneidertes Data Warehouse zu entwickeln.
• Auswahl der Datenquellen: Hier werden die Datenquellen ausgewählt, die für das Data Warehouse benötigt werden. Dies können verschiedene Quellen wie Datenbanken, Excel-Tabellen und andere Systeme sein.
• Implementierung der Datenintegration: In diesem Schritt werden die Daten aus den verschiedenen Quellen integriert. Dies umfasst die Extraktion, Transformation und das Laden (ETL) der Daten in das Data Warehouse.
• Implementierung der Datenanalyse: Hier werden die Daten analysiert und verarbeitet. Dies umfasst die Anwendung von Business Intelligence-Tools und anderen Analysemethoden, um wertvolle Einblicke in die Geschäftsdaten zu gewinnen.

Durch die sorgfältige Planung und Umsetzung dieser Schritte können Unternehmen ein leistungsfähiges Data Warehouse erstellen, das ihnen hilft, ihre Daten effizient zu nutzen und fundierte Entscheidungen zu treffen.

Wie funktioniert ein Data Warehouse mit Daten aus unterschiedlichen Quellen?

Die Struktur eines DWHs wird allgemein als „Schichtenarchitektur“ bezeichnet. Dabei werden die verschiedenen Aufgaben des Systems einzelnen Layern zugeordnet. Eine beispielhafte und vielfach bewährte Architektur besteht aus drei Schichten:

1. Replication Layer: Hier werden die Quelldaten in ihrer Rohform angeliefert und gespeichert. Die Schicht dient als Archiv, das die Quellsysteme entlastet. Entsprechend handelt es sich auch um einen guten Anlaufpunkt für die explorativen Analysen von Data Scientisten. Massendaten lassen sich indes nur in geringer Geschwindigkeit abfragen.
2. Technology Layer: Auf dieser Ebene werden die Daten technisch transformiert, zusammengefasst und gegebenenfalls historisiert. Grundlage bildet ein relationales Datenbankmanagementsystem. Daher eignet sich dieses Vorgehen auch nur für strukturierte Daten. Abfragen über SQL können in hoher Geschwindigkeit durchgeführt werden. Somit eignet sich der Technology Layer z.B. auch als Quelle für schnelle Datenextrakte, etwa wenn Echtzeitdatenströme durch aktuelle Stammdaten angereichert werden sollen..
3. Business Layer: Der Business Layer schafft schließlich die fachliche Sicht auf das Unternehmen. Er dient Fachabteilungen und Analysten für Berichte, Ad-hoc-Abfragen und eigene Analysen auf Basis moderner Self-Service-Werkzeuge. Entsprechend sind die Daten dimensional modelliert und mit einer Business-Logik unterlegt.

Dieses Architekturkonzept hat weiterhin Bestand. Es sorgt für eine konsolidierte und harmonisierte Datensammlung, die dem Nutzer schnelle und komfortable Abfragen ermöglicht. Informationen werden organisiert verwaltet, sodass sie für Berichte und Datenanalysen leichter zugänglich sind. Allerdings erweist es sich als relativ unflexibel hinsichtlich der schnellen Veränderungen, die dynamische Märkte den Unternehmen heutzutage abverlangen. Ebenso lassen sich keine unstrukturierten Daten verarbeiten, wie z. B. Bilder und Filme. Daher hat das Konzept inzwischen eine umfassende Erweiterung erfahren.

Vorteile eines Data Warehouse

Ein Data Warehouse bietet zahlreiche Vorteile für Unternehmen. Einer der größten ist die Konsolidierung von Daten aus verschiedenen Quellen, was zu einer verbesserten Datenqualität führt. Durch die zentrale Speicherung und Verwaltung der Daten werden Abfragezeiten erheblich reduziert, was die Gesamtleistung des Systems verbessert. Darüber hinaus ermöglicht ein Data Warehouse die Durchführung von Business Intelligence-Analysen, die Erstellung von Berichten und Dashboards sowie die Unterstützung bei der Entscheidungsfindung. Diese Funktionen tragen dazu bei, dass Unternehmen ihre Daten effizienter nutzen und wertvolle Einblicke gewinnen können, die für die strategische Planung und das Tagesgeschäft von entscheidender Bedeutung sind.

Wie können Sie mit einem Data Warehouse neue Werte schaffen?

Der Aufbau von Data-Warehouse-Lösungen hat sich in technologischer Hinsicht stark gewandelt. Unternehmenseigene Rechenzentren haben ausgedient, da sie nicht mehr die notendigen Kapazitäten und Skalierungsmöglichkeiten aufweisen. An ihre Stelle treten moderne Datenplattformen in der Cloud, die Speicher und Rechenleistung nach Bedarf und nahezu unbegrenzt zur Verfügung stellen. Die klassischen Warehouse-Funktionen werden hier integriert und für den größeren geschäftlichen Kontext verfügbar gemacht. Das Gesamtkonstrukt wird auch als Data Lakehouse bezeichnet.

Beispielhafter Aufbau eines Data Lakehouse mit den Services der Azure Cloud.

Vor diesem Hintergrund lassen sich konsolidierte DWH-Daten mit anderen Datenquellen – wie z.B. Echtzeit-Streamings – nahtlos verknüpfen. Eine Motivation können Anwendungsfälle aus dem Bereich der Künstlichen Intelligenz sein. Die erforderlichen Technologien werden einfach nach dem Baukastenprinzip aus den bereitstehenden Cloud-Services ergänzt. Mit Microsoft Fabric existiert inzwischen auch ein Ansatz, auf dessen Grundlage vollständige Datenplattformen  in einem Schwung ausgerollt werden können.

Cloud Data-Plattformen aufbauen und geschäftlich nutzen

Wollen auch Sie ein modernes Cloud Data Warehouse aufbauen, um Ihre Datenanalyse für die Zukunft zu rüsten? Oder wollen Sie Ihre bestehende On-Prem-Lösung in die Cloud migrieren? Dann informieren Sie sich über unser Training Data Lakehouse: Cloud-Plattformen aufbauen und geschäftlich nutzen.

turn your data into value.