Was ist Datenintegration?
Datenintegration ist eine der wichtigsten Maßnahmen für Unternehmen, die sich auf den Weg zur Data Driven Company befinden. Bei dem Vorgang werden die meist heterogenen Daten aus verschiedenen Quellsystemen zentral auf einer Plattform gespeichert, vereinheitlicht und unternehmensweit zur Auswertung bereitgestellt. Somit wird eines der Kernprobleme der Digitalisierung von Unternehmen gelöst: Isolierte Datensilos und Analysen in unterschiedlichen Abteilungen, die einen einheitlichen „360°-Blick“ auf die Geschäftsabläufe sowie allgemeingültige Erkenntnisse unmöglich machen.
Datenintegration bietet Unternehmen also diverse Vorteile, die für einen erfolgreichen digitalen Wandel grundlegend sind:
- Einheitliche Kennzahlen (KPIs) und Ergebnisse, die fundierte Entscheidungen ermöglichen
- Stets aktuelle Daten von hoher Qualität, die für zuverlässige Analyseergebnissen sorgen
- Mehr Geschwindigkeit und Sicherheit bei allen Prozessen der Datenanalyse
- Übergreifende Ad-hoc Analysen zu drängenden Fragestellungen durch fachliche Anwender
- Synergien durch datengetriebene Zusammenarbeit über alle Unternehmensbereiche hinweg
Wo liegt der Unterschied ETL und ELT?
Grundsätzlich besteht die Datenintegration aus drei Schritten, die in der Fachwelt als „Extract, Transform, Load“ (ETL) bezeichnet werden:
- Extraktion: Daten von heterogenen Systemen werden in einer Datenbank oder auf einem Server gesammelt.
- Transformation: Die Daten werden nach Bedarf umgewandelt, bereinigt und aggregiert, sodass sie in einem konsistenten, universellen Format vorliegen.
- Laden: Die konsolidierten Daten werden in das Zielsystem geschrieben. Dabei kann es sich um eine Datenbank, ein Data Warehouse oder einen Data Lake handeln.
Extract, Transform, Load – oder kurz: ETL – ist eine Variante für Data Integration. (Grafik: ORAYLIS GmbH)
Dieser Prozess wird laufend wiederholt, damit die Anwender bei ihren Analysen stets auf aktuelle Daten zurückgreifen können. Die Intervalle zwischen den „Auffrischungen“ werden gemäß der Anwendungsfälle definiert, für die die Daten vorgesehen sind. Das Spektrum kann von einem Monat bis nahezu in Echtzeit reichen. In der Praxis hat sich eine tägliche Verarbeitung etabliert. Zudem gibt es ereignisgesteuerte Verfahren, bei denen Änderungen im Quellsystem den Prozess auslösen.
Aufgrund der stetig wachsenden „Big Data“, die Unternehmen heutzutage immer schneller verarbeiten und bereitstellen müssen, hat sich neben ETL eine weitere Vorgehensweise etabliert: der sogenannte ELT-Prozess. Wie die Abkürzung bereits nahelegt, werden hier die Daten aus den Quellen extrahiert und direkt geladen. Die eigentliche Transformation erfolgt anschließend im Bedarfsfall über das Zielsystem, das im Regelfall hoch performant und in der Cloud angesiedelt ist. Bei diesen Datenmengen handelt es sich meist um einen Data Lake.
Wie wird Datenintegration ermöglicht?
Eine sichere und effektive Integration von Daten wird heutzutage im Regelfall über entsprechende Cloud-Dienste gewährleistet. Bei einem modernen Data Warehouse in der Microsoft Azure Cloud sind das beispielweise Synapse oder eine Kombination aus Databricks und Data Factory. Diese Entwicklung ist ebenfalls auf die immer größeren Datenmengen zurückzuführen, die es zu nutzen gilt. Hinzu kommen wachsende Anforderungen an die Analyse dieser Daten, etwa in Form von Echtzeit- und Prognose-Szenarien.
Die hierfür erforderlichen Speicher- und Rechenleistungen können Cloud-Dienste getrennt und nach Bedarf bereitstellen. Ebenso lassen sich die verwendeten Ressourcen schnell und flexibel skalieren – entscheidende Vorteile gegenüber Hardware-Lösungen im lokalen Rechenzentrum. Und: Speziell in der Azure Cloud gestaltet sich die Migration von Daten aus anderen Systemen als sehr einfach. So lässt sich beispielsweise ein SAP DW problemlos anbinden und gemeinsam mit anderen Quellen nutzen.
Wollen auch Sie sich bei der Digitalisierung Ihres Unternehmens auf eine verlässliche Datenbasis stützen?
turn your data into value.
