ORAYLIS PEOPLE BLOG

DataM8 – Neugier trifft Code: Automatisierung für Datenprojekte neu gedacht

11.04.2025 Agnes Kruczek

Was als Teamidee begann, ist heute ein Open-Source-Tool, das die Arbeit an Datenprojekten nachhaltig verändert.

Ein guter Grund, mit dem Entwicklerteam von ORAYLIS ins Gespräch zu kommen. Denn mit DataM8 hat ein Team eine Lösung geschaffen, die Komplexität reduziert, Automatisierung vereinfacht und echten Mehrwert für Entwickler und Unternehmen bietet. Im Interview erzählen die Köpfe hinter dem Tool, wie alles begann, was DataM8 so besonders macht – und warum die Reise gemeinsam mit der Community gerade erst begonnen hat.

Ihr seid sozusagen die Erfinder von DataM8. Wie ist es dazu gekommen?

Lasse: Alles begann im Jahr 2021, als wir in einem kleinen, enthusiastischen Team das Produkt Synapse von Microsoft testeten, um eine moderne Cloud-Datenplattform zu entwickeln. Wir waren uns schnell einig, dass wir für die Entwicklung einer Enterprise-Lösung Prozesse automatisieren müssen, um die tägliche Arbeit der Entwickler zu vereinfachen und gleichzeitig einen echten Mehrwert für unsere Kunden zu schaffen.

Mit dieser Vision im Hinterkopf entstand ein erstes Framework, das 2022 erfolgreich als Standard in allen neuen Projekten eingesetzt wurde und uns zeigte, dass der Ansatz funktioniert und Potenzial hat.

Ein Jahr später, 2023, fiel die entscheidende Weichenstellung: ORAYLIS entschied sich, gezielt in ein eigenständiges Tool und ein eigenes Marktteam zu investieren. Diese Entscheidung führte zu einer kontinuierlichen Weiterentwicklung, so dass wir heute über eine ausgereifte Lösung mit eigenem Frontend verfügen, die als Open Source Version für jedermann verfügbar ist.

Team DataM8

Warum seht ihr Automatisierung bei modernen Datenlösungen als so wichtig an?

Fabio: Moderne Datenplattformen sind heutzutage äußerst komplex. Sie bestehen aus einer Vielzahl von Technologien, Diensten und Schnittstellen – von der Cloud-Infrastruktur über die Datenintegration bis hin zu Governance und Sicherheit. Für Entwickler und Betreiber bedeutet dies nicht nur einen hohen Aufwand, sondern auch die Notwendigkeit eines sehr breiten und tiefen technischen Know-hows. Gleichzeitig steigen die Anforderungen des Business an Geschwindigkeit, Flexibilität und Qualität kontinuierlich.

Hier setzt die Automatisierung an: Sie hilft, wiederkehrende und fehleranfällige Aufgaben standardisiert und effizient durchzuführen. Damit entlasten wir Teams, reduzieren menschliche Fehler und schaffen gleichzeitig die Basis für schnellere Entwicklungszyklen. So bleibt mehr Raum für die wirklich wichtigen Dinge – zum Beispiel für die Entwicklung wertschöpfender Use Cases und innovativer Lösungen. Am Ende profitieren alle: die Entwickler durch weniger Routinearbeit, die Betreiber durch stabilere Plattformen und die Fachbereiche durch schnellere Ergebnisse.

Team DataM8 im Office

Könnt Ihr das anhand von DataM8 die Vorteile noch transparenter machen? Was haben Nutzende von dem Tool?

Phillipp: Natürlich! Der große Vorteil von DataM8 liegt in der Kombination aus Benutzerfreundlichkeit, Automatisierung und Transparenz unseres Automatisierungsansatzes.

Ein zentraler Vorteil ist der standardisierte Entwicklungsprozess, der eine konsistente und reproduzierbare Implementierung sicherstellt. Dabei setzen wir auf einen transparenten Automatisierungsansatz durch Codegenerierung – das bedeutet, dass sowohl Entwickler als auch das Betriebsteam jederzeit nachvollziehen können, wie die Automatisierung funktioniert.

Unser benutzerfreundliches Frontend ermöglicht eine einfache Pflege des Metadatenmodells, so dass auch ohne tiefere technische Kenntnisse effiziente Datenprozesse gestaltet werden können. Darüber hinaus kann DataM8 einfach an verschiedene Datenquellen angebunden werden, was die Integration in bestehende Systeme erheblich erleichtert. Dies ermöglicht auch Unternehmen, die Lösung aktiv zu nutzen, weiterzuentwickeln und gezielt für eigene Projekte zu optimieren.

Datenplattformen automatisieren: Architekturbild, dass die einzelnen Komponenten von DataM8 darstellt

Was kann DataM8, was andere Automatisierungstools am Markt nicht können?

Michael: DataM8 unterscheidet sich von vielen anderen Tools auf dem Markt vor allem durch seine Offenheit und Flexibilität.

Es ist komplett kostenlos und Open Source – und das ist ein ganz zentraler Punkt. Für unsere Anwender bedeutet das: Sie haben volle Transparenz darüber, was im Hintergrund passiert, können es selbst weiterentwickeln und sind nicht an einen bestimmten Hersteller oder ein bestimmtes Lizenzmodell gebunden.

Durch den codegenerierten Ansatz ist das Tool für jede Zieltechnologie oder Plattform einsetzbar und kann so einfach an die individuellen Anforderungen angepasst werden.

Darüber hinaus bündelt DataM8 unsere langjährige Projekterfahrung und bildet Best Practices direkt ab. Anwender profitieren so von einem praxisnahen, leicht anpassbaren Tool, das echte Effizienzgewinne bringt – ohne versteckte Kosten oder Abhängigkeiten.

Welche Technologien und Programmiersprachen habt ihr verwendet, und welche technischen Herausforderungen gab es bei der Entwicklung?

Phillipp: Angefangen beim Frontend, das in C# / .NET geschrieben ist und als primäre Schnittstelle für den Benutzer gedacht ist, über den in Python geschriebenen Generator, der mit Hilfe von jinja2 Code generiert, bis hin zu den projektspezifischen Lösungen, die mit DataM8 erstellt werden und derzeit hauptsächlich auf den Notebooks von Databricks mit pySpark entwickelt werden.

Die größte technische Herausforderung besteht wohl darin, die Anforderungen der verschiedenen Projekte, die DataM8 einsetzen, zu vereinen und sich auf ein möglichst einheitliches Tool für den Einsatz in Kundenprojekten zu einigen und dieses umzusetzen. Daneben gibt es immer wieder kleinere Herausforderungen, die bei einer sich ständig weiterentwickelnden Software nicht zu vermeiden sind.

Team DataM8 im Office

Kommt das Tool schon bei ORAYLIS-Kunden zum Einsatz? Wie wird es dort verwendet?

Lasse: Ja, DataM8 wird bereits in über zehn Kundenprojekten aktiv und erfolgreich eingesetzt.

Das Tool dient vor allem als Projektbeschleuniger, mit dem wir in kurzer Zeit die erste Version einer Datenplattform aufbauen und dem Kunden erste Ergebnisse präsentieren können. Ein großer Vorteil ist, dass die Flexibilität von DataM8 es unseren Kunden erlaubt, eigenständig individuelle Anpassungen vorzunehmen. So behalten sie die volle Kontrolle über ihre Datenprozesse und können das Tool optimal auf ihre spezifischen Bedürfnisse zuschneiden.

Darüber hinaus stärkt das Tool die Zusammenarbeit zwischen Kunden und Projektteams. Durch den transparenten Automatisierungsansatz entsteht ein gemeinsames Prozessverständnis, das zu einer effizienteren Umsetzung und besseren Ergebnissen führt.

Finden sich bei ORAYLIS häufiger Kollegen zusammen, um an Marktinnovationen zu arbeiten?

Michael: Denn bei ORAYLIS gehört es zur Kultur, gemeinsam an neuen Ideen und Marktinnovationen zu arbeiten. Mit den Innovation Labs haben wir sogar ein eigenes Format geschaffen, in dem interdisziplinäre Teams gezielt an innovativen Lösungen tüfteln können – losgelöst vom Projektalltag. Hier entstehen immer wieder spannende Ansätze, die im Anschluss weiterentwickelt werden und im besten Fall in Schulungen, Vorträgen oder sogar eigenständigen Produkten münden.

Dieser Innovationsprozess sorgt dafür, dass unsere Lösungen immer nah an der Praxis sind und unseren Kunden helfen, echte Herausforderungen zu lösen – und genau das motiviert viele Kolleginnen und Kollegen, sich aktiv einzubringen, so wie bei DataM8.

Was hat euer Team als nächstes geplant?

Fabio: Für uns ist der Launch kein Abschluss, sondern der Startschuss für die nächste Phase. Jetzt geht es darum, das Tool kontinuierlich weiterzuentwickeln, Feedback aus der Community zu sammeln und neue Features zu implementieren.

Unser übergeordnetes Ziel ist es, mit DataM8 einen Großteil der Anforderungen abdecken zu können, die an den Aufbau und Betrieb einer modernen Datenplattform gestellt werden. Dazu wollen wir eng mit den Anwendern zusammenarbeiten und das Tool um zusätzliche Funktionalitäten, wie die Integration neuer Datenquellen oder die Unterstützung weiterer Plattformen, erweitern.

Gleichzeitig möchten wir eine Open-Source-Community rund um DataM8 aufbauen – denn wir sind überzeugt, dass die besten Lösungen entstehen, wenn viele kluge Köpfe zusammenkommen und ihr Wissen teilen.

Kurzum: Wir haben noch viel vor – und freuen uns darauf, die Reise gemeinsam mit der Community fortzusetzen.

Join #teamoraylispeople

Gestalte mit uns
die Welt der Daten