Datenzähmen leicht gemacht: Warum verlässliche Data-Architekturen auf solidem Software-Engineering basieren

Data Engineering hat sich im Zeitalter von Big Data und Analytics zu einem entscheidenden Bereich entwickelt, der es Unternehmen überhaupt erst ermöglicht, das Potenzial riesiger Informationsmengen zu nutzen. Während der Schwerpunkt des Data Engineering auf der Verarbeitung, Transformation und Bereitstellung von Daten liegt, hängt sein Erfolg stark von den Prinzipien und Praktiken ab, die dem traditionellen Software-Engineering entlehnt sind.

In unserem Vortrag stellen wir eines unserer Projekte vor, in dem wir einen Datalake für eine große Online-Vertriebsplattform umgesetzt haben. Millionen von Events und hunderte Gigabytes am Tag müssen irgendwie gezähmt und verwertbar gemacht werden! Wir skizzieren die Architektur und sprechen über Herausforderungen und maßgeschneiderte Lösungen. Im Fokus stehen dabei folgende Themen:

Die Sicherung der Datenintegrität und des Datenschutzes.

Der Entwurf zuverlässiger Testframeworks, um Data Pipelines ganzheitlich prüfen zu können.

Flexible Erweiterungen der Architektur, um unterschiedlichste Datenkonsummodelle zu ermöglichen.

Dabei diskutieren wir auch, wann Standardlösungen nicht mehr ausreichen und was gutes Software Engineering in diesem Kontext für uns bedeutet.