Aktuell freie Kapazitäten — Projektstart ab sofort möglich.
Betriebsdaten zusammenführen und nutzbar machen
Ich entwickle Datenplattformen und automatisierte Datenpipelines für kleine und mittelständische Unternehmen. Sie verbinden Daten aus Ihrer Software, Maschinen und anderen Quellen zu einer gemeinsamen Grundlage für Berichte, Dashboards und digitale Produkte.
01 Der Nutzen
Antworten finden, ohne Daten jedes Mal neu zusammenzusuchen
Wie gut sind Ihre Maschinen ausgelastet? Wo bleiben Aufträge liegen? Welche Entwicklungen soll Ihr Kundenportal zeigen? Die benötigten Daten liegen oft schon vor – verteilt auf Warenwirtschaft, Fachanwendungen, Dateien oder Sensoren. Bevor jemand die eigentliche Frage beantworten kann, müssen Beschäftigte Exporte anfordern, Tabellen abgleichen und unterschiedliche Formate zusammenführen.
Eine Datenplattform (Data Platform) schafft dafür eine gemeinsame Grundlage: Sie führt Daten zusammen, beschreibt deren Bedeutung, regelt den Zugriff und stellt sie für Auswertungen bereit. Datenpipelines (Data Processing Pipelines) übernehmen die wiederkehrenden Schritte vom Eingang bis zur aufbereiteten Information automatisch.
So kann Ihr Team mit abgestimmten Daten arbeiten und dieselbe Grundlage für mehrere Aufgaben nutzen: etwa für den monatlichen Betriebsbericht, eine tägliche Übersicht offener Aufträge und Auswertungen in Ihrem Softwareprodukt. Wir beginnen mit einer konkreten Frage aus Ihrem Betrieb und den Daten, die dafür gebraucht werden.
02 Das Angebot
Vom vereinbarten Datenformat bis zur Auswertung
Ich konzipiere und entwickle die benötigte Datenverarbeitung und binde Ihre Anwendungen daran an. Zum vereinbarten Umfang können gehören:
- Datenformate festlegen und versionieren. Wir beschreiben Felder, Einheiten, Zeitangaben und eindeutige Kennungen. Änderungen erhalten klare Versionsregeln, damit bestehende Empfänger weiterarbeiten können. So bedeutet etwa „Betriebsdauer“ in allen angebundenen Systemen dasselbe.
- Datenströme bündeln. Ich verbinde Schnittstellen, Dateiimporte sowie Maschinen- und Softwareereignisse. Ob Daten laufend oder zu festen Zeiten eintreffen müssen, richtet sich nach Ihrer Aufgabe.
- Daten im Data Lake speichern. Ein Data Lake ist eine zentrale Ablage für Daten aus unterschiedlichen Quellen. Ich richte die Speicherung von Rohdaten und aufbereiteten Beständen ein, einschließlich Katalog, Zugriffsrechten und vereinbarten Aufbewahrungsregeln. Die Herkunft bleibt nachvollziehbar.
- Daten prüfen und weiterverarbeiten. Verarbeitungsjobs vereinheitlichen Formate, erkennen unvollständige Datensätze, verknüpfen Informationen und berechnen Kennzahlen. Solche Abläufe heißen auch ETL: Daten auslesen, umformen und in einen Zielbestand laden. Fehlerhafte Eingänge werden sichtbar und können nach einer Korrektur erneut verarbeitet werden.
- Auswertungen und Produkte anbinden. Ich mache die aufbereiteten Daten abfragbar und verbinde sie mit Dashboard-Software wie Apache Superset oder den Schnittstellen Ihrer Anwendung. Gemeinsam legen wir fest, was eine Kennzahl bedeutet und wie aktuell sie sein muss.
Sie erhalten dokumentierte Datenformate, nachvollziehbare Verarbeitungsschritte und eine nutzbare Anbindung für den vereinbarten Anwendungsfall. Quellcode, Infrastrukturdefinitionen und Dokumentation bleiben für Sie zugänglich.
03 Ein Beispiel
Eine Kundenbestellung, mehrere Aufgaben
Ein mögliches Beispiel aus dem E-Commerce: Ein Online-Shop bestätigt eine Kundenbestellung und veröffentlicht das Ereignis „Bestellung bestätigt“. Es enthält unter anderem Bestellnummer, Artikel, Mengen, Bestellwert mit Währung und Zeitpunkt. Versandabwicklung, Kundenkommunikation und Datenplattform benötigen diese Information für unterschiedliche Aufgaben.
Beim Publish/Subscribe-Prinzip (Pub/Sub) veröffentlicht der Shop die Meldung einmal in einem Nachrichtenkanal. Interessierte Systeme abonnieren diesen Kanal. Fanout bezeichnet die Verteilung an mehrere Empfänger. Auf AWS lässt sich das mit Amazon SNS und einer eigenen Amazon-SQS-Warteschlange je Empfänger umsetzen.
| Empfänger mit eigener Warteschlange | Aufgabe |
|---|---|
| Datenplattform | Empfängt alle Ereignisse der angebundenen Datenströme und archiviert sie im Data Lake für spätere Verarbeitung und Auswertungen. |
| Versandabwicklung | Übernimmt die Bestellung in die Versandplanung. |
| Kundenkommunikation | Versendet die Bestellbestätigung. |
Die Datenplattform ist dabei selbst ein Empfänger. Die anderen Systeme erhalten die für sie relevanten Meldungen parallel über die Verteilung. Sie müssen nicht warten, bis eine Auswertung im Data Lake fertig ist. Das technische Prinzip beschreibt die AWS-Dokumentation zu SNS und SQS.
Spätere Ereignisse wie „Bestellung versendet“ oder „Bestellung storniert“ ergänzen die Historie im Data Lake. Daraus lassen sich etwa Bestellvolumen, Stornierungen und die Zeit zwischen Bestätigung und Versand auswerten und in einem Dashboard darstellen.
Zum Aufbau gehört auch die Behandlung von Unterbrechungen: Rückstände und fehlerhafte Nachrichten müssen auffallen. Doppelt gelieferte Ereignisse dürfen weder zusätzliche Versandaufträge auslösen noch Kennzahlen verfälschen; verspätete Meldungen müssen richtig eingeordnet werden. Archivierte Rohdaten ermöglichen eine erneute Auswertung, etwa wenn eine Berechnungsregel geändert wird. Dabei darf die operative Bestellabwicklung nicht erneut ausgelöst werden. Umfang und Aufbewahrung legen wir vorher fest.
04 Die Grundlage
Bewährte Werkzeuge für Speicherung, Verarbeitung und Dashboards
Mein technischer Schwerpunkt liegt auf AWS. Die Bausteine wähle ich nach Datenmenge, Aktualität, Zugriffsbedarf und Betriebsaufwand aus:
- Amazon S3 und Apache Parquet: Speicherung im Data Lake; Parquet ist ein spaltenorientiertes Dateiformat für die spätere Auswertung großer Datenbestände.
- AWS Glue: Ein Katalog beschreibt die verfügbaren Daten. ETL-Jobs übernehmen ihre Aufbereitung und Verarbeitung. AWS Glue im Überblick.
- AWS Lake Formation: Verwaltung der Zugriffsrechte auf die Daten im Data Lake. Wer welche Bestände nutzen darf, wird gezielt eingerichtet. Lake Formation im Überblick.
- Amazon Athena: Daten mit der Abfragesprache SQL erschließen, etwa für Zeitvergleiche und zusammengefasste Kennzahlen.
- Apache Superset und andere Auswertungsprodukte: Daten über eine Abfrageverbindung für Berichte und Dashboards zugänglich machen. Superset unterstützt unter anderem Athena als Datenquelle.
Auch bei großen Datenmengen – häufig als Big Data bezeichnet – soll eine Auswertung im Arbeitsalltag nutzbar bleiben. Dafür berücksichtige ich die Aufteilung der Daten, vorab berechnete Kennzahlen sowie Laufzeiten und Kosten der Abfragen. Welche Bausteine Ihr Vorhaben tatsächlich braucht, klären wir anhand einer ersten durchgängigen Umsetzung.
05 Projekterfahrung
Datenverarbeitung bei Jungheinrich und VTG
Jungheinrich: Data Lake und Verarbeitung von Fahrzeugdaten
Im Flottenmanagement-Projekt bei Jungheinrich habe ich einen Data Lake mit Parquet, AWS Glue und Lake Formation aufgebaut und ETL-Jobs zur Verarbeitung der Daten entwickelt. Weitere Aufgaben waren die Aufbereitung von Fahrzeug- und Nutzungsdaten sowie die Bereitstellung voraggregierter Auswertungen über einen GraphQL-Server in Go.
VTG: Ereignisgetriebene Systeme an den Data Lake anbinden
Bei VTG habe ich ereignisgetriebene Systeme an einen Data Lake auf Basis von AWS Glue und Lake Formation angebunden. Für die Schienenlogistik-Plattform traigo entwickelte und betreute ich außerdem Dienste zur Verarbeitung von Telemetrie- und Sensordaten. Dazu gehörten asynchrone Verarbeitung mit SNS und SQS, Auswertungen zu Wagenaufenthalten und Laufleistung sowie Mechanismen zum erneuten Verarbeiten großer Ereignisbestände.
Diese Erfahrung bringe ich in die Umsetzung für Ihren Betrieb ein: von klaren Datenformaten bis zur Fehleranalyse im laufenden Betrieb. Der Umfang richtet sich nach Ihrer Fragestellung, Ihren vorhandenen Systemen und den Menschen, die mit dem Ergebnis arbeiten.
06 Die Umsetzung
Mit einer konkreten Auswertung beginnen
Zielsetzung definieren, Datenquellen bestimmen
Wir halten fest, welche Entscheidung oder Produktfunktion die Daten unterstützen sollen. Gemeinsam mit den zuständigen Mitarbeitenden prüfen wir verfügbare Datenquellen, Beispieldaten, Zugänge, Datenmengen und benötigte Aktualität.
Datenweg umsetzen
Ich vereinbare die Formate und entwickle eine erste Verbindung von der Quelle über Speicherung und Verarbeitung bis zur nutzbaren Auswertung. Ihr Team prüft das Ergebnis anhand bekannter Fälle.
Betrieb und Erweiterung vorbereiten
Ich richte Prüfungen, Überwachung und Fehlerbehandlung ein und dokumentiere die Lösung. Weitere Quellen und Auswertungen ergänzen wir schrittweise. Eine Übergabe an Ihr Team oder laufende Betreuung vereinbaren wir nach Bedarf.
07 Häufige Fragen
Was vor dem Start wichtig ist
Lohnt sich eine Datenplattform auch für ein kleines Unternehmen?
Entscheidend sind der wiederkehrende Aufwand und die Fragen, die Sie beantworten möchten. Wenn mehrere Quellen regelmäßig zusammengeführt werden oder dieselben Daten mehrere Auswertungen versorgen sollen, kann eine gemeinsame Plattform sinnvoll sein. Für einen einzelnen Bericht kann bereits eine gezielte Schnittstelle ausreichen. Wir grenzen den ersten Schritt entsprechend ein.
Müssen wir unsere bestehende Software ersetzen?
Vorhandene Anwendungen lassen sich über ihre Schnittstellen, Exporte oder Ereignisse anbinden. Sie können dabei weiterhin die führenden Systeme für Ihre Geschäftsprozesse bleiben. Ich prüfe, welche Daten sie bereitstellen können und ob Ergänzungen nötig sind. Auch eine vorhandene Datenplattform kann erweitert werden.
Wie aktuell sind die Daten im Dashboard?
Das legen wir anhand Ihres Bedarfs fest. Ein täglicher Betriebsbericht stellt andere Anforderungen als eine laufende Statusanzeige im Kundenportal. Die Aktualität hängt vom gesamten Weg ab: von der Quelle über Übertragung und Verarbeitung bis zur Abfrage und Aktualisierung im Dashboard. Dieser Bedarf beeinflusst Aufwand und Betriebskosten.
Wie werden Umsetzung und Betrieb abgerechnet?
Die Entwicklung rechne ich nach tatsächlich geleisteten Stunden ab; auf Wunsch erhalten Sie vorab eine Aufwandsschätzung für den abgegrenzten Umfang. Hinzu kommen die Nutzungskosten der eingesetzten Dienste und gegebenenfalls vereinbarte Betreuung. Datenmenge, Aufbewahrung, Verarbeitungshäufigkeit und Abfragen berücksichtigen wir bei der Planung. Ist der zugrunde liegende Geschäftsprozess noch unklar, kann eine Prozessanalyse zum Festpreis den Einstieg bilden.