HEMS-Daten als Planungsunterstützung für Energieunternehmen

Die Energiewende ist in vollem Gange: Photovoltaikanlagen (PV), Wärmepumpen und Elektrofahrzeuge verändern grundlegend, wie wir Energie erzeugen und konsumieren. Doch mit der dezentralen Energieproduktion wächst nicht nur die Vielfalt der Stromquellen, sondern auch die Komplexität der Datenmengen, die diese neuen Systeme erzeugen.

Wie kann man die Daten sinnvoll strukturieren und auswerten?
Wie lassen sich die heterogenen Daten auf einen gemeinsamen Nenner bringen?
Wie können Energie-Unternehmen aus den entstehenden Daten echten Mehrwert schöpfen?

Hier kommen Home Energy Management Systeme (HEMS) ins Spiel. Diese sammeln Daten aus PV-Anlagen, Batteriespeichern, Smart Metern und weiteren Quellen, um den Energiefluss in den eigenen vier Wänden intelligent zu steuern. Doch auch für die Energieunternehmen können diese Informationen nützlich sein. Allerdings bleibt der große Informationsgehalt der IoT-Daten ohne strukturierte Aufbereitung und aussagekräftige Visualisierungen weitestgehend ungenutzt.

Für ein Unternehmen im Bereich erneuerbarer Energien standen wir vor der Herausforderung, eine Datenarchitektur und Reporting-Plattform zu entwickeln, die täglich aktualisierte KPIs liefert und alle Mitarbeitenden in Echtzeit informiert – und das zu möglichst geringen Kosten.

BRANCHE

Energieversorger

TECHNOLOGIEN

Azure Data Lake Storage (ADLS)
Azure Data Factory (ADF)
Microsoft Power BI

HERAUSFORDERUNG

Heterogenität von Eingangsdaten
Unterschiedliche Zeitschnitte
Moving targets

ERGEBNIS/MEHRWERT FÜR DEN KUNDEN

Einheitliche Sicht auf Daten aus verschiedenen Quellen
Rollenbasierter Zugriff
Benutzerfreundliche Visualisierungen mit effizienter Filteroptionen

Intelligente Netze brauchen intelligente Lösungen: Technologischer Ansatz und Umsetzung

Zu Beginn existierten zahlreiche Datenquellen, die über verschiedene REST-API-Endpunkte im JSON-Format bereitgestellt wurden. Anonymisierte Informationen zu Standorten, Gerätedaten und Nutzerkennzahlen lagen zwar vor, es gab jedoch noch kein Datenmodell, auf dem Berichte aufbauen konnten. Die bisherigen Reporting-Lösungen basierten auf Monatswerten, was für das dynamische Energiemanagement und genaue Entscheidungen zu grob war. Wichtige Informationen gingen dadurch verloren, und es fehlte an einer zentralen, tagesaktuellen bzw. sogar stündlichen Aktualisierung der KPIs. Die Anforderungern änderten sich während des Projektverlaufs immer wieder – neue KPIs wurden benötigt und bestehende Datenquellen sollten erweitert oder ergänzt werden. Es galt flexibel, effektiv und effizient zu reagieren, um den Zeitrahmen einzuhalten und gleichzeitig ein robustes System zu etablieren.

Anforderungsanalyse – Die Datenquellen verstehen

Zunächst wurden mögliche REST-API-Endpunkte (wie z.B. Systeme, Geräte, EV-Konfigurationen, Gateways, Marktpreise) detailliert analysiert, um die Qualität, Granularität und Zuverlässigkeit zu bewerten. Es galt, herauszufinden, welche Parameter sich für aussagekräftige KPIs eignen und wie ein stabiles Datenmodell aufgebaut werden kann – in enger Abstimmung mit den Fachabteilungen. Das Ergebnis: Ein maßgeschneidertes Datenmodell, ein sog. Sternschema, das als Grundlage für die weitere Verarbeitung diente.
Datenextraktion mit Azure Data Factory

Azure Data Factory (ADF) wurde als zentrales ETL-Tool eingesetzt, um täglich Daten aus mehreren REST-API-Endpunkten der HEMS abzurufen. Die API-Endpunkte lieferten unterschiedlichen Granularitätsstufen (z. B. Echtzeitwerte, stündliche oder tägliche Summen). Um den Abruf effizient zu gestalten, wurden parametrisierte Pipelines in ADF implementiert, die dynamisch API-Parameter für Zeiträume und Datenkategorien steuern.
Zwischenspeicherung im Azure Data Lake Storage

Vor der erneuten Verarbeitung zu analytischen Zwecken wurden die Rohdaten in einer Azure Storage-Lösung abgelegt. Dies ermöglichte:
- Eine persistente Speicherung der Rohdaten, damit auch andere Fachbereiche später erneut auf sie zugreifen und alternative Verarbeitungsprozesse starten zu können.
- Die Nutzung dieser Rohdaten für Fehleranalysen, Re-Processing oder zukünftige Datenanforderungen, ohne erneut API-Abfragen auszuführen.
- Eine Trennung zwischen Rohdaten und transformierten Daten, um die Architektur flexibel und skalierbar zu gestalten.
- Die Daten wurden aus den verschiedenen Endpunkten der API extrahiert, bereinigt und transformiert, bevor sie in verschiedene Ordner nach Jahr, Monat und Tag abgelegt wurden und später auch auf historische Trends und Verläufe zurückzugreifen.
Speicherung in einer SQL-Datenbank

Da Power BI keine direkte Persistenz für große Datenmengen bietet und API-Abfragen ohne Zwischenspeicherung zu hohen Latenzen führen, wurde eine relationale SQL-Datenbank als zentrale Speicherlösung genutzt. Diese diente nicht nur als performante Datengrundlage für das Reporting, sondern ermöglichte zudem auch historische Analysen.

Die Tabellenstruktur wurde so aufgebaut, dass JSON-Daten in relationale Tabellen transformiert wurden, Primär und Fremdschlüssel definiert, sodass Felder wie Zeitstempel, Energieproduktion, Verbrauch und Batteriespeicherstände effizient abgefragt werden konnten und parallel ein kompaktes ein Datenmodell erstellt werden konnte.

Mit präzisen Berichten neue Möglichkeiten schaffen: Reporting und Visualisierung in Power BI

Durch die Verknüpfung von Erzeugungsdaten (z. B. Solarstromproduktion), Verbrauchsdaten (z. B. Lastgänge einzelner Geräte) und Kostendaten (z. B. Energiepreise, Netzentgelte) lassen sich Zusammenhänge und Effizienzpotenziale entlang der gesamten Wertschöpfungskette auf einen Blick erkennen. Mit der strukturierten Datenbasis und dem neu entwickelten Datenmodell konnten interaktive Power BI Dashboards erstellt werden. Die bieten:

Tagesaktuelle Einblicke in wesentliche KPIs
Benutzerfreundliche Filteroptionen, sodass die Nutzer genau die Daten abrufen können, die sie für fundierte Entscheidungen benötigen
Rollenbasierte Zugriffsmöglichkeiten, die sicherstellen, dass jede Zielgruppe nur die für sie relevanten Inhalte sieht

Neben den klassischen Kennzahlen wurden neue KPIs definiert, um das volle Potenzial der HEMS-Daten auszuschöpfen:

Selbstversorgungsrate: Anteil des Energiebedarfs, der durch eigene Erzeugung von PV- Anlagen gedeckt wird
Netzbezug und Einspeisung: Entwicklung der Bezugs- und Einspeiseverhältnisse über verschiedene Regionen und Zeiträume
Batterieeffizienz: Wirtschaftlichkeit und Optimierung von Lade- und Entladezyklen in Batteriespeichern
Verbrauchsintensität: Analyse des Energieverbrauchs pro Gerätetyp und pro Haushalt

Die Zukunft ist vernetzt – was als Nächstes kommt

Mit einer einfachen Kombination aus nur wenigen Tools – Azure Data Factory & Storage, SQL-Datenbank und Power BI – konnte ein leistungsfähiges Reporting-System geschaffen werden, das sowohl robust als auch kosteneffizient ist – und nicht immer kompliziert sein muss. Alle relevanten Stakeholder erhalten nun Zugriff auf präzise, täglich aktualisierte KPIs, was zu einer schnelleren Reaktionsfähigkeit und besseren strategischen Entscheidungen führt. Dieses Projekt zeigt eindrucksvoll: Es bedarf nicht immer umfangreicher und teurer Systeme, um aus unstrukturierten IoT-Daten wertvolle Erkenntnisse zu gewinnen. Mit einem schlanken, zielgerichteten Ansatz lässt sich ein enormer Mehrwert schaffen – ein entscheidender Beitrag für die Energiewende.

Der nächste Meilenstein auf dem Weg zur intelligenten Energienutzung ist die Integration von Machine-Learning gestützten Prognosen. Denn vor allem das Wetter spielt bei der Erzeugung von grünem Strom eine erhebliche Rolle. Durch präzise Vorhersagen von Verbrauchsmustern – unter Berücksichtigung von Wetter-, Markt- und Sensordaten – lassen sich Netzüberlastungen gezielt vermeiden und dynamische Tarife optimal ausschöpfen. Doch das ist erst der Anfang: Mit fortschrittlichen Algorithmen könnten künftig nicht nur Verbrauchsspitzen vorhergesehen, sondern ganze Energiesysteme in Echtzeit optimiert werden. Dezentrale Speicher, smarte Netze und KI-gesteuerte Lastverteilungen könnten die Energieeffizienz auf ein völlig neues Niveau heben. Selbst bei dynamischen Rahmenbedingungen und komplexeren Datenströmen zeigt sich, dass flexible, skalierbare und kosteneffiziente Lösungen trotzdem möglich sind. Diese Entwicklung unterstreicht, dass die Digitalisierung der Energiewirtschaft weit mehr als eine technische Herausforderung ist – sie ist der Schlüssel zu einer nachhaltigen, intelligenten und zukunftssicheren Energieversorgung.

Noch Fragen?

Telefonisch erreichen Sie uns unter (0221) 2220 2736, per E-Mail unter mail_us@rheindata.com.