Wie die Transformer-Architektur Iqony dabei helfen kann, die Anomalieerkennung für Windkraftanlagen zu optimieren
Transformer-Architekturen haben sich als bahnbrechend im Bereich des Natural Language Processing (NLP) erwiesen – besonders durch Modelle wie GPT-3 und Applikationen wie ChatGPT, die auch außerhalb der KI-Welt viel Aufsehen erregt haben. Doch diese leistungsstarken Modelle entfalten ihr Potenzial nicht nur in sprachlichen Anwendungen. Auch in anderen Bereichen wie der Prognose von Zeitreihen bieten Transformer-Architekturen potenziell bedeutende Vorteile gegenüber klassischen Modellen.
Eine besondere Variante dieser Technologie ist der Temporal Fusion Transformer (TFT). Neben seiner hohen Genauigkeit bei Zeitreihenprognosen zeichnet sich der TFT durch seine beeindruckende Interpretierbarkeit und Fähigkeit zur Data Fusion aus (d.h. der Möglichkeit Daten anlagenübergreifend zum Training und Prognostizieren zu nutzen). Insbesondere im Energiesektor, in dem präzise Prognosen für fundierte Entscheidungen von enormer Bedeutung sind, eröffnen sich damit interessante Anwendungsmöglichkeiten.
In einem Proof-of-Concept (PoC) mit Iqony haben wir das TFT-Modell auf seine Praxistauglichkeit geprüft.
Iqony ist ein führendes Energieunternehmen mit langjähriger Erfahrung in Planung, Bau und Betrieb energietechnischer Anlagen, das ganzheitliche Lösungen für die Dekarbonisierung, Dezentralisierung und Digitalisierung der Energieversorgung bietet.
Iqony entwickelt und vertreibt Softwarelösungen, die die kontinuierliche Verbesserung der Effizienz und Sicherheit energietechnischer Anlagen unterstützen. Die Lösungen sind in den Anlagen der Iqony aber auch bei Kunden weltweit im Einsatz. Ein zentrales Element ist dabei die frühzeitige Erkennung von Anlageschäden, um Ausfälle zu minimieren und Wartungskosten zu reduzieren. Dafür befindet sich ein komplexes Anomalieerkennungssystem im Einsatz, das sowohl für Windparks und PV-Anlagen als auch für konventionelle Erzeugungsanlagen angewendet werden kann. Es integriert zwei verschiedene Strategien: einen ingenieurstechnischen Ansatz und einen Autoencoder-Ansatz.
In unserem PoC haben wir uns auf die Nutzung des TFT-Modells für den ingenieurstechnischen Ansatz fokussiert. Dabei wird eine Zielgröße (z.B. Lagertemperatur) auf Basis diverser Eingangsdaten (z.B. Drehzahl, Außentemperatur) vorhergesagt und der Prognosewert mit dem tatsächlichen Wert verglichen. Über eine statistische Auswertung der Abweichungen beider Werte werden dann potenzielle Anomalien identifiziert und so frühzeitig Anlagenschäden erkannt. Unser Ziel war es, zu untersuchen, wie das TFT-Modell in diesem Zusammenhang im Vergleich zu dem bisher verwendeten – und langjährig optimierten – Multi Layer Perceptron Modell (MLP) abschneidet. Ein Fokus lag dabei auf der Lösung des Cold-Start-Problems – also der Fähigkeit des TFT-Modells mittels Data Fusion anlagenübergreifend zu lernen, um so auch für Anlagen mit kurzer Datenhistorie (in der Praxis z.B. verursacht durch eine spätere Inbetriebnahme einzelner Anlagen) hochwertige Prognose zu erzeugen.
Für unser Projekt haben wir auf Microsoft Azure als Cloud-Plattform gesetzt. Azure ML Pipelines und MLFlow ermöglichten uns eine reibungslose und reproduzierbare Durchführung unserer Modell-Durchläufe. Mit Hilfe von PyTorch haben wir das TFT-Modell implementiert. Unseren Code haben wir im Team und mit den Experten von Iqony über Azure Devops geteilt sowie persistiert. Als Datengrundlage konnten wir auf die SCADA-Daten eines Windparks von Iqony mit 40 Turbinen zurückgreifen, für den Daten ab 2018 verfügbar waren. Für das Training beider Modelle haben wir Daten von April 2018 bis April 2019 genutzt. Die Auswertung erfolgte auf Basis der Daten von 2023.
Die direkte Bewertung der Fähigkeit zur Anomalieerkennung war aufgrund der für TFTs noch nicht entwickelten Abweichungs-Statistik sowie nicht vorhandener Kennzeichnungen von Anomalien in den Daten nicht möglich. Um dennoch die Leistung der Modelle bewerten zu können, verglichen wir zusammen mit den Experten von Iqony die Vorhersage von TFT und MLP für drei verschiedene Use Cases (Wirkleistung, Rotorlagertemperatur und Getriebelagertemperatur) visuell für ausgewählte Tage und quantitativ mittels der Mean Absolute Error (MAE) Metrik. Ein unmittelbarer Rückschluss auf die Fähigkeit Anomalien zu erkennen ist dadurch nicht 100% valide; allerdings lassen sich auf diese Weise bereits starke Indizien für diese Fähigkeit sammeln. Um die Ergebnisse mit den Experten von Iqony effizient teilen zu können und eine umfangreiche Analyse zu ermöglichen, haben wir ein Dashboard mit Panel und Altair in Python implementiert (Abb. 1 und Abb. 2).
Abb. 1: Übersichts-Ansicht des Dashboards zu Windpark und tagesscharfen MAE pro Turbine (nicht sichtbar unten: Verlauf Ist-Wert und Prognose für in Heatmap ausgewählten Tag).
Abb. 2: Details-Ansicht des Dashboards für Zielvariable (Ist-Wert als „Actual“, TFT als „Forecast“ und MLP als „Referenz“) sowie Verläufe der genutzten Datafeatures.
Die Ergebnisse sind äußerst vielversprechend. Das TFT-Modell lieferte für alle Use Cases ähnlich präzise Prognosen wie das bisherige MLP-Modell. Für die Zielvariable Wirkleistung, für die wir aus Zeitgründen als einziges die Hyperparameter des TFT optimieren konnten, waren die Prognosen insgesamt sogar nachweislich genauer. Besonders bemerkenswert war aber die Fähigkeit des TFT über Data Fusion auch für Anlagen mit künstlich reduzierter Datenhistorie (3 vs. 12 Monate Training) Ergebnisse zu erzielen, die mit denen des MLP (12 Monate Training) vergleichbar waren. Das bestätigte die Hypothese, dass das Cold-Start-Problem, das im Energiebereich häufig auftritt (z.B. verursacht durch eine geringe Datenbasis bei Inbetriebnahme von Anlagen), durch TFTs mitigiert werden kann. Ein weiterer großer Vorteil lag darin, dass ein einziges multivariates TFT-Modell, z.B. im Falle des Use Cases Getriebelagertemperatur (~12 Zielvariablen), bis zu 480 im Betrieb befindliche MLP-Modelle ersetzen könnte, was die Komplexität für Wartung und Betrieb des Systems erheblich reduzieren würde.
Weitergehende Analysen wie z.B. die direkte Bewertung der Erkennung von Anomalien oder die Übertragbarkeit eines TFT-Modells über verschiedene Windparks hinweg sind noch durchzuführen. Dieser erste Praxistest lässt aber bereits darauf schließen, dass TFT-Modelle durchaus das Potenzial haben die bestehende Anomalieerkennung bei Iqony zu verbessern. Somit könnte die Transformer-Architektur in Form der TFT-Modelle der Energiewirtschaft neue Horizonte eröffnen und Unternehmen wie Iqony ermöglichen, ihre bestehenden Systeme und Prozesse hinsichtlich Effizienz und Effektivität weiter zu optimieren.
Autor
Philip Witte
Project Manager & Data Scientist bei scieneers GmbH
philip.witte@scieneers.de