LSTM oder Transformer: Zeitreihenprognosemodell für Krane wählen

Randbedingungen der Zeitreihenprognose: Sequenzlänge, Abtastfrequenz und Datenvolumen

Vorab das Fazit: Zeitreihenprognosen funktionieren nicht, indem man historische Daten ungefiltert in ein Modell einspeist. Das Modell erhält als Eingabe eine zeitlich geordnete Mehrkanal-Sequenz und liefert als Ausgabe Prognosewerte oder Gesundheitsindikatoren für künftige Schritte. Ob die Randbedingungen korrekt definiert sind, entscheidet darüber, ob das Modell reale Degradationsmuster oder lediglich Abtastrauschen erlernt.

Aus Sicht der Datenquelle ist die Parametrierfassung bei Hebezeugen keineswegs willkürlich. Die Norm GB/T 28264 – Sicherheitsüberwachungs- und Managementsystem für Hebezeuge definiert einheitliche Anforderungen an Parametertypen, Erfassung und Aufzeichnung des Sicherheitsüberwachungs- und Managementsystems. Für zentrale Größen wie Tragfähigkeit, Fahrgeschwindigkeit und Hubhöhe existieren verbindliche Erfassungsspezifikationen. Kelude Schwerindustrie nutzt diese Spezifikationen als Basislinie für die Zustandsüberwachung und ergänzt sie um hochfrequente Signale wie Vibration und Strom als Eingabekanäle für die Zeitreihenprognose.

Die Abtastfrequenz bildet die zweite Randbedingung. Am Beispiel der Getriebegehäuse-Vibration: Die Zahneingriffsfrequenz liegt typischerweise im Bereich mehrerer hundert Hertz. Die Abtastfrequenz muss mindestens das Doppelte der höchsten charakteristischen Fehlerfrequenz betragen, andernfalls tritt Aliasing auf – hochfrequente Fehlermerkmale werden in niedrigere Frequenzbänder gefaltet und das Modell sieht ein verfälschtes Spektrum. Die Sequenzlänge bestimmt, wie viel historischen Kontext das Modell erfassen kann: Zu kurz, und der vollständige Drehzyklus bleibt unsichtbar; zu lang, und irrelevante historische Einflüsse belasten das Modell.

Das Datenvolumen ist die dritte Randbedingung. Der Trainingssatz muss unterschiedliche Tragfähigkeiten, Lastgrade und Drehzahlen abdecken – andernfalls versagt das Modell bei einem neuen Betriebszustand. Die Triebwerksgruppe von Kränen wird in der Norm DIN 15018 – Krandimensionierungsnorm in die Stufen A1 bis A8 eingeteilt. Jede Stufe entspricht einem vollständig anderen Lastkollektiv. Ein Modell, das ausschließlich auf Daten der leichten Stufe A3 trainiert wurde, liefert unter der schweren Stufe A6 zwangsläufig ungenaue Prognosen. Dieser Punkt wird häufig unterschätzt und ist dennoch die häufigste Ursache für Leistungseinbußen nach der Inbetriebnahme von Zeitreihenmodellen.

LSTM-Gating vs. Transformer-Self-Attention: Die Formeln im Detail

Um die richtige Wahl zu treffen, muss man verstehen, was beide Verfahren mathematisch leisten. Die Kernidee von LSTM ist der Gating-Mechanismus: Drei Tore steuern, welche Informationen erhalten oder verworfen werden. Transformer setzt auf Self-Attention: Jede Position der Sequenz steht direkt mit allen anderen Positionen in Beziehung.

In einem LSTM-Zeitschritt werden der verborgene Zustand des vorherigen Schritts und die aktuelle Eingabe verkettet und über lernbare Gewichtsmatrizen zu drei Toren und einem Kandidatenspeicher verrechnet:

Vergessenstor: f_t = σ(W_f·[h_{t-1}, x_t] + b_f)

Eingangstor: i_t = σ(W_i·[h_{t-1}, x_t] + b_i)

Kandidatenspeicher: c~t = tanh(W_c·[h_{t-1}, x_t] + b_c)

Zellzustand: c_t = f_t ⊙ c_{t-1} + i_t ⊙ c~t

Ausgangstor: o_t = σ(W_o·[h_{t-1}, x_t] + b_o)

Verborgener Zustand: h_t = o_t ⊙ tanh(c_t)

Die drei Tore sind im Kern eine Gruppe von Sigmoid-Ausgaben mit Werten zwischen 0 und 1. Sie werden elementweise auf den Zustandsvektor multipliziert und realisieren so eine gewichtete Informationserhaltung. Der Zellzustand c_t fungiert als Hauptkanal durch die gesamte Sequenz; die Tore führen lediglich lineare Überlagerungen aus. Dadurch kann der Gradient über diesen Pfad relativ stabil zurückfließen, was das Problem verschwindender Gradienten bei langen Sequenzen abmildert.

Transformer geht einen anderen Weg: Self-Attention verzichtet auf sequenzielle Weitergabe und lässt stattdessen jede Position eine Ähnlichkeit zu allen anderen Positionen berechnen, gefolgt von einer gewichteten Aggregation. Die Aufmerksamkeitsbewertung lautet:

Aufmerksamkeitsbewertung: Attention(Q, K, V) = softmax(QK^T / √d_k) · V

Hierbei sind Q, K und V die Abfrage-, Schlüssel- und Wertematrizen. Die Division durch √d_k verhindert, dass die Skalarprodukte zu groß werden und die Softmax-Funktion in die Sättigung gerät. Multi-Head-Attention zerlegt Q, K und V in mehrere Unterräume, die parallel berechnet werden, sodass das Modell Abhängigkeiten auf unterschiedlichen Skalen gleichzeitig erfassen kann. In der Ingenieurpraxis von Kelude Schwerindustrie geht es bei dieser Formel jedoch nie um die Formel selbst, sondern um die Wahl der Hyperparameter in der folgenden Tabelle.

Nachrechnungsbeispiel einer Vibrationssequenz: Ist eine längere Sequenz immer besser?

Ein Rechenbeispiel veranschaulicht die oben genannten Parameter. Angenommen, die Antriebswelle eines Getriebes in einem Kran dreht mit 1000 r/min, das Antriebsrad der einstufigen Zahnradpaarung hat 21 Zähne und die Abtastfrequenz des Schwingungssensors beträgt 2560 Hz. Die folgende Berechnung dient lediglich der Demonstration der quantitativen Zusammenhänge zwischen den Parametern; die tatsächlichen Werte richten sich nach dem Betriebszustand vor Ort.

Zunächst die Drehfrequenz: Die Antriebswellendrehzahl von 1000 r/min geteilt durch 60 ergibt eine Drehfrequenz von etwa 16,7 Hz. Daraus ergibt sich die Verzahnungsfrequenz: 21 Zähne multipliziert mit der Drehfrequenz ergeben etwa 350 Hz. Die Nyquist-Frequenz bei einer Abtastfrequenz von 2560 Hz beträgt 1280 Hz und deckt damit die Grundfrequenz von 350 Hz sowie deren dritte Oberschwingung bei 1050 Hz ab – diese Abtastkonfiguration ist technisch sinnvoll.

Betrachten wir nun die Sequenzlänge. Die Anzahl der Abtastpunkte pro Drehfrequenzperiode beträgt 2560 geteilt durch 16,7, also etwa 153 Punkte. Bei einer Sequenzlänge von 512 Punkten umfasst das Fenster etwa 3,3 Drehfrequenzperioden, sodass die Vibrationswellenformen über mehrere Rotationsperioden der Zahnradpaarung vollständig sichtbar sind. Wird die Sequenz auf 4096 Punkte erweitert, werden etwa 26,7 Perioden abgedeckt – das rezeptive Feld ist größer, aber der Rechenaufwand der Selbstaufmerksamkeit steigt quadratisch von 512² auf 4096², also um etwa das 64-Fache.

Dies ist der mathematische Grund, warum eine längere Sequenz nicht zwangsläufig besser ist: Das rezeptive Feld wächst linear, während der Rechenaufwand der Selbstaufmerksamkeit quadratisch zunimmt. Bei der Auswahl durch Kelude Schwerindustrie wird die Sequenzlänge üblicherweise zunächst so weit reduziert, dass sie mehrere vollständige Fehlerperioden abdeckt, und anschließend schrittweise für Vergleichsversuche verlängert.

Die vier häufigsten Fehler bei der Zeitreihenvorhersage: Datenleck, Sequenzlänge, Überanpassung und Label-Versatz

Wenn ein Zeitreihenmodell nach der Bereitstellung an Qualität verliert, liegt das oft nicht an einem veralteten Modell, sondern an Fehlern in der Datenaufbereitung. Die folgenden vier Fehlerkategorien sind nach Schweregrad absteigend sortiert.

Fehler Nummer eins: Datenleck. Zukunftsinformationen gelangen in die Trainingsmerkmale, beispielsweise durch Normalisierung mit dem Mittelwert des gesamten Datensatzes oder durch die Verwendung von Statistiken des Testsatzes im Trainingssatz. Das Modell zeigt hervorragende Ergebnisse auf dem Validierungssatz, bricht aber sofort nach der Bereitstellung zusammen. Zeitreihendaten müssen strikt nach Zeitpunkt aufgeteilt werden; Trainings-, Validierungs- und Testsatz dürfen sich nicht überschneiden.

Fehler Nummer zwei: Missverhältnis zwischen Sequenzlänge und Abtastrate. Eine zu niedrige Abtastrate führt zu Aliasing-Effekten bei hochfrequenten Fehlermerkmalen, das Modell lernt ein verfälschtes Spektrum. Oder die Sequenz ist zu kurz, um einen vollständigen Rotationszyklus abzubilden. Berechnen Sie zuerst Drehfrequenz und Eingriffs frequenz, und legen Sie erst danach Abtastrate und Sequenzlänge fest.

Fehler Nummer drei: Überanpassung des Modells. Transformer haben eine hohe Parameteranzahl und neigen bei unzureichenden Daten schnell zur Überanpassung: Der Trainingsverlust sinkt kontinuierlich, während der Validierungsverlust steigt. In diesem Fall sollte das Modell verkleinert und regularisiert werden, anstatt weiter Daten anzuhäufen oder das Modell zu vergrößern.

Fehler Nummer vier: Label-Versatz. Sensordaten zum Zeitpunkt t werden mit einem Fehlerlabel zum Zeitpunkt t+1 verknüpft, oder die Alarmzeit wird als Fehlerbeginn interpretiert. Ein um einen Abtastpunkt verschobenes Label verschiebt das gesamte Vorhersageziel. Bei der Annotation von Zeitreihendaten führt Kelude Schwerindustrie eine Zeitabgleichsprüfung der Labels durch – dies ist der am häufigsten übersehene, aber zugleich kritischste Schritt.

Zurück zur Frage aus der Überschrift: LSTM oder Transformer? In Szenarien wie der Zustandsüberwachung von Kranen mit begrenzter Datenmenge und kurzen Sequenzen ist LSTM in der Regel der robustere Ausgangspunkt: geringe Parameteranzahl, stabiles Training und kostengünstige Bereitstellung auf Edge-Geräten. Erst wenn die Datenmenge ausreichend skaliert und globale, langfristige Abhängigkeiten erfasst werden müssen, sollte die Einführung eines Transformers oder dessen Nutzung zur Mehrkanalfusion in Betracht gezogen werden. Es gibt keine Standardantwort für die Auswahl, nur die Antwort, die zum Betriebszustand passt: zuerst Randbedingungen definieren, dann die Komplexität berechnen und schließlich mit kleinen Experimenten validieren – diese Reihenfolge hat Kelude Schwerindustrie wiederholt bestätigt.

📖 Weiterführende Literatur: Anlagenzustandsmanagement PHM: Ingenieurpraxis zur vorausschauenden Wartung von Brückenkranen mit Big Data und ML | Was können große Modelle in der Kranwartung tatsächlich leisten? Pragmatische Szenarien und Fähigkeitsgrenzen

Häufige Fragen