Herausforderungen der Pendeldämpfung und der KI-Durchbruch

In industriellen Umgebungen wie Häfen, Stahlwerken und Logistikzentren stellt die Pendelbewegung des Anschlagmittels von Brückenkranen die größte Herausforderung für Effizienz und Sicherheit dar. Beim Anfahren und Stoppen entstehen Restpendelbewegungen, die erfahrene Bediener manuell ausregeln müssen. Ein einziger Positioniervorgang kann dadurch mehrere zehn Sekunden oder sogar Minuten dauern und den gesamten Arbeitsrhythmus erheblich beeinträchtigen. Klassische Verfahren wie mechanische Pendeldämpfung, elektronische Regelung (PID) oder Input Shaping funktionieren unter festen Bedingungen zufriedenstellend. Bei variablen Seillängen, unterschiedlichen Lastmassen oder Windstörungen nimmt ihre Robustheit jedoch deutlich ab, und eine manuelle Nachjustierung der Parameter ist erforderlich. Seit 2020 eröffnen KI-Methoden, insbesondere das Reinforcement Learning (RL), neue Wege für die Pendeldämpfung. RL-Agenten erlernen durch kontinuierliche Interaktion mit der Umgebung eine optimale Steuerungsstrategie, ohne dass eine explizite Modellierung der Systemdynamik erforderlich ist. Sie bieten eine hohe nichtlineare Approximationsfähigkeit und adaptive Eigenschaften. Das Team von Kelude hat als eines der ersten im Bereich intelligenter Krane die beiden Deep-Reinforcement-Learning-Algorithmen PPO (Proximal Policy Optimization) und SAC (Soft Actor-Critic) in einem realen Pendeldämpfungssystem implementiert. Dieser Artikel erläutert systematisch die gesamte technische Lösung – von den Algorithmen über die Simulationsumgebung und das Training bis zur industriellen Implementierung – und liefert quantitative Vergleichsdaten zu klassischen Methoden.

Design von Zustands- und Aktionsraum

RL-Pendeldämpfung: Der technische Leitfaden für präzise Kranpositionierung

Die primäre Aufgabe der RL-Pendeldämpfung besteht darin, das physikalische System des Krans als einen Markov-Entscheidungsprozess (MDP) abzubilden. Die Definition des Zustandsraums und des Aktionsraums beeinflusst dabei direkt die Effektivität des Strategielernens und die Konvergenzgeschwindigkeit. Das Zustandsraum-Konzept von Kelude umfasst fünf Kerndimensionen:

• Lastpendelwinkel θ: Echtzeitmessung über einen Neigungssensor oder ein Bildverarbeitungssystem, mit einer Genauigkeit von typischerweise ±0,1°. Dies ist die kritischste Rückführgröße für die Pendeldämpfung und spiegelt direkt die Schwingungsamplitude wider.
• Winkelgeschwindigkeit ω: Die erste Ableitung des Pendelwinkels. Sie zeigt den Schwingungstrend und die -richtung an und hilft dem Agenten, zukünftige Zustandsänderungen vorherzusehen und proaktive Dämpfungsmaßnahmen einzuleiten.
• Katzposition x: Rückmeldung über einen Encoder/Drehgeber. Dient zur Präzisionspositionierung – das ultimative Ziel der Pendeldämpfung ist es, die Laufkatze mit minimaler Pendelamplitude über der Zielposition zum Stillstand zu bringen.
• Katzfahrgeschwindigkeit v: Rückführwert des Drehzahlregelkreises. Verhindert sekundäre Schwingungen durch plötzliche Beschleunigungsänderungen und hilft dem Agenten, die Impulscharakteristik des Systems zu verstehen.
• Seillänge L: Der Echtzeit-Seillängenwert des Hubwerks. Beeinflusst direkt die Eigenfrequenz des Systems (T=2π√(L/g)). Je länger das Drahtseil, desto länger die Pendelperiode, was eine entsprechende Anpassung der Steuerungsstrategie erfordert.

Die Dimension des Zustandsvektors bestimmt direkt die Größe der Eingabeschicht des Policy-Netzwerks. Die fünf Dimensionen decken physikalisch alle beobachtbaren Größen des unteraktuierten Systems ab und gewährleisten die vollständige Beobachtbarkeit des Systems für den RL-Agenten. In der Implementierung wird jede Zustandsdimension auf das Intervall [-1, 1] oder [0, 1] normalisiert, um Trainingsinstabilitäten aufgrund unterschiedlicher Maßeinheiten zu vermeiden.

Der Aktionsraum ist als zweidimensionale kontinuierliche Ausgabe konzipiert:

• Beschleunigungsbefehl der Laufkatze a_x: Wertebereich [-1,0, 1,0] m/s², dient als Sollwert für den Drehzahlregelkreis des Frequenzumrichters. Positive Beschleunigung treibt die Laufkatze vorwärts, negative verzögert bzw. bremst sie.
• Hubgeschwindigkeitskompensation Δv_h: Kompensiert die Hubgeschwindigkeit bei Seillängenänderungen. Wenn die Laufkatze gleichzeitig hebt, verändert die Seillängenänderung die Systemdynamik. Der Kompensationsterm vermeidet zusätzliche Anregungsstörungen durch Seillängenänderungen.

Ein kontinuierlicher Aktionsraum ermöglicht im Vergleich zu diskreten Aktionen (z. B. nur Steuerung in drei Stufen: Beschleunigen/Verzögern/Konstante Geschwindigkeit) eine wesentlich sanftere Steuerkurve. Dies ist für Schwermaschinen wie Krane von entscheidender Bedeutung – häufiges abruptes Anfahren und Stoppen erhöht nicht nur die mechanische Ermüdung und verkürzt die Lebensdauer des Drahtseils, sondern birgt auch Sicherheitsrisiken wie das Aushängen der Last. Die zweidimensionale kontinuierliche Aktionsausgabe ermöglicht es dem Agenten, wie ein erfahrener Kranführer, eine perfekte Pendeldämpfungspositionierung mit einer sanften Beschleunigungskurve durchzuführen.

Multiobjektive Gewichtung im Belohnungsdesign

Die Belohnungsfunktion ist das Herzstück des RL-Trainings – sie kodiert das Fachwissen des Ingenieurs in Lernziele für den Agenten. Das Kelude-Konzept verwendet eine gewichtete Kombinationsbelohnung, die vier Unterterme umfasst:

R = w₁·R_swing + w₂·R_pos + w₃·R_energy + w₄·R_terminal

• Pendelwinkel-Bestrafeung R_swing = -α·θ² – β·ω². Dieser Term übt eine kontinuierliche negative Belohnung aus, solange der Winkel oder die Winkelgeschwindigkeit ungleich Null ist, und treibt den Agenten dazu, die Schwingung zuerst zu eliminieren. Das Verhältnis von α zu β steuert, ob die „Positionspriorität" oder die „Winkelpriorität" gilt – in Sicherheitsszenarien kann der αβ-Wert erhöht werden, in Effizienzszenarien entsprechend gesenkt.
• Positionierungs-Belohnung R_pos = -γ·|x – x_target|. Eine große negative Belohnung wird vergeben, wenn sich die Laufkatze weit von der Zielposition entfernt befindet, und treibt den Agenten an, das Ziel schnell zu erreichen. In Kombination mit der Terminal-Belohnung wird verhindert, dass der Agent nur die Schwingung eliminiert, aber nicht positioniert.
• Energie-Term R_energy = -δ·a_x² – ε·Δv_h². Bestraft unnötige Beschleunigungs- und Kompensationsaktionen. Dieses Design zwingt den Agenten, einen Kompromiss zwischen Regelgüte und Energieverbrauch zu finden und verhindert „Übersteuerung" durch hochfrequentes Zittern.
• Terminal-Belohnung R_terminal: Eine einmalige positive Belohnung wird vergeben, wenn |θ| < θ_th (Pendelwinkel-Schwelle, typischerweise 0,5°) und |x – x_target| < d_th (Positionierungs-Schwelle, eingestellt auf 10 mm) für mehr als 3 Sekunden gehalten werden. Dies fördert den Abschluss der Aufgabe in einem stabilen Zustand.

Die Gewichtungskoeffizienten {w₁, w₂, w₃, w₄} werden durch Hyperparameter-Suche bestimmt. Das Kelude-Team verwendet Bayesian Optimization, um die optimale Gewichtungskombination im Parameterraum zu finden. Die endgültigen Prinzipien sind: Die Gewichtung der Pendelwinkel-Bestrafeung ist am höchsten (w₁ als erste Priorität), die Gewichtung der Positionierung ist die zweite Priorität (w₂), und die Gewichtung des Energieverbrauchs ist am geringsten (w₃ als weiche Randbedingung). Dieses abgestufte Design stellt sicher, dass der Agent zuerst das Eliminieren von Schwingungen lernt, dann das präzise Anhalten und schließlich die Energieeffizienz – entsprechend dem obersten Gebot der industriellen Sicherheit.

Simulationsumgebung: Simulink + Adams Co-Simulation

RL-Training erfordert Millionen von Interaktionszeitschritten. Ein direktes Training an der realen Maschine ist weder sicher noch wirtschaftlich – eine einzige fehlerhafte Aktion könnte zum Umkippen des Krans oder zum Bruch des Drahtseils führen. Das Kelude-Konzept basiert auf einer hochpräzisen Co-Simulationsumgebung mit MATLAB/Simulink + Adams, die die algorithmische Flexibilität von Simulink mit der Mehrkörperdynamik-Genauigkeit von Adams kombiniert.

In Simulink wird ein Einzelpendelmodell mit variabler Seillänge aufgebaut, dessen zentrale Dynamikgleichung lautet:

(mL²)·θ” + 2mL·v_h·θ’ + mgL·sinθ = -mL·cosθ·a_x

Dabei ist m die Lastmasse, L die Seillänge, v_h die Hubgeschwindigkeit und a_x die Katzbeschleunigung. Der erste Term auf der linken Seite repräsentiert das Trägheitsmoment, der zweite Term das Coriolis-Moment (durch Seillängenänderung), und der dritte Term das rückstellende Gravitationsmoment. Die rechte Seite repräsentiert das Anregungsmoment, das durch die Katzbeschleunigung über das Drahtseil auf die Last übertragen wird. Obwohl dieses Modell Starrkörperannahmen trifft, beschreibt es bereits die wesentlichen dynamischen Eigenschaften der Kran-Pendeldämpfung.

Auf der Adams-Seite wird eine detaillierte 3D-Mehrkörperdynamiksimulation bereitgestellt, die nichtlineare Faktoren wie die Modellierung des Drahtseils als flexiblen Körper (diskretisiert in mehrere starre Segmente mit Feder-Dämpfer-Verbindungen), den Kontakt und die Reibung zwischen Rad und Schiene (Coulomb-Reibmodell mit Stribeck-Effekt) sowie die Motordrehmoment-Charakteristik (inkl. Sättigungsbegrenzung und Ansprechverzögerung) umfasst. Simulink und Adams tauschen über die Co-Simulationsschnittstelle (Simulink Coder / Adams Controls Toolkit) alle 10 ms Daten aus – Simulink sendet Beschleunigungsbefehle an Adams, Adams sendet Zustände wie Pendelwinkel und Position an Simulink zurück – und bilden so einen hochpräzisen Regelkreis.

Der Vorteil dieser Co-Simulation liegt in der Kombination der Stärken: Simulink ist für die schnelle Iteration des RL-Algorithmus und die Hyperparameter-Optimierung zuständig, Adams für die Validierung der physikalischen Genauigkeit. Das Kelude-Team hat in realen Projekten festgestellt, dass eine mit dem reinen Simulink-Einzelpendelmodell trainierte RL-Strategie in der Adams-Hochpräzisionsumgebung einen Leistungsabfall von etwa 15 % bis 20 % aufweist. Nach einer weiteren Feinabstimmung mit Adams-Daten kann die Leistung jedoch wieder nahezu das Simulationsniveau erreichen.

PPO vs. SAC: Training, Vergleich und Hyperparameter-Optimierung

Kelude hat parallel die beiden Algorithmen PPO (Proximal Policy Optimization) und SAC (Soft Actor-Critic) ingenieurtechnisch validiert und systematisch verglichen. Dies ist das erste Mal in der heimischen Kranindustrie, dass eine vollständige Benchmark-Studie dieser beiden gängigen RL-Algorithmen auf derselben Plattform durchgeführt wurde.

PPO ist bekannt für seine Trainingsstabilität und Robustheit gegenüber Hyperparametern. Bei der Pendeldämpfungsaufgabe konvergiert es schnell – nach etwa 500.000 Zeitschritten wird ein nutzbares Niveau mit einer Schwingungsdämpfungszeit von weniger als 3 Sekunden erreicht. Der Kernmechanismus ist die Verwendung einer Clip-Operation, um die Schrittweite des Policy-Updates zu begrenzen und zu verhindern, dass eine einzelne Aktualisierung zu stark von der alten Strategie abweicht und das Training zum Absturz bringt. Die wichtigsten Hyperparameter sind: Clip-Epsilon=0,2, Lernrate=3×10⁻⁴, GAE λ=0,95, KL-Divergenz-Ziel=0,02, Netzwerkstruktur mit zwei verborgenen Schichten à 256 Knoten. Der Clip-Mechanismus von PPO bietet in Industrieprojekten einen besonderen Vorteil: Selbst wenn die Belohnungsfunktion nicht perfekt gestaltet ist, konvergiert PPO robust, was die Anforderungen an die Abstimmungserfahrung des Ingenieurs reduziert.

SAC hingegen glänzt durch bessere Explorations Effizienz und eine höhere Endleistung. SAC basiert auf dem Maximum-Entropy-Framework, das neben der Belohnungsmaximierung auch die Entropie der Strategie maximiert und den Agenten dazu anregt, den Aktionsraum während des Trainings gründlich zu erkunden. Nach etwa 800.000 Zeitschritten erreicht SAC eine bessere Lösung: Der Restpendelwinkel sinkt im Durchschnitt um etwa 15 %. Allerdings ist die Kurve in der frühen Trainingsphase volatiler als bei PPO und empfindlicher gegenüber den Hyperparametern der Belohnungsfunktion. Zu den wichtigsten SAC-Hyperparametern gehören: Temperaturkoeffizient α=0,2 (mit automatischem Anpassungsmechanismus), Zielentropie=-dim(A) (A ist die Dimension des Aktionsraums, hier 2), Netzwerkstruktur ebenfalls mit zwei Schichten à 256 Knoten.

Die Analyse der Trainingskurven zeigt interessante Unterschiede: Die kumulative Belohnungskurve von PPO konvergiert schneller, erreicht aber später ein Plateau, was darauf hindeutet, dass die KL-Beschränkung die weitere Verbesserung der Strategie limitiert. Die Kurve von SAC zeigt in der Anfangsphase größere Schwankungen, weist aber später weiterhin einen Aufwärtstrend auf, was eine stärkere Explorationskraft demonstriert. Basierend auf diesen Erkenntnissen hat das Kelude-Team innovativ eine zweistufige Trainingsstrategie implementiert – in der ersten Stufe wird PPO (1 Million Zeitschritte) verwendet, um schnell eine zuverlässige Ausgangsstrategie zu erhalten. In der zweiten Stufe wird diese Strategie als Startpunkt genutzt und mit SAC (zusätzliche 500.000 Zeitschritte) verfeinert. Die endgültige Gesamtleistung ist etwa 12 % höher als bei der alleinigen Verwendung eines der beiden Algorithmen.

Sim2Real-Transfer: Domain-Randomization-Strategie

Sim2Real-Transfer: Domain Randomization für industrielle RL-Kransteuerung

Der Transfer von der Simulation zur realen Maschine (Sim2Real) gilt als eine der größten Hürden für den industriellen Einsatz von Reinforcement Learning (RL) und als die schwerste Kluft zwischen Wissenschaft und Industrie. Die Simulationsumgebung kann niemals alle physikalischen Eigenschaften der realen Welt perfekt abbilden – Sensorrauschen, anisotrope Reibungskräfte, Schwankungen in der Motorantwortzeit, nichtlineare Drahtseilsteifigkeit, Luftwiderstand und mehr. Die Lösung von Kelude setzt auf die Strategie des Domain Randomization, um diese Diskrepanz systematisch zu überbrücken. Konkret werden zu Beginn jeder Simulations-Episode die wichtigsten physikalischen Parameter zufällig abgetastet:

• Seillänge L: gleichmäßige Abtastung von 3 m bis 15 m, abdeckend den häufigsten Arbeitsbereich von Kränen.
• Lastmasse m: zufällig zwischen 500 kg und 10.000 kg, simuliert den Bereich von Leerlast bis Volllast.
• Reibungskoeffizient: Variation um ±30 % um den Nennwert, simuliert unterschiedliche Verschleißgrade und Schmierungszustände.
• Sensorrauschen: Hinzufügen von Gaußschem Rauschen N(0, σ²) zur Pendelwinkelmessung, wobei σ zufällig im Bereich von 0,01 bis 0,05 rad liegt, um elektrische Störungen im industriellen Umfeld zu simulieren.
• Motorantwortzeit: gleichmäßige Abtastung zwischen 5 und 20 ms, simuliert die Schwankungen der Reaktionszeit des Frequenzumrichters.
• Dämpfungskoeffizient des Drahtseils: Variation um ±50 % um den Nennwert, simuliert die unterschiedlichen Dämpfungseigenschaften bei verschiedenen Seillängen und -durchmessern.

Durch diese Art des Trainings, bei dem die Strategie lernt, unter widrigen Bedingungen zu bestehen, erlernt das Policy-Netzwerk eine robuste Pendeldämpfungsstrategie unter verschiedenen Unsicherheiten – vergleichbar mit einem Athleten, der unter verschiedenen Wetterbedingungen trainiert und dann in jeder Umgebung stabil Leistung bringt. Das Kelude-Team hat die Wirksamkeit des Domain Randomization in realen Maschinentests verifiziert: RL-Strategien ohne Randomisierungstraining erreichten eine Sim2Real-Transfererfolgsrate von unter 30 %, und die ersten Läufe nach der Bereitstellung auf der realen Maschine zeigten fast zwangsläufig starkes Pendeln. Im Gegensatz dazu stieg die Transfererfolgsrate bei Strategien mit ausreichendem Domain-Randomization-Training auf über 85 %, und der erste reale Lauf erreichte bereits eine Regelgüte nahe der Simulation.

Vergleichsanalyse mit klassischen Pendeldämpfungsmethoden

Das Kelude-Team führte einen systematischen horizontalen Vergleich von drei Ansätzen auf derselben standardisierten Testplattform durch: PID-elektronische Pendeldämpfung (nach technischer Optimierung), Input Shaping (Zero Vibration Shaper, ZV) und RL-Pendeldämpfung (PPO+SAC zweistufiges Trainingsintegrationsschema). Die Versuchsbedingungen waren hochstandardisiert, um die Objektivität und Reproduzierbarkeit der Vergleichsdaten zu gewährleisten. Versuchsparameter: Tragfähigkeit 10 t, Seillänge 10 m, Katzfahrweg 20 m, geforderte Zielpositionsgenauigkeit ±10 mm. Vergleich der Schwingungsdämpfungszeit: Die RL-Pendeldämpfung führt mit einer Schwingungsdämpfungszeit von 2,1 Sekunden deutlich, was einer Reduktion um 74,4 % gegenüber der PID-Regelung (8,2 Sekunden) und um 62,5 % gegenüber dem ZV-Input-Shaper (5,6 Sekunden) entspricht. Dies bedeutet, dass der RL-Ansatz bei einem einzelnen Hubvorgang 3,5 bis 6,1 Sekunden Wartezeit auf das Abklingen der Schwingung einspart. Bei 30 Arbeitszyklen pro Stunde ergibt sich eine Ersparnis von 105 bis 183 Sekunden pro Stunde – was 2 bis 3 zusätzlichen Hubvorgängen pro Stunde entspricht. Vergleich des Restpendelwinkels: Der Restpendelwinkel der RL-Pendeldämpfung beträgt nur 0,3°, deutlich besser als die 1,8° der PID-Regelung und die 0,9° des ZV-Ansatzes. Ein kleinerer Restpendelwinkel bedeutet, dass nach der Positionierung sofort mit dem Anschlagen des Anschlagmittels und dem Ausklinken begonnen werden kann, ohne auf das Abklingen der Schwingung warten zu müssen, was die Taktzeit pro Zyklus erheblich verkürzt. Vergleich der Robustheit: In Vergleichstests mit Seillängen von 6 m bis 14 m musste die PID-Regelung manuell neu parametriert werden, andernfalls verschlechterte sich die Schwingungsdämpfungszeit auf über 12 Sekunden. Der ZV-Input-Shaper musste seine Shaping-Impulse neu berechnen, andernfalls entstanden starke Sekundärschwingungen. Der RL-Ansatz hingegen benötigte keinerlei Anpassung und hielt die Schwingungsdämpfungszeit über den gesamten Seillängenbereich konstant zwischen 2,1 und 2,8 Sekunden, was eine hervorragende Adaptionsfähigkeit zeigt. Es ist wichtig zu betonen, dass die RL-Pendeldämpfung die traditionellen Methoden nicht vollständig ersetzt – im Gegenteil, sie baut auf einer ausgereiften und zuverlässigen Basisregelung auf. Auf der Ebene des Drehzahlregelkreises wird weiterhin ein PID-Drehzahlregelkreis verwendet, während RL nur auf der Beschleunigungsebene die optimale Entscheidungssequenz ausgibt. Diese hybride Architektur aus „RL-Entscheidung + PID-Ausführung“ vereint die Intelligenz der Strategie mit der Zuverlässigkeit der Basisregelung und stellt das derzeitige Hauptparadigma für die industrielle RL-Anwendung dar.

Praktische Bereitstellung: ONNX-Modell auf der S7-1500 SPS

Die Bereitstellung des tiefen neuronalen Netzes auf einer industriellen SPS ist das letzte Puzzlestück der gesamten Lösung und stellt die größte technische Herausforderung dar. Herkömmliche Deep-Learning-Inferenz-Frameworks (wie PyTorch, TensorFlow) können nicht direkt auf einer SPS laufen. Daher verwendet Kelude ONNX Runtime als plattformübergreifende Inferenz-Engine, exportiert das trainierte Policy-Netzwerk in das Standard-ONNX-Format und setzt es auf einer Siemens S7-1500 SPS ein. Die Modellkomprimierung ist der technische Kern des Bereitstellungskonzepts und umfasst drei entscheidende Schritte:

• Quantisierung: Mittels statischer Quantisierung werden die 32-Bit-Gleitkomma-Gewichte (FP32) und Aktivierungen auf 8-Bit-Ganzzahlen (INT8) reduziert. Das Modellvolumen schrumpft von 2,3 MB auf 0,6 MB, eine Reduktion um 74 %. Der Präzisionsverlust der quantisierten Modellinferenz wird unter 3 % gehalten und hat keinen spürbaren Einfluss auf die Regelgüte.
• Layer-Fusion: Die aufeinanderfolgenden Operatoren BatchNorm + ReLU + Conv (oder Fully Connected) werden zu einem einzigen Berechnungsknoten fusioniert, wodurch der Speicherbandbreiten-Engpass reduziert und die Inferenzgeschwindigkeit um etwa 40 % erhöht wird.
• Network-Pruning: Strukturiertes Pruning basierend auf der Gewichtsmagnitude reduziert die Knoten der verborgenen Schicht von 256 auf 128 und entfernt gleichzeitig alle Verbindungsgewichte mit einem Beitrag von weniger als 0,1 %. Die endgültige Parameteranzahl des Modells reduziert sich um etwa 56 % bei einem Leistungsverlust von weniger als 3 %.

Die endgültige Modellstruktur, die auf der S7-1500 bereitgestellt wird, ist ein einschichtiges vollverbundenes neuronales Netz: Eingangsschicht mit 5 Knoten (θ, ω, x, v, L), verborgene Schicht mit 128 Knoten (ReLU-Aktivierung), Ausgangsschicht mit 2 Knoten (tanh-Aktivierung, Ausgabe von a_x und Δv_h). Die Inferenzzeit pro Durchlauf beträgt etwa 0,8 ms (gemessen auf der lokalen CPU der S7-1500) und erfüllt damit die Echtzeitanforderungen eines 10-ms-Regelzyklus vollständig. Die SPS ruft die ONNX-Runtime-Dynamikbibliothek über einen benutzerdefinierten Funktionsbaustein (FB) auf und führt alle 10 ms eine Vorwärtsinferenz im Standard-Regelzyklus durch, um Aktionsbefehle auszugeben. Im Hinblick auf die Sicherheitsmechanismen umfasst das Bereitstellungskonzept eine Ausgangsbegrenzung und eine Degradationsschutzlogik: Wenn die ONNX-Runtime-Inferenz abnormal ist oder die Ausgabe die vordefinierten Sicherheitsschwellenwerte überschreitet, wird automatisch auf die zugrunde liegende PID-Regelung zurückgegriffen, um sicherzustellen, dass das System unter keinen Umständen gefährliche Aktionsbefehle ausführt.

Zusammenfassung und Ausblick

Das RL-Pendeldämpfungsverfahren von Kelude hat erfolgreich die beiden Deep-Reinforcement-Learning-Algorithmen PPO und SAC von der akademischen Forschung in die industrielle Praxis überführt. Durch ein sorgfältiges Zustandsraum-Design, eine multi-kriterielle Belohnungsfunktion, Simulink+Adams-Co-Simulationsvalidierung, Domain-Randomization-Transferstrategien und die leichtgewichtige Bereitstellung des ONNX-Modells auf der S7-1500 SPS wurde ein vollständiger technologischer Kreislauf von „Simulationstraining bis zur realen Bereitstellung“ etabliert. Dieses Verfahren übertrifft klassische Methoden wie PID und Input Shaping deutlich in Bezug auf Schwingungsdämpfungseffizienz, Positioniergenauigkeit und Anpassungsfähigkeit an verschiedene Betriebsbedingungen. Die Schwingungsdämpfungszeit wird um über 60 % reduziert, was einen praktikablen technologischen Weg für die Intelligenzsteigerung und den unbemannten Betrieb industrieller Krane aufzeigt. In Zukunft wird Kelude weitere zukunftsweisende Richtungen erforschen, darunter Multi-Kran-Kooperations-Pendeldämpfung, direkte Pendelwinkelbeobachtung mittels maschinellem Sehen, Online-adaptives Lernen an der Edge sowie Multi-Agenten-Koordinationsplanung, um die Entwicklung von Hebezeugen von der Automatisierung hin zur Intelligenz weiter voranzutreiben.

Referenzen

• DIN 15018 – Krane; Grundsätze für Stahltragwerke
• FEM 1.001 – Krane – Vokabular
• FEM 1.001 – Krane – Mobilkrane

Häufig gestellte Fragen (FAQ)