KI-Sicherheitsüberwachung für Brückenkrane LXD/DXT

Das KI-Vision-Sicherheitsüberwachungssystem für Brückenkrane stellt die letzte aktive Schutzlinie der intelligenten Kransteuerung dar. Industrie-KI-Kameras an Kopfträger und Hauptträger erfassen das Lastbereichsbild in Echtzeit. Ein YOLOv8-Deep-Learning-Modell erkennt Personen, die sich unter oder neben der Last aufhalten. Beim Betreten des Gefahrenbereichs wird automatisch eine Verzögerungswarnung oder ein STO-Sicherheitsstopp ausgelöst – die physische Trennung von Mensch und Last wird so von einer passiven Abgrenzung zu einer aktiven, intelligenten Schutzeinrichtung aufgewertet. Kelude Schwerindustrie hat auf Basis der NVIDIA Jetson Orin NX Edge-Computing-Plattform und eines eigenen visuellen Erkennungsmodells ein vollständiges KI-Sicherheitsüberwachungssystem entwickelt, das Erkennung, mehrstufige Alarmierung und Kollisionsschutz-Verknüpfung integriert. Dieser Beitrag beschreibt die technische Umsetzung von der Systemarchitektur über das Modelltraining bis zur Inbetriebnahme vor Ort.

Systemarchitektur der KI-Vision-Sicherheitsüberwachung

Das KI-Vision-Sicherheitsüberwachungssystem für Brückenkrane besteht aus vier Schichten: Sensorik, Inferenz, Steuerung und Alarmierung. Die Sensorik umfasst 2 bis 4 Industrie-KI-Kameras (montiert an beiden Seiten des Kopfträgers und unter dem Katzrahmen), die mit 30 fps 1080P-Echtzeitbilder des Lastbereichs erfassen und über Gigabit-Ethernet an die Inferenzschicht übertragen. Die Inferenzschicht läuft auf dem NVIDIA Jetson Orin NX Edge-Computing-Modul (Rechenleistung 100 TOPS) und verwendet das YOLOv8s-Objektidentifikationsmodell zur Echtzeiterkennung von Personen, Lasten und Hindernissen in jedem Bild. Die Inferenzlatenz pro Bild beträgt weniger als 15 ms. Die Steuerungsschicht verbindet sich über GPIO und PROFINET mit der Kran-SPS – bei erkannter Person im Gefahrenbereich wird ein Verzögerungs- oder Stoppsignal an die SPS gesendet, die eine SLS-Verzögerung oder einen STO-Stopp ausführt. Die Alarmierungsschicht umfasst akustische und optische Signalgeber (Summer + Drehleuchte) im Steuerstand, Pop-up-Warnungen auf dem HMI-Display sowie Echtzeit-Alarmmeldungen auf der Fernwartungs- und Betriebsplattform. Die gesamte Ende-zu-Ende-Latenz des Systems (vom Betreten des Gefahrenbereichs bis zur Sicherheitsaktion der SPS) beträgt weniger als 100 ms und erfüllt damit die Anforderungen an die Reaktionszeit für aktive Schutzeinrichtungen gemäß GB/T 28264-2017 – Sicherheitsüberwachungs- und Managementsystem für Hebezeuge.

Der Erkennungsbereich ist in drei Sicherheitszonen unterteilt. Die Gefahrenzone (Danger Zone) ist ein kreisförmiger Bereich mit einem Radius von 3 m um die Last – beim Betreten dieser Zone wird sofort ein STO-Stopp ausgelöst, die Brückenkranbremse schließt innerhalb von 200 ms. Die Warnzone (Warning Zone) ist ein ringförmiger Bereich mit einem Radius von 3 bis 6 m um die Gefahrenzone – beim Betreten dieser Zone wird ein akustischer und optischer Alarm ausgelöst und der Kran verzögert auf 20 % der Nenngeschwindigkeit. Das Verzögerungssignal bleibt aktiv, bis die Person die Warnzone verlässt. Die Überwachungszone (Monitor Zone) ist ein ringförmiger Bereich mit einem Radius von 6 bis 10 m um die Warnzone – beim Betreten dieser Zone wird nur ein Ereignisprotokoll erstellt, ohne Steuerungseingriff. Diese Daten dienen zur statistischen Erfassung der Häufigkeit und Muster von Personenbewegungen im Lastbereich. Die Radien der drei Sicherheitszonen können vor Ort über das HMI-Display basierend auf der Krantragfähigkeit und den Lastabmessungen angepasst werden.

Kameraauswahl und Installationskonzept

Die Auswahl und Positionierung der Industrie-KI-Kameras beeinflussen die Erkennungsleistung direkt. Kelude Schwerindustrie verwendet im KI-Vision-Sicherheitsüberwachungssystem für Brückenkrane standardmäßig zwei Kameratypen: Für die Montage am Kopfträger wird die Hikvision DS-2CD2T87WD-L verwendet (8-Megapixel-Starvis-Sensor, 1/1,2-Zoll-Sensor, minimale Beleuchtungsstärke 0,001 Lux, IR-Reichweite 50 m). Für die Montage unter der Laufkatze wird die Imaging Source DMK 33GX290 verwendet (1,9-Megapixel-Globalshutter-Sensor, 1/3-Zoll-Sensor, 120 fps, geeignet für die Erkennung schnell bewegter Lasten und Personen). Die Kamera am Kopfträger ist mit einem 6-mm-Objektiv ausgestattet (horizontaler Sichtwinkel ca. 52 Grad) und wird mittig an der Unterseite des Kopfträgers montiert, wobei das Objektiv senkrecht nach unten zeigt und den gesamten Lastbereich unter dem Kran erfasst. Die Kamera unter der Laufkatze verwendet ein 3,6-mm-Objektiv (horizontaler Sichtwinkel ca. 87 Grad) und wird an der Unterseite der Laufkatzenplattform montiert, um den Nahbereich direkt unter dem Lastaufnahmemittel zu erfassen.

Die Halterung der Kamera besteht aus einem Edelstahl-Universalgelenk (Traglast der Stütze 15 kg, ausgelegt für Schlaglasten beim Anfahren und Stoppen des Brückenkrans). Die Kamera wird über ein abgeschirmtes CAT6A-Netzwerkkabel mit dem im Schaltschrank installierten Jetson Orin NX Edge-Computing-Modul verbunden. Das Kabel wird entlang der Innenseite des Hauptträgers des Brückenkrans verlegt und mit Kabelbindern befestigt. Der Abstand zum Stromkabel des Frequenzumrichters beträgt mindestens 300 mm. Die Stromversorgung der Kamera erfolgt über PoE+ (802.3at-Standard, 25 W Leistung pro Port). Das Jetson-Modul versorgt die Kamera über den PoE+-Port des Netzwerk-Switches mit Strom, wodurch eine separate Stromverkabelung entfällt.

YOLOv8-Modelltraining für die Kranerkennung

YOLOv8 ist der Kernalgorithmus der KI-basierten visuellen Erkennung für Brückenkrane. Kelude Schwerindustrie setzt für die Sicherheitsüberwachung von Brückenkranen die YOLOv8s-Variante ein (Small, 11,2 M Parameter, COCO mAP 44,9 %). Nach der Optimierung mit TensorRT FP16 auf dem NVIDIA Jetson Orin NX erreicht die Inferenzgeschwindigkeit bis zu 60 fps (bei einer Eingabeauflösung von 640x640 Pixeln), was die Echtzeitanforderungen für 30-fps-Videostreams erfüllt. Die Trainingsdaten stammen aus drei Quellen: annotierte Bilder vom eigenen Testgelände für Brückenkrane (ca. 15.000 Bilder, die verschiedene Lichtverhältnisse, Wetterbedingungen und Lasttypen abdecken), synthetische Bilder für langschwänzige Szenarien (ca. 5.000 Bilder, die Randfälle wie Personenstürze, Menschenansammlungen und teilweise Verdeckungen simulieren) sowie ergänzende Aufnahmen in Werkshallen (ca. 3.000 Bilder mit unterschiedlichen Hallenstrukturen und Fertigungslinien-Hintergründen).

Die Modellkonfiguration für das Training basiert auf dem Ultralytics-YOLOv8-Framework mit einer Eingabeauflösung von 640x640 Pixeln, einer Batchgröße von 32 und 300 Trainingsepochen. Zur Datenaugmentierung werden Mosaic (Wahrscheinlichkeit 0,8, 4 Bilder kombiniert), MixUp (Wahrscheinlichkeit 0,2, 2 Bilder gemischt), HSV-Augmentierung (H±25°/S±30%/V±30%) und zufällige Drehung (±10 Grad) verwendet. Das Training erfolgt auf einer einzelnen NVIDIA RTX 4090 (24 GB VRAM); eine Epoche dauert etwa 10 Minuten, sodass die gesamte Trainingszeit bei ca. 50 Stunden liegt. Nach Abschluss des Trainings wird das Modell in ein TensorRT-FP16-Engine-Format (ca. 22 MB) exportiert und auf dem Jetson Orin NX bereitgestellt.

Erkannte Objektklassen. Das YOLOv8s-Modell gibt drei Erkennungsklassen aus. Jeder Erkennungsrahmen enthält die Klassen-ID, einen Konfidenzwert (Schwellenwert ≥ 0,5 für die Beibehaltung) und normalisierte Rahmenkoordinaten (cx, cy, w, h). Die Rahmenkoordinaten werden über eine Perspektivtransformationsmatrix auf die Bodenebene im Weltkoordinatensystem abgebildet; die Positioniergenauigkeit beträgt < 10 cm Abweichung. Die drei Klassen im Detail:

Zutrittserkennung im Gefahrenbereich: Algorithmus und Sicherheitszonen-Logik

Die zeitliche Abfolge der Zutrittserkennung im Gefahrenbereich ist wie folgt definiert. Schritt 1 – Objekterkennung: Das Jetson-Modul führt das YOLOv8s-Modell aus und liefert alle Personendetektionsrahmen des aktuellen Frames. Schritt 2 – Koordinatenabbildung: Der Mittelpunkt der Unterkante jedes Personendetektionsrahmens wird über eine perspektivische Transformationsmatrix auf die Bodenebene im Weltkoordinatensystem abgebildet. So wird die physische Position der Person auf dem Werkstattboden als (x, y) in Metern bestimmt. Schritt 3 – Distanzberechnung: Die euklidische Distanz zwischen der Personenposition und der Lastposition wird berechnet. Die Lastposition ergibt sich aus der absoluten Position der Kranbrücke und der Laufkatze (vom PLC des Brückenkrans gelesen) zuzüglich des Größenversatzes der Last. Schritt 4 – Sicherheitszonen-Bewertung: Anhand der Distanz d wird eine dreistufige Sicherheitszonenregel angewendet – d ≤ 3 m: Danger-Zone, Auslösung von STO; 3 m < d ≤ 6 m: Warning-Zone, Auslösung von Verzögerung und Alarm; 6 m < d ≤ 10 m: Monitor-Zone, nur Protokollierung; d > 10 m: keine Aktion. Schritt 5 – Ergebnisausgabe: Das Jetson-Modul gibt über GPIO drei Alarmstufen aus – GPIO1 (Danger) ist mit dem sicheren DI-Eingang des PLC verbunden, GPIO2 (Warning) mit dem Standard-DI-Eingang des PLC und GPIO3 (Monitor) mit dem IO-Link-Gateway zur Ereignisprotokollierung.

Dynamische Anpassung des Sicherheitszonenradius. Die tatsächliche Größe der Last und ihre Bewegungsbahn beeinflussen den Sicherheitsradius der Gefahrenzone. Bei einer Lastgröße unter 1 m bleibt der Radius der Gefahrenzone standardmäßig bei 3 m. Liegt die Lastgröße zwischen 1 m und 3 m, wird der Radius automatisch anhand der Diagonallänge der Last erhöht (R_danger = 3,0 m + L_diag/2). Bei einer Lastgröße über 3 m wird der Radius der Gefahrenzone fest auf 5 m begrenzt, um zu verhindern, dass eine überdimensionierte Sicherheitszone häufige STO-Auslösungen verursacht und die Produktionseffizienz beeinträchtigt. Der aktuelle Wert des Sicherheitszonenradius wird in Echtzeit auf der HMI-Sicherheitsüberwachungsseite angezeigt; das Bedienpersonal kann manuelle Feineinstellungen in Schritten von 0,5 m vornehmen. Alle Änderungen der Sicherheitszonenparameter werden im Ereignisprotokoll des PLC gespeichert, mit einer Aufbewahrungsdauer von mindestens 90 Tagen.

Multi-Target-Tracking und Entprellung. Werden in einem einzelnen Frame mehrere Personen erkannt, vergibt das System für jedes Ziel eine eindeutige Track-ID. Über den leichtgewichtigen DeepSORT-Algorithmus werden zielübergreifende Frame-Zuordnung und Bahnverfolgung realisiert. Erst wenn eine Person mit derselben Track-ID in mehr als fünf aufeinanderfolgenden Frames an derselben Position erscheint, bestätigt das System den Eintritt in die Sicherheitszone und löst den Alarm aus. Dadurch werden Fehlalarme durch Einzelbild-Fehlerkennung vermieden. Während sich eine Person in der Sicherheitszone aufhält, wird ein Dauer-Alarm ausgelöst; nach Verlassen der Zone wird der Alarm automatisch aufgehoben (Entprellzeit 2 Sekunden). Kontinuierliche Alarmereignisse werden automatisch in einer lokalen SQLite-Datenbank protokolliert. Der Datensatz umfasst Zeitstempel, Track-ID, Personenkoordinaten, ausgelöste Sicherheitszonenstufe sowie den Betriebszustand des Brückenkrans (Geschwindigkeit, Position, Richtung).

Kollisionsschutz und STO-Auslösung im Verbund

Die Kopplung zwischen dem optischen Inspektionssystem und dem Kran-Sicherheitssteuerungssystem erfolgt über eine doppelte Schnittstelle: GPIO und PROFINET. Die GPIO-Schnittstelle dient der schnellen Bremsung in Notsituationen – GPIO1 (Danger) des Jetson-Moduls ist direkt mit dem Eingangskanal des sicheren F-DI-Moduls des PLC verbunden. Bei einem 24-V-Signal auf GPIO1 löst der PLC innerhalb des nächsten sicheren Abtastzyklus (20 ms) STO aus. Die PROFINET-Schnittstelle realisiert die gestufte Verzögerung in nicht kritischen Szenarien – das Jetson-Modul agiert als PROFINET-IO-Device (GSDML-Datei wird in TIA Portal importiert) und schreibt zyklisch Verzögerungsanforderungen an den PLC (mit Verzögerungsstufe 0–3 und Zielgeschwindigkeit in Prozent). Der PLC reagiert innerhalb des Standard-IO-Zyklus (10 ms) auf die Verzögerungsanforderung.

Wiederanlauf nach STO-Auslösung. Nach Auslösung der Stufe-3-STO hält der Brückenkran sofort an. Das Jetson-System überwacht kontinuierlich den Gefahrenbereich – sobald der Bereich frei von Personen ist, wird über PROFINET das Signal „Gefahr beseitigt" an die SPS gesendet. Nach Empfang des Signals öffnet das HMI einen Dialog zur Bestätigung des Sicherheits-Resets. Der Bediener muss den Kranbereich visuell prüfen und anschließend „Reset bestätigen" wählen, erst dann hebt die SPS den STO-Zustand auf und ermöglicht den erneuten Betrieb. Das vollständige Ereignisprotokoll des STO-Vorfalls wird automatisch an den Edge-Gateway übertragen und über OPC UA zur Archivierung an das Sicherheitsmanagementsystem übermittelt.

Inbetriebnahme und Abnahme des Sicherheitssystems

Die Inbetriebnahme des visuellen Sicherheitsüberwachungssystems erfolgt in vier Schritten. Der erste Schritt ist die Kamerakalibrierung: Mit einer Schachbrett-Kalibriertafel (12×9 Felder, Kantenlänge 30 mm) werden 15–20 Aufnahmen aus verschiedenen Winkeln erstellt. Über die Funktion calibrateCamera von OpenCV werden die intrinsischen Kameraparameter und der Verzerrungskoeffizient berechnet. Nach Abschluss der intrinsischen Kalibrierung folgt die Bestimmung der Perspektivtransformationsmatrix: Auf dem Werkstattboden wird eine Kalibriermatte (4×3 m Raster, Punktabstand 500 mm) ausgelegt. Aus einer senkrechten Aufnahme werden vier Eckpunkte sowie vier korrespondierende Bodenkoordinaten ausgewählt, um die Transformationsmatrix zu berechnen. Anschließend wird mit einem Laser-Entfernungsmesser die tatsächliche Position beliebiger Bodenpunkte vermessen, um die Abbildungsgenauigkeit zu verifizieren – der zulässige Fehler liegt unter 10 cm.

Der zweite Schritt ist die Modellabnahme. Auf dem Prüfgelände wird ein Testszenario mit Last und Dummy-Person aufgebaut. Die Erkennungsgenauigkeit wird unter vier Bedingungen geprüft: normale Beleuchtung (500 Lux), geringe Beleuchtung (50 Lux, nur Infrarot-Zusatzlicht), Gegenlicht sowie Regen/Nebel (simulierter Sprühnebel). Abnahmestandard: Personenerkennung mAP ≥ 95 % bei normalem Licht, mAP ≥ 90 % bei geringem Licht, mAP ≥ 85 % bei Gegenlicht und mAP ≥ 80 % bei Regen/Nebel. Der Dummy wird jeweils 20-mal in jeder der drei Sicherheitszonen getestet. Gefordert werden: 100 % Auslöserate in der Gefahrenzone Level 3 (20/20 STO-Auslösungen), ≥ 95 % in der Warnzone Level 2 (≥ 19/20 Verzögerungsalarme) und 100 % Aufzeichnungsrate in der Überwachungszone Level 1 (20/20 Ereignisprotokolle).

Der dritte Schritt ist die Validierung vor Ort. Die Kalibrierparameter und das Modell werden auf das Jetson-Modul des Brückenkrans übertragen. Über die Sicherheitsüberwachungsseite des HMI werden Kamerabilder und erkannte Objekte in Echtzeit angezeigt. Die Abdeckung der Kopfträger- und Laufkatzenkameras wird an drei Kranpositionen (linkes Ende, Mitte, rechtes Ende der Verfahrwegs) geprüft – der gesamte Lastbereich unter dem Kran muss ohne tote Winkel erfasst sein. Die Bilder der seitlichen Kameras werden zusammengeführt und decken die gesamte Lastzone ab (ca. 20 m × 6 m). Über Funkgerät läuft eine Person entlang der Sicherheitszonengrenzen, um die Auslösekonsistenz der Erkennung an jedem Grenzpunkt zu verifizieren. Der vierte Schritt ist der Dauerbetrieb: Das System läuft 24 Stunden im Probebetrieb. Alle 8 Stunden werden Fehlalarm- und Verpassungsrate im Protokoll geprüft. Anforderungen: ≤ 5 Fehlalarme pro 24 Stunden, ≤ 1 Verpassung pro 24 Stunden. Nach bestandenem Probebetrieb wird das System in den regulären Betrieb übernommen.

Häufige Fragen zur Sicherheitstechnik