YOLOv8-basierte Kranlast-Erkennung und präzise Positionierung

In modernen Fertigungshallen der metallurgischen Industrie, des Schiffbaus und der Schwermaschinenherstellung übernehmen Brückenkrane den Transport und die Positionierung von Stahlcoils, Stahlblechen, großen Anlagenkomponenten und Werkzeugen. Die konventionelle Bedienung ist auf die visuelle Einschätzung des Kranführers und die Sprachkommunikation mit dem Anschläger am Boden angewiesen. Dies führt zu begrenzter Positioniergenauigkeit, erkennbaren Effizienzverlusten und birgt Sicherheitsrisiken durch tote Winkel. Mit der fortschreitenden Umsetzung von Industrie 4.0 und Intelligenter Fertigung revolutionieren Deep-Learning-basierte Verfahren der visuellen Erkennung und Positionierung den Lastenumschlag mit Brückenkranen. Dieser Fachartikel erläutert die Systemarchitektur, den Implementierungsweg und die Kernalgorithmen eines auf YOLOv8 basierenden Systems zur visuellen Lastenerkennung und präzisen Positionierung und dient als umfassende technische Referenz für die Aufrüstung von Brückenkranen zur Intelligenten Fertigung.

Gesamtsystemarchitektur für die bildgeführte Positionierung

Das System zur visuellen Erkennung und präzisen Positionierung von Kranlasten ist als Vier-Schichten-Architektur konzipiert. Diese gliedert sich von unten nach oben in die Sensorikschicht, die Inferenzschicht, die Transformationsschicht und die Steuerungsschicht. Die Schichten sind über schnelles industrielles Ethernet und Feldbusse miteinander verbunden und bilden einen geschlossenen Regelkreis.

Sensorikschicht: Als Dateneingang des Gesamtsystems erfassen industrielle Flächenkameras, die unterhalb der Kranbrücke montiert sind, das Bild des Lastbereichs. Zum Einsatz kommen Industriekameras von Herstellern wie Hikrobot oder Basler mit einer Auflösung von typischerweise 5 bis 12 Megapixeln. Ein LED-Zusatzlicht im Frequenzblitzbetrieb kompensiert Schwankungen der Lichtverhältnisse und Schattenbildung in der Werkstatt. Die Bilddaten werden über GigE-Vision-Schnittstellen (Gigabit-Ethernet) an den Edge-Computing-Knoten übertragen, was eine stabile Übertragung bei hohen Bildraten (bis zu 60 fps) gewährleistet. Die Hardware der Sensorikschicht ist in einem Aluminiumgehäuse mit der Schutzart IP67 untergebracht und für den Einsatz unter den rauen Bedingungen in metallurgischen Betrieben mit starker Staubentwicklung, hohen Temperaturen und elektromagnetischen Störungen ausgelegt.

Inferenzschicht: Als zentrale Rechenplattform dient ein NVIDIA Jetson Orin NX, auf dem das YOLOv8-Modell zur Objekterkennung ausgeführt wird. Das Modul bietet eine KI-Rechenleistung von bis zu 100 TOPS und kann eine Inferenz auf einem Bild mit einer Auflösung von 1920×1080 in weniger als 15 ms durchführen, wodurch die Echtzeitanforderungen erfüllt werden. Die Inferenzschicht empfängt den Rohbildstrom von der Sensorikschicht und generiert für jedes erkannte Lastziel die Begrenzungsrahmen-Koordinaten im Bildkoordinatensystem, die Klassifizierung sowie einen Konfidenzwert. Zusätzlich werden in dieser Schicht Bildvorverarbeitungsalgorithmen wie Histogrammentzerrung, adaptive Kontrastanpassung und ROI-Zuschnitt ausgeführt, um die Robustheit der Erkennung unter schwierigen Lichtverhältnissen zu erhöhen.

Transformationsschicht: Diese Schicht implementiert den Kernalgorithmus der Koordinatentransformation. Unter Verwendung der zuvor kalibrierten Kameraintrinsik- und Perspektivtransformationsmatrizen werden die von der Inferenzschicht gelieferten Pixelkoordinaten in Weltkoordinaten (in mm) auf der Bodenebene umgerechnet. Die Transformationsschicht übernimmt auch die Korrektur von Translation und Drehung des Koordinatensystems, um Verzerrungen durch den Montagewinkel und die Montagehöhe der Kamera zu eliminieren. Die Berechnung der Koordinatentransformation erfolgt mittels bilinearer Interpolation und Subpixel-Optimierung, um die für industrielle Positionieraufgaben erforderliche Genauigkeit sicherzustellen.

Steuerungsschicht: Über ein PROFINET-Gateway (industrielles Ethernet) werden die berechneten Positionskoordinaten der Last und die Abweichungswerte für die Gerätepositionierung an die SPS der Kransteuerung (Siemens S7-1200/1500 Serie) übertragen. Die SPS verarbeitet die Abweichungsdaten und generiert auf Basis des hinterlegten Algorithmus für den geschlossenen Positionsregelkreis Bewegungsbefehle für die Kranbrücke, die Laufkatze und das Hubwerk, wodurch eine automatische Positionierung und ein präzises Absetzen ermöglicht werden. Die Steuerungsschicht übernimmt ebenfalls die Dateninteraktion mit dem MES-System und dem Sicherheitsüberwachungssystem und übermittelt die Positionierungsergebnisse sowie den Gerätestatus in Echtzeit an die Werkstattebene.

Der Vorteil der Vier-Schichten-Architektur liegt in der klaren Entkopplung der Module und der einheitlichen Schnittstellenstandards. Eine Aufrüstung oder der Austausch einer einzelnen Schicht (z. B. Aktualisierung der Modellversion, Anpassung der Kameraparameter) beeinflusst den Betrieb der anderen Schichten nicht, was den Wartungs- und Iterationsaufwand erheblich reduziert. Die Ende-zu-Ende-Verarbeitungslatenz des Gesamtsystems liegt unter 100 ms und erfüllt damit die Anforderungen an die Echtzeitsteuerung bei niedrigen Krankgeschwindigkeiten (≤ 20 m/min).

Die folgende Tabelle bietet einen Vergleich gängiger, für das System geeigneter Industriekamera-Modelle als Auswahlreferenz:

2. Objekterkennung und -klassifizierung der Last

Die präzise Erkennung und feingranulare Klassifizierung der Last bildet die grundlegende Vorstufe des gesamten visuellen Positionierungssystems. Als zentrales Erkennungsmodell kommt YOLOv8 (Ultralytics YOLOv8s-Variante) zum Einsatz, das mittels Transfer Learning auf einem eigens erstellten Lastdatensatz trainiert wird und eine Echtzeiterkennung der vier Hauptlasttypen ermöglicht.

Definition der Erkennungsklassen (Hook_Load): Das System fasst alle Lasten unter der Hauptklasse Hook_Load zusammen und unterteilt sie in vier Unterklassen – Steel_Coil (Stahlcoil), Steel_Plate (Stahlblech), Equipment (Ausrüstung) und Mold (Werkzeug). Stahlcoils sind überwiegend zylindrisch geformt und weisen häufig Korrosion sowie Bandagenstrukturen auf der Oberfläche auf. Stahlbleche sind flache, großflächige Metallplatten mit starker Reflexion und scharfen Kanten. Ausrüstung umfasst große Maschinenbauteile (z. B. Walzgerüste, Getriebegehäuse) mit unregelmäßiger, aber markanter Kontur. Werkzeuge zeichnen sich durch feine Hohlraumkonturen und Führungssäulen aus. Die vier Klassen unterscheiden sich erheblich in Größe, Form und Oberflächentextur, was hohe Anforderungen an die Unterscheidungsfähigkeit des Modells zwischen den Klassen stellt.

Datensatzaufbau und Annotation: Das Projektteam erfasste reale Bilddaten aus mehreren metallurgischen und Schwermaschinen-Werkstätten, die verschiedene Lichtverhältnisse wie Sonnenschein, Bewölkung und künstliche Beleuchtung bei Nacht sowie unterschiedliche Lastpositionen wie Volllast, Leerlauf und Schräglast abdecken. Insgesamt wurden über 12.000 Rohbilder aufgenommen; nach Qualitätsfilterung verblieben 8.500 gültige Stichproben. Mit dem Tool LabelImg wurden Objektklassen und Erkennungsrahmen im COCO-Format einzeln annotiert. Die Annotationsspezifikation verlangt, dass der Erkennungsrahmen eng an der tatsächlichen Kontur der Last anliegt und der Randabstand 5 Pixel nicht überschreitet. Besondere Aufmerksamkeit galt bei der Annotation Szenarien mit starker Verdeckung (z. B. gestapelte Stahlcoils) und kleinen Objekten (z. B. entfernte Werkzeuge), um die Generalisierungsfähigkeit des Erkennungsmodells sicherzustellen.

Datenaugmentierungsstrategie: Zur Verbesserung der Generalisierungsleistung und Störfestigkeit des Modells integriert die Trainingspipeline umfangreiche Datenaugmentierungsstrategien: (1) Mosaic-Augmentierung – vier Trainingsbilder werden zufällig zu einem Bild zusammengesetzt, wodurch das Modell gezwungen wird, Merkmalsrepräsentationen von Objekten in komplexen Hintergründen zu lernen; dies ist besonders effektiv für kleine Objekte und Verdeckungsszenarien. (2) MixUp-Augmentierung – zwei Bilder und ihre Labels werden in zufälligem Verhältnis gemischt, wodurch weitere Objektkombinationen eingeführt werden. (3) HSV-Farbraumstörung – Farbton (H), Sättigung (S) und Helligkeit (V) werden in Bereichen von ±30°, ±50% bzw. ±50% zufällig angepasst, um unterschiedliche Licht- und Farbtemperaturverhältnisse in der Werkstatt zu simulieren. (4) Zufällige Skalierung und Zuschneidung – simuliert die Veränderung des Sichtfelds bei unterschiedlichen Arbeitshöhen der Kamera. (5) Gaußsches Rauschen und Bewegungsunschärfe – simuliert Sensorrauschen der Industriekamera und Bildverzerrungen bei schneller Lastbewegung. Durch die genannten Augmentierungen vergrößert sich die äquivalente Trainingsstichprobenzahl auf etwa 60.000 Bilder.

Modelltraining und -bereitstellung: Das Training basiert auf den vortrainierten Gewichten von YOLOv8s. Die Eingabebildgröße beträgt 640×640. Zum Einsatz kommen der AdamW-Optimierer mit einer anfänglichen Lernrate von 0,001 sowie eine Kosinus-Annealing-Lernratenstrategie über insgesamt 300 Epochen. Das Training wurde auf einer einzelnen NVIDIA RTX 4090 GPU durchgeführt und dauerte etwa 18 Stunden. Die Evaluierung auf dem Validierungssatz (1.000 unabhängige Stichproben) ergab: mAP@0.5 von 0,962, mAP@0.5:0.95 von 0,738 und eine Inferenzgeschwindigkeit von 12–18 ms pro Bild auf dem Jetson Orin NX (nach TensorRT-FP16-Optimierung). Die Erkennungsrahmen werden im Format (x_center, y_center, width, height) ausgegeben, auf [0,1] normalisiert und über ein Nachverarbeitungsmodul in ursprüngliche Bildpixelkoordinaten umgewandelt, die der Koordinatentransformationsebene zugeführt werden.

3. Kamerakalibrierung und Koordinatentransformation

Die präzise Umwandlung der vom Erkennungsmodell gelieferten Pixelkoordinaten in Weltkoordinaten auf der Bodenebene ist die Kerntechnologie für die bildgeführte Positionierung. Das System verwendet eine „Zwei-Schritte-Kalibrierungsmethode“ – zunächst wird die intrinsische Kamerakalibrierung zur Korrektur der Linsenverzerrung durchgeführt, anschließend erfolgt die extrinsische Kalibrierung zur Herstellung der Abbildungsbeziehung zwischen Pixel- und Bodenebene. Über eine Perspektivtransformationsmatrix wird schließlich die Koordinatenumwandlung mit Subpixel-Genauigkeit realisiert.

Der dreistufige Kalibrierprozess (Verifizierung der Innen- und Außenparameter) etabliert eine vollständige Abbildungskette von Pixelkoordinaten zu Weltkoordinaten auf der Bodenebene. Der globale mittlere Fehler beträgt 3,2 mm und erfüllt damit die Anforderung einer Wiederholgenauigkeit von ±5 mm.

Zu beachten ist, dass Kalibrierparameter driften können, wenn die Kameraposition durch Vibrationen der Kranbrücke geringfügig verschoben wird. Das System verfügt daher über ein periodisches automatisches Kalibrierverfahren: Mithilfe fest auf der Bodenebene installierter QR-Code-Referenzmarken wird bei jedem Systemstart sowie nach jeweils 2 Betriebsstunden automatisch eine Überprüfung und Feinanpassung der Außenparameter durchgeführt. Dadurch bleibt die Genauigkeit der Koordinatentransformation über den gesamten Betriebszeitraum stabil und zuverlässig. Dieses Verfahren erfüllt die Anforderungen an die Genauigkeitserhaltung des Positionierungssystems gemäß JB/T 1306-2018 für Elektro-Einträgerkrane sowie DIN 15018 für die Krandimensionierung.

Bildgeführte Positionierungsstrategie für die Lastaufnahme

Die bildgeführte Positionierung ist das übergeordnete Regelziel des Gesamtsystems und umfasst den vollständigen Regelkreis von der Objekterkennung bis zur präzisen Ablage. Das System integriert Bildverarbeitung, Koordinatenabbildung, Abweichungsberechnung und SPS-Bewegungssteuerung zu einer einheitlichen Steuerungsstrategie, die eine automatische, präzise Positionierung der Kranlast ermöglicht.

Positionierungsablauf: Der Gesamtprozess gliedert sich in fünf Phasen. (1) Objekterkennung und -verfolgung – Das YOLOv8-Modell erkennt den aktuellen Lasttyp in Echtzeit und liefert ein Erkennungsfenster. Das System verfolgt den Zielpunkt anhand des Fensterzentrums und der Klassifizierung und generiert gleichzeitig eine dynamische ROI-Region um das Ziel, um die Datenmenge für die weitere Verarbeitung zu reduzieren. (2) Koordinatenabbildung – Die Pixelkoordinaten (u, v) des Erkennungsfensterzentrums werden über eine Perspektivtransformationsmatrix in Weltkoordinaten (X_load, Y_load) auf der Bodenebene umgerechnet. Befindet sich unter dem Ziel eine QR-Code- oder Markierungshilfe, wird zusätzlich deren präzise Weltkoordinate (X_mark, Y_mark) ausgelesen. (3) Abweichungsberechnung – Berechnung der Abweichung zwischen aktueller Lastposition und Zielposition (Zentrum des Ablagebereichs oder Markierungsposition): ΔX = X_target − X_load, ΔY = Y_target − Y_load sowie der Winkelabweichung Δθ (für längliche Werkstücke mit definierter Ausrichtung). (4) SPS-Regelkreis – Die Abweichungswerte werden über ein PROFINET-Gateway an die SPS übermittelt. Ein integrierter PID-Regler verarbeitet die Abweichung als Eingangsgröße und generiert Geschwindigkeits- und Richtungsbefehle für Kranbrücke und Laufkatze. Die Frequenzumrichtermotoren reduzieren die Abweichung iterativ bis auf null. (5) Ablage-/Aufnahmeausführung – Sobald die Abweichung zwischen Last und Zielposition gleichzeitig ΔX ≤ ±5 mm, ΔY ≤ ±5 mm und Δθ ≤ ±1° erfüllt, wird die Positionierung als abgeschlossen bewertet. Das System gibt das Freigabesignal zum Senken des Hakens bzw. zum Greifen an das Hubwerk aus und führt die Ablage- oder Aufnahmeoperation aus.

QR-Code-/Markierungsunterstützte Positionierung: In der praktischen Anwendung führt die ausschließliche Positionierung über die absoluten Koordinaten des Erkennungsfensters zu zufälligen Fehlern, die durch Unterschiede im Lastvolumen, Abweichungen in der Aufhängungsausrichtung und Schwankungen der Erkennungsgenauigkeit verursacht werden. Aus diesem Grund werden am Zielort (Ablagebereich oder Aufnahmeposition) QR-Code-Markierungen (AprilTag oder QR-Code) fest installiert. Die Markierungen haben eine Kantenlänge von 100–200 mm; ihre Weltkoordinaten (X_QR, Y_0) werden durch präzise Vermessung ermittelt und in der Systemkonfiguration gespeichert. Im bildgeführten Ablauf erkennt das System bevorzugt die exakte Position der Markierung und verwendet diese als Referenz für die Zielposition. Dadurch wird der Einfluss der Erkennungsungenauigkeit der Last selbst auf die Positioniergenauigkeit weitgehend eliminiert. In der Praxis hat sich gezeigt, dass die Wiederholgenauigkeit der Positionierung durch die QR-Code-Unterstützung von ±12 mm auf besser als ±5 mm verbessert werden konnte.

Verarbeitung von Mehrzielszenarien: Wenn im Sichtfeld mehrere Lasten oder mehrere Markierungen erscheinen, entscheidet das System nach Prioritätsregeln – es wird bevorzugt die Last verarbeitet, die dem Zielpunkt am nächsten liegt, oder der Zielablagebereich, der zur aktuellen Lastklasse passt. Bei mehreren Ablagebereichsmarkierungen wird eine Verknüpfung zwischen Auftrags-ID und Ablagebereichs-ID hergestellt. Die über das MES-System übermittelten Auftragsinformationen ordnen automatisch den korrekten Zielablagebereich zu und verhindern so Fehlpositionierungen.

Behandlung von Abweichungen: Wenn das Bildverarbeitungssystem einen Verlust der Last (Ziel verlässt das Sichtfeld), eine Konfidenz unter dem Schwellwert (0,6) oder eine Verdeckung der Markierung erkennt, schaltet das System automatisch in den Sicherheitsmodus – die automatische Positionierung wird angehalten, der aktuelle Zustand wird gehalten und ein Alarm ausgegeben. Das Bedienpersonal muss die Situation bestätigen und eingreifen. Nach der Störungsbehebung führt das System die Objekterkennung und -verfolgung automatisch erneut aus, wodurch die Sicherheit und Zuverlässigkeit des Positionierungsprozesses gewährleistet ist.

Systeminbetriebnahme und Genauigkeitsverifizierung

Die Inbetriebnahme und Genauigkeitsverifizierung nach der Installation sind entscheidend, um sicherzustellen, dass das Bildpositionierungssystem die konstruktiven Kennwerte erreicht. Das System folgt einem standardisierten Inbetriebnahmeprozess und strengen Prüfverfahren gemäß den einschlägigen nationalen Normen für Hebezeuge (GB/T 28264-2017 – Sicherheitsüberwachungs- und Managementsystem für Hebezeuge; DIN 15018 – Krandimensionierungsnorm).

Inbetriebnahmeprozess: Die Inbetriebnahme erfolgt in vier aufeinander aufbauenden Phasen. (1) Einzelpunkt-Kalibrierung – Nach der Kameramontage wird zunächst die Innenparameter-Kalibrierung durchgeführt. Anschließend werden Kalibrierpunkte auf dem Boden verteilt, um die Außenparameter zu bestimmen und die Vorwärts- und Rückwärtsberechnung der Koordinatentransformation zu verifizieren. Ein Kreuzlaser-Projektor unterstützt die Zuordnung der Pixelpositionen der Kalibrierpunkte. (2) Statische Positionierungsprüfung – Ein Standard-Testwerkstück (Rechteckstahlblock mit bekannten Abmessungen) wird unter dem Haken positioniert. Das System führt eine statische Objekterkennung und Koordinatentransformation durch. Die erkannten Koordinaten werden manuell mit den tatsächlich gemessenen Werten verglichen. Die Kalibrierparameter werden iterativ angepasst, bis der statische Fehler unter ±3 mm liegt. (3) Dynamische Verfolgungsprüfung – Die Kranbrücke wird mit unterschiedlichen Geschwindigkeiten und Richtungen bewegt. Dabei wird beobachtet, ob das visuelle Verfolgungsmodul die Last stabil erfasst. Die Schwankungsamplitude des Erkennungsfensters wird aufgezeichnet. Durch Anpassung der Kalman-Filter-Parameter und der ROI-Update-Strategie wird die dynamische Verfolgungsschwankung auf ±2 Pixel begrenzt. (4) Gesamtprozess-Verbundprüfung – Über das MES-System wird ein realer Arbeitsauftrag übermittelt. Das Bildverarbeitungssystem führt den Brückenkran automatisch durch den vollständigen Positionierungsablauf vom Anschlagpunkt bis zum Ablagepunkt. Die Abweichungswerte jeder Phase werden während des gesamten Ablaufs protokolliert.

Prüfverfahren für die Genauigkeit: Zur Verifizierung der Wiederholgenauigkeit der Positionierung wird die „Drei-Punkt-Hin- und Rückfahrt-Methode“ angewendet – auf der Werkstattbodenebene werden drei Testpunkte (links, Mitte, rechts) ausgewählt. An jedem Punkt werden 100 Hin- und Rückfahrt-Positionierungsvorgänge durchgeführt und die Endpositionsabweichung jedes Vorgangs protokolliert. Als Messgerät dient ein hochpräziser Laser-Tracker (Leica AT960, Genauigkeit ±0,02 mm), der die relative Verschiebung zwischen Lastkante und Zielmarkierung erfasst. Die Testbedingungen umfassen sowohl Leerlauf als auch Volllast sowie drei Bewegungsmodi: Kranbrücke allein, Laufkatze allein und kombinierte Bewegung. Die statistische Auswertung der 300 Tests (100 Wiederholungen × 3 Punkte) ergibt: mittlere Abweichung in X-Richtung 1,8 mm mit Standardabweichung 1,2 mm; mittlere Abweichung in Y-Richtung 2,1 mm mit Standardabweichung 1,5 mm. Die kombinierte Wiederholgenauigkeit der Positionierung beträgt ±4,6 mm (3σ) und liegt damit unter dem konstruktiven Kennwert von ±5 mm.

Vergleichsvalidierung: Zur umfassenden Verifizierung der Systemleistung wurde im selben Werkstattbereich ein paralleler Vergleichsversuch zwischen manueller Positionierung und visueller Automatikpositionierung durchgeführt. Fünf erfahrene Brückenkranführer wurden ausgewählt, um jeweils 20 Stahlcoil-Positioniervorgänge durchzuführen; dabei wurden die benötigte Zeit und die erzielte Endgenauigkeit erfasst. Der Datenvergleich zeigt: Die manuelle Positionierung benötigt durchschnittlich 42 Sekunden bei einer mittleren Genauigkeit von ±24 mm; die visuelle Automatikpositionierung erreicht eine mittlere Genauigkeit von ±4,2 mm in durchschnittlich 18 Sekunden. Dies entspricht einer Zeitersparnis von 57 % und einer 5,7-fachen Genauigkeitssteigerung. Darüber hinaus eliminiert das Bildverarbeitungssystem menschliche Einflussfaktoren wie Ermüdung des Bedienpersonals, Erfahrungsunterschiede und Sichtbehinderungen; die Konsistenz der Positionierergebnisse ist der manuellen Bedienung deutlich überlegen (die Standardabweichung beträgt nur 1/8 des manuellen Werts).

Validierung der Langzeitstabilität: Nach einem ununterbrochenen Betrieb von 6 Monaten beim Kunden vor Ort zeigte die Wiederholgenauigkeit der Positionierung keine signifikante Dämpfung. Die monatlichen Genauigkeitsmessungen ergaben eine maximale Drift von +0,8 mm, was innerhalb der konstruktiven Toleranz von ±5 mm liegt. Die vierteljährliche Kalibrierungsverifizierung zeigte eine Änderungsrate der Kamerainnenparameter von unter 1 %; die Außenparameter wichen aufgrund von Vibrationen der Maschinen um ca. 2,5 mm ab und wurden nach automatischer Kalibrierungskompensation auf das ursprüngliche Genauigkeitsniveau zurückgeführt. Diese Ergebnisse belegen, dass das System für einen langfristig stabilen Betrieb unter industriellen Bedingungen geeignet ist und die fortlaufenden Anforderungen der Richtlinie Sonderprüfschreiben der Qualitätskontrolle〔2019〕857Nr. an die sichere Modernisierung von Hebezeugen erfüllt.

Häufige Fragen (FAQ)