YOLOv8 Kranlast-Erkennung & präzise Positionierung

In modernen Werkhallen der Metallurgie, des Schiffbaus und der Schwermaschinenindustrie übernehmen Brückenkrane den Transport und die Positionierung von Stahlcoils, Stahlblechen, Großanlagen und Formen. Herkömmliche Verfahren sind auf die visuelle Erfahrung des Kranführers und die Sprachkoordination des Bodenpersonals angewiesen – mit dem Ergebnis geringer Positioniergenauigkeit, klarer Effizienzengpässe und Sicherheitsrisiken durch tote Winkel. Mit der fortschreitenden Entwicklung von Industrie 4.0 und Intelligenter Fertigung revolutionieren tiefenlernbasierte Verfahren der visuellen Erkennung und Positionierung den Kranbetrieb. Dieser Artikel beschreibt systematisch die technische Architektur, den Implementierungspfad und die Kernalgorithmen eines auf YOLOv8 basierenden Systems zur visuellen Hublasterkennung und präzisen Positionierung und bietet eine umfassende technische Referenz für die intelligente Aufrüstung von Brückenkranen.

Systemarchitektur der visuellen Positionierung im Überblick

Das System zur visuellen Lastenerkennung und präzisen Positionierung für Brückenkrane ist in einer vierstufigen Architektur aufgebaut: Wahrnehmungsebene, Inferenzebene, Transformationsebene und Steuerungsebene. Diese Ebenen sind über schnelles Ethernet und industrielle Feldbusse miteinander verbunden und bilden einen geschlossenen Regelkreis.

Wahrnehmungsebene – die Dateneingangsstufe des Systems: Eine unter dem Brückenkranträger montierte industrielle Flächenkamera erfasst in Echtzeit Bilder des Lastbereichs. Die Kamera (z. B. von Hikrobot oder Basler) bietet eine Auflösung von typischerweise 5 bis 12 Megapixeln. LED-Blitzlichter kompensieren schwankende Lichtverhältnisse und Schattenwurf in der Werkstatt. Die Bilddaten werden über GigE Vision (Gigabit-Ethernet) an den Edge-Computing-Knoten übertragen und gewährleisten eine stabile Übertragung bei hohen Bildraten (bis zu 60 fps). Die Hardware der Wahrnehmungsebene ist in einem Aluminiumgehäuse mit der Schutzart IP67 untergebracht und für den Einsatz in staubiger, heißer und elektromagnetisch belasteter Umgebung von Metallurgiewerkstätten ausgelegt.

Inferenzebene – die Rechenplattform: Basierend auf einem NVIDIA Jetson Orin NX Modul läuft hier das YOLOv8-Objekterkennungsmodell. Das Modul bietet eine KI-Rechenleistung von bis zu 100 TOPS und kann eine Inferenz auf einem 1920×1080-Bild in 15 ms durchführen, was die Echtzeitanforderungen erfüllt. Die Inferenzebene empfängt den Rohbildstrom von der Wahrnehmungsebene und gibt für jedes erkannte Lastobjekt die Bounding-Box-Koordinaten im Bildkoordinatensystem, die Klassifikationsbezeichnung und den Konfidenzwert aus. Zusätzlich werden Bildvorverarbeitungsalgorithmen wie Histogramm-Equalization, adaptive Kontrastanpassung und ROI-Zuschnitt ausgeführt, um die Robustheit der Erkennung unter schwierigen Lichtbedingungen zu erhöhen.

Transformationsebene – die Kernalgorithmen der Koordinatentransformation: Unter Verwendung der zuvor kalibrierten Kameraintrinsik-Matrix und der Perspektivtransformationsmatrix werden die vom Inferenzmodul gelieferten Pixelkoordinaten in Weltkoordinaten (in mm) auf der Bodenebene umgerechnet. Die Ebene übernimmt auch die Translations- und Rotationskorrektur des Koordinatensystems, um Verzerrungen durch den Kamerawinkel und die Montagehöhe zu eliminieren. Die Transformation nutzt bilineare Interpolation und Subpixel-Optimierung, um die geforderte Genauigkeit für industrielle Positionieraufgaben zu erreichen.

Steuerungsebene – die Schnittstelle zur Kransteuerung: Über ein PROFINET-Industrial-Ethernet-Gateway werden die berechneten Lastpositionskoordinaten und die Abweichungswerte für die Positionierung an die SPS des Steuerungssystems des Brückenkrans (Siemens S7-1200/1500) übertragen. Die SPS generiert auf Basis der Abweichungswerte und eines hinterlegten geschlossenen Positionsregelkreises die Bewegungsbefehle für Kranbrücke, Laufkatze und Hubwerk, wodurch eine automatische Positionierung und präzises Absetzen ermöglicht wird. Die Steuerungsebene wickelt auch den Datenaustausch mit dem MES-System und dem Sicherheitsüberwachungssystem ab und übermittelt Positionierergebnisse und Gerätestatus in Echtzeit an die Werkstattebene.

Der Vorteil der Vier-Ebenen-Architektur liegt in der klaren Entkopplung der Module und der einheitlichen Schnittstellendefinition. Eine Aufrüstung oder ein Austausch auf einer Ebene (z. B. Modellversion, Kameraparameter) beeinflusst den Betrieb der anderen Ebenen nicht, was Wartung und Weiterentwicklung erheblich vereinfacht. Die Ende-zu-Ende-Verarbeitungslatenz des gesamten Systems bleibt unter 100 ms und erfüllt damit die Anforderungen an die Echtzeitsteuerung bei niedrigen Krandrehzahlen (≤20 m/min).

Die folgende Tabelle vergleicht gängige, für das System geeignete Industriekamera-Modelle als Entscheidungshilfe für die Auswahl:

2. Erkennung und Klassifizierung von Lasten

Die präzise Erkennung und feingliedrige Klassifizierung von Lasten bildet die grundlegende Vorstufe des gesamten visuellen Positionierungssystems. Als zentrales Erkennungsmodell kommt YOLOv8 (Variante Ultralytics YOLOv8s) zum Einsatz, das mittels Transfer Learning auf einem eigens erstellten Lasten-Datensatz trainiert wird. Dadurch wird eine Echtzeiterkennung von vier Hauptlasttypen ermöglicht.

Definition der Erkennungsklassen (Hook_Load): Das System fasst alle Lasten unter der Hauptklasse Hook_Load zusammen und unterteilt sie in vier Unterklassen – Steel_Coil (Stahlcoil), Steel_Plate (Stahlblech), Equipment (Ausrüstung) und Mold (Werkzeugform). Stahlcoils sind überwiegend zylindrisch geformt und weisen häufig Korrosion sowie Banderolierung auf der Oberfläche auf. Stahlbleche sind flache, großflächige Metallplatten mit starker Reflexion und scharfen Kanten. Unter Equipment fallen große Maschinenbauteile (z. B. Walzgerüste, Getriebegehäuse) mit unregelmäßiger, aber markanter Kontur. Werkzeugformen zeichnen sich durch feine Hohlraumkonturen und Führungssäulen aus. Die vier Klassen unterscheiden sich erheblich in Größe, Form und Oberflächentextur, was eine hohe Unterscheidungsfähigkeit des Modells zwischen den Klassen erfordert.

Datensatzaufbau und Annotation: Das Projektteam erfasste reale Bilddaten aus mehreren metallurgischen und Schwermaschinen-Werkstätten. Die Aufnahmen decken verschiedene Lichtverhältnisse ab (sonnig, bewölkt, Nachtaufnahmen mit Zusatzbeleuchtung) sowie unterschiedliche Lasthaltungen wie Vollast, Leerfahrt und Schräglast. Insgesamt wurden über 12.000 Rohbilder erfasst; nach Qualitätsscreening verblieben 8.500 verwertbare Stichproben. Die Annotation erfolgte mit dem Tool LabelImg im COCO-Format, wobei jede Zielklasse und jeder Erkennungsrahmen einzeln markiert wurde. Die Annotationsspezifikation verlangt, dass der Erkennungsrahmen eng an der tatsächlichen Lastkontur anliegt und der Randabstand 5 Pixel nicht überschreitet. Besonderes Augenmerk galt dabei Szenarien mit starker Verdeckung (z. B. gestapelte Coils) und kleinen Zielobjekten (z. B. Werkzeugformen in großer Entfernung), um die Generalisierungsfähigkeit des Erkennungsmodells sicherzustellen.

Datenanreicherungsstrategie: Zur Verbesserung der Generalisierungsleistung und Störfestigkeit des Modells wurde die Trainingspipeline umfangreich mit Datenanreicherungsmethoden erweitert: (1) Mosaic-Anreicherung – vier Trainingsbilder werden zufällig zu einem Bild zusammengesetzt, wodurch das Modell gezwungen wird, Merkmale von Zielobjekten in komplexen Hintergründen zu lernen; dies zeigt deutliche Wirkung bei kleinen Zielobjekten und Verdeckungsszenarien. (2) MixUp-Anreicherung – zwei Bilder und ihre Labels werden in zufälligem Verhältnis gemischt, wodurch weitere Zielanordnungen und -kombinationen eingeführt werden. (3) HSV-Farbraum-Störung – Farbton (H), Sättigung (S) und Helligkeit (V) werden in Bereichen von ±30°, ±50% bzw. ±50% zufällig variiert, um unterschiedliche Beleuchtungs- und Farbtemperaturverhältnisse in der Werkstatt zu simulieren. (4) Zufällige Skalierung und Zuschneidung – simuliert die Veränderung des Sichtfelds bei unterschiedlichen Arbeitshöhen der Kamera. (5) Gaußsches Rauschen und Bewegungsunschärfe – simuliert Sensorrauschen der Industriekamera sowie Bildunschärfe bei schneller Lastbewegung. Durch diese Anreicherungen vergrößert sich die äquivalente Trainingsstichprobe auf ca. 60.000 Bilder.

Modelltraining und Bereitstellung: Das Training basiert auf den vortrainierten Gewichten von YOLOv8s. Die Eingabebildgröße beträgt 640×640. Als Optimierer kommt AdamW zum Einsatz, die anfängliche Lernrate liegt bei 0,001. Es wird ein Cosinus-Annealing-Lernratenplan verwendet, die Gesamtzahl der Trainingsepochen beträgt 300. Das Training wurde auf einer einzelnen NVIDIA RTX 4090 GPU durchgeführt und dauerte ca. 18 Stunden. Die Auswertung auf dem Validierungsdatensatz (1.000 unabhängige Stichproben) ergab: mAP@0,5 erreicht 0,962, mAP@0,5:0,95 liegt bei 0,738. Die Inferenzzeit pro Bild beträgt auf dem Jetson Orin NX 12–18 ms (nach TensorRT-FP16-Optimierung). Die Erkennungsrahmen werden im Format (x_center, y_center, width, height) ausgegeben und auf den Bereich [0,1] normalisiert. Über ein Nachverarbeitungsmodul werden sie in Pixelkoordinaten des Originalbilds umgerechnet und der Koordinatentransformationsebene zugeführt.

3. Kamerakalibrierung und Koordinatentransformation

Die präzise Umrechnung der vom Erkennungsmodell gelieferten Pixelkoordinaten in Weltkoordinaten auf der Bodenebene ist der zentrale technische Kern der visuell geführten Positionierung. Das System verwendet ein „Zwei-Schritte-Kalibrierverfahren" – zunächst wird die Kameraintrinsik kalibriert, um Objektivverzerrungen zu korrigieren, anschließend erfolgt die Extrinsikkalibrierung zur Herstellung der Abbildungsbeziehung zwischen Pixel und Bodenebene. Über eine Perspektivtransformationsmatrix wird schließlich die Koordinatenumrechnung mit Subpixel-Genauigkeit durchgeführt.

Die dreistufige Kalibrierung (Verifikation von intrinsischen und extrinsischen Parametern) etabliert eine vollständige Abbildungskette von Pixelkoordinaten zu Weltkoordinaten auf der Bodenebene. Der globale mittlere Fehler beträgt 3,2 mm, womit die geforderte Wiederholgenauigkeit von ±5 mm erfüllt wird.

Zu beachten ist, dass Kalibrierparameter driftenden können, wenn die Kameraposition durch Vibrationen der Kranbrücke leicht verschoben wird. Das System verfügt daher über eine automatische periodische Nachkalibrierung: Mithilfe fest auf der Bodenebene installierter QR-Code-Referenzmarken wird bei jedem Systemstart sowie nach jeweils 2 Betriebsstunden automatisch eine Überprüfung und Feinanpassung der extrinsischen Parameter durchgeführt. Dadurch bleibt die Genauigkeit der Koordinatentransformation über den gesamten Langzeitbetrieb stabil. Dieses Konzept erfüllt die Anforderungen an die Genauigkeitsstabilität von Positionierungssystemen gemäß JB/T 1306-2018 für Elektro-Einträgerkrane sowie DIN 15018 für die Konstruktion von Kranen.

Visuelle Anschlagpositionierung mit Regelkreis

Die visuell geführte Anschlagpositionierung bildet das letztendliche Regelziel des Gesamtsystems und umfasst den vollständigen Regelkreis von der Lastidentifikation bis zur Positionierung am Ablageort. Das System integriert visuelle Wahrnehmung, Koordinatenabbildung, Abweichungsberechnung und PLC-Bewegungssteuerung zu einer einheitlichen Steuerungsstrategie für die automatische präzise Positionierung der Kranlast.

Ablauf der Positionierung: Der Gesamtprozess gliedert sich in fünf Phasen. (1) Lastidentifikation und -verfolgung – Das YOLOv8-Modell erkennt den aktuellen Lasttyp in Echtzeit und gibt ein Erkennungsfenster aus. Das System verfolgt das Ziel anhand des Fenstermittelpunkts und der Klassifizierung und generiert gleichzeitig eine dynamische ROI-Region um das Ziel, um die Datenmenge für die nachfolgende Bildverarbeitung zu reduzieren. (2) Koordinatenabbildung – Die Pixelkoordinaten (u, v) des Fenstermittelpunkts werden über eine perspektivische Transformationsmatrix in Weltkoordinaten (X_load, Y_load) auf der Bodenebene umgerechnet. Befindet sich unterhalb des Ziels eine QR-Code- oder Markierungshilfe zur unterstützenden Positionierung, werden zusätzlich die präzisen Weltkoordinaten (X_mark, Y_mark) der Markierung ausgelesen. (3) Berechnung der Positionsabweichung – Die Abweichung zwischen aktueller Lastposition und Zielposition (Mittelpunkt des Ablagebereichs bzw. Markierungsposition) wird berechnet: ΔX = X_target − X_load, ΔY = Y_target − Y_load sowie die Winkelabweichung Δθ (für längliche Werkstücke, die eine definierte Ausrichtung erfordern). (4) PLC-Regelkreis – Die Abweichungswerte werden über ein PROFINET-Gateway an die PLC übertragen. Der integrierte PID-Regler der PLC verwendet die Abweichung als Eingangsgröße und gibt Geschwindigkeits- und Richtungsbefehle für Kranbrücke und Laufkatze aus, die über Frequenzumrichtermotoren die Abweichung schrittweise auf null reduzieren. (5) Positionierung und Aufnahme – Wenn die Abweichungen zwischen Last und Zielposition gleichzeitig ΔX ≤ ±5 mm, ΔY ≤ ±5 mm und Δθ ≤ ±1° betragen, wird die Positionierung als abgeschlossen bewertet. Das System gibt das Freigabesignal zum Absenken bzw. Greifen an das Hubwerk aus und schließt damit den Ablage- oder Aufnahmevorgang ab.

Unterstützende QR-Code-/Markierungspositionierung: In der praktischen Anwendung führt die ausschließliche Positionierung über die absoluten Koordinaten des Last-Erkennungsfensters zu zufälligen Fehlern, die durch unterschiedliche Lastabmessungen, Schräghängen der Last und Schwankungen der Erkennungsgenauigkeit verursacht werden. Aus diesem Grund werden am Zielort – also im Ablagebereich oder an der Aufnahmeposition – QR-Code-Markierungen (AprilTag- oder QR-Code-Verfahren) fest installiert. Die Markierungen haben eine Kantenlänge von 100–200 mm und ihre Weltkoordinaten (X_QR, Y_0) werden durch präzise Vermess