Visuelle KI: YOLOv8-Lastenerkennung & Jetson Edge-Computing
Kernkompetenz der visuellen KI: Lastenerkennung mit YOLOv8 und Edge-Deployment auf Jetson-Plattformen. Im modernen intelligenten Brückenkransystem ist die visuelle KI die Schlüsseltechnologie, die dem Kran die Fähigkeit verleiht, die Arbeitsumgebung zu „verstehen".
Im modernen intelligenten Brückenkransystem ist die visuelle KI die Schlüsseltechnologie, die dem Kran die Fähigkeit verleiht, die Arbeitsumgebung zu „verstehen". Kelude Schwerindustrie hat auf Basis des YOLOv8-Objekterkennungsalgorithmus und der Jetson-Orin-Edge-Computing-Plattform einen vollständigen visuellen KI-Technologie-Stack aufgebaut – von der Kamerauswahl über das Modelltraining bis hin zum Edge-Deployment. Damit werden unbemannte Arbeitsabläufe in mehreren Szenarien wie Lastenerkennung, präziser Positionierung und Sicherheitsüberwachung realisiert. Dieser Artikel analysiert aus ingenieurstechnischer Perspektive systematisch die gesamte technische Kette der visuellen KI für Brückenkrane.
Vier Hauptanwendungsszenarien der visuellen KI im Brückenkranbetrieb
Die verschiedenen Anwendungsszenarien der visuellen KI im Brückenkransystem stellen unterschiedliche Anforderungen an Genauigkeit und Echtzeitfähigkeit. Kelude Schwerindustrie hat in langjähriger Projektpraxis ein technisches Lösungssystem entwickelt, das vier typische Szenarien abdeckt:
| Einsatzszenario | Funktion | Genauigkeit | Echtzeitfähigkeit | Empfohlene Lösung |
|---|---|---|---|---|
| Lasterkennung | ErkennungStahlcoil/Bramme/Container/Werkstück | ±50mm | 100ms | YOLOv10n + Jetson Orin NX |
| Präzisionsgreifen/Ablegen | Visuelle Führung zur Positionierung von Anschlagmitteln/Spannvorrichtungen | ±5mm | 50ms | YOLOv8s + PnPLagebestimmung |
| Sicherheitszonenüberwachung | Erkennung von Personen, die in den Gefahrenbereich eindringen | ±200mm | 200ms | YOLOv8n + ByteTrackVerfolgung |
| StahlwerkHochtemperaturumgebung | Thermografie-Erkennung von heißem Material | ±2℃ | 30fps | Optris PI 640Thermografie |
Industriekamera-Auswahl und Objektivparameter-Berechnung
Die Kamerawahl bildet das Fundament des Bildverarbeitungssystems für Brückenkrane. Kelude Schwerindustrie hat ein systematisches Auswahlverfahren entwickelt, das auf die unterschiedlichen Anforderungen der jeweiligen Einsatzszenarien abgestimmt ist. Für die Standarderkennung von Lasten empfiehlt sich eine Industriekamera mit 1,3 Megapixeln in Kombination mit einem Tiefensensor. Bei präzisen Greif- und Positionieraufgaben kommt eine 5-Megapixel-Farbkamera zusammen mit einem 3D-Strukturlicht-Sensor zum Einsatz.
Die Berechnung der Objektivbrennweite ist ein zentraler Schritt bei der Kamerawahl. Die zugrunde liegende Formel lautet: f = (sensor_width × working_distance) / FOV. Für eine typische Draufsicht eines Brückenkrans – Zielbreite 1,5 m, Arbeitsabstand 8 m – ergibt sich mit einem IMX265-Sensor (Sensorbreite 7,1 mm) eine Brennweite von ca. 38 mm. In der Praxis werden üblicherweise Objektive mit 35 mm oder 50 mm verwendet. Die empfohlene Brennweite variiert je nach Montageposition: Für die Draufsicht vom Kran (Arbeitsabstand 8–15 m) sind 25–50 mm geeignet, für seitliche Aufnahmen 12–25 mm und für Nahaufnahmen beim Greifen 6–12 mm.
Für den Einsatz in der Hochtemperaturumgebung von Stahlwerken sind Wärmebildkameras mit spezieller Schutzhaube und Kühlmantel erforderlich. Die Technische Lösung von Kelude Schwerindustrie setzt auf ein Wärmebildsystem mit einer Auflösung von 640×480, das bei Umgebungstemperaturen über 95 °C dauerhaft zuverlässig arbeitet. Damit werden anspruchsvolle industrielle Anwendungen wie die Erkennung von Stahlbarren oder die Überwachung im Stranggussbereich zuverlässig abgedeckt.
YOLOv8-Training: Workflow und Datenanreicherung
Das Training eines YOLOv8-Modells für Kranszenarien folgt einer spezifischen ingenieurtechnischen Methodik. Für die Datenerfassung werden mindestens 500 Stichproben pro Klasse empfohlen, die verschiedene Blickwinkel (80 % Draufsicht, 20 % Seitenansicht), unterschiedliche Lichtverhältnisse (Tag, Nacht, Gegenlicht, starkes Licht) sowie verschiedene Betriebszustände (Leerfahrt, Volllast, unterschiedliche Lasttypen) abdecken. Für die Annotation empfiehlt sich LabelImg im PascalVOC-Format; alternativ ermöglicht CVAT eine kollaborative Online-Annotation im Team.
Die Strategie zur Datenanreicherung ist speziell auf die Draufsicht-Charakteristik des Krans zugeschnitten. Anders als bei autonomen Fahrszenarien ist keine starke Rotation zur Anreicherung erforderlich. Stattdessen liegt der Fokus auf der Mosaic-Augmentierung (Simulation ungeordneter Stapel) und der Helligkeitsanpassung (zur Bewältigung der starken Lichtschwankungen im Stahlwerk). Die Standard-Trainingskonfiguration von Kelude Schwerindustrie verwendet das vortrainierte Modell YOLOv8n als Ausgangspunkt, mit 200 Epochen, einer Eingabebildgröße von 640×640, einer anfänglichen Lernrate von 0,001 und optimierten HSV-Farbraum-Parametern.
crane_dataset/ ├── train/images/ # Trainingsbilder (*.jpg) ├── train/labels/ # YOLOFormatkennzeichnung (*.txt) ├── val/images/ # Validierungsbilder ├── val/labels/ └── crane_dataset.yaml
Die Datensatzkonfiguration definiert sechs Zielklassen: steel_coil (Stahlcoil), steel_slab (Stahlbarren), container (Container), workpiece (Werkstück), crane_hook (Haken) und spreader (Anschlagmittel). Diese decken die häufigsten Erkennungsobjekte im Kranbetrieb ab.
TensorRT-Optimierung und Jetson-Edge-Deployment
Das Edge-Deployment ist der entscheidende Schritt, um die Kran-KI aus dem Labor in die praktische Anwendung zu überführen. Kelude Schwerindustrie setzt auf die NVIDIA Jetson Orin Serie als zentrale Edge-Computing-Plattform. Das Jetson Orin NX Modell mit einer KI-Rechenleistung von 70–100 TOPS und einer geringen Leistungsaufnahme von 10–25 W ist die empfohlene erste Wahl und erfüllt die Echtzeit-Inferenzanforderungen der meisten Kranszenarien.
Der Modellbereitstellungsprozess umfasst drei technische Schritte: Zunächst wird das trainierte PyTorch-Modell über model.export(format="engine") in eine TensorRT-Engine-Datei exportiert. TensorRT optimiert die Inferenzgeschwindigkeit durch Layer-Fusion, Quantisierungskalibrierung und Speicheroptimierung erheblich. Anschließend wird die TensorRT-Engine auf der Jetson-Plattform bereitgestellt und eine DeepStream- oder eine individuelle Inferenz-Pipeline konfiguriert. Schließlich werden die Inferenzergebnisse über das MQTT-Protokoll in Echtzeit an das übergeordnete Dispositionssystem gesendet, wodurch der vollständige Regelkreis aus Erkennung, Entscheidung und Steuerung geschlossen wird.
Die Inferenzleistung variiert deutlich zwischen den YOLO-Versionen auf dem Jetson Orin NX: YOLOv8n erreicht eine Inferenzzeit von ca. 8 ms bei einer Modellgröße von nur 6,3 MB. Das neuere YOLOv10n ist mit 7 ms und 5,5 MB nochmals optimiert und bietet bei vergleichbarer Genauigkeit zu YOLOv8s eine höhere Geschwindigkeit. Es ist daher das empfohlene Standardmodell für das Edge-Deployment bei Kelude Schwerindustrie.
Koordinatentransformation und visuelle Positionsbestimmung
Das ultimative Ziel der visuellen Erkennung ist die Umsetzung in präzise mechanische Steuerbefehle. Dies erfordert eine vollständige Transformationskette von Pixelkoordinaten zu Weltkoordinaten. Das visuelle KI-System von Kelude Schwerindustrie verwendet den PnP-Algorithmus (Perspective-n-Point) zur Posenschätzung. In Kombination mit den Ergebnissen der Kamerakalibrierung (intrinsisch und extrinsisch) werden die von YOLOv8 erkannten 2D-Begrenzungsrahmen in 6-DOF-Poseninformationen (X/Y/Z-Translation sowie Nick-/Gier-/Roll-Winkel) umgewandelt.
In der praktischen Anwendung werden die Kamerapositionen nach der präzisen Kalibrierung über eine Koordinatentransformationsmatrix auf die Steuerbefehle der drei physikalischen Achsen abgebildet: Kranbrücke (X-Achse), Laufkatze (Y-Achse) und Heben (Z-Achse). Die End-to-End-Latenzzeit des gesamten visuellen Führungsprozesses wird unter 150 ms gehalten und erfüllt damit die Echtzeit-Steuerungsanforderungen für einen vollautomatischen Brückenkran der Stufe L4.
