SLAM-Umgebungsmapping für Brückenkrane

Visuelle SLAM-Kartierung für präzise Kranpositionierung in der Halle

Die zentrale Herausforderung für den automatisierten Kranbetrieb ist die Realisierung einer hochpräzisen, zuverlässigen globalen Positionierung in der Werkshalle, in der kein GPS-Signal verfügbar ist. Die gängigen Positionierverfahren für Krane – Laser-Entfernungsmesser, Gray-Code-Bus, Absolutwertgeber – liefern zwar eine Positioniergenauigkeit im Millimeterbereich, weisen jedoch jeweils spezifische Fehler auf: Laser-Entfernungsmesser sind stark anfällig für Staubablagerungen, der Gray-Code-Bus verursacht hohe Installations- und Wartungskosten, und Encoder leiden unter kumulativen Fehlern sowie Positionsdrift durch Radschlupf. Entscheidend ist zudem, dass diese Verfahren lediglich ein- oder zweidimensionale Positionsdaten liefern und weder den Kurswinkel (Gierwinkel) noch die dreidimensionale Lage des Krans erfassen. Für Anwendungen wie flexibles Anschlagen, Pendeldämpfung und sichere Kollisionsvermeidung sind jedoch Informationen über alle sechs Freiheitsgrade erforderlich.

Visuelles SLAM (Simultaneous Localization and Mapping) bietet einen grundlegend neuen technologischen Ansatz für die Kranpositionierung. Dabei erfassen Mono- oder Stereokameras, die am Kran montiert sind, kontinuierlich Bilder der Werkshalle. Durch die Extraktion und das Matching von ORB-Merkmalen zwischen den Bildern, gekoppelt mit einer engen Fusion der IMU-Trägheitsdaten, wird in einer unbekannten Umgebung simultan die Pose des Krans in sechs Freiheitsgraden geschätzt und eine spärliche oder dichte Karte der Werkshalle erstellt. Die Kernvorteile dieser Technologie liegen auf der Hand: Erstens ist keine Infrastruktur entlang der Schiene erforderlich – die Kamera ist der einzige Sensor, was die Installationskosten im Vergleich zu Gray-Code-Bus oder Laser-Reflektorplatten erheblich reduziert. Zweitens werden vollständige Poseninformationen mit X-, Y-, Z-Position sowie Roll-, Nick- und Gierwinkel bereitgestellt, was für die Pendeldämpfung und Bahnplanung von entscheidender Bedeutung ist. Drittens sind die Positionsdaten von Natur aus global konsistent und weisen keine kumulative Drift wie bei Encodern auf. In weitläufigen Werkshallen (Spannweite 30–50 m) erreicht das visuelle SLAM eine Genauigkeit von ±10 cm. Obwohl dies unter der Millimeterpräzision der Laser-Entfernungsmessung liegt, bietet es durch seine Unempfindlichkeit gegenüber einzelner Punktabdeckung eine ideale Redundanz zu Laser- und Encodersystemen und erhöht so die Gesamtzuverlässigkeit des Positionierungssystems deutlich.

▲ Visuelles SLAM-Kartierungssystem für Brückenkrane – ORB-Merkmalerkennung · Echtzeit-SLAM-Kartierung · VINS-Mono Multisensor-Fusionspipeline

ORB-SLAM3 Adaption und Merkmalsextraktion für den Kraneinsatz

ORB-SLAM3 ist eines der ausgereiftesten visuellen SLAM-Frameworks und unterstützt Mono-, Stereo- und RGB-D-Kameramodi. Es integriert vier Hauptmodule: eine enge visuelle/visuell-inertiale Frontend-Fusion, eine lokale BA-Optimierung (Bundle Adjustment), Schleifenerkennung und Kartenwiederverwendung. Die direkte Anwendung von nativem ORB-SLAM3 in der Kranumgebung führt jedoch zu drei technischen Herausforderungen: eine unzureichende Anzahl von Merkmalen aufgrund der texturarmen Umgebung in der Werkshalle, instabiles Frame-to-Frame-Matching durch Vibrationen des Krans sowie eine übermäßig große Karte in weitläufigen Szenarien.

2.1 Angepasste Merkmalsextraktion für die Werkshalle

Die Umgebungsmerkmale einer industriellen Werkshalle unterscheiden sich deutlich von denen eines Büros: Wände bestehen oft aus glatten Metall- oder Betonflächen mit hoher Texturwiederholung und wenig hochfrequenten Details; der Boden ist aus Zement und extrem texturarm. Jedoch bieten die Stahlkonstruktionen – wie Dachstühle, Pfetten, Oberlichter, Kranschienen (I-Träger, Schienenklemmen) und Portalsäulen – eine Fülle von Kanten- und Eckmerkmalen. Aufgrund dieser spezifischen Merkmalsverteilung müssen die nativen ORB-Extraktionsparameter von ORB-SLAM3 wie folgt angepasst werden:

Diese Anpassungen erhöhen die Anzahl und Verteilung der Merkmale signifikant und verbessern die Robustheit der Bildregistrierung unter den spezifischen Bedingungen der Werkshalle. Die Folge ist eine stabilere Kameratrajektorie und eine höhere Genauigkeit der erstellten Karte.

2.2 Vibrationskompensation und IMU-Fusion

Die beim Kranbetrieb auftretenden Vibrationen, verursacht durch Lastbewegungen, Brückenverfahrten oder Katzfahrten, führen zu unscharfen Bildern und ungenauen inertialen Messungen. Um die Frame-to-Frame-Stabilität zu gewährleisten, sind folgende Maßnahmen erforderlich:

• Erhöhte Bildrate: Verwendung von Kameras mit mindestens 30 fps, idealerweise 60 fps, um die Bewegungsunschärfe zwischen zwei Frames zu reduzieren.
• Robuste Merkmalsverfolgung: Implementierung eines optischen Flusses (z. B. KLT-Tracker) zur Vorhersage der Merkmalspositionen im nächsten Frame, basierend auf der IMU-Rotation, um die Anzahl der korrekten Zuordnungen zu erhöhen.
• Enge IMU-Kopplung: Präzise zeitliche Synchronisation und Kalibrierung zwischen Kamera und IMU. Die IMU-Daten (Beschleunigung, Winkelgeschwindigkeit) werden in den Optimierungsgraphen als virtuelle Messungen einbezogen, um die Pose auch bei kurzzeitigem Verlust der visuellen Merkmale (z. B. durch Staubwolken) stabil zu schätzen.

Die Kombination aus hoher Bildrate und enger IMU-Fusion ermöglicht eine zuverlässige Positionsschätzung auch bei starken Schwingungen der Kranbrücke.

2.3 Kartengrößenmanagement für große Spannweiten

In Hallen mit einer Spannweite von 30–50 m und einer Länge von über 100 m kann die SLAM-Karte schnell eine große Anzahl von Merkmalen und Keyframes ansammeln, was die Rechenzeit und den Speicherbedarf erhöht. Um die Echtzeitfähigkeit zu gewährleisten, werden folgende Strategien angewendet:

• Keyframe-Ausdünnung: Entfernung redundanter Keyframes, die nur geringe neue Informationen zur Karte beitragen, basierend auf der Parallaxen-Bewegung und der gemeinsamen beobachteten Merkmale.
• Kartenpartitionierung: Aufteilung der globalen Karte in lokale Teilkarten (z. B. entlang der Kranbahn in Segmente von 20–30 m Länge). Nur die Teilkarte in der Nähe der aktuellen Kranposition wird für die Optimierung verwendet.
• Merkmal-Verwaltung: Löschung von Merkmalen mit geringer Beobachtungshäufigkeit oder hoher Unsicherheit, um die Dichte der Karte zu kontrollieren.

Diese Maßnahmen halten die Rechenlast konstant und ermöglichen einen Dauerbetrieb des Systems über die gesamte Hallenlänge.

Redundante Positionsbestimmung mit Gray-Code-Bus und Laser

Visuelles SLAM ist eine leistungsfähige Ergänzung, aber keine vollständige Alternative zu den etablierten industriellen Positioniersystemen. In der Praxis wird eine redundante Architektur empfohlen, bei der das visuelle SLAM als primäres System für die 6-DOF-Pose dient, während der Gray-Code-Bus oder Laser-Entfernungsmesser als unabhängige, hochpräzise Referenz für die X-Position entlang der Schiene fungieren. Diese Redundanz bietet mehrere Vorteile:

• Erhöhte Zuverlässigkeit: Bei Ausfall oder Störung eines Systems (z. B. Staub auf der Reflektorplatte) übernimmt das andere System die Positionsbestimmung nahtlos.
• Absolute Referenz: Der Gray-Code-Bus oder Laser liefert eine absolute Position ohne Drift, die verwendet werden kann, um die kumulativen Fehler des SLAM-Systems bei Bedarf zurückzusetzen.
• Validierung: Die Differenz zwischen den Positionsdaten der Systeme kann als Diagnosewert für die Systemgesundheit verwendet werden.

Die Integration der Systeme erfolgt über einen zentralen Steuerungsrechner, der die Daten fusioniert und die endgültige, hochpräzise Position für die Kransteuerung bereitstellt.

Praktische Anwendung und Implementierung im Kranbetrieb

Die Implementierung des visuellen SLAM-Systems in einem bestehenden Brückenkran umfasst mehrere Schritte: die Auswahl und Montage der Kamera(s) und IMU, die Kalibrierung des Systems, die Erstellung der initialen Karte der Werkshalle sowie die Integration in die bestehende Steuerungstechnik.

3.1 Sensorinstallation und Kalibrierung

Die Kamera wird vorzugsweise an der Unterseite der Kranbrücke montiert, um eine ungehinderte Sicht auf die Halle und die darunterliegenden Strukturen zu haben. Eine zweite Kamera kann an der Katze installiert werden, um die Sicht auf die Last und den Boden zu verbessern. Die IMU wird starr in der Nähe der Kamera montiert, um die Bewegungen präzise zu erfassen. Die Kalibrierung umfasst die Bestimmung der intrinsischen Kameraparameter (Brennweite, Verzerrung) sowie der extrinsischen Parameter (Rotation und Translation) zwischen Kamera und IMU.

3.2 Kartierung der Werkshalle und Inbetriebnahme

Vor dem automatisierten Betrieb wird eine einmalige Kartierungsfahrt durchgeführt. Der Kran wird manuell oder halbautomatisch durch die Halle bewegt, während das SLAM-System eine dichte oder spärliche Karte der Umgebung erstellt. Diese Karte wird gespeichert und dient als Referenz für den späteren Betrieb. Bei der Inbetriebnahme wird die aktuelle Position des Krans anhand der Karte und der aktuellen Sensordaten bestimmt. Die Genauigkeit der Lokalisierung wird durch den Vergleich mit den Daten des Gray-Code-Bus oder Lasers validiert.

3.3 Integration in die Kransteuerung

Die vom SLAM-System berechnete Position (X, Y, Z, Roll, Nick, Gier) wird über eine standardisierte Schnittstelle (z. B. EtherCAT, Profinet) an die SPS der Kransteuerung übertragen. Die Steuerung nutzt diese Daten für die Bahnplanung, die Pendeldämpfung und die Sicherheitsfunktionen. Die redundanten Positionsdaten vom Gray-Code-Bus oder Laser werden für die Plausibilitätsprüfung und als Fallback-Ebene verwendet.

Fazit: Visuelles SLAM als Schlüsseltechnologie für den autonomen Kran

Visuelles SLAM stellt eine wegweisende Technologie für die Automatisierung von Brückenkranen dar. Es überwindet die Einschränkungen herkömmlicher Positioniersysteme, indem es eine vollständige 6-DOF-Pose ohne zusätzliche Infrastruktur liefert. Die Kombination aus ORB-SLAM3 mit angepassten Parametern, enger IMU-Fusion und einem durchdachten Kartengrößenmanagement ermöglicht einen robusten und präzisen Betrieb in anspruchsvollen Industrieumgebungen. Als redundantes System zu etablierten Verfahren wie Gray-Code-Bus oder Laser-Entfernungsmessung erhöht es die Zuverlässigkeit und Sicherheit des gesamten Positionierungssystems erheblich und ist damit ein entscheidender Baustein für die Realisierung vollautomatischer, flexibler Krananlagen in der modernen Fertigung.

Häufig gestellte Fragen (FAQ)

F: Welche Genauigkeit kann mit visuellem SLAM an einem Brückenkran erreicht werden?
A: In einer typischen Werkshalle mit einer Spannweite von 30–50 m kann eine Positioniergenauigkeit von ±10 cm erreicht werden. Diese Genauigkeit ist für viele Automatisierungsaufgaben wie das Anschlagen oder die Positionierung über einem Zielpunkt ausreichend. Für Anwendungen, die eine höhere Präzision erfordern, wird das SLAM-System mit einem hochpräzisen Gray-Code-Bus oder Laser-Entfernungsmesser kombiniert.

F: Ist eine spezielle Beleuchtung in der Werkshalle erforderlich?
A: Das System ist für typische Industriebeleuchtung ausgelegt. Bei unzureichendem oder flackerndem Licht kann die Merkmalsextraktion beeinträchtigt werden. In solchen Fällen wird der Einsatz von Kameras mit hoher Lichtempfindlichkeit oder aktiver Beleuchtung (z. B. Infrarot-Strahler) empfohlen.

F: Wie wird die Drift des SLAM-Systems über lange Zeiträume verhindert?
A: Durch die enge Kopplung mit der IMU und die Nutzung der Schleifenerkennung (Loop Closure) wird die Drift minimiert. Zudem kann die absolute Position des Gray-Code-Bus oder Lasers verwendet werden, um die SLAM-Position regelmäßig zu korrigieren und so eine langfristige Stabilität zu gewährleisten.

F: Kann das System auch bei staubiger Umgebung eingesetzt werden?
A: Ja, die Kamera kann in einem staubdichten Gehäuse mit Sichtfenster und Druckluftspülung installiert werden. Die Algorithmen sind robust gegenüber temporären Sichtbehinderungen, da die IMU-Daten die Position für kurze Zeit überbrücken können. Bei anhaltender starker Verschmutzung wird die redundante Positionsbestimmung über Gray-Code-Bus oder Laser aktiv.

F: Welche Schnittstellen werden zur Integration in die Kransteuerung unterstützt?
A: Das System unterstützt gängige Industrie-Schnittstellen wie EtherCAT, PROFINET und analoge Signale. Die Positionsdaten werden im Format X, Y, Z, Roll, Nick, Gier bereitgestellt und können direkt in die SPS eingelesen werden.

F: Ist eine Schulung des Wartungspersonals erforderlich?
A: Ja, eine grundlegende Schulung wird empfohlen, um das System zu verstehen, die Kalibrierung durchzuführen und einfache Wartungsarbeiten (z. B. Reinigung der Kamera) durchzuführen. Die Wartung ist jedoch minimal, da keine beweglichen Teile im Sensor erforderlich sind.

F: Wie hoch ist der Installationsaufwand im Vergleich zu einem Gray-Code-Bus?
A: Der Installationsaufwand ist deutlich geringer, da keine aufwändige Verlegung von Kabeln oder Montage von Leseköpfen entlang der gesamten Kranbahn erforderlich ist. Die Hauptarbeit besteht in der Montage der Kamera und IMU sowie der Kalibrierung. Dies reduziert die Stillstandszeit des Krans während der Installation erheblich.

F: Kann das System auch für andere Kranarten wie Portalkrane oder Säulenschwenkkrane verwendet werden?
A: Ja, das System ist grundsätzlich für alle Kranarten geeignet, bei denen eine Kamera eine ausreichende Sicht auf die Umgebung hat. Die Parameter und die Kartierungsstrategie müssen an die jeweilige Umgebung und die Bewegungscharakteristik angepasst werden.

F: Welche Daten werden für die Erstellung der initialen Karte benötigt?
A: Für die initiale Kartierung wird eine manuelle oder halbautomatische Fahrt des Krans durch die gesamte Halle benötigt. Während dieser Fahrt werden die Bilder und IMU-Daten aufgezeichnet und zu einer Karte verarbeitet. Die Dauer hängt von der Größe der Halle ab, beträgt aber in der Regel nur wenige Stunden.

F: Ist das System kompatibel mit bestehenden Sicherheitssteuerungen?
A: Ja, die Positionsdaten können als redundante Informationen in das Sicherheitskonzept integriert werden. Die endgültige Sicherheitsbewertung basiert jedoch auf den zertifizierten Systemen wie den Encodern oder dem Gray-Code-Bus. Das SLAM-System dient als zusätzliche Überwachungsebene und zur Erweiterung der Funktionalität.

F: Welche Kosten sind mit der Implementierung verbunden?
A: Die Kosten sind im Vergleich zu herkömmlichen Systemen wie dem Gray-Code-Bus moderat, da keine teure Infrastruktur entlang der Schiene benötigt wird. Die Hauptkosten entstehen für die Kamera(s), die IMU, den

Darüber hinaus wird bei der ORB-Feature-Extraktion eine zusätzliche Hilfsebene für die Zuordnung von Linienmerkmalen eingeführt, die auf die zahlreichen geraden Kanten in Werkshallen abzielt (Schienenkanten, Dachbinderstreben, Säulenkanten). Der LSD-Algorithmus (Line Segment Detector) extrahiert gerade Liniensegmente aus dem Bild, die anschließend mit dem LBD-Deskriptor (Line Band Descriptor) beschrieben und abgeglichen werden. Durch die Integration der Linienmerkmale steigt die Feature-Matching-Rate von etwa 35 % bei der reinen ORB-Methode auf rund 52 %, was die Positionsstabilität bei Bewegungen entlang der Schiene deutlich verbessert.

2.2 Optimierung des visuell-inertialen Frontends für enge Kopplung

Mechanische Vibrationen während des Brückenkranbetriebs – insbesondere niederfrequente Resonanzen durch das Starten/Stoppen des Hubwerks und das Pendeln der Last – beeinträchtigen das visuelle SLAM-Frontend erheblich. Im rein visuellen Modus von ORB-SLAM3 kommt es bei Vibrationsamplituden über ±50 Pixeln zu Tracking-Verlusten zwischen den Frames. Als Lösung wird der visuell-inertiale (VI) Modus mit enger Kopplung von ORB-SLAM3 aktiviert, der die Winkelgeschwindigkeits- und Beschleunigungsmessdaten einer IMU (Inertial Measurement Unit) einbezieht:

• IMU-Präintegration: Innerhalb des Zeitintervalls zwischen zwei Bildframes (typischerweise 33–50 ms, entsprechend 20–30 fps) werden die Winkelgeschwindigkeit ω und die Beschleunigung a der IMU numerisch integriert, um die relative Rotation ΔR, die Geschwindigkeit Δv und die Verschiebung Δp zwischen den Frames zu erhalten. Das Präintegrationsmodell behandelt die IMU-Bias als Optimierungsvariablen im Zustandsvektor und optimiert sie gemeinsam mit dem visuellen Reprojizierungsfehler, wodurch eine vorherige Kalibrierung der IMU-Bias vermieden wird.
• Gemeinsame visuell-inertiale Initialisierung: In der Startphase des SLAM-Systems wird zunächst über 5–15 Frames eine Posenschätzung im rein visuellen Modus durchgeführt, während parallel die IMU-Messwerte zur Schätzung der Gravitationsrichtung, des Beschleunigungssensor-Bias und der Anfangsgeschwindigkeit genutzt werden. Sobald der Ausrichtungsfehler zwischen visuellen und inertialen Daten unter einen Schwellenwert fällt (typischerweise eine Beschleunigungsresidual von <0,5 m/s²), wird in den VI-Modus mit enger Kopplung gewechselt.
• Erhöhte Vibrationsrobustheit: Im VI-Modus liefert die IMU eine hochfrequente Vorhersage der Bewegung zwischen den Frames (Abtastrate der IMU: 200–400 Hz, deutlich höher als die 20–30 fps der Kamera). Wenn Vibrationen zum Fehlschlagen des visuellen Feature-Matchings führen, dient die von der IMU vorhergesagte Pose als starke A-priori-Constraint, die den Suchbereich für Features eingrenzt. Dadurch sinkt die Tracking-Verlustrate von etwa 8 % im rein visuellen Modus auf ungefähr 0,5 % im VI-Modus.

2.3 Kartenverwaltungsstrategie für große Hallenspannweiten

Der große Fahrbereich von Brückenkranen in Werkshallen (Länge 100–300 m) führt zu einem rapiden Anwachsen der Karte in ORB-SLAM3. Nach einer kontinuierlichen Betriebsstunde kann die Anzahl der KeyFrames in der spärlichen Karte 3.000–5.000 erreichen, die Anzahl der MapPoints 150.000–250.000 – dies übersteigt die Echtzeit-Verarbeitungskapazität des Jetson-Edge-Geräts. Um diese technische Engstelle zu beheben, werden die folgenden drei Optimierungsmaßnahmen eingesetzt:

• Beschneidung des Covisibility-Graphen: Überschreitet die Anzahl der KeyFrames in der Karte den oberen Schwellenwert (festgelegt auf 1.000 Frames), wird eine Beschneidungsoperation ausgelöst – es werden redundante KeyFrames entfernt, die weniger als 15 MapPoints mit dem aktuellen Frame gemeinsam haben. Die Beschneidung des Covisibility-Graphen wird alle 50 verarbeiteten Frames ausgelöst und entfernt jeweils etwa 5–10 % der redundanten Frames, wodurch die Kartengröße stabil unter einem Speicherverbrauch von <2 GB gehalten wird.
• Aktive Verwaltung der lokalen Karte: Der Fahrbereich des Brückenkrans wird in Rasterzellen von 50 m × 30 m unterteilt, wobei jede Zelle eine Teilkarte verwaltet. Beim Überqueren einer Zellengrenze wird ein Teilkartenwechsel ausgelöst; nur die Teilkarten der aktuellen Zelle und der 8 benachbarten Zellen werden in den Optimierer für die lokale Bündelausgleichung (BA) geladen. Teilkarten entfernterer Bereiche werden in komprimiertem Format auf dem Datenträger gespeichert und bei Bedarf (z. B. wenn eine Schleifenerkennung mit entfernten KeyFrames übereinstimmt) nachgeladen.
• Inkrementelle Schleifenerkennung: Für jeden neuen KeyFrame wird mithilfe des DBoW2-Bag-of-Words-Modells ein visueller Wortvektor erzeugt und mit historischen KeyFrames abgeglichen. Wird ein Schleifenkandidat erkannt und die geometrische Verifikation besteht, wird eine Posen-Graph-Optimierung (Pose Graph Optimization) anstelle einer globalen BA-Optimierung ausgelöst – die Posen-Graph-Optimierung optimiert nur die Posen der KeyFrames, ohne die MapPoint-Positionen anzupassen. Der Rechenaufwand beträgt etwa 1/10 einer globalen BA und kann eine Optimierung im Umfang von 3.000 Frames innerhalb von 500 ms abschließen.

3. Implementierung des VINS-Mono-Systems zur visuell-inertialen Positionierung

VINS-Mono (Visual-Inertial System – Monocular) ist ein Open-Source-System für visuell-inertiales SLAM, entwickelt vom Team um Shaojie Shen an der Hong Kong University of Science and Technology. Es verwendet eine enge Kopplung einer Monokamera mit einer 6-Achsen-IMU. Im Vergleich zu ORB-SLAM3 bietet VINS-Mono durch sein nichtlineares Optimierungsdesign im gleitenden Fenster Vorteile in der Echtzeitfähigkeit und eignet sich daher besser für die ressourcenbeschränkte Edge-Bereitstellung auf Brückenkranen.

3.1 Angepasste VINS-Mono-Architektur für Brückenkrane

Der vollständige Verarbeitungsablauf von VINS-Mono gliedert sich in vier Module: visuelles Frontend-Tracking, IMU-Präintegration, Optimierung im gleitenden Fenster und Schleifenerkennung. Der Schwerpunkt der Anpassung an das Brückenkranszenario liegt auf der Parametereinstellung und der Kalibrierung der extrinsischen Sensorparameter:

3.2 Kalibrierung der Kamera-IMU-Extrinsik und Zeitsynchronisation

Die Genauigkeit eines visuell-inertialen Fusionssystems hängt maßgeblich von der präzisen Kalibrierung der extrinsischen Parameter (Rotationsmatrix R und Translationsvektor t) sowie des Zeitversatzes t_offset zwischen Kamera und IMU ab. Auf der Edge-Computing-Einheit des Brückenkrans (NVIDIA Jetson Orin NX) wird folgender dreistufiger Kalibrierprozess angewendet:

• Offline-Grobkalibrierung: Im Labor wird die Kamera mithilfe eines Schachbrettmusters intrinsisch kalibriert (fx, fy, cx, cy, k1, k2, p1, p2). Parallel erfolgt die IMU-Kalibrierung nach der Sechs-Lagen-Methode (Beschleunigungssensor-Bias und Skalenfaktor). Anforderungen an die Kalibriergenauigkeit: Kamerarückprojektionsfehler < 0,3 Pixel, Bias-Stabilität des Beschleunigungssensors < 0,1 mg.
• Online-Feinkalibrierung: Nach der Montage der Einheit am Brückenkran wird der Kran entlang der Schiene in einer S-förmigen Bewegungsbahn gefahren. Die integrierte Online-Kalibrierfunktion von VINS-Mono optimiert die extrinsischen Parameter zwischen Kamera und IMU kontinuierlich während des SLAM-Betriebs. Die initialen extrinsischen Werte stammen aus den mechanischen Konstruktionszeichnungen (Genauigkeit ±2 mm / ±0,5°). Nach 1.000 Frames konvergiert die Online-Kalibrierung auf Werte mit einer Genauigkeit von ±0,1 mm / ±0,02°.
• Hardware-Zeitsynchronisation: Die zeitliche Ausrichtung der Zeitstempel von Kamera und IMU ist die grundlegende Voraussetzung für die Gesamtgenauigkeit des Systems. Zum Einsatz kommt ein Hardware-Trigger-Synchronisationsschema: Das 1PPS-Signal (Puls pro Sekunde) des IMU dient als externes Triggersignal für die Kamera, wodurch der Belichtungszeitpunkt der Kamera strikt mit dem Abtastzeitpunkt des IMU übereinstimmt. Falls keine Hardware-Synchronisation verfügbar ist (z. B. bei kostengünstigen USB-Kameras mit separatem IMU), wird ein Software-Zeitstempel-Abgleichalgorithmus verwendet: Die IMU- und Kamera-Nachrichtensequenzen werden jeweils mittels linearer Interpolation bzw. kubischer Spline-Interpolation verarbeitet. Innerhalb eines gleitenden Fensters wird der Zeitversatz t_offset durch Minimierung des visuellen Rückprojektionsfehlers bestimmt. Die Synchronisationsgenauigkeit der Softwarelösung beträgt ±2 ms, die der Hardwarelösung bis zu ±50 μs.

3.3 Vergleichsbewertung der Positioniergenauigkeit

In einer Standard-Werkshalle mit einer Spannweite von 36 m und einer Länge von 120 m wurde VINS-Mono einem Vergleichstest unterzogen. Testbedingungen: Kamera Basler acA2040-25gm (Auflösung 2048×1536, Bildrate 25 fps, Global Shutter), IMU ADIS16470 Tactical-Grade MEMS-IMU (Bias-Stabilität des Beschleunigungssensors 0,1 mg, Winkel-Random-Walk des Gyroskops 0,2°/√h), Edge-Computing-Einheit NVIDIA Jetson Orin NX (Leistungsaufnahme 25 W). Die Referenz-Grundwahrheit wird durch den Laser-Entfernungsmesser Leuze AMS 308i (Genauigkeit ±1 mm) und SICK LMS111-Lidar-SLAM bereitgestellt:

Die Testergebnisse zeigen, dass VINS-Mono im Brückenkran-Szenario die insgesamt beste Leistung erbringt – mit einer Positioniergenauigkeit von ca. ±8 cm, einer Tracking-Verlustrate von nur 0,5 %, einer Inferenzzeit von 42 ms pro Frame (unter der Echtzeitschwelle von 50 ms) und einer stabilen CPU-Auslastung von 55 %. Damit ist es die optimale Lösung für die Edge-Bereitstellung. Der Vorteil von VINS-Mono liegt in seiner Sliding-Window-Optimierung: Es optimiert jeweils nur den Zustand der letzten 15 Frames im Fenster und vermeidet so die Rechenexplosion einer globalen Optimierung.

Fusionspositionierungssystem für Brückenkrane – Multisensor-Design

Die alleinige Bereitstellung von visuellem SLAM weist zwei grundlegende Schwachstellen auf: Erstens kann die visuelle Merkmalsextraktion unter extremen Bedingungen wie Gegenlicht, Staub oder nächtlicher Dunkelheit vollständig versagen. Zweitens ist die Ausgangsfrequenz des visuellen SLAM durch die Kamerabildrate begrenzt (typischerweise 25–30 Hz), was die Echtzeit-Steuerungsanforderungen in Hochgeschwindigkeitsszenarien nicht erfüllt. Daher muss visuelles SLAM in der praktischen Anwendung mit Encodern, Laser-Entfernungsmessern und anderen Sensoren fusioniert werden, um ein redundantes und zuverlässiges Positionierungssystem aufzubauen.

Erweiterter Kalman-Filter als Fusionsframework

Das Herzstück des Fusionspositionierungssystems ist der EKF-Filter (Extended Kalman Filter), der mit einer Frequenz von 25 Hz die Zustandsschätzungen aus vier Sensorquellen fusioniert:

• Visuelles SLAM (VINS-Mono, 25 Hz): Liefert die 3D-Position (x, y, z), die 3D-Orientierung (Roll, Pitch, Yaw) sowie die zugehörige Kovarianzmatrix. In texturreichen Bereichen ist die Konfidenz des visuellen SLAM hoch; bei unzureichender Beleuchtung oder texturarmen Zonen erhöht sich die Kovarianz automatisch.
• Absolutwertgeber (Heidenhain ECN1313, 1 kHz): Liefert eindimensionale Positionsmessungen für Kranbrücke und Laufkatze mit einer Genauigkeit von ±0,1 mm. Der Encoder weist ohne Schlupf eine sehr hohe Konfidenz auf, kann jedoch bei Radschlupf oder Leerlauf akkumulierte Fehler erzeugen.
• Laser-Entfernungsmesser (Leuze AMS 308i, 100 Hz): Liefert eine eindimensionale absolute Positionsmessung in Kranbrückenrichtung mit einer Genauigkeit von ±1 mm. Der Laser-Entfernungsmesser ist bei freier Sicht äußerst präzise, versagt jedoch vollständig, wenn Reflektor oder Reflektorplatte verdeckt sind.
• IMU-Sechsachs-Trägheitsdaten (ADIS16470, 400 Hz): Bieten hochfrequente Bewegungsvorhersagen für die Interpolation zwischen Frames sowie für die Posenbestimmung bei kurzzeitigem Verlust des visuellen Signals.

In der Prädiktionsphase des EKF wird ein Zweirad-Differenzialbewegungsmodell des Brückenkrans verwendet, wobei die Encoder-Geschwindigkeit und die IMU-Winkelgeschwindigkeit als Steuereingaben dienen. In der Aktualisierungsphase werden die Messwerte in der zeitlichen Reihenfolge des Sensoreingangs verarbeitet: Laser-Entfernungsmesser (100 Hz) > Encoder (1 kHz, heruntergetaktet auf 200 Hz) > visuelles SLAM (25 Hz) > IMU-Nullgeschwindigkeitskorrektur (400 Hz Eingabe, jedoch nur für die Bewegungsprädiktion in der Prädiktionsphase). Bei der technischen Umsetzung ist besonders auf die zeitliche Synchronisation der Sensoren zu achten – die Zeitstempel aller Sensoren werden einheitlich in die Master-Clock-Domäne der Kransteuerung umgerechnet (Synchronisation über NTP oder PTP). Das EKF führt bei Eintreffen einer neuen Messung automatisch eine Abfrage des prädizierten Zustands zum entsprechenden Zeitpunkt durch und aktualisiert diesen.

4.2 Sensorausfallerkennung und dynamische Gewichtungssteuerung

Einzelsensoren können in industriellen Umgebungen jederzeit ausfallen. Das Fusionspositionierungssystem muss daher in der Lage sein, Sensorausfälle automatisch zu erkennen und den Betrieb entsprechend zu degradieren. Für jeden Sensor wird ein Gesundheitswert H_i im Bereich [0, 1] geführt, der sich aus den folgenden Kennwerten zusammensetzt:

• Signalqualität: Die Reflexionssignalstärke (RSSI) des Laser-Entfernungsmessers – bei Unterschreiten des Schwellwerts wird die Gewichtung automatisch reduziert; die Anzahl der Tracking-Inlier des visuellen SLAM – bei weniger als 20 Inliern wird die visuelle Konfidenz auf null gesetzt.
• Konsistenzprüfung: Die normalisierten Residuen (Mahalanobis-Distanz) zwischen den Messwerten der einzelnen Sensoren und den EKF-Prädiktionen werden mit einem Schwellwert verglichen. Bei dreimaligem aufeinanderfolgendem Überschreiten wird eine Sensorausfallmarkierung gesetzt.
• Zeitliche Aktualität: Die Differenz zwischen dem Zeitstempel der neuesten Messung und der aktuellen Zeit wird überwacht. Bei Überschreitung der maximal zulässigen Verzögerung (Laser 50 ms, visuell 100 ms, Encoder 10 ms) wird die Gewichtung automatisch reduziert.

Der Gesundheitswert passt die Beobachtungs-Rauschkovarianzmatrix des entsprechenden Sensors im EKF dynamisch an: R_i = R_base / H_i. Sinkt H_i unter 0,1, wird der Sensor vollständig von der EKF-Aktualisierung ausgeschlossen; die Fusion wird mit den verbleibenden Sensoren fortgesetzt. Bei vollständigem Ausfall der visuellen Sensorik (z. B. bei nächtlichen Wartungsarbeiten bei ausgeschalteter Beleuchtung) degradiert das Fusionssystem auf den Drei-Sensor-Modus (Laser + Encoder + IMU) und kann weiterhin eine Positioniergenauigkeit von ±3 mm aufrechterhalten. Nach der Wiederherstellung der visuellen Sensorik stellt der Residuen-Überwachungsmechanismus des EKF die visuelle Gewichtung innerhalb von 3–5 Aktualisierungszyklen (ca. 0,1–0,2 s) wieder auf das normale Niveau ein.

4.3 Vereinheitlichung des Bodenkoordinatensystems und Kartenabgleich

1. Initiale Ausrichtung: Beim ersten Betrieb des Brückenkrans wird die absolute Position (x0, y0) zum Startzeitpunkt über den Laser-Entfernungsmesser und den Encoder erfasst. Parallel dazu liefert das visuelle SLAM die relative Pose (x'_0, y'_0, θ'_0) zu diesem Zeitpunkt. Die homogene Transformationsmatrix T_map_init = T_abs / T_rel wird berechnet, um die initiale Abweichung zu kompensieren.
2. Online-Korrektur: Während des Betriebs werden kontinuierlich gepaarte Daten aus den Posen des visuellen SLAM und den absoluten Posen von Laser/Encoder gesammelt. Über die Methode der kleinsten Quadrate wird die optimale Transformationsmatrix gefittet. Nach einer Reinitialisierung der visuellen Merkmale (z. B. nach Wiederherstellung nach visuellem Verlust) wird die zuletzt gefittete Transformationsmatrix zur Ausrichtung der Koordinatensysteme verwendet, um sprungartige Posenänderungen zu vermeiden, die das Steuerungssystem des Brückenkrans beeinträchtigen könnten.
3. Semantische Landmarken-Verankerung: An ausgewählten festen Positionen in der Werkshalle (z. B. Säulennummern, Positionen von Schienenstößen) werden AprilTag-QR-Code-Etiketten (Kantenlänge 200 mm) angebracht. Erkennt das visuelle SLAM während des Betriebs einen AprilTag, wird die erkannte Tag-ID automatisch mit der vorgespeicherten Hallenkoordinate verknüpft und als absoluter Koordinatenanker zur Korrektur der fortschreitenden Drift verwendet. Die typische Frequenz der AprilTag-Verankerungskorrektur liegt bei einer Auslösung alle 50–100 m Schienenlänge, wobei die Korrekturgröße pro Vorgang <5 cm beträgt.

5. Technische Umsetzung und Leistungsoptimierung

5.1 Hardwareauswahl und Installationskonzept

5.2 Bereitstellungsablauf und kritische Prüfpunkte

1. Kameramontage und Kalibrierung: Die Kamera wird am vorderen Bereich des Katzfahrwerkrahmens montiert, mit einem Neigungswinkel von 15°, um sowohl die nahegelegenen Schienen als auch die Texturmerkmale des entfernten Werkshallendachs zu erfassen. Die Kalibrierung der Kamerainnereien erfolgt mit einem ebenen Schachbrettmuster (12×9 Felder, Feldabstand 30 mm). Die geforderte Rückprojektionsabweichung beträgt <0,3 Pixel. Nach der Kalibrierung wird die Brennweite mit einem Objektiv fester Brennweite arretiert, um ein Lösen der Brennweite durch Vibrationen und eine daraus resultierende Drift der Innenparameter zu verhindern.
2. IMU-Kalibrierung und Temperaturkompensation: Das IMU-Modul wird in eine Temperaturkammer gebracht. Im Bereich von -20 °C bis 70 °C werden in 10-°C-Schritten die Temperaturkurven von Nullpunkt und Skalenfaktor des Beschleunigungssensors und des Gyroskops erfasst. Daraus wird ein Temperaturkompensationsmodell erstellt (segmentweise lineare Interpolation, Kompensationsschrittweite 1 °C). Die Temperaturkompensationskoeffizienten der IMU werden in die Konfigurationsdatei des Edge-Geräts geschrieben. Zur Laufzeit wird anhand der Messwerte des internen Temperatursensors der IMU eine Echtzeit-Kompensation per Tabellenzugriff durchgeführt.
3. Erstellung der Karte für die Schleifenerkennung: Vor dem ersten automatisierten Betrieb des Brückenkrans werden zwei Hin- und Rückfahrten entlang der Schiene mit einer niedrigen Fahrgeschwindigkeit von 0,3 m/s durchgeführt (Kombinationsbewegung von Kranbrücke und Laufkatze), um die initiale Schleifenerkennungskarte der Werkshallenumgebung zu erstellen. Nach Abschluss der initialen Kartenerstellung wird die Kartenabdeckung manuell verifiziert (Prüfung, ob unkartierte Bereiche am Kartenrand mehr als 50 % der Fläche ausmachen) sowie die Qualität der Schleifenbeschränkungen überprüft (Prüfung, ob die mittlere Rückprojektionsabweichung nach der Posenoptimierung <2 Pixel beträgt).
4. Verifikation des Koordinatensystems: Mit Unterstützung eines Tachymeters (Genauigkeit ±1 mm, z. B. Leica TS16) werden die Koordinaten von 10 gleichmäßig in der Werkshalle verteilten Kontrollpunkten eingemessen. Die visuellen Positionen dieser Kontrollpunkte werden in der SLAM-Karte lokalisiert und die Abweichung zu den tatsächlichen Koordinaten berechnet. Liegt die Abweichung im zentralen Hallenbereich bei <8 cm und im Randbereich bei <15 cm, gilt die Koordinatensystemausrichtung als bestanden.
5. Dauerlauftest: Es wird ein 24-stündiger ununterbrochener Positionierungstest durchgeführt. Dabei werden folgende Kennwerte überwacht: maximale Positionsabweichung <15 cm, Anzahl der Tracking-Verluste <3, Ausgabeintervall der EKF-Fusion (Zeit ohne gültige Beobachtung) <200 ms. Wird einer dieser Werte nicht eingehalten, wird zum entsprechenden Schritt zurückgekehrt und die Ursache behoben.

5.3 Optimierung der Leistungsfähigkeit

• GPU-beschleunigte Merkmalsextraktion: Die FAST-Eckenerkennung und die BRIEF-Deskriptorberechnung der ORB-Merkmalsextraktion können auf der GPU des Jetson-Moduls mittels CUDA beschleunigt werden. Dadurch reduziert sich die Extraktionszeit pro Bild von 15 ms auf 3 ms. Für die GPU-Beschleunigung werden die von NVIDIA bereitgestellten Bibliotheken VisionWorks oder VPI (Vision Programming Interface) verwendet.
• Mehrkern-Pipeline-Parallelisierung: Die Frontend-Merkmalsverfolgung von VINS-Mono (CPU-intensiv, gebunden an CPU2-3), die IMU-Präintegration (rechenleicht, gebunden an CPU0) und die Backend-Sliding-Window-Optimierung (speicherintensiv, gebunden an CPU4-5) werden auf drei unabhängige Threads verteilt. So wird die 6-Kern-CPU des Jetson Orin NX für eine Pipeline-Parallelisierung genutzt. Die Gesamtverzögerung zwischen den Bildern (von der Frontend-Bilderfassung bis zur Ausgabe der Sliding-Window-Optimierung) sinkt von 42 ms im seriellen Modus auf 28 ms im Pipeline-Modus.
• Modellquantisierung und INT8-Inferenz: In Szenarien mit starken Beleuchtungsschwankungen (z. B. Tag-Nacht-Wechsel), die zu einer unzureichenden Anzahl von ORB-Merkmalen führen, kann das leichtgewichtige CNN-Merkmalsextraktionsnetzwerk SuperPoint die manuellen ORB-Merkmale ersetzen. Die Gewichte des SuperPoint-Netzwerks werden auf INT8 quantisiert (Genauigkeitsverlust <2 %). Die Inferenz erfolgt mit TensorRT auf der Jetson-GPU. Die Extraktion und Beschreibung pro Bild dauert etwa 8 ms und liefert gleichzeitig 300 hochwertige Eckmerkmale und 256-dimensionale Deskriptoren.

Typische Anwendungsfälle und Ergebnisse

6.1 Posenrückmeldung für die flexible Pendeldämpfung

Die Pendeldämpfung herkömmlicher Brückenkrane basiert auf der direkten Messung des Anschlagmittel-Auslenkwinkels mittels Winkelsensor. Dessen Montage ist jedoch aufwendig und die Wartung komplex. Die von der visuellen SLAM ausgegebene Echtzeit-3D-Pose des Anschlagmittels (Position + Gierwinkel) kann als Posenrückmeldung für den Antischwingregler dienen. Der Regler nutzt die vom SLAM gelieferte Änderungsrate des Gierwinkels, um die Geschwindigkeiten von Kranbrücke und Laufkatze vorausschauend anzupassen (Vorsteuerung) und so das Pendeln der Last zu kompensieren. In einer praktischen Anwendung in einer Feinbearbeitungshalle eines Stahlwerks konnte mit der auf VINS-Mono basierenden Antischwing-Rückmeldung die Restauslenkung der Last nach dem Stopp bei einer Fahrgeschwindigkeit von 1,5 m/s und einer Verfahrstrecke von 25 m von 650 mm (ohne Pendeldämpfung) auf 80 mm reduziert werden. Die Zeit bis zum Abklingen der Schwingung verkürzte sich von 12 s auf 3,5 s.

6.2 Redundante Gesamtpositionierung für den unbemannten Betrieb

In einem automatisierten Lager für Bleche mit einer Spannweite von 30 m und einer Länge von 150 m übernehmen zwei Brückenkrane den unbemannten Ein- und Auslagerungsbetrieb. Das Positionierungssystem ist als redundante Architektur ausgelegt: Als primäres System dienen Laser-Entfernungsmesser in Kombination mit Absolutwertgebern, die visuelle SLAM fungiert als redundante Backup-Lösung. Während eines dreimonatigen Dauerbetriebs betrug der Zeitanteil, in dem die visuelle SLAM nicht verfügbar war, nur 0,3 % (hauptsächlich während nächtlicher Stillstandszeiten und bei extrem hoher Staubkonzentration). In 17 Fällen, in denen der Laser-Entfernungsmesser durch einen davor fahrenden Gabelstapler kurzzeitig ausfiel, übernahm die visuelle SLAM erfolgreich die Positionierungsaufgabe. Der Kranbetrieb wurde durch die Unterbrechung der Positionierung nicht gestoppt.

6.3 Räumliche Verankerung für die Digitaler-Zwilling-Abbildung

Das Digitaler-Zwilling-System eines Brückenkrans muss die Echtzeit-Position und -Orientierung des physischen Krans in eine dreidimensionale virtuelle Szene übertragen. Die von der visuellen SLAM bereitgestellte Pose mit sechs Freiheitsgraden liefert die direkte Koordinateneingabe für diese Abbildung. Sobald die Verankerungskoordinaten der verschiedenen Anlagen im 3D-Werksmodell innerhalb der SLAM-Karte kalibriert sind, beträgt die Synchronisationsverzögerung zwischen der Zwilling-Darstellung und der physischen Bewegung <30 ms, was die Grundanforderungen an die Echtzeitüberwachung erfüllt. Im Vergleich zu herkömmlichen Mapping-Lösungen auf Basis von Encodern und Modellberechnung (die nur die Position, nicht aber Gier- und Nickbewegung abbilden können), ermöglicht die visuelle SLAM-Lösung dem Digitaler-Zwilling-System, auch minimale Bewegungsänderungen des Krans im Betrieb realistisch darzustellen (z. B. die leichte Neigung durch einseitige Lastaufnahme der Laufkatze). Dies bietet dem Wartungspersonal ein realistischeres Fernüberwachungserlebnis.

Häufig gestellte Fragen (FAQ)