Defekterkennung an Brückenkranen mit Few-Shot Learning
Technische Lösung für die Transfer-Learning-basierte Fehlererkennung an Brückenkranen
Basierend auf einem mit ImageNet vortrainierten ResNet-18-Modell wird ein Transfer-Learning-Ansatz zur Klassifizierung von Oberflächendefekten an Kranbauteilen (5 Defektklassen + 1 Normalzustand) angewendet. Verglichen werden drei Strategien bei vier Stichprobengrößen (50/100/300/500): Datenaugmentierung (CutMix + geometrische Transformationen, Genauigkeitssteigerung +4 % bis +7 %), eingefrorener Feature-Extraktor (nur FC-Schicht trainiert, T1=89,5 % @300 Stichproben) und vollständiges Feintuning (alle Schichten trainiert, T1=93,2 % @500 Stichproben). Empfohlener Engineering-Workflow: Datenaugmentierung → eingefrorene FC-Schicht (schnelle Baseline) → vollständiges Feintuning (finale Optimierung). Experimentelle Plattform: PyTorch 2.1.0 + NVIDIA A10, Bewertung gemäß DIN EN ISO 9001:2015.
Ein zentraler Schmerzpunkt in der industriellen visuellen Defekterkennung ist die Knappheit an annotierten Daten – die Defektbilder an Kranbauteilen (Drahtseil, Rad, Schiene, Haken, Bremse) sind vielfältig (Riss, Verschleiß, Lochfraß, Verformung, Bruch), und das Sammeln von mehreren hundert annotierten Mustern pro Defektklasse dauert Wochen. Few-Shot-Learning und Transfer-Learning nutzen vortrainierte visuelle Modelle aus großen generischen Datensätzen (z. B. ImageNet mit 14 Millionen Bildern) und übertragen dieses Wissen auf Aufgaben mit knappen Zieldaten wie der industriellen Defekterkennung. Dieser Artikel betrachtet die Erkennung von fünf häufigen Oberflächendefekten an Kranbauteilen (Drahtseilbruch, Radlaufflächenverschleiß, Schienenriss, Hakendeformation, Bremsbelagriss) als Anwendungsszenario und vergleicht systematisch die Effektivität verschiedener Transfer-Strategien bei Stichprobengrößen von 50 bis 500.
Versuchsaufbau und Datensatz für die Kran-Defekterkennung
Datensatz: Bilddatensatz mit Oberflächendefekten an Kranbauteilen (interne Annotation von Kelude, erfasst 2024, aufgenommen mit Industriekamera Basler acA2440-75um + LED-Ringlicht). Insgesamt 1.875 Bilder, 6 Klassen (normal + 5 Defektarten), aufgeteilt in 4 Experimentierstufen (50/100/300/500 Bilder/Klasse, der Rest für Validierung/Test). Einheitliche Vorverarbeitung: Resize 224×224, Normalisierung mit Mittelwert [0.485,0.456,0.406] und Standardabweichung [0.229,0.224,0.225] (ImageNet-Standard). Basismodell: ResNet-18 (ImageNet-vortrainiert, 11,7 Millionen Parameter). Bewertungsmetriken: Top-1-Genauigkeit (Hauptmetrik), F1-Score.
Datenaugmentierung zur Verbesserung der Defekterkennung
Datenaugmentierung ist die grundlegendste und effektivste Strategie im Few-Shot-Szenario. Dieses Experiment kombiniert drei Arten von Augmentierungsmethoden: ① Geometrische Transformationen – zufällige Drehung (±15°), horizontales Spiegeln (Wahrscheinlichkeit 0,5), zufällige Verschiebung (±10 %), zufällige Skalierung (0,8~1,2-fach), zufälliges Zuschneiden (0,08~1,0); ② Photometrische Transformationen – Helligkeitsanpassung (±20 %), Kontrastanpassung (±15 %), Sättigungsanpassung (±15 %), Farbton-Jitter (±0,1), Gaußsches Rauschen (σ=0,01); ③ Fortgeschrittene Augmentierung – Random Erasing (p=0,5, max_area=0,2), CutMix (zufälliges Mischen eines anderen Bildes, α=1,0). Der Augmentierungsfaktor wird zwischen 5 und 20 gehalten.
Vergleich der Transferstrategien
| Transferstrategie | 50Stichprobe | 100Stichprobe | 300Stichprobe | 500Stichprobe | Trainingszeit | Overfitting-Risiko |
|---|---|---|---|---|---|---|
| EinfrierenFC+Anreicherung | 68.5% | 77.2% | 89.5% | 91.3% | ＜5min | niedrig |
| vollständiges Feintuning+Anreicherung | 70.1% | 80.8% | 91.7% | 93.2% | ~35min | mittel |
| EinfrierenFC(ohne Anreicherung) | 62.3% | 71.5% | 85.2% | 88.6% | ＜3min | niedrig |
| vollständiges Feintuning(ohne Anreicherung) | 64.8% | 74.6% | 87.1% | 90.3% | ~30min | mittel-hoch |
Ein Training von Grund auf (ohne vortrainierte Gewichte) erreicht bei 50 Stichproben lediglich eine T1 von 41,8 % – deutlich unter jeder Transferstrategie. Datenaugmentierung zeigt bei geringen Stichprobenzahlen (50/100) die größte Verbesserung (+5–6 %), wobei der Gewinn mit zunehmender Stichprobenzahl abnimmt (300 Stichproben: +4,3 %, 500 Stichproben: +2,9 %). Ab 300 annotierten Bildern erreicht die Frozen-FC-Strategie bereits eine T1 von ca. 90 %, was die Anforderungen der meisten industriellen Bereitstellungen erfüllt. Im 500-Stichproben-Szenario erzielt das vollständige Feintuning eine T1 von 93,2 % und nähert sich damit der Obergrenze des überwachten Lernens.
Empfohlener Ablauf für die industrielle Umsetzung
Basierend auf den oben genannten Experimenten empfiehlt sich folgender Ablauf: Schritt 1 (Basislinie etablieren) – Einsatz der Frozen-FC-Strategie mit grundlegender Datenaugmentierung (Drehung, Spiegelung, Helligkeit, Rauschen) und 100–300 annotierten Stichproben, um schnell ein Basismodell (T1 ≈ 90 %) aufzubauen. Schritt 2 (Augmentierung optimieren) – Schrittweise Integration fortschrittlicher Augmentierungsstrategien wie CutMix, wobei beobachtet wird, ob die Genauigkeit auf dem Validierungssatz kontinuierlich steigt. Schritt 3 (Vollständiges Feintuning) – Sobald die Basisgenauigkeit stabil ist, werden alle Schichten für ein vollständiges Feintuning freigegeben (Lernrate um den Faktor 10 auf 0,0001 reduziert), was in der Regel eine weitere Verbesserung von 1–2 % ermöglicht. Schritt 4 (Bereitstellung) – Export im ONNX-Format, Quantisierung mit TensorRT INT8 und anschließende Bereitstellung auf dem Jetson Orin NX (Inferenzlatenz ca. 1,2 ms/Bild). Der gesamte Prozess kann innerhalb von 1–2 Tagen abgeschlossen werden.
Häufig gestellte Fragen zur Fehlererkennung
F: Warum wird beim Transferlernen für die Fehlererkennung am Brückenkran nicht direkt ein größeres Modell wie ResNet-50/101 verwendet?
A: ResNet-18 ist in industriellen Szenarien oft die bessere Wahl, aus folgenden Gründen: ① Die Fehlererkennung am Brückenkran ist eine feinkörnige Klassifikationsaufgabe – zu tiefe Schichten führen zu übermäßig abstrakten Merkmalen, die für lokale Texturmerkmale nachteilig sind. ② Industrielle Fehlerdatensätze sind deutlich kleiner als natürliche Bilddatensätze; die 11,7 Millionen Parameter von ResNet-18 sind völlig ausreichend. ③ Die Inferenzlatenz von ResNet-18 beträgt nur ca. 60 % der von ResNet-50 (1,2 ms vs. 2,0 ms auf Jetson Orin NX). Größere Modelle zeigen erst bei Datenmengen ab 5.000 Bildern pro Klasse signifikante Vorteile.
F: Welche Methode eignet sich besser für die industrielle Fehlererkennung – CutMix oder MixUp?
A: CutMix ist die bessere Wahl. MixUp ist eine pixelweise lineare Mischung (Bildüberlagerung), die in industriellen Bildern unnatürliche „Geisterbilder“ (halbtransparente Fehlerüberlagerungen) erzeugt und die Empfindlichkeit des Modells für Fehlerkanten verringert. CutMix hingegen ist eine regionale Verkettung (Zuschneiden eines rechteckigen Bereichs aus einem Bild und Einfügen in ein anderes), wodurch die Integrität einzelner Fehler erhalten bleibt. In diesem Experiment erzielte CutMix einen um ca. 2,3 % höheren F1-Wert als MixUp (im 300-Stichproben-Szenario).
F: Müssen für verschiedene Kranbauteile (Drahtseil, Laufrad, Schiene, Haken) separate Modelle trainiert werden?
A: Es wird empfohlen, für jeden Bauteiltyp ein separates 6-Klassen-Klassifikationsmodell (5 Fehlerklassen + 1 Normalzustand) zu trainieren, anstatt ein einheitliches Modell für mehrere Bauteile und Fehlerarten zu verwenden. Der Grund: Die Hintergrundtexturen, Lichtverhältnisse und Fehlerformen unterscheiden sich stark zwischen den Bauteilen; ein einheitliches Modell würde deutlich größere Datenmengen und Modellkapazitäten erfordern. Die 6-Klassen-Modelle (jeweils 50–300 Bilder pro Klasse) können mit der Frozen-FC-Strategie innerhalb von 30 Minuten trainiert werden. Bei der Bereitstellung werden die 6 ONNX-Modelle als Microservices containerisiert verwaltet.
F: Wie viel Speicherplatz benötigt das Transferlernmodell bei der Bereitstellung auf dem Jetson-Edge-Gerät?
A: FP32 ResNet-18 benötigt ca. 45 MB, nach TensorRT-INT8-Quantisierung ca. 12 MB. Sechs Bauteilmodelle (6 × 12 MB = 72 MB) plus Inferenz-Engine (ca. 200 MB) plus Konfigurationsdateien ergeben insgesamt weniger als 300 MB. Die Jetson-Orin-NX-16GB-Version kann problemlos 20+ Modelle bereitstellen. Die Inferenzlatenz für ein einzelnes Modell beträgt ca. 1,2 ms (INT8, batch=1), die kaskadierte Inferenz über 6 Modelle liegt unter 8 ms.
