KI-Zuverlässigkeit bei der Kranprüfung: Testen und Abnahme
📋 Kernzusammenfassung
Wie lässt sich die Zuverlässigkeit eines KI-Modells vor dem Einsatz nachweisen? Diese Frage bereitet vielen Herstellern Kopfzerbrechen. Entscheidend sind drei Bausteine: die Bewertung anhand eines Testsatzes, Robustheitstests und Generalisierungstests – ergänzt durch dokumentierte Messdaten zu harten Kennwerten wie Genauigkeit, Recall-Rate und Fehlalarmrate. Dieser Beitrag erläutert, was bei der Abnahme von KI-Inspektionsmodellen geprüft werden muss, wie die Prüfung abläuft, welche Kennwerte relevant sind und wo die häufigsten Abnahmefehler liegen.
📌 Einordnung der Abnahmekennwerte für KI-Inspektion
Genauigkeit: Anteil der korrekt klassifizierten Fälle – bei seltenen Fehlern jedoch schnell irreführend hoch.
Recall-Rate: Anteil der tatsächlich erkannten echten Fehler – der wichtigste Kennwert in Sicherheitsanwendungen, denn ein verpasster Alarm hat die höchsten Kosten.
Fehlalarmrate: Anteil der normalen Proben, die fälschlich als anomal eingestuft werden – zu viele Fehlalarme untergraben das Vertrauen in das System.
Der häufigste Fehler bei der Abnahme eines KI-Inspektionssystems ist, sich allein auf die Demo zu verlassen. Der Lieferant führt einige sorgfältig ausgewählte Muster vor, alles sieht korrekt aus, und die Abnahme wird unterschrieben. Doch im realen Betrieb treten sofort Fehlalarme und verpasste Alarme auf.
Die Zuverlässigkeit eines KI-Modells lässt sich nicht durch eine Vorführung belegen, sondern nur durch einen sauberen Testsatz, Robustheits- und Generalisierungstests sowie dokumentierte Messdaten zu den harten Kennwerten. Im Folgenden wird das Vorgehen im Detail erläutert.
Was bei der KI-Inspektionsabnahme zu prüfen ist: Testsatz, Robustheit, Generalisierung
Die Abnahme eines KI-Modells vor dem Einsatz konzentriert sich auf drei Kernpunkte.
Erstens: die Bewertung anhand eines Testsatzes. Ein Teil der annotierten Daten wird von der Schulung ausgeschlossen und ausschließlich für den Test des Modells verwendet. ISO 24621 „KI-Fehlerdiagnose für Krane“ liefert den Rahmen für die Abnahme von Diagnosemodellen. Wie sich das Modell auf diesen unbekannten Daten schlägt, ist der aussagekräftige Indikator für seine tatsächliche Leistungsfähigkeit.
Zweitens: der Robustheitstest. Hierbei werden gezielt Störungen auf die Eingaben gegeben – etwa Bildrauschen, wechselnde Lichtverhältnisse oder leichte Verdeckungen – um zu prüfen, ob das Modell unter diesen Bedingungen stabil bleibt. In der komplexen industriellen Umgebung führt ein mangelhaft robustes Modell direkt zum Scheitern im Praxiseinsatz.
Drittens: der Generalisierungstest. Getestet wird mit Betriebsdaten außerhalb des Trainingssatzes, beispielsweise bei anderen Lastmaterialien oder abweichenden Arbeitszeiten, um festzustellen, ob sich das Modell auf unbekannte Betriebsbedingungen einstellt. Die Generalisierungsfähigkeit entscheidet darüber, ob das Modell langfristig einsatztauglich ist.
Prüfverfahren: Hold-out-Satz, Kreuzvalidierung und A/B-Vergleich
Die Prüfverfahren müssen sauber definiert sein, sonst sind die ermittelten Kennwerte nicht belastbar.
Der Hold-out-Satz ist das grundlegende Verfahren. Die Daten werden in Trainingssatz und Testsatz aufgeteilt: Das Training nutzt ausschließlich den Trainingssatz, der Test ausschließlich den Testsatz. Beide Sätze werden strikt getrennt, um zu verhindern, dass das Modell die Testdaten „einsieht“ und die Kennwerte dadurch künstlich aufgebläht werden.
Die Kreuzvalidierung ist anspruchsvoller. Die Daten werden in mehrere Teile zerlegt; abwechselnd dient ein Teil als Testsatz, der Rest als Trainingssatz. Der Durchschnitt der Ergebnisse liefert eine stabilere Schätzung der tatsächlichen Modellgüte – geeignet vor allem bei begrenzten Datenmengen.
Der A/B-Vergleich ist die letzte Hürde vor dem Einsatz. Das neue Modell wird unter identischen Aufgaben mit dem alten Modell oder mit menschlicher Prüfung verglichen – wer liefert die besseren Ergebnisse? Entscheidend sind die realen Resultate. Kelude Schwerindustrie setzt bei der Abnahme konsequent auf die Hold-out-Bewertung als Basis und ergänzt sie in kritischen Szenarien um A/B-Vergleiche.
Relevante Kennwerte: Genauigkeit, Recall-Rate, Fehlalarmrate
Bei der Abnahme der KI-Inspektion darf nicht nur die Genauigkeit betrachtet werden – mehrere Kennwerte müssen gemeinsam bewertet werden.
Die Genauigkeit gibt den Anteil aller korrekt klassifizierten Fälle an. Sie hat jedoch eine Tücke: Sind Fehler selten, erzielt ein Modell, das alle Proben als normal einstuft, ebenfalls eine hohe Genauigkeit. Daher darf die Genauigkeit nie als alleiniges Abnahmekriterium dienen.
Die Recall-Rate zeigt, wie viele der tatsächlichen Fehler erkannt werden. Dies ist der entscheidende Kennwert in Sicherheitsanwendungen, denn ein verpasster Alarm hat die höchsten Kosten – eine niedrige Recall-Rate bedeutet, dass echte Fehler übersehen werden.
Die Fehlalarmrate gibt an, wie viele normale Proben fälschlich als anomal eingestuft werden. Zu viele Fehlalarme erschöpfen das Vertrauen des Wartungspersonals, bis schließlich jeder Alarm ignoriert wird. Bei der Abnahme müssen Genauigkeit, Recall-Rate und Fehlalarmrate gemeinsam betrachtet werden, wobei Recall-Rate und Fehlalarmrate je nach Einsatzszenario gewichtet werden. Kelude Schwerindustrie behandelt die Recall-Rate bei Abnahmen im Bereich Sicherheitsüberwachung als harte Mindestanforderung.
Die häufigsten Abnahmefehler
Erster Fehler: Der Testsatz weicht von der realen Datenverteilung ab. Werden nur sorgfältig bereinigte Daten getestet, sehen die Kennwerte hervorragend aus – doch unter realen Betriebsbedingungen bricht das System zusammen. Der Testsatz muss den tatsächlichen Betriebsdaten so nah wie möglich kommen.
Zweiter Fehler: Es wird nur ein einzelner Kennwert betrachtet. Wer ausschließlich die Genauigkeit prüft und Recall-Rate sowie Fehlalarmrate ignoriert, übersieht den in Sicherheitsanwendungen kritischsten Wert – die Abnahme wird zur Farce.
Dritter Fehler: Fehlende Dokumentation. Ohne dokumentierte Messdaten der Abnahmeergebnisse lässt sich im Fehlerfall nicht nachvollziehen, auf welcher Prüfgrundlage die Abnahme beruhte. GB/T 28264-2017 „Sicherheitsüberwachungs- und Managementsystem für Hebezeuge“ stellt ausdrückliche Anforderungen an die lückenlose Rückverfolgbarkeit. Kelude Schwerindustrie dokumentiert Testsatz, Kennwerte und Ergebnisse vollständig – als verbindliche Grundlage für Lieferung und Rückverfolgung.
Abnahmekennwerte der KI-Inspektion im Überblick
| AbnahmePunkt | Messgegenstand | Verfahren | KernpunktKennwert | ÜblichFehler |
|---|---|---|---|---|
| TestsatzBewertung | Verhalten auf unbekannten Daten | Hold-out-DatensatzKreuzvalidierung | Genauigkeit | TestsatzVerunreinigt |
| RobustheitTesten | Störungsresistenz | HinzufügenGeräuschLichtabschattung | Robustheit | Nur Idealdaten testen |
| GeneralisierungTesten | NeuBetriebsbedingungenNichtVersagen | QuerBetriebsbedingungenDatentest | Generalisierungsfähigkeit | Nur EinzeltestBetriebsbedingungen |
| Sicherheitskennwerte | FehlerVollständigkeit | Recall-RatePraxistest | Recall-RateFehlalarmrate | Nur Genauigkeitsbetrachtung |
Schnellreferenz der Normenklauseln für KI-Inspektion und Abnahme
| Norm | Klauselkernpunkte | undAbnahmeZusammenhang |
|---|---|---|
| ISO 24621 | KranKI-FehlerdiagnoseRahmenwerk | DiagnosemodellAbnahmeGrundlage |
| GB/T 28264 — Sicherheitsüberwachungs- und Managementsystem | SicherheitsüberwachungNachvollziehbarkeitAnforderungen | AbnahmeErgebnisdokumentationRückverfolgbarkeit |
| ISO 4310 | Kranprüfvorschrift | ErkennungFunktionstestAblauf |
Häufige Fragen zur Abnahme von KI-Inspektionssystemen
F: Worin unterscheidet sich die Abnahme eines KI-Inspektionssystems von der herkömmlichen Geräteabnahme?
A: Bei der herkömmlichen Abnahme werden mechanische und elektrische Funktionen geprüft, bei der Abnahme eines KI-Inspektionssystems kommt die Bewertung der Modellleistung anhand von Daten hinzu. Der entscheidende Unterschied: Die Zuverlässigkeit eines KI-Modells lässt sich nicht durch eine Vorführung belegen, sondern nur durch die Auswertung von Testsatz, Robustheit und Generalisierungsfähigkeit sowie durch die Messung von Genauigkeit, Recall-Rate und Fehlalarmrate. Zudem besteht bei KI-Modellen ein Driftrisiko – die Abnahme ist daher keine einmalige Angelegenheit, sondern erfordert eine kontinuierliche Überwachung nach der Inbetriebnahme.
F: Welcher Kennwert ist bei der Abnahme eines KI-Inspektionssystems am wichtigsten?
A: Bei sicherheitsrelevanten Überwachungsanwendungen steht die Recall-Rate im Mittelpunkt, da sie misst, ob reale Fehler übersehen werden – ein verpasster Alarm hat hier die höchsten Kosten. Eine niedrige Recall-Rate bedeutet, dass Fehler nicht erkannt werden, was ein erhebliches Sicherheitsrisiko darstellt. Bei assistiven Hinweissystemen kann ein ausgewogenes Verhältnis zwischen Recall-Rate und Fehlalarmrate angestrebt werden. In keinem Fall sollte man sich jedoch ausschließlich auf die Genauigkeit verlassen: Bei selten auftretenden Fehlern kann sie trügerisch hoch ausfallen und verpasste Alarme kaschieren.
F: Wie muss ein Testsatz beschaffen sein, um als tauglich zu gelten?
A: Drei Anforderungen sind entscheidend: Der Testsatz muss der realen Datenverteilung entsprechen, strikt vom Trainingssatz getrennt sein und die Vielfalt der tatsächlichen Betriebsbedingungen abdecken. Er sollte möglichst nah an den realen Betriebsdaten nach der Inbetriebnahme liegen – keine sorgfältig ausgewählten, sauberen Stichproben. Eine Vermischung mit dem Trainingssatz ist zu vermeiden, da dies die Kennwerte künstlich aufbläht. Unterschiedliche Lichtverhältnisse, Betriebsbedingungen und Fehlertypen müssen abgedeckt sein, um die Generalisierungsfähigkeit verlässlich zu bewerten. Ein unzureichender Testsatz macht die gesamte Abnahme wertlos.
Ein Praxisbeispiel für die Zertifizierung von KI-Inspektionssystemen findet sich in „KI-basiertes visuelles Inspektionssystem für Brückenkrane besteht Zertifizierung durch nationale Prüfstelle – alle Prüfparameter auf Anhieb bestanden".
Die Zuverlässigkeit eines KI-Modells wird durch gemessene Kennwerte belegt, nicht durch Vorführungen. Kelude Schwerindustrie macht die Auswertung des Testsatzes, Robustheit, Generalisierungsfähigkeit sowie die dokumentierte Messung von Recall-Rate und Fehlalarmrate zum Standardbestandteil der Abnahme – so hält die KI-Inspektion bereits vor der Inbetriebnahme einer Überprüfung stand.
