KI-Fehlerdiagnose für Krane: Schutz vor Halluzinationen
📋 Kernzusammenfassung
Beim Einsatz großer Sprachmodelle im Kranbetrieb ist nicht die Genauigkeit die größte Herausforderung, sondern die Halluzination – das Modell erfindet mit größter Selbstverständlichkeit nicht existierende Vorschriften, Reparaturschritte und Diagnosedaten. Dieser Artikel behandelt nicht das Modell selbst, sondern fünf vertrauenswürdige Verteidigungslinien auf der Anwendungsebene: retrieval-gestützte Generierung, die Antworten erst nach Prüfung erzeugt; eine Wissensdatenbank, die Ausgaben auf verifizierte Inhalte begrenzt; Grenzregeln, die KI von risikoreichen Aktionen wie der Freigabe nach Stillstand ausschließen; manuelle Überprüfung als Absicherung für Kernergebnisse; und lückenlose Protokollierung, die jede Empfehlung rückverfolgbar macht. Diese fünf Linien bilden eine Verteidigung in der Tiefe, keine alternativen Optionen – jede einzelne kann durchbrochen werden, erst die Kombination hält Halluzinationen von Entscheidungen fern. Die Reihenfolge der Umsetzung: Zuerst Protokollierung und Grenzregeln – geringste Kosten, schnellster Nutzen.
Wenn große Sprachmodelle in den Kranbetrieb eingeführt werden, ist die erste Reaktion vieler Teams nicht Begeisterung, sondern Sorge: Was, wenn das Modell einen nicht existierenden Reparaturschritt erfindet und der Wartungstechniker ihn befolgt? Diese Sorge ist rational, aber die Schlussfolgerung sollte nicht „KI abschalten" lauten, sondern „ihr vertrauenswürdige Verteidigungslinien geben".
Die schlechte Nachricht: Halluzination ist eine inhärente Eigenschaft generativer Modelle und lässt sich nicht an der Wurzel eliminieren – das Modell sagt im Kern das nächste Wort voraus, statt Fakten zu verifizieren. Wenn eine Frage außerhalb der Trainingsabdeckung liegt und externe Einschränkungen fehlen, ergänzt das Modell die Lücke mit der plausibelsten Formulierung – flüssig und überzeugend, aber völlig falsch.
Die gute Nachricht: Ob Halluzinationen Schaden anrichten können, liegt in der Hand der Systemarchitekten. Ein Modell, das halluziniert, kann im Wartungsbetrieb sicher arbeiten, solange es durch die richtigen Verteidigungslinien eingeschränkt wird. Genau darum geht es in diesem Artikel – nicht darum, ein „ehrliches Modell" zu trainieren, sondern ein System zu entwerfen, das „Halluzinationen verkraftet". Kelude hat diese Verteidigungslinien in mehreren Wartungsprojekten zum Standard gemacht.
Retrieval-gestützte Generierung: Die erste Verteidigungslinie gegen Halluzinationen
Unter den fünf Verteidigungslinien wird die retrieval-gestützte Generierung am häufigsten diskutiert, weil sie die Antwortweise des Modells grundlegend verändert: Das Modell „erinnert" sich nicht mehr an Antworten, sondern durchsucht zuerst eine vertrauenswürdige Wissensdatenbank nach relevanten Vorschriften und generiert die Antwort auf Basis der gefundenen Originaltexte.
Dieser Schritt wirkt simpel, stoppt aber die gefährlichste Art von Halluzinationen – das Erfinden von Vorschriften. Ohne Retrieval-Einschränkung ergänzt das Modell aus dem Sprachfluss heraus Formulierungen wie „Absatz X der Norm Y besagt Folgendes" – und diese Vorschriften existieren oft schlicht nicht. Als Kelude die retrieval-gestützte Generierung in die Wissensdatenbank für den Kranbetrieb integrierte, wurden die Wartungsanforderungen aus ISO 24620:2022 „Spezifikation für intelligenten Betrieb und Wartung von Kränen" sowie die Bestimmungen zur Rückverfolgbarkeit von Diagnoseergebnissen aus ISO 24621:2022 „KI-Fehlerdiagnose für Krane" vollständig strukturiert in die Datenbank aufgenommen. So kann das Modell ausschließlich auf real existierende Texte verweisen – der Raum für freie Erfindungen wird an der Quelle begrenzt.
Die eigentliche Herausforderung liegt darin, dass die Wirkung der retrieval-gestützten Generierung stark von der Qualität der Wissensdatenbank abhängt. Enthält die Datenbank fehlerhafte Inhalte, ist das „Faktum", das abgerufen wird, bereits vergiftet – das Modell reproduziert den Fehler mit größter Überzeugung. Retrieval-gestützte Generierung ist also kein Selbstläufer mit einer Vektordatenbank, sondern erfordert eine begleitende Governance der Wissensdatenbank.
Fünf Verteidigungslinien im Quervergleich: Halluzinationstypen, Kosten und Reifegrad
Die fünf Verteidigungslinien sind keine fünf Formulierungen für dieselbe Sache – sie unterscheiden sich in den Halluzinationstypen, die sie abfangen, in den Implementierungskosten und im Reifegrad der Umsetzung. Erst wenn diese Unterschiede klar sind, lässt sich entscheiden, welche Linie zuerst eingeführt und wie kombiniert wird. Die folgende Tabelle stellt die fünf Kernlinien und zwei ergänzende Maßnahmen gegenüber – als Grundlage für die Auswahl.
| Schutzlinie | Art der Halluzinationsabwehr | Technisches Prinzip | Implementierungskosten | Reifegrad der Umsetzung | Anwendungsbereich |
|---|---|---|---|---|---|
| retrieval-gestützte Generierung（RAG） | Erfundene Klauseln、Fabrizierte Daten | Erst abrufenWissensdatenbank，Dann basierend auf dem Originaltext generieren | Mittel | Relativ ausgereift | Frage-Antwort、DiagnoseUnterstützung |
| WissensdatenbankEinschränkung | Grenzüberschreitende Ausgabe、Fehlerhafte Zitierung | Generierungsbereich auf verifizierte Inhalte begrenzen | Mittel | Relativ ausgereift | VolltextAbdeckung |
| Grenzbegrenzung | Kompetenzüberschreitende Entscheidung、Eigenmächtiger Betrieb | Entzug risikoreicher Aktionen auf Berechtigungsebene | Niedrig | Relativ ausgereift | Stillstand、Freigabe、ParameterÄnderung |
| manuelle Überprüfung | Letzte Absicherung für alle Typen | KernergebnisseManuelle Unterschriftsbestätigung | Mittel | Relativ ausgereift | Hochrisiko-Schlussfolgerung |
| Nachvollziehbare Prüfung | Nicht zurückverfolgbarer Fehler | Kontext protokollieren、Grundlage、Zeitstempel | Niedrig | Relativ ausgereift | Gesamtprozess |
| Grenzüberschreitende AusgabeVerifizierung（Ergänzung） | Regelbasierter Fehler | Filterung anomaler Ausgaben durch Regel-Engine | Mittel | Relativ ausgereift | Zahlenwert、Format、Bereich |
| ModellFeinabstimmungAbgleich（Ergänzung） | SystematischAbweichung | Fehlerhafte Zitierungannotierte DatenFeinabstimmungPräferenz | Hoch | Frühphase | BasisModelloptimierung |
Oberflächlich betrachtet wirkt es paradox: Viele halten die „manuelle Überprüfung" für die primitivste Methode, dabei ist sie in Wirklichkeit die ausgereifteste Verteidigungslinie und der letzte Rettungsanker für Hochrisikoszenarien. Bei der Auswahl sollte man sich nicht von der vermeintlich „hightech" anmutenden retrieval-gestützten Generierung blenden lassen. Die Entscheidung, welche Maßnahme zuerst implementiert wird, hängt vom Abfangziel und den Kosten ab – nicht davon, wie modern der Name klingt.
Prioritätenreihenfolge: Erst Protokollierung und Auditierung, dann Zugriffsbeschränkungen, zuletzt retrieval-gestützte Generierung
Wenn Budget und Personal begrenzt sind, in welcher Reihenfolge sollten die Verteidigungslinien aufgebaut werden? Die Praxiserfahrung von Kelude Schwerindustrie zeigt: Zuerst Protokollierung und Auditierung sowie Zugriffsbeschränkungen, dann retrieval-gestützte Generierung und Wissensdatenbank-Pflege, und erst am Ende die Feinjustierung der Ausgabeverifizierung.
Die Begründung liegt auf der Hand. Protokollierung und Auditierung verursachen nahezu keine zusätzlichen Kosten auf Modellebene. Solange Kontext, Referenzquellen und Zeitstempel jeder Abfrage gespeichert werden, lässt sich jederzeit nachvollziehen, wie eine Empfehlung zustande kam – das ist die Grundlage für spätere Verantwortungszuweisung und kontinuierliche Optimierung. Gleiches gilt für Zugriffsbeschränkungen: Hochriskante Aktionen wie Stillstand, Freigabe oder Parameteränderungen werden auf Berechtigungsebene aus dem Zuständigkeitsbereich der KI herausgelöst und qualifiziertem Personal übertragen – geringer Aufwand, schnelle Wirkung.
Bei der Umsetzung müssen zudem die verbindlichen Anforderungen der Sicherheitsseite als Maßstab gelten; die KI ist in die bestehenden Strukturen von Überwachung und Kontrolle einzupassen. Die GB/T 28264 — Sicherheitsüberwachungs- und Managementsystem für Hebezeuge verlangt die Rückverfolgbarkeit kritischer Aktionen, während die Vorschrift TSG 51-2023 — Sicherheitstechnische Überwachungsvorschrift für Hebezeuge die Hauptverantwortung für die Sicherheit dem Betreiber zuweist – diese beiden Regelwerke legen gemeinsam fest, dass die KI ausschließlich als Berater fungieren darf, nicht als Entscheider.
Konfliktvergleich: KI-Ausgaben vs. verbindliche Sicherheitsanforderungen
| Konfliktszenario | AISeitliche Tendenz | Strikte SicherheitsseiteAnforderungen | Empfohlene Ingenieurspraxis |
|---|---|---|---|
| AIGrenzüberschreitende Ausgabe"EmpfehlungSofortiger Stillstand" | Modell tendiert zu entschlossenen Schlussfolgerungen | Stillstandsentscheidung muss durch zertifiziertes Personal bestätigt werden | Grenzbegrenzung：AINur angebenEmpfehlung，Aktion manuell ausführen und protokollieren |
| AIFehlerhafte Zitierung"BestimmteNormArtikelXAbsatz" | Modell kann nicht existierende Klauseln erfinden | Basierend auf tatsächlichemNormText als maßgeblich | retrieval-gestützte Generierung：Klauseln müssen ausWissensdatenbankOriginaltext abrufen |
| AIAngeben"Weiterbetrieb möglich" | Modell kann Gefahren übersehen | Umsetzung der Sicherheitsverantwortung | manuelle Überprüfung：Freigabeentscheidung muss manuell bestätigt und unterschrieben werden |
| AIAlarmprotokoll | Ausgabe möglicherweise nicht zurückverfolgbar | ÜberwachungDaten müssenrückverfolgbar | Nachvollziehbare Prüfung：Jeder EintragEmpfehlungKontext speichern undZeitstempel |
Normen beschreiben den Idealfall – aber in der Werkstatt gibt es keinen Idealfall. Große Sprachmodelle liefern standardmäßig oft „nur Ergebnisse ohne Begründung", während Sicherheitsüberwachung und Prüfpflichten Rückverfolgbarkeit verlangen. Diese beiden Anforderungen kollidieren zwangsläufig. Die ingenieurtechnische Lösung besteht darin, das Ausgabeformat der KI an die bestehenden Dokumentations- und Verantwortungsstrukturen anzupassen – nicht umgekehrt die Regeln zu ändern, um das Modell zu bedienen.
Vier häufige Compliance-Irrtümer: Die gefährlichste Annahme ist, KI-Empfehlungen mit KI-Entscheidungen gleichzusetzen
Der gravierendste Irrtum: „Die KI hat eine Empfehlung gegeben" wird verwechselt mit „Die KI kann Entscheidungen treffen". Egal wie selbstbewusst ein großes Sprachmodell auftritt – es ändert nichts daran, dass ihm die faktische Verbindlichkeit fehlt. Entscheidungen über Stillstand oder Freigabe müssen zwingend bei befugtem Personal liegen. Die KI liefert lediglich Referenzen und Begründungen; Bewertung und Ausführung bleiben immer beim Menschen.
Der zweite häufige Fehlschluss: Man glaubt, der Anschluss eines großen Sprachmodells sei gleichbedeutend mit intelligentem Betrieb und Wartung. Das Gegenteil ist der Fall – ohne Wissensdatenbank-Anbindung, Audit-Trail und definierte Grenzen verstärkt ein großes Sprachmodell sogar das Risiko, weil es Fehler überzeugender formulieren kann als jeder Mensch.
Eine weitere, weniger offensichtliche Falle: Öffentlich zugängliche Internetinhalte werden direkt als autoritative Wissensdatenbank verwendet. Öffentliche Seiten enthalten massenhaft veraltete, fehlerhafte oder sogar widersprüchliche Informationen. Wenn retrieval-gestützte Generierung auf einer solchen Basis aufbaut, öffnet das der Halluzination Tür und Tor – die „Fakten", die abgerufen werden, sind bereits kontaminiert.
Die letzte Fehlstelle liegt in der Testphase: Es werden nur Normaldaten geprüft. Wenn Ausgabevalidierungsregeln ausschließlich an Normaldaten getestet werden, bleiben Halluzinationen – selten, aber folgenschwer – unentdeckt. Nur mit gezielt konstruierten Halluzinations-Beispielen im Rahmen eines adversarischen Tests lässt sich verifizieren, dass die Verteidigungslinie tatsächlich trägt.
Selbstcheckliste für eine vertrauenswürdige Absicherung in der Praxis
Retrieval-gestützte Generierung aktiv
Umsetzung: Jede Antwort ruft zuerst den Originaltext aus der Wissensdatenbank ab
Typischer Mangel: Modell generiert direkt ohne Retrieval-Schritt
Wissensquellen verifizierbar
Umsetzung: Nur aktuell gültige, autoritative Einträge aufnehmen
Typischer Mangel: Öffentliche Internetseiten als autoritative Quelle behandelt
Grenzen definiert und aktiv
Umsetzung: Hochriskante Aktionen sind der KI nicht gestattet
Typischer Mangel: KI kann direkt Stillstand oder Freigabe auslösen
Manuelle Überprüfung dokumentiert
Umsetzung: Kernergebnisse werden von befugtem Personal signiert
Typischer Mangel: Überprüfung ist reine Formsache, keine Signatur, kein Nachweis
Audit-Trail rückverfolgbar
Umsetzung: Jede Empfehlung speichert Kontext und Zeitstempel
Typischer Mangel: Nur das Ergebnis wird gespeichert, nicht die Begründung
Validierungsregeln vollständig
Umsetzung: Test mit adversarischen Halluzinations-Beispielen
Typischer Mangel: Regeln decken nur Normaldaten ab
Diese sechs Selbstchecks müssen nicht auf einmal umgesetzt werden – aber jeder einzelne Punkt entspricht einem real vorgekommenen Fehlerszenario. Punkt für Punkt abzuhaken ist deutlich günstiger, als im Nachhinein bei der Aufarbeitung festzustellen, dass ein Glied gefehlt hat. Kelude hat diese Checkliste bei der Einführung als verpflichtenden Prüfpunkt vor dem Produktivgang etabliert.
📖 Weiterführende Literatur: Was große Sprachmodelle im Kranbetrieb tatsächlich leisten können: Praxisnahe Szenarien und Fähigkeitsgrenzen | KI-basierte Sichtprüfung an Kränen im Überblick: Technischer Ansatz von der Erkennung bis zur Positionierung
Häufige Fragen
F: Was genau ist der Unterschied zwischen retrieval-gestützter Generierung und Wissensdatenbank-Constraints?
A: Beide ergänzen sich, sind aber nicht dasselbe. Die retrieval-gestützte Generierung beantwortet die Frage „woher kommt die Antwort" – vor der Antwort wird die relevante Passage in der Wissensdatenbank abgerufen; sie steuert die Eingabequelle. Die Wissensdatenbank-Constraints beantworten die Frage „was darf gesagt werden" – der Generierungsspielraum wird auf verifizierte Inhalte begrenzt; sie steuern die Ausgabegrenze. In der Praxis werden beide kombiniert eingesetzt; nur eine der beiden Maßnahmen lässt deutliche Lücken.
F: Welche Anforderungen stellen die relevanten Normen zur KI-Fehlerdiagnose an Kränen an die Vertrauenswürdigkeit von KI-Ausgaben?
A: Am Beispiel von ISO 24620 und ISO 24621: Beide verlangen – aus der Perspektive des intelligenten Betriebs bzw. der KI-Fehlerdiagnose –, dass KI-Ausgaben über eine rückverfolgbare Quellenbasis verfügen und legen zudem Vorgaben zur Einstufung von Diagnoseergebnissen und zur Verantwortungsabgrenzung fest. Auch das nationale Sicherheitsüberwachungs- und Managementsystem für Hebezeuge betont die Rückverfolgbarkeit von Kerndaten. Bei der Umsetzung sollten diese Anforderungen als Maßstab für die Governance der Wissensdatenbank und den Audit-Trail dienen: Jede referenzierte Norm muss in der Datenbank bis zum Originaltext auffindbar sein.
F: Woran erkennt man eine Halluzination bei einer KI-Empfehlung – welche Kriterien gibt es?
A: Zuerst prüft man, ob eine Quellenangabe vorhanden ist – Halluzinationen liefern meist nur Schlussfolgerungen ohne Beleg. Dann verifiziert man die Quelle: Die vom KI-System genannte Klauselnummer wird im Original der Norm nachgeschlagen; erfundene Klauseln sind dort in der Regel nicht auffindbar. Schließlich prüft man, ob die Werte plausibel sind – weichen Strom, Temperatur oder Verschleißbetrag in der Diagnose deutlich vom physikalisch sinnvollen Bereich ab, handelt es sich mit hoher Wahrscheinlichkeit um eine Halluzination. Diese drei Kriterien zusammen filtern die überwiegende Mehrheit erfundener Inhalte heraus.
F: Warum erfinden große Sprachmodelle mit völliger Selbstverständlichkeit nicht existierende Reparaturschritte?
A: Weil die Texterzeugung großer Sprachmodelle im Kern auf der Vorhersage des nächsten Wortes beruht – nicht auf der Verifikation von Fakten. Beim Training lernt das Modell, welche Wortfolgen am stimmigsten klingen, nicht, welche Aussage wahr ist. Liegt die Frage außerhalb der Trainingsabdeckung und fehlt die Anbindung an eine externe Wissensdatenbank, ergänzt das Modell die Lücke mit der plausibelsten Fortsetzung – die so generierten Schritte mögen formal korrekt und fachlich überzeugend wirken, sind aber schlicht falsch. Genau deshalb lässt sich Halluzination nicht durch bloße „Ehrlichkeit" des Modells verhindern.
Halluzinationen draußen zu halten, gelingt nicht, indem man das Modell ehrlicher macht, sondern indem man das System so konstruiert, dass es einem Modell standhält, das lügen kann. Genau diesem Prinzip folgt Kelude Schwerindustrie im Projekt zum intelligenten Betrieb und zur Wartung von Kranen: Das Modell darf falsch liegen, aber ein Fehler darf nicht direkt zu Stillstand, Freigabe oder Wartungsanweisung werden. Erst dokumentieren, dann Rechte begrenzen, dann recherchieren – erst das Zusammenspiel dieser fünf Sicherheitsstufen schafft eine vertrauenswürdige Basis für den KI-Einsatz in der Kranwartung.
