Limiter les hallucinations de l'IA dans les grues
📋 Résumé clé
Dans l’exploitation et la maintenance des grues, l’intégration d’un grand modèle de langage ne pose pas d’abord un problème de précision, mais un problème d’hallucination : le modèle peut inventer avec aplomb des clauses, des procédures de réparation et des données de diagnostic inexistantes. Cet article ne traite pas du modèle lui-même, mais se concentre sur cinq lignes de défense fiables au niveau opérationnel : la génération augmentée par récupération, qui vérifie avant de générer ; la base de connaissances, qui verrouille les réponses dans un périmètre validé ; les limites de périmètre, qui interdisent à l’IA les actions à haut risque comme l’autorisation d’arrêt ; l’examen manuel, qui sécurise les conclusions clés ; et la traçabilité, qui rend chaque recommandation traçable. Ces cinq lignes de défense relèvent d’une défense en profondeur, et non d’options parallèles : aucune ne suffit seule, mais leur combinaison permet de tenir les hallucinations à l’écart des décisions. Pour la mise en œuvre, il est recommandé de commencer par la traçabilité et les limites de périmètre, qui offrent le meilleur rapport coût-efficacité.
Introduire un grand modèle de langage dans l’exploitation et la maintenance des grues suscite souvent, dans les équipes, moins d’enthousiasme que de crainte : et s’il inventait une procédure de réparation inexistante qu’un technicien suivrait à la lettre ? Cette inquiétude est légitime, mais la conclusion ne devrait pas être « débranchons l’IA », plutôt « dotons-la de garde-fous fiables ».
La mauvaise nouvelle : l’hallucination est une propriété intrinsèque des modèles génératifs, impossible à éliminer à la racine. Le modèle prédit le mot suivant, il ne vérifie pas les faits. Lorsqu’une question dépasse la couverture de ses données d’entraînement et qu’aucune contrainte externe ne s’applique, il comble les vides de la manière la plus plausible, produisant des réponses fluides mais totalement erronées.
La bonne nouvelle : le préjudice potentiel d’une hallucination dépend en réalité de la conception du système. Un modèle sujet aux hallucinations, correctement encadré par des défenses adaptées, peut travailler en toute sécurité dans un contexte de maintenance. C’est précisément l’objet de cet article : non pas entraîner un « modèle qui ne ment jamais », mais concevoir un « système qui résiste au mensonge ». Kelude a intégré ces lignes de défense comme une pratique standard dans plusieurs projets d’exploitation et de maintenance.
Génération augmentée par récupération : la première barrière contre les hallucinations
Parmi les cinq lignes de défense, la génération augmentée par récupération est la plus discutée, car elle modifie directement le mode de réponse du modèle : au lieu de restituer de mémoire, le modèle interroge d’abord une base de connaissances fiable pour trouver les clauses pertinentes, puis génère sa réponse à partir des textes récupérés.
Cette étape, en apparence simple, permet de bloquer la catégorie d’hallucinations la plus dangereuse : l’invention de clauses. Sans contrainte de récupération, le modèle comble les lacunes par habitude linguistique, produisant des « dispositions de telle norme » qui n’existent tout simplement pas. Lors de l’intégration de la génération augmentée par récupération dans sa base de connaissances pour la maintenance des grues, Kelude a structuré l’ensemble des exigences d’exploitation et de maintenance de la norme ISO 24620:2022 relative à l’exploitation et à la maintenance intelligentes des grues, ainsi que les articles de la norme ISO 24621:2022 sur le diagnostic de pannes par IA pour les grues concernant la traçabilité des conclusions de diagnostic. Le modèle ne peut ainsi citer que des textes réellement présents dans la base, réduisant à la source l’espace de fabrication pure.
La difficulté réelle réside dans le fait que l’efficacité de la génération augmentée par récupération dépend étroitement de la qualité de la base de connaissances. Si des contenus erronés s’y glissent, les « faits » récupérés sont eux-mêmes viciés, et le modèle les répète avec sérieux. La génération augmentée par récupération ne se résume donc pas à connecter une base vectorielle : elle exige une gouvernance rigoureuse de la base de connaissances.
Comparaison horizontale des cinq lignes de défense : types d’hallucinations interceptés, coûts et maturité
Les cinq lignes de défense ne sont pas cinq formulations d’une même idée : elles interceptent des types d’hallucinations différents, avec des coûts de mise en œuvre et des niveaux de maturité distincts. Comprendre ces différences est un préalable pour décider laquelle déployer en premier et comment les combiner. Le tableau ci-dessous présente les cinq lignes de défense principales ainsi que deux mesures complémentaires, pour faciliter la sélection.
| ligne de défense | type d | principe technique | coût de mise en œuvre | maturité de déploiement | phase d |
|---|---|---|---|---|---|
| génération augmentée par récupération（RAG） | clause inventée、donnée fabriquée | recherche préalablebase de connaissances，génération basée sur le texte source | moyen | relativement mature | Q&R、Diagnosticassistance |
| base de connaissancescontrainte | sortie hors périmètre、citation erronée | limiter la génération au contenu vérifié | moyen | relativement mature | texte intégralcouverture |
| limitation de périmètre | décision hors autorité、action non autorisée | séparation des actions à haut risque au niveau des permissions | faible | relativement mature | arrêt、autorisation de poursuite、Paramètremodification |
| examen manuel | filet de sécurité final pour tous les types | conclusions clésconfirmation par signature manuelle | moyen | relativement mature | conclusion à haut risque |
| traçabilité et audit | erreur non traçable | enregistrement du contexte、fondement、horodatage | faible | relativement mature | processus complet |
| sortie hors périmètrevérification（complément） | erreur déterminable par règles | filtrage des sorties anormales par moteur de règles | moyen | relativement mature | valeur numérique、format、plage |
| modèlefine-tuningalignement（complément） | systémiqueÉcart | citation erronéedonnées annotéesfine-tuningpréférence | élevé | phase précoce | baseoptimisation du modèle |
Les apparences sont trompeuses : beaucoup considèrent l’examen manuel comme une solution rudimentaire, alors qu’il s’agit en réalité de la ligne de défense la plus aboutie et la plus fiable pour les scénarios à haut risque. Lors de la sélection, ne vous laissez pas égarer par l’attrait technologique de la « génération augmentée par récupération » — le choix de la première ligne de défense doit reposer sur l’objectif d’interception et le coût, et non sur le caractère tendance de l’intitulé.
Ordre de déploiement : traçabilité et audit d’abord, contrôle des accès ensuite, génération augmentée en dernier
Si le budget et les ressources humaines sont limités, dans quel ordre déployer les lignes de défense ? L’expérience de Kelude Industries Lourdes est sans appel : commencer par la traçabilité et l’audit, puis le contrôle des accès, ensuite la génération augmentée par récupération et la gouvernance de la base de connaissances, et enfin affiner la vérification des sorties.
La raison est simple. La traçabilité et l’audit n’alourdissent quasiment pas les coûts côté modèle : il suffit de consigner le contexte de chaque échange, les sources citées et l’horodatage pour pouvoir répondre à la question « d’où vient cette recommandation ? » — une condition préalable à toute responsabilisation et à toute amélioration continue. Le contrôle des accès fonctionne sur le même principe : au niveau des permissions, on retire les actions à haut risque (arrêt, autorisation de passage, modification de paramètres) des mains de l’IA pour les confier à du personnel qualifié. L’effort est minime, l’impact immédiat.
Le déploiement doit également s’aligner sur les exigences réglementaires en matière de sécurité, en adaptant l’IA au cadre existant de surveillance et de contrôle. La norme GB/T 28264 — Système de surveillance et de gestion de la sécurité des appareils de levage impose la traçabilité des actions critiques, tandis que le règlement TSG 51-2023 — Règlement de surveillance technique de sécurité des appareils de levage place la responsabilité principale de la sécurité sur l’unité utilisatrice. Ces deux textes convergent vers une même conclusion : l’IA ne peut être que consultative, jamais décisionnaire.
Conformité des sorties IA face aux exigences réglementaires de sécurité
| scénario de conflit | AIbiais latéral | rigidité côté sécuritéexigences | pratique recommandée en ingénierie |
|---|---|---|---|
| AIsortie hors périmètre"recommandationarrêt immédiat" | tendance du modèle à donner des conclusions fermes | la décision d | limitation de périmètre：AIfournir uniquementrecommandation，action exécutée manuellement avec traçabilité |
| AIcitation erronée"un certainNormen°Xarticle" | le modèle peut inventer des articles inexistants | selon le réelNormefaire foi sur le texte | génération augmentée par récupération：les articles doivent être issus debase de connaissancesrecherche dans le texte source |
| AIfournir"poursuite possible" | le modèle peut manquer des dangers | mise en œuvre de la responsabilité principale de sécurité | examen manuel：la conclusion d |
| AIjournal d | sortie potentiellement non traçable | Surveillanceles données doiventtraçable | traçabilité et audit：chaque élémentrecommandationenregistrer le contexte ethorodatage |
Les normes décrivent des conditions de fonctionnement idéales, mais dans l'atelier, elles n'existent pas. Les grands modèles ont tendance à fournir des conclusions sans en exposer les fondements, alors que la surveillance de sécurité et les contrôles exigent une traçabilité totale. Ce choc est inévitable. La solution technique consiste à adapter le format de sortie de l'IA aux cadres d'enregistrement et de responsabilité existants, et non l'inverse.
Quatre erreurs fréquentes de conformité : confondre recommandation IA et décision IA est le risque le plus grave
L'erreur la plus dangereuse consiste à considérer qu'une recommandation de l'IA équivaut à une décision de l'IA. Quelle que soit la confiance affichée par le modèle, cela ne change pas son absence de contrainte factuelle. Les décisions d'arrêt ou d'autorisation doivent rester entre les mains du personnel certifié. L'IA fournit des références et des éléments, mais le jugement et l'exécution relèvent toujours de l'humain.
La deuxième erreur courante est de croire qu'intégrer un grand modèle équivaut à une exploitation et maintenance intelligentes. C'est tout le contraire : un grand modèle sans base de connaissances, sans journal d'audit et sans limites de capacité amplifie les risques, car il peut formuler des erreurs avec plus de conviction qu'un humain.
Un piège plus subtil encore : utiliser directement du contenu public en ligne comme base de connaissances faisant autorité. Les pages publiques contiennent une multitude d'informations obsolètes, erronées, voire contradictoires. Si la génération augmentée par récupération s'appuie sur une telle base, c'est ouvrir la porte aux hallucinations — les « faits » récupérés sont eux-mêmes contaminés.
La dernière erreur se situe au niveau des tests : ne valider que des échantillons normaux. Si les règles de validation des sorties ne sont testées que sur des données normales, elles manqueront les erreurs « rares mais fatales » comme les hallucinations. Il est impératif de construire des échantillons d'hallucinations artificiels pour des tests contradictoires afin de vérifier que la ligne de défense fonctionne réellement.
Liste de contrôle pour déployer une ligne de défense fiable
Génération augmentée par récupération active
Point clé : chaque réponse commence par une recherche dans la base de connaissances
Défaut courant : le modèle génère directement sans étape de récupération
Sources de la base de connaissances vérifiables
Point clé : n'intégrer que des entrées valides et faisant autorité
Défaut courant : utiliser des pages web publiques comme source d'autorité
Limites de capacité appliquées
Point clé : aucune autorisation IA pour les actions à haut risque
Défaut courant : l'IA peut déclencher directement un arrêt ou une autorisation
Examen manuel documenté
Point clé : les conclusions clés sont signées par le personnel certifié
Défaut courant : examen superficiel sans signature ni trace
Journal d'audit traçable
Point clé : chaque recommandation conserve son contexte et son horodatage
Défaut courant : seule la conclusion est archivée, pas les fondements
Règles de validation des sorties couvrantes
Point clé : tests avec échantillons d'hallucinations contradictoires
Défaut courant : règles ne couvrant que les échantillons normaux
Ces six points de contrôle ne doivent pas être déployés d'un coup, mais chacun correspond à un scénario d'échec réellement observé. Les valider un par un coûte bien moins cher que de découvrir une lacune lors d'une analyse post-incident. Kelude a intégré cette liste comme exigence obligatoire avant toute mise en service.
📖 Lectures connexes : Grands modèles dans la maintenance des grues : cas concrets et limite de capacité | Inspection visuelle par IA des grues : de l'identification au positionnement, approche technique
Questions fréquentes
Q : Quelle est la différence entre la génération augmentée par récupération et la contrainte de base de connaissances ?
A : Les deux sont complémentaires, pas identiques. La génération augmentée par récupération répond à la question « où trouver la réponse » : avant de répondre, on recherche les clauses pertinentes dans la base de connaissances — elle régit la source d'entrée. La contrainte de base de connaissances répond à la question « ce qui peut être dit » : elle verrouille la génération dans un contenu validé — elle régit la limite de sortie. Les deux doivent généralement être combinées ; n'en déployer qu'une laisse une lacune manifeste.
Q : Quelles exigences les normes relatives au diagnostic de pannes par IA des grues imposent-elles sur la fiabilité des sorties IA ?
A : À titre d'exemple, l'ISO 24620 et l'ISO 24621, respectivement sur l'exploitation et maintenance intelligentes et le diagnostic de pannes par IA, exigent que les sorties IA s'appuient sur des sources traçables et imposent une classification des conclusions de diagnostic ainsi qu'une délimitation des responsabilités. Le système de surveillance et de gestion de la sécurité des appareils de levage en Chine insiste également sur la traçabilité des données clés. Lors du déploiement, ces clauses doivent servir de référence d'alignement pour la gouvernance de la base de connaissances et le journal d'audit : toute référence à un numéro de norme doit permettre de localiser le texte original dans la base.
Q : Comment identifier une hallucination dans une recommandation IA ? Quels sont les critères ?
A : Commencez par vérifier si la réponse cite ses sources : une hallucination donne généralement une conclusion sans référence. Ensuite, contrôlez la véracité des citations en reportant le numéro d'article mentionné par l'IA dans le texte de la norme d'origine — un article inventé n'y figure tout simplement pas. Enfin, examinez si les valeurs sortent des limites : si les paramètres de diagnostic tels que le courant, la température ou la quantité d'usure dépassent la plage physiquement plausible, il s'agit très probablement d'une hallucination. L'application combinée de ces trois critères permet d'éliminer la grande majorité des contenus fabriqués.
Q : Pourquoi un grand modèle linguistique invente-t-il avec aplomb des procédures de réparation inexistantes ?
A : Parce que la génération de texte par un grand modèle repose sur la prédiction du mot suivant, et non sur la vérification des faits. Lors de l'entraînement, le modèle apprend « quelle suite de mots est la plus fluide », pas « quelle conclusion est vraie ». Lorsque la question dépasse la couverture des données d'entraînement et qu'aucune base de connaissances externe ne vient contraindre le modèle, celui-ci complète la réponse de la manière la plus naturelle possible : les étapes produites peuvent être parfaitement conformes au format et au ton professionnel attendus, tout en étant totalement erronées. C'est précisément pour cela qu'on ne peut pas compter sur la seule bonne volonté du modèle pour éliminer les hallucinations.
Tenir les hallucinations à distance ne consiste pas à rendre le modèle plus honnête, mais à concevoir un système capable de résister à un modèle qui peut mentir. C'est exactement le principe que Kelude applique dans ses projets d'exploitation et maintenance intelligentes de grues : le modèle peut se tromper, mais une erreur ne doit jamais se transformer directement en ordre d'arrêt, de mise en service ou de réparation. D'abord tracer, puis limiter les droits, enfin interroger les bases de connaissances : c'est la combinaison de ces cinq lignes de défense qui constitue la barrière de confiance sur laquelle l'IA pour grues peut réellement s'appuyer en conditions opérationnelles.
