AI报警说得头头是道却全是编的，工业部署怎么治幻觉

设想这样一个凌晨：某钢厂天车运维值班室里，AI助手弹出一条报警——“主起升制动器摩擦片磨损已达报废极限，建议立即停机更换”，并附上一条“依据标准”，声称某条款规定摩擦片剩余厚度不得低于原厚的40%。值班员照做停机连夜拆检，却发现摩擦片厚度还剩62%，远未到报废线，整条产线白停了六个小时。

值班员第一反应是怀疑传感器坏了，调出振动与温度历史曲线反复核对，数据一切正常；再查那条“依据标准”，翻遍相关设计规范与安全监控管理标准，根本找不到AI引用的那条条款——它引用了一个不存在的规定，却把编号、数字甚至“适用范围”都写得像模像样。更麻烦之处在于，AI陈述时语气笃定、结构完整，普通运维人员很难当场识破。

问题的根因不在传感器、也不在数据库，而在大模型本身的工作方式：它生成文本时按概率逐字选择下一个词，追求的是“像那么回事”的流畅表达，而不是“对那么回事”的事实核对。当训练数据里没有某条标准原文时，它不会说“我不知道”，而是用最可能的语言模式把缺失的条款“补”出来。这正是工业场景最危险的地方——一个不懂装懂的AI，比一个承认自己不懂的AI更可怕。

报警说得头头是道却全是编的：幻觉如何从一次误报演变成一次错误处置

上面的推演不是特例，而是大模型幻觉在工业场景的一种典型投影。它之所以危险，核心不在“答错了”，而在“答错得让人信服”。人脑有一个根深蒂固的习惯：越是引用具体数字、标准编号、专业术语的回答，越容易被当作可信结论接受。而大模型恰恰擅长在输出里堆砌这类“权威感”信号，即便它堆出来的内容并不存在。

从这个角度看，幻觉的危害是一条三级放大链。

第一步，误报：模型生成一个看似专业的错误结论，可能是编造的标准限值，也可能是张冠李戴的故障归因。

第二步，误判：现场人员因为结论“像那么回事”而跳过核实，把模型输出直接当作判断依据。

第三步，误处置：依据错误判断执行停机、拆解、换件，白耗工时与停机时间，甚至因为放过了真正的隐患而酿成事故。

克鲁德重工在现场调研中反复看到同一个规律：运维人员对AI的信任程度，与AI输出里“具体数字”的多少成正比。这恰恰是最需要警惕的地方——因为幻觉最容易在“具体数字”和“标准条款”这两个位置伪造。

为什么AI敢一本正经地编：概率生成机制与事实约束的双重缺失

要理解幻觉为什么“防不住”，得先看清大模型的生成机制。它本质上是一个概率模型：给定前面的内容，计算下一个词最可能是什么，再逐个词地往后生成。这个机制天然擅长产出流畅、通顺、符合语言习惯的文本，却没有任何一个环节去核对“这句话在现实里对不对”。

换句话说，大模型做的事是“语言上的合理”，而不是“事实上的正确”。当它被问到一条它训练数据里没有的标准条款时，它不会返回“查无此项”，而是根据学到的语言模式，把“编号加术语加一个看起来合理的限值”拼出来。拼出来的内容越专业、越具体，反而越难被识破。

这正是ISO 24621:2022《起重机AI故障诊断》这类标准格外强调诊断结论“可追溯”的原因：一条合格的故障诊断结论，必须能回推到具体的传感器数据和判定依据，而不是一句无法验证的断言。大模型默认输出恰恰缺少这条“回推链”，这也解释了为什么直接把它接入报警决策会出问题。

克鲁德重工的工程师把这种现象概括为“流畅性幻觉”：输出越流畅，越容易掩盖事实的缺失。工业场景要求的恰恰相反——宁可要一句“不确定、待核实”，也不要一段头头是道的错误结论。

三类最常见的工业幻觉：编标准、编步骤、编数据分别怎么坑人

落到起重机运维的具体场景，幻觉主要会以三种形式出现，每种形式的危害路径不同。

第一种，编造标准条款。这是最危险的一种。AI可能引用一个不存在的规范编号，或者给一个真实存在的规范配上错误的限值。运维人员若据此执行停机或放行，等于让一个虚构的“标准”替真实标准做了决定。

第二种，编造维修步骤。大模型生成的检修流程往往“看起来完整”，却可能漏掉断电、泄压、能量隔离这类强制安全项。步骤的顺序和完整性一旦出错，直接威胁的是作业人员的人身安全。

第三种，编造测量数据。AI可能给出一个从未被传感器采集过的振动幅值或温度读数，并据此判断“轴承劣化”或“齿轮磨损”。这类虚构数据会让状态评估建立在沙滩上，换件决策自然也就失去了根基。

下面这张表把三类幻觉的危害与防控要点放在一起对照：

从单点纠错到系统设防：可信AI落地的预防性框架

既然幻觉来自生成机制本身，指望“把模型改得不犯错”并不现实。工业部署的正确思路，是把防线从“事后纠错”前移到“系统设防”，让AI没有机会把幻觉送到决策环节。

第一条底线，是让AI的生成结论必须锚定事实源。报警里引用的任何标准条款、限值、测量数据，都必须能从标准库和传感器记录里查到原始出处；查不到的，一律不进入处置流程。这一要求与GB/T 28264《起重机械安全监控管理系统》强调的“安全监控参数应有真实记录”在思路上是一致的——AI的结论不能脱离真实监控数据独立存在。

第二条底线，是给AI划定能力边界：它可以做提醒、做归纳、做检索，但不替人做停机、放行、换件这类决策。边界之外的请求，模型应当明确拒绝或退回人工，而不是“硬答”。

第三条底线，是人工复核与留痕审计。克鲁德重工在落地实践中坚持一点：凡是影响设备状态判定的AI输出，都必须经过人工确认，并把AI的原始输出、引用的依据、复核的结论一起留痕。这样一来，即便某一次幻觉漏过了前两道防线，也能被复核拦下、被审计追溯。

克鲁德重工的建议是：与其追求“让AI永远不犯错”，不如默认“AI随时可能犯错”，把复核、留痕、边界这三道闸门做扎实。幻觉无法根除，但可以被挡在决策之外。

📖 相关阅读：大模型进起重机运维能落地哪些事？务实场景与能力边界 | 设备健康管理PHM：大数据与ML驱动的天车预测维护工程实践

常见问题