AI一本正经地胡说八道，起重机运维怎么防住大模型的幻觉

起重机运维老师傅们对 AI 大模型的信任，恰恰是它最危险的地方。因为大模型答得越流畅、越笃定，越可能是在一本正经地编造一个根本不存在的标准条款。它不会犹豫，不会说”我不确定”，它只会给出一个格式工整、语气自信、却完全经不起查证的答案。

这类现象有个专门的名字叫”幻觉”。它不是模型”偶尔出错”这么简单，而是生成式模型的结构性短板：模型从头到尾在做的事，是预测下一个字最可能是什么，而不是去核对一个事实是否存在。当它被问到”起重机减速器异响该怎么修”时，它能拼出一段像模像样的维修流程，但流程里的每一步是否真的成立，模型自己并不知情。

对起重机运维而言，幻觉的杀伤力不在”丢脸”，而在”误事”。一个不存在的标准条款被写进检修单，一套杜撰的维修步骤被新手照着执行，一组虚构的监测数据被拿去做停机决策——任何一个都可能演变成安全事故。所以问题不是”要不要用大模型”，而是”怎么把它圈在事实的边界里”。克鲁德重工在多个运维项目里踩过这个坑，把防幻觉写进了 AI 应用的第一道工序。

幻觉长什么样：编造标准条款、杜撰维修步骤与虚构监测数据的三种典型表现

幻觉的第一种典型表现，是编造不存在的标准条款。

大模型被问及”依据哪条标准”时，可能会给出一个格式完全正确、但现实中根本不存在的编号和条文。它知道标准号的写法长什么样，于是照着”GB/T 数字-年份”的格式现编一个，条文内容还编得有鼻子有眼。维修人员若不逐字回查原文，很容易被唬住。

第二种典型表现，是杜撰看似合理的维修步骤。

模型能把”拆解、检测、更换、复装”串成一条逻辑通顺的流程，但中间的关键参数可能是它”脑补”出来的——比如某个螺栓的拧紧力矩、某个间隙的调整值。这些数字不是来自任何手册，而是来自训练语料里相似句子的统计组合。

第三种典型表现，是虚构监测数据与结论。

当你问”这批振动数据说明什么”时，模型可能直接生成一份带图表数值的分析，声称”振幅超标、建议停机”。这些数值与原始数据毫无对应关系，却因为格式规范而显得可信。这类幻觉最危险，因为它直接导向错误的运维决策。

识别幻觉的诊断流程：出处追问、交叉核对与数值合理性校验

识别幻觉不需要玄学，靠的是一套可重复执行的核对动作。克鲁德重工在内部知识库上沉淀了一张交叉核对清单，一线人员照着逐条执行即可，核心是三个动作。

第一步是出处追问。

模型给出的每一个标准号、每一个参数、每一个结论，都要追问一句”出处在哪里”。能回链到知识库里具体条目的，才进入下一轮；给不出出处、或出处含糊其辞的，直接标记为可疑。

第二步是交叉核对。

把模型答案与维修手册、设备台账、历史工单做逐条比对。参数对不对得上、设备型号对不对得上、操作步骤与实际情况是否一致，任何一处对不上，就说明模型在”脑补”。这一步能拦住绝大多数张冠李戴式的幻觉。

第三步是数值合理性校验。

拿到模型给出的数值后，先问一句”这个数合理吗”。一个明显违背常识的力矩值、一个超出设备额定范围的载荷值，即使格式再规范，也应立即否定。合理性校验不追求精确，只求先滤掉最离谱的那批错误。

幻觉识别与处置对照表

大模型为什么一本正经胡说八道：概率生成与事实约束缺失的根因

要防住幻觉，先得理解它为什么会发生。大模型的输出本质上是概率生成——它每生成一个字，都是基于前面所有字计算出的”下一个字最可能的分布”里采样出来的。它并没有一个独立的事实库去核对，也不理解”对”与”错”的语义，它只理解”在这个上下文里，接下来这样接最通顺”。

这就解释了为什么幻觉往往”语法完美、逻辑通顺、内容错误”：通顺是模型被训练的目标，事实却不是。当训练语料里某类内容出现得足够多，模型就学会了它的格式；但当被要求生成一个具体、唯一、可验证的答案时，格式正确不等于内容正确。

第二个根因，是缺乏对事实的硬约束。

一个真正的维修手册，每一步都对应真实存在的部件和参数；而模型的记忆是训练数据的统计浓缩，它可能把不同设备、不同工况下的信息”揉”在一起，生成一个现实中不存在的混合体。这种”张冠李戴”本质上是检索失败，而不是模型故意撒谎。

第三个根因是知识时效。

模型训练完成后，它的知识就冻结了。标准会修订、规程会更新，但模型不会自动知道。当它被问到一个新标准时，它可能拿旧标准的记忆来应付，甚至把记忆里的碎片拼成一个从未存在过的”新标准”。

防住幻觉的预防体系：检索增强、知识库约束与边界限制

防幻觉的第一层，是检索增强，也就是常说的 RAG。

与其让模型凭空”回忆”，不如先让它去查。检索增强的做法是：在生成答案之前，先从企业的知识库里检索出相关条目——标准原文、维修手册、历史工单——再把这些条目连同问题一起喂给模型，要求它”只能基于给定材料回答”。这样一来，答案就有了事实锚点，模型编造的空间被大幅压缩。

克鲁德重工在实践中的体会是：RAG 的效果取决于知识库的质量。知识库里的标准条款、参数必须权威、现行、可溯源。GB/T 28264《起重机械安全监控管理系统》对监控数据的采集与存储提出了规范要求，这正是知识库数据底座的重要依据；而TSG 51-2023《起重机械安全技术监察规程》这类规程，则是维修知识库的权威来源。引用哪个标准号，就必须能在库里定位到原文，否则一律按幻觉处理。

第二层是知识库约束。

做法很直接：只允许模型引用知识库中真实存在的条目，禁止它”现场发挥”。回答里出现的每一个标准号、每一个参数，都必须能回链到知识库里的具体条目。这条约束写进提示词还不够，还要在系统层面做硬校验——模型输出里的标准号会被自动检索比对，查无此条就拦截并标注。

第三层是边界限制。

这是最重要的一条：大模型不参与安全决策。它可以总结资料、生成报告草稿、解释条款，但涉及停不停机、换不换件、允不允许继续运行这类判定，必须由人来做。把 AI 的角色限定在”辅助”而不是”决策”，是从制度上兜住幻觉风险的最有效办法。

第四层是人工复核。

凡是模型给出、且将被用于实际操作的内容，都必须经过有资质的人员复核。复核的重点不是”读一遍顺不顺”，而是”每一个标准号能不能查到、每一个参数能不能对上手册、每一个结论有没有原始数据支撑”。克鲁德重工的经验是：把复核设计成固定流程，比依赖个别人的责任心可靠得多。

防幻觉知识库的标准条款速查

📖 相关阅读：大模型进起重机运维能落地哪些事？务实场景与能力边界 | 设备健康管理PHM：大数据与ML驱动的天车预测维护工程实践

常见问题