AI模型上线前怎么证明它可靠，起重机检测的测试验收
📋 核心摘要
AI模型上线前怎么证明它可靠，是很多厂家说不清的一环。靠的是测试集评估、鲁棒性测试、泛化测试三件事，配合准确率、召回率、误报率这些硬指标的实测留档。本文讲清AI检测模型的测试验收该测什么、怎么测、看哪些指标，以及最常见的验收漏洞。
📌 AI检测验收指标定位
准确率：判断对的比例，但缺陷罕见时容易虚高。
召回率：真实缺陷里抓出来的比例，安全场景最看重，漏报代价最高。
误报率：正常样本被判成异常的比例，误报太多会摧毁信任。
验收AI检测系统，最容易犯的错是只看演示效果。供应商拿几个精心挑选的样本跑一遍，看起来全对，就签字验收了。可一上线，真实工况里误报漏报全冒出来。
AI模型的可靠性，不能靠演示证明，要靠测试集、鲁棒性、泛化性三件事加上硬指标的实测留档。下面拆开讲。
AI检测验收要测什么：测试集鲁棒性泛化性
AI模型上线前的验收，核心测三件事。
第一件事，测试集评估。把一部分带标注的数据留出来不用来训练，专门用来测模型，ISO 24621《起重机AI故障诊断》提供了诊断模型验收框架。模型在这批没见过的数据上表现如何，才是它真实水平的体现。
第二件事，鲁棒性测试。给输入加干扰，比如图像加噪声、光照变化、轻微遮挡，看模型在这些干扰下会不会崩。工业现场环境复杂，鲁棒性差的模型上线就翻车。
第三件事，泛化测试。用训练集之外的工况数据测，比如换了吊物材质、换了作业时间，看模型能不能适应没见过的工况。泛化能力决定了模型能不能真正长期用。
怎么测：留出集交叉验证和AB对照
测试方法要规范，否则测出来的指标不可信。
留出集是最基础的方法。把数据分成训练集和测试集，训练只用训练集，测试只用测试集，两边严格隔离，防止模型”偷看”测试数据导致指标虚高。
交叉验证更严谨。把数据分成若干份，轮流拿一份做测试、其余做训练，取平均结果，能更稳定地估计模型真实水平，适合数据量不大的场景。
AB对照是上线前的最后一道。把新模型和老模型、或AI和人工在同样任务上对照跑，看谁的表现更好，用真实结果说话。克鲁德重工在验收时，坚持留出集评估打底、关键场景做AB对照。
看哪些指标：准确率召回率误报率
AI检测验收不能只看一个准确率，要几个指标一起看。
准确率看整体判断对的比例，但它有个陷阱：缺陷罕见时，模型把所有样本都判成正常，准确率也很高。所以准确率不能单独作为验收依据。
召回率看真实缺陷里抓出来多少，这是安全场景最该盯的指标，漏报的代价最高，召回率低意味着真实缺陷被漏掉。
误报率看正常样本有多少被误判成异常，误报太多会耗尽运维人员的信任，最后对报警麻木。验收要准确率、召回率、误报率三个一起看，按场景给召回率和误报率设权重。克鲁德重工在安全监测类验收里，把召回率作为硬门槛。
最常见的验收漏洞
第一个漏洞，测试集和真实数据分布不一致。用精心挑选的干净数据测，指标很好看，一到真实工况就崩。测试集必须尽量贴近真实运行数据。
第二个漏洞，只测单指标。只看准确率，不看召回率和误报率，漏掉了安全场景最关键的召回率，验收形同虚设。
第三个漏洞，不留档。验收结果没有实测数据的留档，出了问题无法追溯当时的测试依据，GB/T 28264-2017《起重机械安全监控管理系统》对留痕追溯有要求。克鲁德重工把测试集、指标、结果全程留档，作为交付和追溯的依据。
AI检测验收指标对照
| 验收项 | 测什么 | 方法 | 关键指标 | 常见缺陷 |
|---|---|---|---|---|
| 测试集评估 | 未见数据表现 | 留出集交叉验证 | 准确率 | 测试集不干净 |
| 鲁棒性测试 | 干扰下不崩 | 加噪声光照遮挡 | 鲁棒性 | 只测理想数据 |
| 泛化测试 | 新工况不失效 | 跨工况数据测 | 泛化能力 | 只测单一工况 |
| 安全指标 | 缺陷不遗漏 | 召回率实测 | 召回率误报率 | 只看准确率 |
AI检测验收相关标准条款速查
| 标准 | 条款要点 | 与验收的关系 |
|---|---|---|
| ISO 24621 | 起重机AI故障诊断框架 | 诊断模型验收依据 |
| GB/T 28264 | 安全监控留痕要求 | 验收结果留档追溯 |
| GB/T 5905 | 起重机试验规范 | 检测功能试验程序 |
关于AI检测验收的常见问题
问：AI检测验收和传统设备验收有什么不同？
答：传统设备验收看机械和电气功能，AI检测验收还要看模型在数据上的表现。区别在于AI模型的可靠性不能靠演示证明，必须靠测试集、鲁棒性、泛化性三件事加上准确率、召回率、误报率的实测。而且AI模型有漂移风险，验收不能一锤定音，上线后还要持续监测。
问：验收AI检测最该盯哪个指标？
答：安全监测类最该盯召回率，它衡量真实缺陷有没有被漏掉，漏报的代价最高。召回率低，意味着缺陷测不出来，安全隐患就大。辅助提示类可以适当平衡召回率和误报率。但无论如何不能只看准确率，准确率在缺陷罕见时会有虚高的陷阱，容易掩盖漏报。
问：测试集怎么准备才算合格？
答：三个要求：和真实数据分布一致、和训练集严格隔离、覆盖真实工况的多样性。测试集要尽量贴近上线后的真实运行数据，不能是精心挑选的干净样本；不能和训练集混用，防止指标虚高；要覆盖不同的光照、工况、缺陷类型，才测得准泛化能力。测试集不合格，验收就形同虚设。
AI检测认证的实践，可以对照《天车AI视觉检测系统通过国家权威机构认证，全项检测指标一次性通过》里的认证思路。
AI模型的可靠性靠测出来的指标说话，不靠演示。克鲁德重工把测试集评估、鲁棒性、泛化性加上召回率、误报率的实测留档作为验收标配，让AI检测上线前就经得起复核。
