没有缺陷标注也能预警,起重机无监督异常检测怎么做
📋 核心摘要
传统AI检测要大量缺陷标注,而缺陷恰恰罕见难标。无监督异常检测反其道而行,只学习正常数据,把偏离正常模式的样本判为异常,不需要缺陷标注就能预警。本文讲清自编码器、孤立森林、单类SVM、聚类四种方法怎么用,以及无监督检测的能力边界。
起重机AI检测有个绕不开的坎:要训练模型,就得有缺陷标注,可缺陷恰恰是最罕见、最难标的数据。钢丝绳断丝、焊缝裂纹,攒一批标注要几个月。
有没有办法跳过标注,直接做预警?有,就是无监督异常检测。它不学”缺陷长什么样”,只学”正常长什么样”,凡是不像正常的,就报异常。
这个思路颠覆了”先标注再训练”的套路,下面拆开讲它怎么做。
无监督异常检测的逻辑:只学正常偏离即异常
监督学习和无监督学习的区别,在”学什么”。监督学习需要大量标注好的缺陷样本,模型学习”缺陷长什么样”;无监督学习只需要正常运行的样本,模型学习”正常长什么样”。
无监督检测的逻辑是:正常数据是有规律的、聚集的,异常是偏离这个规律的。模型把正常数据的模式学出来,运行中出现偏离正常模式的数据,就判定为异常。
这个逻辑的好处很明显:正常样本随处都有,缺陷样本难得见到,只学正常就绕开了标注难题。坏处也明显:它只能告诉你”这不对劲”,不能告诉你”这是断丝还是裂纹”。克鲁德重工把无监督检测定位成”先发现异常、再人工复核”的第一道筛子,ISO 24621《起重机AI故障诊断》提供了异常预警框架。
四种无监督方法:自编码器孤立森林单类SVM聚类
第一种,自编码器。用神经网络把正常数据压缩再还原,正常数据还原得准,异常数据还原误差大,用重构误差的大小来判异常。它擅长处理图像和高维传感器数据。
第二种,孤立森林。利用”异常点更容易被孤立”的特点,随机划分数据,异常点几步就能被切出来,正常点要切很多步。它计算快,适合大量传感器数据的快速筛查。
第三种,单类SVM。只学习正常数据的边界,落在边界外的就是异常。它适合数据量中等、分布清晰的场景。
第四种,聚类。把数据聚成几簇,远离所有簇中心的孤立样本就是异常。它直观、好解释,适合初步探索数据。四种方法各有适用场景,可以按数据形态选。
无监督检测的能力边界:能发现不能分类
无监督异常检测不是万能,它的能力边界必须认清。
第一条,只能发现异常,不能分类具体是哪类缺陷。它报的是”这数据偏离正常了”,至于偏离的原因是断丝、磨损还是传感器漂移,需要人工复核或叠加监督模型判断。
第二条,对正常数据的质量敏感。如果训练用的”正常数据”里混进了异常,模型会把异常当成正常学进去,反而漏报。训练数据要确保真的纯净正常。
第三条,阈值需要标定。什么程度的偏离算异常,阈值定得松就漏报、定得紧就误报,要结合实际工况反复调。克鲁德重工用无监督做初筛,把可疑样本捞出来交人工复核,既省标注又守住可靠。
无监督检测怎么落地:先筛后核叠加监督
无监督检测的最佳用法,不是替代监督学习,而是打配合。
第一步,用无监督做初筛。只学正常数据,把偏离正常的可疑样本自动捞出来,这一层不需要缺陷标注就能跑起来,ISO 24619《起重机物联网接口规范》给正常数据的采集提供了通道。
第二步,人工复核可疑样本。把捞出来的样本交工程师确认,是缺陷的补进标注库,是噪声的排除掉。
第三步,叠加监督模型。标注库积累到一定量后,再用监督学习训练分类模型,做精准的缺陷分类。克鲁德重工按初筛、复核、叠加三步走,让无监督先解决”有没有异常”、监督再解决”是什么缺陷”。
无监督方法与适用场景对照
| 方法 | 原理 | 擅长数据 | 起步成本 | 适用场景 |
|---|---|---|---|---|
| 自编码器 | 重构误差 | 图像高维数据 | 中 | 视觉异常初筛 |
| 孤立森林 | 孤立点切割 | 海量传感器数据 | 低 | 传感器数据筛查 |
| 单类SVM | 学习正常边界 | 中等规模数据 | 中 | 分布清晰场景 |
| 聚类分析 | 离群点判定 | 可解释需求 | 低 | 数据初步探索 |
无监督检测相关标准条款速查
| 标准 | 条款要点 | 与无监督检测的关系 |
|---|---|---|
| ISO 24621 | 起重机AI故障诊断框架 | 异常预警的框架 |
| ISO 24619 | 起重机物联网接口规范 | 正常数据采集通道 |
| GB/T 28264 | 安全监控留痕要求 | 正常模式数据来源 |
关于无监督异常检测的常见问题
问:无监督检测和监督学习最本质的区别是什么?
答:区别在学什么。监督学习需要缺陷标注,模型学习”缺陷长什么样”,能分类具体缺陷,但标注成本高。无监督学习只需要正常数据,模型学习”正常长什么样”,把偏离正常的判为异常,不需要标注,但只能发现异常、不能分类。一个是先标注再训练,一个是只学正常找偏离。
问:无监督检测什么时候用最合适?
答:缺陷标注严重不足、但正常数据充足的场景最合适。项目刚起步、没有标注库,用无监督先做异常初筛,把可疑样本捞出来,是最快的起步方式。等人工复核积累了一定标注,再升级到监督学习做精准分类。无监督的价值在”先跑起来、先能预警”,而不是替代监督。
问:无监督检测误报多怎么办?
答:先检查训练数据干不干净,混进异常的正常数据会让模型学偏。再重新标定阈值,偏离多少算异常,阈值定松了误报多、定紧了漏报多。最后把误报样本人工复核,是噪声的排除,是真异常的补标注。无监督本来就会有一定误报,靠阈值标定和人工复核持续收敛。
无监督检测和预测维护的思路互补,可以对照《设备健康管理PHM:大数据与ML驱动的天车预测维护工程实践》里的异常识别做法。
无监督异常检测的价值,是让AI预警不卡在标注上。克鲁德重工用无监督做初筛、人工复核、监督叠加,既省标注又守住可靠,让检测先跑起来再越做越准。