从框出物体到认出每个像素，语义分割给起重机检测带来什么

讨论语义分割之前，先回到监控需求的出处。起重机的视觉检测能力，最终要落到安全监控管理相关标准划定的监控项上——起重量与超载限制、起升高度限位、运行行程限位、同一轨道多机防碰撞，以及最关键的作业区域人员入侵与吊物下方站人。凡是涉及”区域””边界””人有没有进入危险区”的监控项，单靠一个矩形边界框往往力不从心，而这恰恰是像素级识别能补上的短板。

这一点在 GB/T 28264《起重机械安全监控管理系统》 划定的监控项里体现得很直接：标准要监控的是”状态””位置””越界”，而不是”画面里有没有一个框”。同样，ISO 24621:2022《起重机AI故障诊断》 在讨论基于图像的状态识别时，也把”识别结果可解释、可定位到具体区域”当作工程落地的要求，而非只输出一个孤立的类别标签。

安全监控的监控项里，哪些必须靠”认出像素”而不是”框住物体”

目标检测的输出是一个带类别标签的矩形框，它回答”这是什么、大概在哪”。语义分割的输出是一张和原图同尺寸的类别掩码，每个像素都有一个确定的类别归属，它回答”画面里每一块属于谁”。前者给的是位置与类别，后者给的是几何边界。

这个差异在安全监控场景里会被明显放大。以”吊物下方站人”为例，目标检测能告诉你画面里同时存在一个吊物框和一个人框，却很难判断这个人的像素是不是落在了吊物投影的正下方。语义分割则能把吊物的投影区域和人形区域都逐像素勾出来，再做区域级的重叠判定。

克鲁德重工在给桥式起重机做视觉安全改造时观察到，同一路摄像头、同一套采集设备，用目标检测做危险区人员入侵的误报率，明显高于用分割掩码做区域判定的方案。原因是框的上下左右留白，会把本来站在危险区外的人”框”进危险区，而掩码只认真正进入区域的像素。

读精度不能只看框的mAP：mIoU和边界精度才是分割的尺子

目标检测习惯用mAP衡量好坏，语义分割则主要看两个指标：像素精度和平均交并比。像素精度统计的是”正确分类的像素占总像素的比例”，口径偏全局；平均交并比对每一类分别计算”预测区域与真实区域的交集除以并集”，再取平均，口径偏类别，对小目标和边界更敏感。

对起重机场景，边界精度往往比整体像素精度更值得关注。危险区入侵、越界检测这类任务，真正出错的是边界附近那几行像素。一个像素精度很高但边界发糊的分割模型，在”人是否越线”的判定上反而不可靠。

所以结论不是”分割更先进就该上分割”，而是看任务到底卡在哪个环节。如果只是”画面里有没有吊物、要不要报警”，目标检测的框足够快也足够省；一旦升级到”吊物投影区、危险围栏、人员位置三者之间的关系”，就必须到像素级去找答案。

从监控项到判定依据：图像子系统该怎么检验

图像检测子系统上现场之前，检验不能停留在”能出框”或”能出掩码”。更实用的做法是把监控项拆成可判定的场景清单，逐项验证。以安全监控管理标准划定的监控项为纲，逐条对应语义分割能提供的能力，下面这张表可以作为验收时的对照基准。

克鲁德重工在实际项目里，把这张清单做成验收时的逐项打勾表，每一项都要求有对应的图像证据留存——掩码叠加在原图上的快照，就是可追溯的判定依据。判定通过与否，看的是监控项是否真实达成，而不是模型跑通了没有。

三个被误读的结论：分割不等于更准，也不等于万能

第一个误读是”像素级一定比框级更准”。分割提供的是更细的几何描述，不是更高的识别正确率。如果标注质量差、类别定义模糊，分割模型可能把吊绳、吊钩、吊物之间的像素纠缠成一团，反而比一个干脆的框更难用。

第二个误读是”有分割就免了标定与部署”。像素级识别的收益高度依赖相机安装角度、光照和镜头畸变校正，换个机位模型就可能退化。它补的是”认准边界”，不是”免去部署”。

第三个误读是”逐像素意味着实时无损”。分割在端侧设备上的推理开销通常高于目标检测，高分辨率逐像素预测对算力和延迟都是实打实的成本。要不要上分割，取决于监控项是否需要区域级判定，而不是因为”分割听起来更高级”。

所以结论很清楚——语义分割的价值不在”替代”目标检测，而在”补充”它。克鲁德重工在方案里常用的做法是两级结合：目标检测负责快速发现与计数，语义分割在候选区域内做边界级复核，二者分工而非二选一。

📖 相关阅读：天车吊物视觉识别与精准定位系统 | 天车AI视觉与检测系统全景

常见问题

从”框出物体”到”认出每个像素”，语义分割给起重机检测带来的不是一次算法的替换，而是一种认知粒度的升级。要不要升级、升级到哪一步，最终都要回到监控项本身去判断。克鲁德重工在做视觉系统方案时，坚持先厘清每个监控项到底要”发现”还是”认边界”，再决定检测与分割如何配合，把算力花在真正需要的地方。