Foi criada uma plataforma de treino e teste de algoritmos de visão artificial para gruas, tendo-se acumulado, no total, mais de 500 000 imagens com anotações de defeitos industriais

克鲁德重工建成起重机AI视觉算法训练与测试平台，累计积累工业缺陷标注数据超过50万张，为起重机AI视觉安全监测系统的持续迭代提供了坚实的数据基础。该平台集数据采集、标注管理、模型训练、性能评估和硬件在环测试于一体，是国内起重机行业首个面向AI视觉算法的专用训练与验证基础设施。

平台定位与建设背景

AI视觉算法的性能高度依赖训练数据的质量和规模。克鲁德重工在2023年启动AI视觉研发之初就意识到，缺乏行业专用的标注数据集是制约起重机AI视觉技术落地的关键瓶颈。通用数据集如COCO和ImageNet在工业场景下的迁移效果有限，工厂现场的粉尘、光照变化、遮挡、振动等复杂条件导致通用模型的检测精度在实际部署时大幅下降。为此，企业投入超过300万元建设专用的AI视觉算法训练与测试平台，从2023年9月开始系统性地进行现场数据采集和人工标注，历时22个月完成了平台的搭建和50万张数据标注的积累。

数据采集体系

数据采集覆盖了昼间、夜间、晨昏四类光照条件和晴天、阴天、雨天、雾天四类天气条件。采集设备包括固定在起重机主梁底部的8台500万像素工业相机和一台部署在吊运区域侧方的移动监测相机。相机采用全局快门传感器，帧率25fps，支持HDR宽动态模式。标注平台支持矩形框、多边形、关键点和语义分割四种标注类型，满足检测（目标检测）、分割（缺陷分割）、定位（关键点定位）三类任务的标注需求。标注管理配置了三级质检流程，包括标注员初标、组长复核和算法人员抽检，抽检比例不低于20%，标注准确率要求达到97%以上。

数据集构成

50万张标注数据按照检测任务分为五大类。人员侵入检测数据集25万张，标注类别包括安全帽可视人员、安全帽不可视人员、未佩戴安全帽人员和作业区外接近人员四种子类，涵盖行走、蹲姿、弯腰、操作四种姿态，以及远景（像素高度<50px）、中景（50~150px）、近景（>150px）三个距离区间。吊物检测数据集12万张，标注类别包括钢卷（卧式和立式）、钢板（平放和斜放）、设备部件（箱体和框架）和散料（堆和不规则形态），覆盖不同吊具类型（钢丝绳、吊带、电磁吸盘）和不同负载形态下的吊物视觉特征。焊缝缺陷检测数据集8万张，标注类别包括裂纹、未焊透、气孔、夹渣和咬边五类缺陷，数据来源包括实验室拍摄的标准样片和工厂现场的焊缝照片，每张图像经过金相分析验证缺陷的真实性。钢丝绳检测数据集3万张，标注类别包括断丝、磨损、腐蚀、变形、绳径缩小五类异常。轨道异常检测数据集2万张，标注类别包括轨道偏移、轨道裂纹和轨道异物三类。

模型训练与迭代

训练平台部署有两套独立的训练环境。在线训练环境基于4张NVIDIA RTX 4090 GPU，支持PyTorch和TensorFlow双框架，通过Docker容器化管理实现训练任务的快速部署和资源隔离。离线训练环境配置2张NVIDIA A100 80GB GPU，用于大模型和大规模数据集的训练加速。平台内置了自动化训练流水线，支持从数据版本管理、超参数搜索、模型训练、评估比较到模型注册的全流程管理。模型训练基于YOLOv8架构，采用Mosaic数据增强、自适应锚框计算和CIoU损失函数。经过50万张数据的多轮迭代训练，人员侵入检测的mAP从初始的67.3%提升至92.3%，吊物检测的mAP达到89.1%，焊缝缺陷检测的mAP达到91.5%。

测试验证设施

除了训练功能外，平台还配备了一套硬件在环测试设施。测试工装由一台5吨实验天车、一套可编程环境模拟系统和一套数据采集分析系统组成。实验天车安装于室内测试车间，轨道跨度12米，起升高度6米，支持手动和自动两种操作模式。可编程环境模拟系统支持光照（0~50000 lux可调）、温湿度（温度-10℃~50℃、湿度20%~90%RH可调）和粉尘浓度（0~10mg/m³可调）等环境参数的模拟控制。数据采集分析系统可以同步记录AI视觉输出结果、编码器位置数据和环境参数，生成每帧检测的综合评估报告。硬件在环测试可以在受控实验条件下验证AI视觉算法在各种极端工况下的性能表现，为主机部署前的算法稳定性评估提供可靠的实验室依据。

数据安全与隐私

工业视觉数据集可能涉及客户工厂的产线布局和设备配置信息，数据安全管理是平台建设的重要考量。所有采集的原始数据存储在企业本地部署的NAS存储阵列上，总容量200TB，采用RAID6冗余配置。数据访问实行分级权限管理，分为原始数据访问、标注数据访问和模型数据访问三个等级，所有访问操作记录审计日志。与外部标注团队合作时，采用数据脱敏和分块标注策略，每块数据仅包含单一场景片段且不含工厂可识别特征，标注完成后由企业内部人员进行数据合标和质检。与郑州大学联合实验室的数据共享遵循双方签署的数据使用协议，仅限学术分析用途，实验室内部禁止将数据用于其他商业项目。

发展规划

克鲁德重工计划在2027年前将标注数据规模扩展至100万张，重点补充恶劣天气和低光照条件下的边缘案例数据，解决模型在极端工况下的长尾分布问题。同时启动时序数据集建设，为视频行为识别和轨迹预测模型的训练积累连续帧标注数据，每条时序标注包含不少于300帧的连续检测序列。平台还将开放部分脱敏数据集用于学术研究合作，推动起重机AI视觉领域的基准测试标准建立。

Perguntas frequentes (FAQ)

Q1：克鲁德重工的AI视觉训练平台与通用AI训练平台有什么区别？

通用AI训练平台主要面向自动驾驶、安防监控等成熟领域，数据集以公开街道场景和通用场景为主。克鲁德重工的平台是行业内首个面向起重机的专用AI视觉训练平台，数据集全部来自企业自有设备在客户现场的实际运行场景，覆盖工厂吊运车间特有的工况条件。数据标注类别和检测任务配置完全针对起重机安全监测和缺陷检测的需求，包含人员侵入、吊物识别、钢丝绳、焊缝、轨道五大专用数据集。训练算法针对工业推理场景进行了轻量化优化，部署时模型参数量控制在5MB以内，可在Jetson Orin NX边缘计算设备上实现实时推理。

Q2：50万张标注数据的具体获取周期和成本是多少？

从2023年9月启动到2025年7月完成，历时22个月。数据采集投入8台工业相机和安装部署费用约28万元，标注管理投入标注人员高峰期15人、常规期8人，累计人工标注成本约180万元。平台硬件设备（GPU服务器、NAS存储、测试工装）投入约95万元。人均日标注产能约为120张（简单场景）至40张（复杂场景），平均综合标注成本约为每张3.6元。

Q3：该平台是否支持数据增量更新？

支持。平台的数据管理模块基于DVC（Data Version Control）实现数据集的版本管理和增量更新。新采集的数据经过质检合格后自动合并入对应数据集的下一版本，每次更新不会影响已部署模型的推理结果。训练工程师可以根据算法迭代需求选择指定的数据版本进行训练，支持在不同数据版本之间进行模型的回滚对比评估。当前平台的数据版本号已迭代至V2.8，累积增量更新18次。

Q4：数据集的泛化能力和跨场景适应性如何？

数据集构建时专门加入了跨工厂的多样性设计，数据来源覆盖汽车制造、钢铁冶金、仓储物流、机械加工四个行业的18个客户现场。在同一工厂内部，采集了不同作业区域（如原料区、成品区、维修区）、不同时段和不同季节的现场影像。跨场景测试表明，在未参与训练的工厂现场部署时，人员侵入检测的mAP下降控制在5个百分点以内，吊物检测的mAP下降控制在8个百分点以内。计划在下一阶段继续扩充来自更多行业和更多工厂的多样化数据，进一步提升模型的泛化能力。