Guide to Selecting a Big Data Platform for Cranes: The Three-Part Set of Time-Series Databases, Stream Processing, and Visualization Dashboards
📌 天车大数据平台技术栈推荐：时序数据库选InfluxDB（特征数据永久存储）或TDengine（超大规模），流计算选Kafka+Flink（实时告警+特征计算），可视化选Grafana（实时看板+告警推送）。克鲁德重工大数据平台默认采用InfluxDB+Kafka+Flink+Grafana技术栈，单站（20台天车）硬件成本约¥8~15万、年运维费用约¥3~5万。
建设天车大数据平台，技术栈选型直接决定系统的性能、成本和可维护性。市面上时序数据库、流计算引擎、可视化工具各有数十种选择。本文基于克鲁德重工在200+台天车上的实际部署经验，从天车工业场景的特殊需求出发，对比主流技术方案并给出推荐组合。
1. 时序数据库选型——InfluxDB vs TimescaleDB vs TDengine
天车大数据平台的核心存储是时序数据库，负责存储秒级特征数据（128维×1Hz）、毫秒级事件数据和设备元数据。三个主流方案的详细对比：
| Comparison Items | InfluxDB 2.x | TimescaleDB | TDengine 3.x |
|---|---|---|---|
| 写入性能(单节点) | ~3万点/秒 | ~2万点/秒 | ~500万点/秒 |
| 压缩比 | 5:1 | 12:1 | 10:1 |
| 查询延迟(1h范围) | ≤200ms | ≤500ms | ≤300ms |
| 查询语言 | Flux（学习曲线陡） | 标准SQL | 标准SQL+扩展 |
| 部署复杂度 | 简单(Docker一键) | 中等(需PostgreSQL) | 简单(单bin文件) |
| 开源协议 | MIT（社区版） | TSL（社区版） | AGPL（社区版） |
| Applicable Scenarios | 20~100台天车 | 需关联业务表 | 100~500台天车 |
克鲁德推荐：20~100台天车的中型工厂选InfluxDB——查询性能最佳、社区最活跃、Grafana集成最成熟。100台以上的大型工厂选TDengine——写入性能遥遥领先。需要天车数据与排产/设备台账关联分析时选TimescaleDB。
2. 流计算引擎选型——Kafka/Flink/Node-RED对比
边缘盒上传的特征数据需要经过流处理引擎完成告警判定、聚合计算和数据路由。三种方案定位不同：
| Comparison Items | Kafka+Connectors | Flink | Node-RED |
|---|---|---|---|
| 吞吐能力 | 百万msg/s | 50万event/s | 1千msg/s |
| 处理延迟 | 5~10ms | <1ms | 10~50ms |
| 状态管理 | 无状态 | 有状态(exactly-once) | 有限(context变量) |
| 窗口聚合 | Kafka Streams支持 | 内置(tumble/slide/session) | 需自实现 |
| 运维复杂度 | 高(ZooKeeper/KRaft) | 高(JobManager集群) | 低(单个进程) |
| 协议适配 | REST/RPC | Kafka连接 | MQTT/OPCUA/Modbus/HTTP |
克鲁德推荐：标准方案选Kafka（数据缓冲层）+ Flink（实时告警和特征计算引擎）。Node-RED作为边缘侧轻量协议转换器使用（MQTT→Kafka）。三件套集成后单站（20台天车）边缘→Flink告警延迟≤500ms。
3. 可视化看板选型——Grafana vs Superset
看板是天车大数据呈现在使用人员面前的最终界面。两个开源方案各有千秋：
Grafana（推荐）：天车实时监控看板的首选方案。原生支持InfluxDB/TDengine数据源，内置丰富的时间序列图表模板（时间序列折线图/热力图/状态面板），支持告警规则管理和多通道推送（微信/钉钉/邮件）。Grafana告警引擎基于Prometheus AlertManager，可通过Webhook接入克鲁德重工微信小程序。配置示例：轴承振动RMS趋势看板（每10秒刷新，超过基线2倍触发告警）。Grafana单节点可同时服务100+用户并发访问。
Superset：适合管理报表场景——月能效报告、OEE趋势图、维护费用统计。Superset的拖拽式SQL查询对非技术人员更友好，但实时刷新能力弱（最小刷新间隔60秒）。克鲁德重工大数据平台同时集成Grafana（实时看板）+ Superset（管理报表），用户可在同一个页面切换。
|
¥8~15万
单站硬件成本(20台)
含边缘盒+服务器+网络设备
|
3~5万/年
年运维费用
含数据存储+模型维护+看板
|
100%
开源组件使用率
无商业软件锁定的风险
|
|
500ms
告警延迟
边缘→Flink→告警推送端到端
|
28张
标准看板数量
运营总览/单设备/历史分析三类
|
14天
免费试用期
接入2台天车完整体验
|
4. 硬件配置与部署架构
克鲁德重工标准版大数据平台（20台天车规模）的硬件配置方案：边缘侧每台天车配1台Jetson Orin NX（¥3,500~7,000/台，含传感器套件）；服务器侧标配1台服务器（Dell R750xs或同等，¥40,000~60,000），部署InfluxDB+Kafka+Flink+Grafana+PostgreSQL+MinIO。推荐配置：双路Intel Xeon Silver 4314（32核64线程）、128GB RAM、4×8TB SSD（RAID10）、双口25GbE网卡。按天车使用率80%、特征数据日增1.2GB/台计算，可保留90天热数据+永久冷数据。
克鲁德重工提供完整的技术栈部署方案，更多数据应用可参考天车运行数据全链路解读和预测维护模型精度对比。如需技术栈选型咨询，请联系克鲁德重工大数据团队获取定制方案。
Frequently Asked Questions (FAQ)
问：大数据平台部署需要多长时间？
答：克鲁德重工标准版部署周期：传感器安装（3~5天/台，可多台并行）→边缘盒调试（2天/站）→服务器搭建+Kafka/Flink/InfluxDB部署（3天）→Grafana看板配置（2天）→模型初始训练（7天数据积累后开始）。从设备到货到看板上线约15~20个工作日。存量天车改造无需停机，不影响正常生产。
问：数据安全和隐私怎么保障？
答：克鲁德重工大数据平台支持全私有化部署，数据不出厂。边缘→服务器通信采用TLS 1.3加密+双向证书认证。数据存储层支持透明加密（AES-256）。用户权限通过RBAC控制，操作日志可追溯。同时支持VPN远程运维通道，克鲁德运维人员不直接访问任何数据。已通过ISO 27001信息安全认证，满足钢铁、化工等行业的安全合规要求。
问：数据库选了InfluxDB，后续扩容怎么办？
答：InfluxDB 2.x支持按组织隔离的多租户架构。扩容方向：垂直扩容（增加服务器RAM和CPU）→水平扩容（InfluxDB企业版支持集群）。克鲁德标准版推荐先用单节点垂直扩容策略（64GB RAM可支持50万series/秒读取），当series数超过200万时迁移到TDengine集群。数据迁移工具由克鲁德提供，迁移过程对上层Grafana看板透明。
问：工厂网络条件差，不能用Kafka怎么办？
答：克鲁德提供”离线优先”部署方案——边缘盒内置嵌入式消息队列（NATS），在网络断连时缓存数据（最大缓存72小时数据约3.6TB/台），网络恢复后自动批量同步。边缘盒本地也能独立运行告警逻辑（无需云端依赖）。该方案已应用于某西部矿区的天车数据采集项目，月断网时长累计约48小时，数据零丢失。
天车大数据平台的技术栈选型需要综合考量工厂规模、IT团队能力、预算和扩展计划。克鲁德重工提供标准版（20~100台）和企业版（不限台数）两种方案，均支持全开源技术栈零商业授权费。联系克鲁德重工技术团队获取免费试用和选型方案。
📌 Recommended Standards
• GB/T 6974.6-2008《起重机 术语 第6部分：铁路起重机》
• GB/T 6974.7-2008《起重机 术语 第7部分：浮式起重机》
• GB/T 24818.4-2009《起重机 通道及安全防护设施 第4部分：臂架起重机》
