Guide de sélection d'une plateforme de mégadonnées pour grues : le trio « base de données chronologique · calcul de flux · tableau de bord visuel »
📌 Recommandations concernant la pile technologique de la plateforme de mégadonnées Tianche : pour la base de données chronologique, optez pour InfluxDB (stockage permanent des données de caractéristiques) ou TDengine (très grande échelle) ; pour le traitement des flux, choisissez Kafka + Flink (alertes en temps réel + calcul des caractéristiques) ; pour la visualisation, optez pour Grafana (tableaux de bord en temps réel + notification des alertes).La plateforme de mégadonnées de Krude Heavy Industry utilise par défaut la pile technologique InfluxDB + Kafka + Flink + Grafana. Le coût matériel d'un site (20 ponts roulants) s'élève à environ 80 000 à 150 000 yuans, et les frais annuels d'exploitation et de maintenance à environ 30 000 à 50 000 yuans.
Lors de la mise en place d’une plateforme de mégadonnées pour les ponts roulants, le choix de la pile technologique détermine directement les performances, le coût et la maintenabilité du système. Il existe sur le marché des dizaines d’options différentes en matière de bases de données chronologiques, de moteurs de traitement des flux et d’outils de visualisation. S'appuyant sur l'expérience acquise par Krued Heavy Industry lors du déploiement sur plus de 200 ponts roulants, cet article part des besoins spécifiques du secteur industriel des ponts roulants pour comparer les solutions techniques dominantes et proposer une combinaison recommandée.
1. Choix d'une base de données temporelle — InfluxDB, TimescaleDB et TDengine
Le cœur de la plateforme de mégadonnées Tianche est constitué d'une base de données chronologique, chargée de stocker des données de caractéristiques à la seconde près (128 dimensions × 1 Hz), des données d'événements à la milliseconde près et des métadonnées des équipements. Comparaison détaillée des trois principales solutions :
| Éléments de comparaison | InfluxDB 2.x | TimescaleDB | TDengine 3.x |
|---|---|---|---|
| Performances d'écriture (un seul nœud) | ~30 000 points/seconde | ~20 000 points/seconde | ~5 millions de points/seconde |
| Taux de compression | 5:1 | 12:1 | 10:1 |
| Délai de requête (intervalle de 1 heure) | ≤ 200 ms | ≤ 500 ms | ≤ 300 ms |
| Langue de recherche | Flux (courbe d'apprentissage abrupte) | SQL standard | SQL standard + extensions |
| Complexité du déploiement | Simple (Docker en un clic) | Niveau intermédiaire (nécessite PostgreSQL) | Simple (fichier à compartiment unique) |
| Licences open source | MIT (version communautaire) | TSL (version communautaire) | AGPL (version communautaire) |
| Cas d'utilisation | 20 à 100 ponts roulants | Tables métier à associer | 100 à 500 ponts roulants |
Recommandation de Krud :Pour les usines de taille moyenne comptant entre 20 et 100 ponts roulants, optez pour InfluxDB : performances de requête optimales, communauté très active et intégration Grafana la plus aboutie. Pour les grandes usines comptant plus de 100 ponts roulants, optez pour TDengine : performances d'écriture largement supérieures. Si vous avez besoin d'analyser les données des ponts roulants en les croisant avec la planification de la production ou le registre des équipements, optez pour TimescaleDB.
2. Choix d'un moteur de calcul en flux — Comparaison entre Kafka, Flink et Node-RED
Les données de caractéristiques transmises par les boîtiers périphériques doivent passer par le moteur de traitement en flux continu pour permettre la détermination des alertes, les calculs d'agrégation et le routage des données. Les trois solutions se distinguent par leur approche :
| Éléments de comparaison | Kafka + Connecteurs | Flink | Node-RED |
|---|---|---|---|
| Capacité de traitement | un million de messages par seconde | 500 000 événements/s | 1 000 msg/s |
| Retard de traitement | 5 à 10 ms | < 1 ms | 10 à 50 ms |
| Gestion des états | Sans état | Avec état (exactly-once) | Limité (variable context) |
| Agrégation des fenêtres | Prise en charge de Kafka Streams | Intégré (tumble/slide/session) | À implémenter soi-même |
| Complexité de l'exploitation et de la maintenance | Gao (ZooKeeper/KRaft) | Élevé (cluster JobManager) | Faible (processus unique) |
| Adaptation des protocoles | REST/RPC | Connexion à Kafka | MQTT/OPC UA/Modbus/HTTP |
Recommandation de Krud :La solution standard consiste à utiliser Kafka (couche de mise en mémoire tampon des données) + Flink (moteur d'alertes en temps réel et de calcul de caractéristiques). Node-RED sert de convertisseur de protocole léger côté périphérie (MQTT → Kafka). Une fois ces trois composants intégrés, le délai entre la périphérie d'un site unique (20 ponts roulants) et les alertes Flink est inférieur ou égal à 500 ms.
3. Choix d'un outil de visualisation : Grafana ou Superset ?
Le tableau de bord est l'interface finale par laquelle les données de Tianche Big Data sont présentées aux utilisateurs. Les deux solutions open source ont chacune leurs avantages :
Grafana (recommandé) :La solution de choix pour les tableaux de bord de surveillance en temps réel des ponts roulants. Prise en charge native des sources de données InfluxDB/TDengine, riche bibliothèque intégrée de modèles de graphiques de séries chronologiques (graphiques linéaires de séries chronologiques / cartes thermiques / tableaux de bord d'état), prise en charge de la gestion des règles d'alerte et des notifications multicanaux (WeChat / DingTalk / e-mail). Le moteur d’alertes de Grafana, basé sur Prometheus AlertManager, peut être intégré au mini-programme WeChat de Krued Heavy Industry via un Webhook. Exemple de configuration : tableau de bord de tendance RMS des vibrations des roulements (actualisation toutes les 10 secondes, déclenchement d’une alerte en cas de dépassement de deux fois la valeur de référence). Un seul nœud Grafana peut prendre en charge simultanément plus de 100 utilisateurs en accès simultané.
Superset :Convient aux scénarios de rapports de gestion : rapports mensuels sur l'efficacité énergétique, graphiques de tendance OEE, statistiques sur les coûts de maintenance. Les requêtes SQL par glisser-déposer de Superset sont plus conviviales pour les utilisateurs non techniciens, mais la capacité de rafraîchissement en temps réel est limitée (intervalle de rafraîchissement minimum de 60 secondes). La plateforme Big Data de Krud Heavy Industry intègre à la fois Grafana (tableaux de bord en temps réel) et Superset (rapports de gestion), permettant aux utilisateurs de basculer d’un outil à l’autre sur une même page.
|
80 000 à 150 000 yuans
Coût du matériel par station (20 unités)
Comprend une boîte périphérique + un serveur + des équipements réseau
|
30 000 à 50 000 par an
Frais annuels d'exploitation et de maintenance
Comprend le stockage des données, la maintenance des modèles et les tableaux de bord
|
100%
Taux d'utilisation des composants open source
Aucun risque lié aux verrous logiciels commerciaux
|
|
500 ms
Délai d'alerte
Périphérie → Flink → Envoi d'alertes de bout en bout
|
28 photos
Nombre standard de panneaux
Trois catégories : aperçu des opérations, appareil individuel et analyse historique
|
14 jours
Période d'essai gratuite
Expérience complète avec 2 ponts roulants
|
4. Configuration matérielle et architecture de déploiement
Configuration matérielle de la plateforme Big Data standard de Krud Heavy Industry (pour un parc de 20 ponts roulants) : en périphérie, chaque pont roulant est équipé d’un Jetson Orin NX (3 500 à 7 000 ¥/unité, kit de capteurs inclus) ; côté serveur, une configuration standard comprenant un serveur (Dell R750xs ou équivalent, 40 000 à 60 000 ¥), sur lequel sont déployés InfluxDB, Kafka, Flink, Grafana, PostgreSQL et MinIO. Configuration recommandée : deux processeurs Intel Xeon Silver 4314 (32 cœurs, 64 threads), 128 Go de RAM, 4 SSD de 8 To (RAID 10), carte réseau à deux ports 25 GbE. Sur la base d'un taux d'utilisation quotidien de 801 TP et 3 T, et d'une augmentation quotidienne des données de 1,2 Go par serveur, il est possible de conserver les données actives pendant 90 jours et les données inactives indéfiniment.
Krude Heavy Industry propose une solution complète de déploiement de la pile technologique. Pour plus d'informations sur les applications de données, veuillez consulterAnalyse complète des données d'exploitation des ponts roulants和Comparaison de la précision des modèles de maintenance prédictive. Si vous avez besoin de conseils pour le choix d'une pile technologique, veuillez contacter l'équipe Big Data de Krued Heavy Industry afin d'obtenir une solution sur mesure.
Foire aux questions (FAQ)
Question : Combien de temps faut-il pour déployer une plateforme de mégadonnées ?
Réponse : Cycle de déploiement de la version standard de Krud Heavy Industry : installation des capteurs (3 à 5 jours par unité, plusieurs unités peuvent être installées en parallèle) → mise au point des boîtiers périphériques (2 jours par station) → mise en place du serveur + déploiement de Kafka/Flink/InfluxDB (3 jours) → configuration du tableau de bord Grafana (2 jours) → Apprentissage initial du modèle (début après 7 jours d’accumulation de données). Il faut compter environ 15 à 20 jours ouvrables entre la réception des équipements et la mise en service du tableau de bord. La modernisation des ponts roulants existants ne nécessite aucun arrêt de production et n’affecte pas le fonctionnement normal de l’usine.
Question : Comment la sécurité et la confidentialité des données sont-elles garanties ?
Réponse : La plateforme de mégadonnées de Krud Heavy Industry prend en charge un déploiement entièrement privé, les données ne quittant jamais l’usine. La communication entre la périphérie et les serveurs utilise le chiffrement TLS 1.3 associé à une authentification bidirectionnelle par certificats. La couche de stockage des données prend en charge le chiffrement transparent (AES-256). Les droits d’accès des utilisateurs sont contrôlés via le modèle RBAC et les journaux d’opérations sont traçables. La plateforme prend également en charge un canal d’exploitation et de maintenance à distance via VPN ; le personnel d’exploitation et de maintenance de Krued n’accède donc directement à aucune donnée. Elle est certifiée ISO 27001 en matière de sécurité de l’information et répond aux exigences de conformité de sécurité des secteurs de la sidérurgie, de la chimie et autres.
Question : Nous avons choisi InfluxDB comme base de données. Comment procéder pour l'étendre ultérieurement ?
Réponse : InfluxDB 2.x prend en charge une architecture multi-locataires avec isolation par organisation. Stratégie d’évolutivité : évolutivité verticale (augmentation de la mémoire vive et de la puissance de calcul du serveur) → évolutivité horizontale (InfluxDB Enterprise prend en charge les clusters). Krud Standard Edition recommande de commencer par une stratégie d’évolutivité verticale sur un seul nœud (64 Go de RAM permettent de prendre en charge 500 000 séries par seconde en lecture), puis de migrer vers un cluster TDengine lorsque le nombre de séries dépasse 2 millions. L’outil de migration des données est fourni par Krud, et le processus de migration est transparent pour le tableau de bord Grafana en amont.
Question : Que faire si les conditions réseau de l'usine sont médiocres et qu'il est impossible d'utiliser Kafka ?
Réponse : Krud propose une solution de déploiement ” priorité hors ligne ” : le boîtier périphérique intègre une file d’attente de messages embarquée (NATS) qui met les données en cache en cas de coupure de connexion (capacité maximale de 72 heures, soit environ 3,6 To par boîtier), puis les synchronise automatiquement par lots une fois la connexion rétablie. Le boîtier périphérique peut également exécuter de manière autonome la logique d’alerte en local (sans dépendre du cloud). Cette solution a déjà été mise en œuvre dans le cadre d’un projet de collecte de données sur des ponts roulants dans un bassin minier de l’ouest du pays, où la durée cumulée des coupures de réseau s’élevait à environ 48 heures par mois, sans aucune perte de données.
Le choix de la pile technologique de la plateforme de mégadonnées pour ponts roulants nécessite de prendre en compte de manière globale la taille de l'usine, les compétences de l'équipe informatique, le budget et les projets d'extension. Krude Heavy Industry propose deux solutions : la version Standard (20 à 100 unités) et la version Entreprise (nombre d'unités illimité), toutes deux basées sur une pile technologique entièrement open source et sans frais de licence commerciale. Contactez l’équipe technique de Krude Heavy Industry pour obtenir un essai gratuit et des conseils sur le choix de la solution la mieux adaptée.
