Anti-balancement de pont roulant : le défi relevé par l'IA

Dans les environnements industriels tels que les ports, les aciéries et les entrepôts logistiques, les oscillations de la charge suspendue constituent le principal goulot d'étranglement pour l'efficacité et la sécurité des ponts roulants. Les balancements résiduels apparaissent lors des phases de démarrage et d'arrêt. L'opérateur expérimenté doit alors compenser manuellement ces oscillations, ce qui peut nécessiter de nombreuses secondes, voire plusieurs minutes, pour un simple positionnement, pénalisant fortement la cadence opérationnelle. Les méthodes anti-balancement traditionnelles — mécaniques, électroniques (PID), ou par mise en forme d'entrée (Input Shaping) — offrent des performances acceptables dans des conditions fixes. En revanche, leur robustesse se dégrade significativement face aux variations de longueur de câble, aux différences de masse de la charge ou aux perturbations éoliennes, imposant des réglages manuels répétés. Depuis 2020, l'apprentissage par renforcement (Reinforcement Learning, RL) a ouvert une nouvelle voie pour le contrôle anti-balancement. L'agent RL interagit en continu avec son environnement pour apprendre une stratégie de contrôle optimale, sans nécessiter une modélisation explicite de la dynamique du système. Cette approche offre une forte capacité de fitting non linéaire et une adaptabilité intrinsèque. L'équipe de Kelude a été la première à déployer les algorithmes d'apprentissage par renforcement profond PPO (Proximal Policy Optimization) et SAC (Soft Actor-Critic) dans un système de contrôle anti-balancement pour pont roulant intelligent. Cet article détaille l'ensemble de la chaîne technique : principes algorithmiques, construction de l'environnement de simulation, optimisation de l'entraînement et déploiement industriel, et fournit une comparaison quantitative avec les méthodes classiques.

Conception des espaces d'états et d'actions

Anti-balancement RL : conception de l'espace d'états et d'actions pour la grue

La première tâche de l'anti-balancement RL consiste à modéliser le système physique de la grue comme un processus de décision markovien (MDP), où la définition de l'espace d'états et de l'espace d'actions influence directement l'efficacité de l'apprentissage de la politique et la vitesse de convergence. L'espace d'états de la solution Kelude comprend cinq dimensions fondamentales :

• Angle de balancement du spreader θ : mesuré en temps réel par un capteur d'inclinaison ou un système de vision, avec une précision généralement inférieure à ±0,1°. C'est la variable de retour la plus critique pour l'anti-balancement, reflétant directement l'amplitude de l'oscillation.
• Vitesse angulaire ω : dérivée première de l'angle, elle indique la tendance et la direction de l'oscillation, aidant l'agent à anticiper les changements d'état futurs et à prendre des mesures d'amortissement préventives.
• Position du chariot x : obtenue par retour codeur, elle est utilisée pour un positionnement précis – l'objectif final de l'anti-balancement étant d'immobiliser le chariot au-dessus de la position cible avec une amplitude minimale.
• Vitesse du chariot v : valeur de retour en boucle fermée de vitesse, elle prévient les oscillations secondaires dues à des changements brusques d'accélération et aide l'agent à comprendre les caractéristiques dynamiques du système.
• Longueur de câble L : valeur en temps réel du mécanisme de levage, elle influence directement la fréquence propre du système (T=2π√(L/g)). Plus la longueur du câble est grande, plus la période d'oscillation est longue, et la stratégie du contrôleur doit s'adapter en conséquence.

La dimension du vecteur d'état détermine directement la taille de la couche d'entrée du réseau de politique (Policy Network). Ces cinq dimensions couvrent physiquement toutes les grandeurs observables du système sous-actionné, garantissant une observabilité complète pour l'agent RL. En pratique, chaque dimension d'état est normalisée dans l'intervalle [-1, 1] ou [0, 1] pour éviter l'instabilité de l'entraînement du réseau due aux différentes échelles.

L'espace d'actions est conçu comme une sortie continue bidimensionnelle :

• Commande d'accélération du chariot a_x : plage de valeurs [-1,0, 1,0] m/s², servant de valeur cible pour la boucle de vitesse du contrôleur de fréquence. Une accélération positive entraîne le chariot vers l'avant, une accélération négative le freine.
• Compensation de vitesse de levage Δv_h : compense la vitesse de levage lors des variations de longueur de câble. Lorsque le chariot et le levage fonctionnent simultanément, le changement de longueur de câble modifie la dynamique du système ; cette compensation évite les perturbations excitatrices supplémentaires induites par la variation de longueur.

Comparé aux actions discrètes (comme contrôler uniquement trois vitesses : accélération, décélération, constante), un espace d'actions continu permet une courbe de contrôle plus lisse. Ceci est crucial pour des équipements lourds comme les grues – les arrêts et démarrages brusques et fréquents non seulement augmentent la fatigue de la structure mécanique et réduisent la durée de vie du câble métallique, mais peuvent aussi présenter des risques de sécurité tels que le décrochage de la charge. La sortie d'actions continue bidimensionnelle permet à l'agent d'exécuter un positionnement anti-balancement parfait avec une courbe d'accélération douce, à l'instar d'un opérateur expérimenté.

Conception multi-objectifs de la fonction de récompense

La fonction de récompense est l'âme de l'entraînement RL – elle encode l'expertise de l'ingénieur en objectifs d'apprentissage pour l'agent. La solution Kelude utilise une récompense combinée pondérée, comprenant quatre sous-termes :

R = w₁·R_swing + w₂·R_pos + w₃·R_energy + w₄·R_terminal

• Pénalité d'angle R_swing = -α·θ² – β·ω². Ce terme applique une récompense négative continue tant que l'angle ou la vitesse angulaire n'est pas nul, poussant l'agent à éliminer l'oscillation en priorité. Le rapport α/β contrôle la priorité entre "position" et "angle" – dans les scénarios de sécurité, on peut augmenter la valeur αβ, dans les scénarios d'efficacité, on peut la réduire.
• Récompense de positionnement R_pos = -γ·|x – x_target|. Une récompense négative importante est donnée lorsque le chariot est loin de la position cible, encourageant l'agent à atteindre la cible rapidement. Combinée avec la récompense terminale, elle évite que l'agent ne cherche qu'à éliminer l'oscillation sans se positionner.
• Terme d'énergie R_energy = -δ·a_x² – ε·Δv_h². Pénalise les accélérations et les actions de compensation inutiles. Cette conception force l'agent à trouver un équilibre entre la qualité de contrôle et la consommation d'énergie, évitant les comportements de "sur-contrôle" à haute fréquence.
• Récompense terminale R_terminal : une récompense positive unique est accordée lorsque |θ| < θ_th (seuil d'angle, généralement fixé à 0,5°) et |x – x_target| < d_th (seuil de positionnement, fixé à 10 mm) pendant plus de 3 secondes, encourageant l'agent à terminer la tâche dans un état stable.

Les coefficients de pondération {w₁, w₂, w₃, w₄} sont déterminés par balayage hyperparamétrique. L'équipe Kelude utilise l'optimisation bayésienne (Bayesian Optimization) pour rechercher la combinaison optimale de poids dans l'espace des paramètres. Le principe final retenu est : la pénalité d'angle a le poids le plus élevé (w₁ est la priorité absolue), le poids de positionnement est le deuxième (w₂ est la deuxième priorité), et le poids de l'énergie est le plus faible (w₃ est une contrainte souple). Cette conception hiérarchique garantit que l'agent apprend d'abord à éliminer l'oscillation, puis à se positionner avec précision et à économiser l'énergie – ce qui est conforme au principe premier de la sécurité industrielle.

Environnement de simulation : co-simulation Simulink + Adams

L'entraînement RL nécessite des millions de pas de temps de données d'interaction. Un entraînement direct sur machine réelle est à la fois dangereux et coûteux – une seule action erronée peut provoquer le renversement de la grue ou la rupture du câble métallique. La solution Kelude construit un environnement de co-simulation haute fidélité basé sur MATLAB/Simulink + Adams, combinant la flexibilité algorithmique de Simulink et la précision de la dynamique multi-corps d'Adams.

Dans Simulink, un modèle de pendule simple à longueur de câble variable est implémenté, dont l'équation dynamique centrale est :

(mL²)·θ” + 2mL·v_h·θ’ + mgL·sinθ = -mL·cosθ·a_x

Où m est la masse de la charge, L la longueur du câble, v_h la vitesse de levage, et a_x l'accélération du chariot. Le premier terme à gauche représente le moment d'inertie, le deuxième le moment de Coriolis (dû à la variation de longueur du câble), et le troisième le moment de rappel gravitationnel ; le terme de droite représente le moment excitateur transmis à la charge par l'accélération du chariot via le câble. Bien que ce modèle fasse des hypothèses de corps rigide, il capture déjà les principales caractéristiques dynamiques de l'anti-balancement de la grue.

Du côté d'Adams, une simulation 3D multi-corps détaillée est fournie, incluant la modélisation du câble métallique comme corps flexible (discrétisation en plusieurs segments rigides avec connexions ressort-amortisseur), le contact et le frottement roue-rail (modèle de frottement de Coulomb avec effet Stribeck), les caractéristiques de couple du moteur (avec saturation et délai de réponse), et d'autres facteurs non linéaires. Simulink échange des données toutes les 10 ms via l'interface de co-simulation (Simulink Coder / Adams Controls Toolkit) – Simulink envoie les commandes d'accélération à Adams, et Adams renvoie l'angle, la position et d'autres états à Simulink – formant une boucle fermée haute fidélité.

L'avantage de cette co-simulation est de tirer parti des forces de chaque outil : Simulink pour l'itération rapide des algorithmes RL et l'optimisation des hyperparamètres, Adams pour la validation de fidélité physique. L'équipe Kelude a constaté dans des projets réels que les politiques RL entraînées sur le modèle de pendule simple de Simulink, testées dans l'environnement haute fidélité d'Adams, montrent une dégradation de performance d'environ 15 % à 20 %, mais peuvent être restaurées à un niveau proche de la simulation après un ajustement fin avec les données d'Adams.

Comparaison d'entraînement PPO vs SAC et optimisation des hyperparamètres

Kelude a simultanément validé et comparé systématiquement deux algorithmes, PPO (Proximal Policy Optimization) et SAC (Soft Actor-Critic), sur la même plateforme. C'est la première fois dans l'industrie nationale de la grue qu'un benchmark complet de ces deux algorithmes RL majeurs est réalisé.

PPO est réputé pour sa stabilité d'entraînement et sa robustesse aux hyperparamètres. Dans la tâche d'anti-balancement, il converge rapidement – environ 500 000 pas de temps suffisent pour atteindre un niveau utilisable avec un temps d'amortissement inférieur à 3 secondes. Son mécanisme clé est l'utilisation d'une opération clip pour limiter la taille des mises à jour de politique, évitant qu'une mise à jour trop importante ne s'écarte de l'ancienne politique et ne provoque un effondrement de l'entraînement. Les hyperparamètres clés sont : clip epsilon=0,2, taux d'apprentissage=3×10⁻⁴, GAE λ=0,95, objectif de divergence KL=0,02, et une architecture de réseau à deux couches cachées de 256 nœuds chacune. Le mécanisme clip de PPO offre un avantage unique dans les projets industriels : même si la fonction de récompense n'est pas parfaitement conçue, PPO converge de manière robuste, réduisant l'exigence d'expérience de l'ingénieur pour le réglage des paramètres.

SAC excelle quant à lui en efficacité d'exploration et en performance finale. Basé sur le cadre de l'entropie maximale (Maximum Entropy), SAC maximise l'entropie de la politique en plus de la récompense, encourageant l'agent à explorer pleinement l'espace d'actions pendant l'entraînement. Après environ 800 000 pas de temps, SAC peut atteindre une solution plus optimale : l'angle résiduel moyen est réduit d'environ 15 %, mais la courbe d'entraînement est plus fluctuante au début que PPO et plus sensible aux hyperparamètres de la fonction de récompense. Les hyperparamètres clés de SAC incluent : coefficient de température α=0,2 (avec mécanisme d'ajustement automatique), entropie cible = -dim(A) (A étant la dimension de l'espace d'actions, ici 2), et une architecture de réseau également à deux couches de 256 nœuds.

L'analyse des courbes d'entraînement révèle des différences intéressantes : la courbe de récompense cumulée de PPO converge plus rapidement mais atteint un plateau en fin d'entraînement, reflétant la limitation de la contrainte KL sur l'amélioration de la politique ; la courbe de SAC oscille fortement au début mais continue de croître à la fin, montrant une plus grande capacité d'exploration. Sur la base de cette découverte, l'équipe Kelude a adopté de manière innovante une stratégie d'entraînement en deux phases – la première phase utilise PPO (1 million de pas de temps) pour obtenir rapidement une politique initiale fiable, la seconde phase, partant de cette politique, utilise SAC (500 000 pas de temps supplémentaires) pour un ajustement fin. La performance finale combinée est supérieure d'environ 12 % à celle de l'un ou l'autre algorithme utilisé seul.

Transfert Sim2Real : stratégie de randomisation de domaine

La migration du simulateur vers la machine réelle (Sim2Real) constitue l'un des principaux goulots d'étranglement pour le déploiement industriel de l'apprentissage par renforcement (RL), et représente le fossé le plus difficile à combler entre le monde académique et l'industrie. L'environnement simulé ne peut jamais refléter parfaitement l'intégralité des propriétés physiques du monde réel — bruit des capteurs, anisotropie de la force de frottement, fluctuations du délai de réponse du moteur, rigidité non linéaire du câble métallique, résistance de l'air, etc. La solution de Kelude adopte une stratégie de Domain Randomization (randomisation de domaine) pour combler systématiquement cet écart. Concrètement, au début de chaque épisode de simulation, les paramètres physiques clés sont échantillonnés de manière aléatoire :

• Longueur du câble L : échantillonnage uniforme de 3 m à 15 m, couvrant la plage de travail la plus courante des ponts roulants ;
• Masse de la charge m : aléatoire de 500 kg à 10 000 kg, simulant les variations de la charge à vide à la pleine charge ;
• Coefficient de frottement : variation de ±30 % par rapport à la valeur nominale, simulant différents degrés d'usure et conditions de lubrification ;
• Bruit du capteur : ajout d'un bruit gaussien N(0, σ²) à la mesure de l'angle d'oscillation, avec σ aléatoire entre 0,01 et 0,05 rad, simulant les interférences électriques industrielles ;
• Délai de réponse du moteur : échantillonnage uniforme de 5 à 20 ms, simulant les fluctuations du temps de réponse du variateur de fréquence ;
• Coefficient d'amortissement du câble métallique : variation de ±50 % par rapport à la valeur nominale, simulant les différences de caractéristiques d'amortissement pour différentes longueurs et diamètres de câble.

Grâce à cette méthode d'entraînement « prospérer dans le chaos », le réseau de politique apprend à trouver une stratégie anti-balancement robuste dans des conditions incertaines — un peu comme un athlète qui, après s'être entraîné dans diverses conditions météorologiques, peut performer de manière stable dans n'importe quel environnement. L'équipe de Kelude a validé l'efficacité de la randomisation de domaine lors de tests sur machine réelle : la politique RL entraînée sans randomisation affiche un taux de réussite de migration Sim2Real inférieur à 30 %, et les premières exécutions après déploiement présentent presque inévitablement des oscillations sévères ; en revanche, la politique entraînée avec une randomisation de domaine complète atteint un taux de réussite de migration supérieur à 85 %, et la première exécution sur machine réelle atteint déjà une qualité de contrôle proche de celle de la simulation.

Analyse comparative avec les méthodes anti-balancement classiques

L'équipe de Kelude a mené une comparaison horizontale systématique de trois approches sur une même plateforme expérimentale standardisée : l'anti-balancement électronique PID (après optimisation technique), l'input shaper (Zero Vibration Shaper, ZV) et l'anti-balancement RL (schéma intégré d'entraînement en deux étapes PPO+SAC). Les conditions expérimentales sont hautement standardisées, garantissant l'objectivité et la reproductibilité des données comparatives.

Paramètres expérimentaux : capacité de levage de 10 t, longueur de câble de 10 m, distance de translation du chariot de 20 m, exigence de précision de positionnement de ±10 mm.

Comparaison du temps d'amortissement : l'anti-balancement RL est en tête avec un temps d'amortissement de 2,1 secondes, soit une réduction de 74,4 % par rapport aux 8,2 secondes du PID, et de 62,5 % par rapport aux 5,6 secondes de l'input shaper ZV. Cela signifie que pour une seule tâche de manutention, la solution RL permet d'économiser 3,5 à 6,1 secondes de temps d'attente pour l'amortissement. Sur la base de 30 cycles de travail par heure, cela représente une économie de 105 à 183 secondes par heure — l'équivalent de 2 à 3 cycles de manutention supplémentaires par heure.

Comparaison de l'angle résiduel : l'angle résiduel de l'anti-balancement RL n'est que de 0,3°, nettement meilleur que les 1,8° du PID et les 0,9° du ZV. Un angle résiduel plus faible signifie que l'alignement du levage et l'opération de décrochage peuvent être effectués immédiatement après le positionnement, sans attendre la décroissance de l'oscillation, ce qui réduit considérablement le temps de cycle de chaque opération.

Comparaison de la robustesse : lors des tests comparatifs avec une longueur de câble variant de 6 m à 14 m, le PID nécessite un réglage manuel des paramètres, sinon le temps d'amortissement se dégrade à plus de 12 secondes ; l'input shaper ZV nécessite un recalcul des paramètres d'impulsion de mise en forme, sinon il produit de graves oscillations secondaires ; la solution RL ne nécessite aucun ajustement et maintient un temps d'amortissement constant entre 2,1 et 2,8 secondes sur toute la plage de longueurs de câble, démontrant une excellente capacité d'adaptation.

Il est important de noter que l'anti-balancement RL ne remplace pas entièrement les méthodes traditionnelles — au contraire, il s'appuie sur une base de contrôle inférieure mature et fiable. Au niveau de la boucle fermée de vitesse, la boucle de vitesse PID est toujours utilisée ; le RL ne génère que la séquence de décisions optimale au niveau de l'accélération. Cette architecture hybride « décision RL + exécution PID » combine l'intelligence de la stratégie et la fiabilité de la couche inférieure, et constitue le paradigme dominant pour le déploiement industriel du RL actuel.

Déploiement réel : modèle ONNX sur automate S7-1500

Le déploiement d'un réseau de neurones profond sur un automate industriel est la dernière pièce du puzzle et l'étape la plus difficile sur le plan technique. Les frameworks d'inférence de deep learning traditionnels (tels que PyTorch, TensorFlow) ne peuvent pas être exécutés directement sur un automate. C'est pourquoi Kelude utilise ONNX Runtime comme moteur d'inférence multiplateforme, exportant le réseau de politique entraîné au format standard ONNX et le déployant sur un automate Siemens S7-1500.

L'allègement du modèle est le cœur technique de la solution de déploiement, comprenant trois étapes clés :

• Quantification (Quantization) : utilisation d'une quantification statique pour compresser les poids et activations en virgule flottante 32 bits (FP32) en entiers 8 bits (INT8), réduisant la taille du modèle de 2,3 Mo à 0,6 Mo, soit une réduction de 74 %. La perte de précision d'inférence du modèle quantifié est contrôlée à moins de 3 %, sans impact perceptible sur la qualité du contrôle ;
• Fusion de couches (Layer Fusion) : fusion des opérateurs consécutifs BatchNorm + ReLU + Conv (ou entièrement connectés) en un seul nœud de calcul, réduisant le goulot d'étranglement de la bande passante mémoire et améliorant la vitesse d'inférence d'environ 40 % ;
• Élagage du réseau (Network Pruning) : élagage structurel basé sur l'amplitude des poids, réduisant les nœuds de la couche cachée de 256 à 128, tout en supprimant tous les poids de connexion dont la contribution est inférieure à 0,1 %. Le nombre final de paramètres du modèle est réduit d'environ 56 %, avec une perte de performance inférieure à 3 %.

La structure du modèle final déployé sur le S7-1500 est un réseau de neurones à une couche entièrement connectée : couche d'entrée à 5 nœuds (θ, ω, x, v, L), couche cachée à 128 nœuds (activation ReLU), couche de sortie à 2 nœuds (activation tanh, sortie a_x et Δv_h). Le temps d'inférence par exécution est d'environ 0,8 milliseconde (mesuré sur le CPU local du S7-1500), ce qui satisfait pleinement à l'exigence de temps réel d'un cycle de contrôle de 10 millisecondes. L'automate appelle la bibliothèque dynamique ONNX Runtime via un bloc fonctionnel (FB) personnalisé, exécutant une inférence directe toutes les 10 ms selon un cycle standard et émettant les commandes d'action.

En ce qui concerne les mécanismes de sécurité, la solution de déploiement intègre une logique de limitation de sortie et de dégradation : en cas d'anomalie d'inférence ONNX Runtime ou si la sortie dépasse un seuil de sécurité prédéfini, le système bascule automatiquement vers le contrôle PID de la couche inférieure, garantissant que le système n'exécute jamais de commandes d'action dangereuses dans aucune circonstance.

Résumé et perspectives

La solution d'anti-balancement RL de Kelude a réussi à faire passer deux algorithmes d'apprentissage par renforcement profond, PPO et SAC, de la recherche académique à la pratique industrielle. Grâce à une conception minutieuse de l'espace d'états, une fonction de récompense multi-objectifs pondérée, une validation par co-simulation Simulink+Adams, une stratégie de transfert par randomisation de domaine et un déploiement allégé du modèle ONNX sur l'automate S7-1500, un cycle technique complet de « formation en simulation, déploiement sur machine réelle » a été établi.

Cette solution surpasse significativement les méthodes classiques comme le PID et l'input shaper en termes d'efficacité d'amortissement, de précision de positionnement et d'adaptabilité aux conditions de travail, avec une réduction du temps d'amortissement de plus de 60 %, offrant ainsi une voie technologique pratique pour l'intelligence et l'automatisation des ponts roulants industriels. À l'avenir, Kelude explorera des directions plus avancées telles que l'anti-balancement multi-appareils collaboratif, l'observation directe de l'angle d'oscillation par vision artificielle, l'apprentissage adaptatif en ligne à la périphérie et l'ordonnancement collaboratif multi-agents, poursuivant ainsi l'évolution des appareils de levage de l'automatisation vers l'intelligence.

Références

• ISO 4301 / FEM 1.001 - Appareils de levage - Classification
• ISO 4306 - Ponts roulants et portiques - Vocabulaire
• ISO 12480 - Appareils de levage - Règles de sécurité

FAQ

• GB/T 6974.6-2008 — Appareils de levage à charge suspendue — Vocabulaire — Partie 6 : Grues ferroviaires
• GB/T 6974.7-2008 — Appareils de levage à charge suspendue — Vocabulaire — Partie 7 : Grues flottantes
• GB/T 24818.4-2009 — Appareils de levage à charge suspendue — Accès et dispositifs de sécurité — Partie 4 : Grues à flèche