Détection YOLOv8 et guidage visuel pour pont roulant

Dans les ateliers modernes de métallurgie, de construction navale et de fabrication d'équipements lourds, le pont roulant assure la manutention et l'alignement de bobines d'acier, de tôles, d'équipements de grande taille et de moules. Les opérations traditionnelles reposent sur l'expérience visuelle du conducteur et sur la communication vocale avec le personnel au sol, ce qui se traduit par une faible précision d'alignement, des goulots d'étranglement en termes de productivité et des risques de sécurité liés aux angles morts. Avec l'essor de l'industrie 4.0 et de la Fabrication Intelligente, les technologies de reconnaissance visuelle et de positionnement basées sur l'apprentissage profond transforment en profondeur les opérations de manutention par pont roulant. Cet article présente de manière systématique l'architecture technique, le chemin de mise en œuvre et les algorithmes clés du système de reconnaissance visuelle et de positionnement de précision des charges basé sur YOLOv8, offrant ainsi une référence technique complète pour la modernisation intelligente des ponts roulants.

Architecture globale du système de positionnement visuel

Le système de reconnaissance visuelle et de positionnement de précision pour charges de pont roulant adopte une architecture à quatre couches : couche de perception, couche d'inférence, couche de transformation et couche de commande, interconnectées via Ethernet haut débit et bus de terrain industriels, formant une chaîne d'Asservissement en boucle fermée.

Couche de perception : point d'entrée des données du système. Une caméra industrielle matricielle installée sous la poutre principale du pont roulant capture en temps réel les images de la zone de manutention. La caméra, de marque Hikvision ou Basler, offre une résolution de 5 à 12 mégapixels et est associée à un éclairage LED stroboscopique pour compenser les variations de luminosité et les ombres dans l'atelier. Les images sont transmises via une interface Gigabit Ethernet (protocole GigE Vision) au nœud d'Informatique en Périphérie, garantissant une transmission stable à haute cadence (jusqu'à 60 fps). Le matériel de la couche de perception est logé dans un boîtier en alliage d'aluminium avec Indice de Protection IP67, adapté aux environnements poussiéreux, à haute température et à fortes interférences électromagnétiques des ateliers métallurgiques.

Couche d'inférence : basée sur la plateforme de calcul NVIDIA Jetson Orin NX, elle exécute le modèle de détection d'objets YOLOv8. Ce module offre une puissance de calcul IA allant jusqu'à 100 TOPS et peut effectuer l'inférence sur une image 1920×1080 en 15 ms, répondant ainsi aux exigences de temps réel. La couche d'inférence reçoit le flux d'images brut de la couche de perception et génère pour chaque charge détectée les coordonnées de la boîte englobante, l'étiquette de classe et le score de confiance dans le repère image. Elle exécute également des algorithmes de prétraitement d'image, notamment l'égalisation d'histogramme, l'ajustement adaptatif du contraste et le recadrage de la région d'intérêt (ROI), afin d'améliorer la robustesse de la détection dans des conditions d'éclairage complexes.

Couche de transformation : exécute l'algorithme central de transformation de coordonnées. À l'aide de la matrice des paramètres intrinsèques de la caméra et de la matrice de transformation de perspective préalablement calibrées, elle convertit les coordonnées pixels issues de la couche d'inférence en coordonnées du repère monde sur le plan du sol (en mm). Cette couche assure également la correction de translation et de Rotation du repère, éliminant les distorsions de projection dues à l'angle et à la hauteur d'installation de la caméra. Le calcul de transformation utilise une interpolation bilinéaire et une optimisation au niveau subpixel, garantissant une précision de conversion conforme aux exigences d'alignement industriel.

Couche de commande : via une passerelle industrielle PROFINET, elle transmet les coordonnées de position calculées de la charge et les écarts d'alignement au système de commande du pont roulant (API Siemens S7-1200/1500). L'API reçoit les données d'écart et génère, conformément à l'algorithme de contrôle en boucle fermée de position prédéfini, les commandes de mouvement pour le Pont du Pont Roulant, le Chariot et le mécanisme de levage, permettant ainsi un alignement automatique et un dépôt précis. La couche de commande gère également les échanges de données avec le système MES et le Système de Surveillance de Sécurité, transmettant en temps réel les résultats de positionnement et l'état des équipements à la plateforme de gestion au niveau de l'atelier.

L'avantage de cette architecture à quatre couches réside dans le découplage clair des modules et l'uniformité des interfaces. La mise à niveau ou le remplacement d'une couche quelconque (mise à jour du modèle, ajustement des paramètres de la caméra, etc.) n'affecte pas le fonctionnement des autres couches, ce qui réduit considérablement la complexité de maintenance et d'itération. La latence de traitement de bout en bout du système est maintenue sous 100 ms, répondant aux exigences de contrôle en temps réel pour les déplacements à faible vitesse (≤20 m/min) du pont roulant.

Le tableau ci-dessous présente une comparaison des principaux modèles de caméras industrielles compatibles avec le système, à titre de référence pour la sélection :

2. Détection et classification des charges suspendues

La détection précise et la classification fine des charges suspendues constituent l'étape préalable fondamentale de tout le système de positionnement visuel. Le système adopte YOLOv8 (variante Ultralytics YOLOv8s) comme modèle de détection principal, entraîné par apprentissage par transfert sur un jeu de données dédié aux charges suspendues, permettant la reconnaissance en temps réel de quatre types principaux de charges.

Définition des classes de détection (Hook_Load) : le système regroupe les charges suspendues sous la classe générique Hook_Load, subdivisée en quatre sous-classes — Steel_Coil (bobine d'acier), Steel_Plate (tôle d'acier), Equipment (équipement) et Mold (moule). Les bobines d'acier présentent une forme cylindrique, avec des surfaces souvent sujettes à la corrosion et des textures de cerclage ; les tôles d'acier sont de grandes plaques métalliques plates, fortement réfléchissantes et aux bords tranchants ; la catégorie Équipement regroupe les grands composants mécaniques (tels que les châssis de laminoir ou les carters de réducteur), de forme irrégulière mais aux caractéristiques distinctes ; les moules possèdent des contours de cavité précis et des colonnes de guidage caractéristiques. Ces quatre types de cibles diffèrent considérablement en taille, forme et texture de surface, ce qui exige du modèle une forte capacité de discrimination inter-classes.

Construction du jeu de données et annotation : l'équipe projet a collecté des images réelles provenant de plusieurs ateliers métallurgiques et de machinerie lourde, couvrant diverses conditions d'éclairage (ciel dégagé, temps couvert, éclairage nocturne) ainsi que différentes configurations de charge (pleine, à vide, déséquilibrée). Au total, plus de 12 000 images brutes ont été collectées ; après filtrage qualité, 8 500 échantillons valides ont été conservés. L'annotation des classes et des boîtes de détection a été réalisée avec l'outil LabelImg au format COCO, avec pour exigence que les boîtes épousent étroitement le contour réel de la charge, avec une marge maximale de 5 pixels. Une attention particulière a été portée aux scénarios d'occlusion sévère (comme l'empilement de bobines) et aux petites cibles (comme les moules à distance), afin de garantir la capacité de généralisation du modèle de détection.

Stratégie d'augmentation des données : pour améliorer la généralisation et la robustesse du modèle face aux perturbations, le pipeline d'entraînement intègre une stratégie d'augmentation riche : (1) augmentation Mosaic — quatre images d'entraînement sont combinées aléatoirement en une seule, forçant le modèle à apprendre les caractéristiques des cibles dans des contextes complexes, avec un effet significatif sur les petites cibles et les scénarios d'occlusion ; (2) augmentation MixUp — mélange aléatoire de deux images et de leurs étiquettes à des proportions variables, introduisant davantage de combinaisons de cibles ; (3) perturbation de l'espace colorimétrique HSV — la teinte (H), la saturation (S) et la valeur (V) sont ajustées aléatoirement dans des plages de ±30°, ±50 % et ±50 % respectivement, simulant les variations d'éclairage et de température de couleur dans l'atelier ; (4) mise à l'échelle et recadrage aléatoires — simulation des variations du champ de vision à différentes hauteurs de travail de la caméra ; (5) bruit gaussien et flou de mouvement — simulation du bruit du capteur de la caméra industrielle et du flou d'image lors des déplacements rapides de la charge. Grâce à ces augmentations, le nombre équivalent d'échantillons d'entraînement est porté à environ 60 000.

Entraînement et déploiement du modèle : l'entraînement repose sur les poids pré-entraînés de YOLOv8s, avec des images d'entrée de 640×640, un optimiseur AdamW, un taux d'apprentissage initial de 0,001, une stratégie de décroissance du taux d'apprentissage par recuit en cosinus, pour un total de 300 époques. L'entraînement a été réalisé sur un seul GPU NVIDIA RTX 4090, en environ 18 heures. L'évaluation sur l'ensemble de validation (1 000 échantillons indépendants) donne : mAP@0.5 de 0,962, mAP@0.5:0.95 de 0,738, et une vitesse d'inférence par image de 12 à 18 ms sur Jetson Orin NX (après optimisation TensorRT FP16). Les boîtes de détection sont émises au format (x_center, y_center, width, height), normalisées dans l'intervalle [0,1], puis converties en coordonnées pixel de l'image d'origine par le module de post-traitement pour être transmises à la couche de transformation de coordonnées.

3. Étalonnage de la caméra et transformation des coordonnées

La conversion précise des coordonnées pixel issues du modèle de détection en coordonnées du monde réel sur le plan du sol constitue le cœur technique du positionnement visuel. Le système utilise une « méthode d'étalonnage en deux étapes » — d'abord l'étalonnage des paramètres intrinsèques pour corriger les distorsions de l'objectif, puis l'étalonnage des paramètres extrinsèques pour établir la correspondance entre les pixels et le plan du sol, aboutissant finalement à une conversion subpixelique des coordonnées via la matrice de transformation de perspective.

La procédure d'étalonnage en trois étapes (vérification des paramètres intrinsèques et extrinsèques) établit une chaîne de transformation complète des coordonnées pixels vers les coordonnées du plan au sol. L'erreur moyenne globale de 3,2 mm respecte l'exigence de précision de répétition de positionnement de ± 5 mm.

Il est important de noter que les vibrations du pont roulant peuvent provoquer un léger déplacement de la caméra, entraînant une dérive des paramètres d'étalonnage. Pour y remédier, le système intègre un étalonnage automatique périodique : il utilise des repères d'étalonnage QR fixes au sol pour vérifier et ajuster automatiquement les paramètres extrinsèques à chaque démarrage et toutes les 2 heures de fonctionnement. Cette approche garantit la stabilité et la fiabilité de la précision de transformation des coordonnées sur le long terme, conformément aux exigences de la norme JB/T 1306-2018 relative aux Ponts Monopoutre Électriques et de la norme ISO 4301 pour la conception des appareils de levage.

Stratégie d'alignement par guidage visuel

Le guidage visuel pour l'alignement constitue l'objectif de contrôle final du système. Il englobe l'ensemble du processus en boucle fermée, de l'identification de la charge à l'exécution du placement. Le système intègre la perception visuelle, la transformation des coordonnées, le calcul des écarts et le contrôle de mouvement PLC dans une stratégie unifiée pour un positionnement automatique et précis de la charge suspendue.

Processus d'alignement : Le processus global se décompose en cinq phases. (1) Identification et verrouillage de la charge — Le modèle YOLOv8 détecte en temps réel le type de charge et génère une boîte de détection. Le système verrouille la cible en se basant sur le centre de la boîte et le résultat de classification, tout en générant une région d'intérêt (ROI) de suivi dynamique autour de la cible pour réduire les données à traiter. (2) Transformation des coordonnées — Les coordonnées pixels (u, v) du centre de la boîte sont converties en coordonnées monde (X_load, Y_load) via une matrice de transformation de perspective. Si un code QR ou un marqueur d'identification est présent sous la cible pour faciliter le positionnement, ses coordonnées précises (X_mark, Y_mark) sont également lues. (3) Calcul de l'écart d'alignement — L'écart entre la position actuelle de la charge et la position cible (centre de la zone de dépôt ou position du marqueur) est calculé : ΔX = X_target - X_load, ΔY = Y_target - Y_load, ainsi que l'écart angulaire Δθ (pour les pièces allongées nécessitant un placement orienté). (4) Contrôle en boucle fermée PLC — L'écart est transmis au PLC via une passerelle PROFINET. Le contrôleur PID intégré au PLC utilise cet écart comme entrée pour générer les commandes de vitesse et de direction pour le Pont du Pont Roulant et le Chariot, pilotant les moteurs à fréquence variable afin de réduire l'écart à zéro progressivement. (5) Exécution du placement / de la saisie — Lorsque les écarts satisfont simultanément ΔX ≤ ± 5 mm, ΔY ≤ ± 5 mm et Δθ ≤ ± 1°, le système considère l'alignement comme terminé et envoie le signal autorisant l'abaissement du Crochet ou le serrage au mécanisme de levage, finalisant ainsi l'action de placement ou de saisie.

Positionnement assisté par code QR / marqueur : Dans la pratique, se fier uniquement aux coordonnées absolues de la boîte de détection pour le positionnement peut introduire des erreurs aléatoires dues aux variations de volume de la charge, aux décalages d'orientation de la suspension et aux fluctuations de précision de la boîte de détection. Pour pallier ce problème, le système intègre des marqueurs de Positionnement par QR Code (solution AprilTag ou QR) pré-installés dans les zones de dépôt ou de saisie. Les marqueurs, d'une taille de 100 à 200 mm de côté, ont leurs coordonnées monde (X_QR, Y_0) mesurées avec précision et stockées dans le fichier de configuration du système. Lors du processus de guidage visuel, le système détecte en priorité la position précise du marqueur et l'utilise comme référence de base pour la position cible, éliminant ainsi efficacement l'impact des erreurs de détection de la charge elle-même. La pratique montre que l'introduction de l'assistance par code QR améliore la précision de répétition de positionnement, la faisant passer de ± 12 mm à moins de ± 5 mm.

Gestion des scénarios multi-cibles : Lorsque plusieurs charges ou plusieurs marqueurs sont présents dans le champ de vision, le système applique des règles de priorité — il traite en priorité la charge la plus proche du point cible, ou la zone de dépôt correspondant au type de la charge actuelle. Pour les scénarios avec plusieurs marqueurs de zone de dépôt, le système lie l'ID de la tâche de travail à l'ID de la zone de dépôt. Les informations de bon de travail envoyées par le système MES permettent de faire correspondre automatiquement la zone de dépôt cible, évitant ainsi tout mauvais alignement.

Mécanisme de gestion des anomalies : Si le système de vision détecte une perte de la charge (sortie du champ de vision), une confiance inférieure au seuil (0,6) ou un marqueur masqué, il bascule automatiquement en mode sécurité — interrompant l'alignement automatique, maintenant l'état actuel et déclenchant une alarme en attendant l'intervention de l'opérateur. Après la résolution de l'anomalie, le système relance automatiquement le processus de détection et de verrouillage de la charge, garantissant ainsi la sécurité et la fiabilité du processus d'alignement.

Mise en service et vérification de la précision du système

La mise en service et la vérification de la précision après le déploiement sont essentielles pour garantir que le système de vision atteint les performances spécifiées. Ce système suit une procédure de mise en service standardisée et des méthodes de vérification de précision rigoureuses, conformément aux normes nationales relatives aux appareils de levage (GB/T 28264 — Système de surveillance et de gestion de la sécurité, et norme ISO 4301 pour la conception).

Procédure de mise en service : La mise en service se déroule en quatre étapes progressives. (1) Étalonnage initial — Après l'installation de la caméra, l'étalonnage des paramètres intrinsèques est effectué en premier. Ensuite, des points d'étalonnage sont disposés au sol pour l'étalonnage des paramètres extrinsèques, validant ainsi la précision des transformations de coordonnées directes et inverses. Un projecteur laser en croix est utilisé à ce stade pour aider à déterminer les positions pixels correspondantes des points d'étalonnage. (2) Alignement statique — Une pièce d'essai standard (bloc d'acier rectangulaire de dimensions connues) est placée sous le Crochet. Le système effectue la détection statique et la transformation des coordonnées. Les coordonnées de la boîte de détection sont enregistrées manuellement et comparées aux coordonnées mesurées. Les paramètres d'étalonnage sont ajustés de manière itérative jusqu'à ce que l'erreur statique soit inférieure à ± 3 mm. (3) Suivi dynamique — Le pont roulant est manœuvré à différentes vitesses et directions pour observer si le module de suivi visuel verrouille la charge de manière stable. L'amplitude des fluctuations de la boîte de détection est enregistrée. En ajustant les paramètres du filtre de Kalman et la stratégie de mise à jour de la ROI, les fluctuations du suivi dynamique sont maintenues en dessous de ± 2 pixels. (4) Test d'intégration complet — Une tâche de travail réelle est envoyée par le système MES. Le système de vision guide le pont roulant pour exécuter automatiquement le processus d'alignement complet, du Point de levage à la zone de dépôt, en enregistrant les données d'écart à chaque étape.

Méthode de test de précision : La vérification de la précision de répétition de positionnement utilise la « méthode de test de va-et-vient en trois points » — trois points de test (gauche, centre, droite) sont sélectionnés sur le sol de l'Atelier. Pour chaque point, 100 opérations d'alignement en va-et-vient sont effectuées, et l'écart de position final est enregistré à chaque fois. L'équipement de test utilise un tracker laser haute précision (Leica AT960, précision ± 0,02 mm) pour mesurer le déplacement relatif entre le bord de la charge et le marqueur cible. Les conditions de test incluent les états à vide et en pleine charge, ainsi que trois modes de mouvement : mouvement seul du Pont du Pont Roulant, mouvement seul du Chariot, et mouvement combiné. Les résultats statistiques des 300 tests (100 fois × 3 points) montrent : un écart moyen de 1,8 mm dans la direction X (écart type 1,2 mm) ; un écart moyen de 2,1 mm dans la direction Y (écart type 1,5 mm) ; la précision de répétition de positionnement globale est de ± 4,6 mm (3σ), ce qui est supérieur à l'indicateur de conception de ± 5 mm.

Essai comparatif : Afin de valider pleinement les performances du système, un essai comparatif entre le positionnement manuel et le positionnement automatique par vision a été mené simultanément dans le même atelier. Cinq conducteurs de pont roulant expérimentés ont été sélectionnés pour effectuer chacun 20 opérations de positionnement de bobines d'acier, avec relevé du temps et de la précision finale. Résultats comparatifs : le positionnement manuel a nécessité en moyenne 42 secondes avec une précision moyenne de ±24 mm ; le positionnement automatique par vision a nécessité en moyenne 18 secondes avec une précision moyenne de ±4,2 mm. Le temps de cycle est réduit de 57 % et la précision est améliorée d'un facteur 5,7. De plus, le système de vision élimine les facteurs humains tels que la fatigue de l'opérateur, les différences d'expérience et l'obstruction de la ligne de vue, offrant une cohérence des résultats nettement supérieure à celle de l'opération manuelle (écart-type réduit à 1/8 de celui de l'opération manuelle).

Vérification de la stabilité à long terme : Après six mois de fonctionnement continu sur le site client, la précision de répétition de positionnement du système n'a montré aucune dégradation significative. Les relevés mensuels de précision indiquent une dérive maximale de +0,8 mm, dans la limite de conception de ±5 mm. Les contrôles d'étalonnage trimestriels ont révélé une variation des paramètres internes de la caméra inférieure à 1 %, et un décalage cumulé d'environ 2,5 mm des paramètres externes dû aux vibrations mécaniques, compensé par un étalonnage automatique pour rétablir le niveau de précision initial. Ces résultats confirment la capacité du système à fonctionner de manière stable en environnement industriel, conformément aux exigences de conformité continue pour la rénovation des appareils de levage définies par la circulaire n° 857 de 2019 de l'Inspection de la qualité.

Questions fréquentes sur le positionnement par vision