Prédiction de séries temporelles de grues : LSTM ou Transformer ?

Définir les limites d'entrée-sortie : longueur de séquence, fréquence d'échantillonnage et volume de données

Allons droit au but : la prédiction de séries temporelles ne consiste pas à injecter aveuglément des données historiques dans un modèle. L'entrée est une séquence multi-canaux ordonnée dans le temps ; la sortie correspond aux valeurs prédites ou à un indicateur de santé sur plusieurs pas futurs. Des conditions limites bien définies déterminent si le modèle apprend une véritable loi de dégradation ou s'il se contente de reproduire le bruit d'échantillonnage.

Du point de vue de la source de données, l'acquisition de paramètres sur les appareils de levage n'est pas conçue de manière arbitraire. La norme GB/T 28264 — Système de surveillance et de gestion de la sécurité impose des exigences unifiées sur les types de paramètres surveillés, leur acquisition et leur enregistrement. Des grandeurs clés telles que la capacité de levage, la vitesse de translation et la hauteur de levage font l'objet de spécifications d'acquisition précises. Chez Kelude, le déploiement de la surveillance d'état s'appuie généralement sur ces spécifications comme base d'acquisition de données, en y superposant des signaux haute fréquence (vibrations, courant) comme canaux d'entrée pour la prédiction temporelle.

La fréquence d'échantillonnage constitue la deuxième limite. Prenons l'exemple des vibrations d'une boîte de vitesses : la fréquence d'engrènement se situe typiquement de l'ordre de plusieurs centaines de hertz. La fréquence d'échantillonnage doit dépasser le double de la fréquence caractéristique de défaillance la plus élevée ; à défaut, un phénomène de repliement spectral se produit, les composantes haute fréquence se retrouvent repliées dans les basses fréquences et le modèle perçoit un spectre pollué. La longueur de la séquence détermine quant à elle l'étendue du contexte historique visible : trop courte, elle ne couvre pas un cycle de rotation complet ; trop longue, elle introduit un passé sans rapport qui alourdit inutilement l'apprentissage.

Le volume de données est la troisième limite. L'ensemble d'entraînement doit couvrir différentes combinaisons de conditions de fonctionnement — capacité de levage, taux de charge, vitesse de rotation — faute de quoi le modèle devient inopérant dès que l'une d'elles change. La classe de fonctionnement de la grue, définie dans la norme FEM 1.001, s'échelonne de A1 à A8. Chaque niveau correspond à un spectre de charge radicalement différent : un modèle entraîné uniquement sur des conditions légères de niveau A3 produira inévitablement des prédictions erronées en conditions lourdes de niveau A6. Ce point est souvent sous-estimé, alors qu'il constitue la cause la plus directe de la dégradation des performances d'un modèle de prédiction temporelle une fois mis en production.

Dérivation des formules : mécanismes de portes LSTM et auto-attention Transformer

Pour choisir entre les deux architectures, il faut d'abord comprendre ce qu'elles calculent mathématiquement. Le cœur du LSTM réside dans son mécanisme de portes : trois portes contrôlent la rétention et l'oubli de l'information. Le cœur du Transformer repose sur l'auto-attention : chaque position de la séquence établit une relation directe avec toutes les autres.

À chaque pas de temps, le LSTM concatène l'état caché précédent avec l'entrée courante, puis calcule trois portes et une mémoire candidate à l'aide de matrices de poids apprises :

Porte d'oubli : f_t = σ(W_f·[h_{t-1}, x_t] + b_f)

Porte d'entrée : i_t = σ(W_i·[h_{t-1}, x_t] + b_i)

Mémoire candidate : c~t = tanh(W_c·[h_{t-1}, x_t] + b_c)

État de cellule : c_t = f_t ⊙ c_{t-1} + i_t ⊙ c~t

Porte de sortie : o_t = σ(W_o·[h_{t-1}, x_t] + b_o)

État caché : h_t = o_t ⊙ tanh(c_t)

Les trois portes produisent en réalité un vecteur de sorties sigmoïdes, dont les valeurs sont comprises entre 0 et 1. Appliquées élément par élément au vecteur d'état, elles pondèrent la rétention de l'information. L'état de cellule c_t agit comme une autoroute traversant toute la séquence : les portes n'effectuent qu'une superposition linéaire, ce qui permet au gradient de se propager de manière relativement stable le long de ce chemin, atténuant ainsi le problème de disparition du gradient lors de l'entraînement sur de longues séquences.

Le Transformer emprunte une voie différente : l'auto-attention ne repose plus sur une transmission séquentielle, mais calcule une similarité entre chaque position et toutes les autres, puis agrège les valeurs selon ces similarités pondérées. La formule de scoring de l'attention est la suivante :

Score d'attention : Attention(Q, K, V) = softmax(QK^T / √d_k) · V

Ici, Q, K et V désignent respectivement les matrices de requête, de clé et de valeur. La division par √d_k évite que des produits scalaires trop grands ne saturent la fonction softmax. L'attention multi-têtes consiste à découper Q, K et V en plusieurs sous-espaces calculés en parallèle, permettant au modèle de capturer des dépendances à différentes échelles. Dans la pratique d'ingénierie chez Kelude, la véritable difficulté ne réside jamais dans la formule elle-même, mais dans le choix des hyperparamètres présentés dans le tableau ci-dessous.

Un exemple de vérification par séquence vibratoire : une séquence plus longue est-elle toujours synonyme de meilleur modèle ?

Prenons un exemple concret pour illustrer les paramètres évoqués ci-dessus. Imaginons un réducteur de grue dont l'Arbre d'Entrée tourne à 1000 r/min, avec une roue motrice de 21 dents sur le premier étage d'Engrenage, et un Capteur de Vibrations échantillonnant à 2560 Hz. Ce calcul sert uniquement à démontrer les relations quantitatives entre les paramètres ; les valeurs réelles dépendent des conditions de fonctionnement sur site.

Calculons d'abord la fréquence de rotation : 1000 r/min divisé par 60 donne environ 16,7 Hz. Ensuite, la fréquence d'engrènement : 21 dents multipliées par la fréquence de rotation, soit environ 350 Hz. La fréquence d'échantillonnage de 2560 Hz correspond à une fréquence de Nyquist de 1280 Hz, ce qui couvre la fréquence fondamentale de 350 Hz ainsi que son troisième harmonique à 1050 Hz. Cette configuration d'échantillonnage est donc techniquement judicieuse.

Examinons maintenant la longueur de la séquence. Le nombre de points d'échantillonnage par période de rotation est de 2560 divisé par 16,7, soit environ 153 points. Avec une séquence de 512 points, la fenêtre couvre environ 3,3 périodes de rotation, ce qui permet d'observer clairement les formes d'onde vibratoires sur plusieurs cycles de Rotation de l'Engrenage. Si l'on étend la séquence à 4096 points, la couverture atteint environ 26,7 périodes, offrant un champ de perception plus large, mais le coût de calcul de l'auto-attention passe de 512² à 4096², soit une augmentation d'environ 64 fois.

C'est là la raison mathématique pour laquelle une séquence plus longue n'est pas nécessairement meilleure : l'expansion du champ de perception est linéaire, tandis que le coût de calcul de l'auto-attention est quadratique. Chez Kelude, lors de la sélection des paramètres, nous réduisons généralement la longueur de la séquence à ce qui est nécessaire pour couvrir plusieurs cycles de défaut complets, puis nous l'allongeons progressivement pour des tests de comparaison.

Quatre erreurs classiques en prévision de séries temporelles : fuite de données, longueur de séquence, surapprentissage et désalignement des étiquettes

Lorsqu’un modèle de séries temporelles perd en performance après sa mise en production, la cause n’est souvent pas le manque de modernité du modèle, mais bien des erreurs commises en amont, dans la chaîne de traitement des données. Voici quatre catégories d’erreurs, classées par ordre décroissant de gravité.

Première erreur : la fuite de données. Des informations futures sont mélangées aux caractéristiques d’entraînement, par exemple en normalisant avec la moyenne de l’ensemble des données, ou en utilisant des statistiques de l’ensemble de test dans l’ensemble d’entraînement. Le modèle affiche d’excellentes performances sur l’ensemble de validation, puis s’effondre dès sa mise en service. Les données de séries temporelles doivent être strictement découpées selon l’ordre chronologique, sans aucun chevauchement entre les ensembles d’entraînement, de validation et de test.

Deuxième erreur : l’inadéquation entre la longueur de séquence et la fréquence d’échantillonnage. Une fréquence d’échantillonnage trop basse provoque un repliement spectral des caractéristiques de défauts à haute fréquence, faussant le spectre appris par le modèle. À l’inverse, une séquence trop courte ne peut même pas contenir un cycle de rotation complet. Il faut d’abord calculer la fréquence de rotation et la fréquence d’engrènement, puis déterminer en conséquence la fréquence d’échantillonnage et la longueur de séquence.

Troisième erreur : le surapprentissage du modèle. Avec un grand nombre de paramètres, un Transformer est très sujet au surapprentissage lorsque les données sont insuffisantes : la perte d’entraînement diminue constamment, tandis que la perte de validation augmente. Dans ce cas, il faut privilégier la réduction de la taille du modèle et l’ajout de régularisation, plutôt que d’accumuler davantage de données ou d’augmenter la taille du modèle.

Quatrième erreur : le désalignement des étiquettes. Par exemple, associer une lecture de capteur à l’instant t avec une étiquette de défaut de l’instant t+1, ou considérer l’heure d’alarme comme l’heure de début du défaut. Un décalage d’un seul point d’échantillonnage dans les étiquettes décale l’ensemble de l’objectif de prédiction. Chez Kelude, lors de l’annotation des données de séries temporelles, une vérification de l’alignement temporel des étiquettes est systématiquement effectuée. C’est l’étape la plus négligée, et pourtant la plus critique.

Revenons à la question posée en titre : LSTM ou Transformer ? Dans des scénarios comme la surveillance de l’état des grues, où le volume de données est limité et les séquences courtes, le LSTM constitue généralement un point de départ plus fiable : son nombre de paramètres est réduit, son entraînement est stable et son déploiement sur des périphériques de périphérie est peu coûteux. Lorsque les données atteignent une masse suffisante et qu’il s’agit de capturer des dépendances globales à long terme, on peut alors envisager d’introduire un Transformer ou de l’utiliser pour une fusion multi-canaux. Il n’existe pas de réponse universelle en matière de sélection ; seule compte la réponse adaptée aux conditions de fonctionnement. Définir d’abord les conditions limites, calculer ensuite la complexité, puis valider par des expériences à petite échelle : c’est l’ordre de mise en œuvre que Kelude a validé à plusieurs reprises.

📖 Lectures connexes : PHM pour la gestion de la santé des équipements : pratique d’ingénierie de la maintenance prédictive des ponts roulants par mégadonnées et ML | Quelles applications concrètes pour les grands modèles dans la maintenance des grues ? Scénarios pragmatiques et limite de capacité

Questions fréquentes