LSTM أم Transformer؟ اختيار نموذج تنبؤ السلاسل الزمنية للرافعات

حدود الإدخال والإخراج في التنبؤ بالسلاسل الزمنية: كيفية تحديد طول التسلسل ومعدل أخذ العينات وحجم البيانات

الخلاصة أولاً: التنبؤ بالسلاسل الزمنية لا يعني ببساطة إلقاء البيانات التاريخية في النموذج والحصول على نتائج. ما يُدخل إلى النموذج هو تسلسلات متعددة القنوات مرتبة زمنيًا، والمخرجات هي قيم تنبؤية أو مؤشرات حالة صحية لعدة خطوات مستقبلية. تحديد الشروط الحدودية بشكل صحيح يحدد مباشرةً ما إذا كان النموذج يتعلم نمط التدهور الحقيقي أم يتعلم ضوضاء أخذ العينات.

من حيث مصدر البيانات، فإن جمع معلمات حالة آلات الرفع ليس تصميمًا اعتباطيًا. تفرض GB/T 28264 — نظام مراقبة وإدارة السلامة لآلات الرفع متطلبات موحدة لأنواع معلمات المراقبة وجمعها وتسجيلها في نظام مراقبة وإدارة السلامة، مع تحديد واضح لمعايير جمع الكميات الرئيسية مثل سعة الرفع وسرعة الحركة وارتفاع الرفع. عند نشر مراقبة الحالة، تعتمد كيلود للصناعات الثقيلة عادةً على هذه المواصفات كخط أساس لجمع البيانات، مع إضافة إشارات عالية التردد مثل الاهتزاز والتيار كقنوات إدخال للتنبؤ بالسلاسل الزمنية.

تردد أخذ العينات هو الحد الثاني. على سبيل المثال، في اهتزاز علبة التروس، يبلغ تردد تعشيق التروس عادةً مئات الهيرتز، ويجب أن يكون تردد أخذ العينات أعلى من ضعف أعلى تردد مميز للفشل، وإلا سيحدث تداخل (Aliasing) وتنطوي ميزات الفشل عالية التردد إلى نطاق الترددات المنخفضة، ليرى النموذج طيفًا ملوثًا. أما طول التسلسل فيحدد مقدار السياق التاريخي الذي يمكن للنموذج رؤيته؛ فالقصر الشديد لا يُظهر دورة الدوران الكاملة، والطول المفرط يُدخل أعباء تاريخية غير ذات صلة.

حجم البيانات هو الحد الثالث. يجب أن تغطي مجموعة التدريب مجموعات مختلفة من ظروف التشغيل مثل سعة الرفع ومعدل الحمولة وسرعة الدوران، وإلا فسيفشل النموذج عند تغيير ظروف التشغيل. يُصنف مستوى تشغيل الرافعة في معيار FEM 1.001 — مواصفة تصميم الرافعات من A1 إلى A8، حيث يتوافق كل مستوى مع طيف حمل مختلف تمامًا؛ فالنموذج المدرب فقط على ظروف التشغيل الخفيفة من المستوى A3 سيفشل حتمًا في التنبؤ تحت ظروف التشغيل الثقيلة من المستوى A6. غالبًا ما يُقلَّل من شأن هذه النقطة، وهي السبب الأكثر مباشرة لتدهور أداء النموذج بعد نشره.

اشتقاق صيغ بوابات LSTM والانتباه الذاتي في Transformer: ما الذي يحسبه كل منهما بالضبط

لتحديد أيهما تختار، يجب أولاً فهم ما يفعله كل منهما رياضيًا. جوهر LSTM هو آلية البوابة، التي تستخدم ثلاث بوابات للتحكم في الاحتفاظ بالمعلومات ونسيانها؛ أما جوهر Transformer فهو الانتباه الذاتي، الذي يسمح لكل موضع في التسلسل بالارتباط مباشرة مع جميع المواضع الأخرى.

في خطوة زمنية واحدة من LSTM، يتم دمج الحالة المخفية السابقة مع الإدخال الحالي، ثم تُحسب البوابات الثلاث والذاكرة المرشحة عبر مصفوفات أوزان قابلة للتعلم:

بوابة النسيان: f_t = σ(W_f·[h_{t-1}, x_t] + b_f)

بوابة الإدخال: i_t = σ(W_i·[h_{t-1}, x_t] + b_i)

الذاكرة المرشحة: c~t = tanh(W_c·[h_{t-1}, x_t] + b_c)

حالة الخلية: c_t = f_t ⊙ c_{t-1} + i_t ⊙ c~t

بوابة الإخراج: o_t = σ(W_o·[h_{t-1}, x_t] + b_o)

الحالة المخفية: h_t = o_t ⊙ tanh(c_t)

جوهر البوابات الثلاث هو مجموعة من مخرجات sigmoid تتراوح قيمها بين 0 و1، تُضرب عنصرًا بعنصر في متجه الحالة لتحقيق احتفاظ مرجح بالمعلومات. حالة الخلية c_t هي الطريق الرئيسي عبر التسلسل بأكمله، حيث تقوم البوابات فقط بإضافة خطية، مما يسمح للتدرج بالانتشار بشكل مستقر نسبيًا على هذا المسار، مما يخفف من مشكلة تلاشي التدرج في تدريب التسلسلات الطويلة.

أما Transformer فيسلك مسارًا مختلفًا: فالانتباه الذاتي لا يعتمد على النقل التسلسلي، بل يجعل كل موضع يحسب درجة تشابه مع جميع المواضع الأخرى، ثم يجمعها مرجحًا وفقًا للتشابه. صيغة حساب الانتباه هي:

درجة الانتباه: Attention(Q, K, V) = softmax(QK^T / √d_k) · V

هنا Q وK وV هي مصفوفات الاستعلام والمفتاح والقيمة على التوالي، ويتم القسمة على √d_k لمنع قيم الضرب النقطي الكبيرة من دفع softmax إلى منطقة التشبع. الانتباه متعدد الرؤوس يقسم Q وK وV إلى فضاءات فرعية متعددة تُحسب بالتوازي، مما يسمح للنموذج بالتركيز على تبعيات بمقاييس مختلفة في وقت واحد. عند تطبيق هذه الصيغ في الممارسة الهندسية لدى كيلود للصناعات الثقيلة، فإن ما يستحق التفكير الجاد ليس الصيغ نفسها أبدًا، بل كيفية تحديد المعاملات الفائقة الواردة في الجدول أدناه.

هل التسلسل الأطول يعني دائمًا نموذجًا أفضل؟ مثال تحقق من تسلسل اهتزاز

لنربط المعاملات المذكورة أعلاه بمثال تطبيقي. لنفترض أن سرعة دوران عمود الدخل لمخفض السرعة في رافعة تبلغ 1000 دورة/دقيقة، وأن عجلة القيادة في زوج التروس الأساسي تحتوي على 21 سنًا، بينما تبلغ سرعة تردد أخذ العينات لمستشعر الاهتزاز 2560 هرتز. الحسابات التالية تهدف فقط إلى توضيح العلاقات الكمية بين المعاملات، وتخضع القيم الفعلية لظروف التشغيل في الموقع.

نبدأ بحساب تردد الدوران: بقسمة سرعة دوران عمود الدخل 1000 دورة/دقيقة على 60، نحصل على تردد دوران يبلغ حوالي 16.7 هرتز. ثم نحسب تردد التعشيق: بضرب عدد الأسنان 21 في تردد الدوران، نحصل على حوالي 350 هرتز. تردد أخذ العينات 2560 هرتز يقابل تردد نيكويست يبلغ 1280 هرتز، وهو ما يغطي التردد الأساسي 350 هرتز بالإضافة إلى التوافقيات الثالثة له عند 1050 هرتز، مما يجعل هذا التكوين معقولًا من الناحية الهندسية.

الآن، دعونا ننظر إلى طول التسلسل. عدد نقاط أخذ العينات المقابلة لدورة تردد دوران واحدة هو 2560 مقسومًا على 16.7، أي حوالي 153 نقطة. إذا اخترنا طول تسلسل يبلغ 512 نقطة، فإن النافذة تغطي حوالي 3.3 دورة تردد دوران، مما يسمح برؤية كاملة لشكل موجة الاهتزاز عبر عدة دورات دوران لزوج التروس. إذا قمنا بتمديد التسلسل إلى 4096 نقطة، فإن التغطية تمتد إلى حوالي 26.7 دورة، مما يوفر مجال استقبال أوسع، لكن التكلفة الحسابية للانتباه الذاتي سترتفع من مربع 512 إلى مربع 4096، أي بزيادة تقارب 64 ضعفًا.

هذا هو السبب الرياضي وراء أن التسلسل الأطول ليس دائمًا أفضل: نمو مجال الاستقبال خطي، بينما التكلفة الحسابية للانتباه الذاتي تربيعية. في كيلود للصناعات الثقيلة، عند الاختيار، نقوم عادةً بضغط طول التسلسل إلى الحد الذي يغطي عدة دورات كاملة للخلل، ثم نزيده تدريجيًا لإجراء مقارنة.

أكثر أربعة أخطاء شيوعًا في التنبؤ بالسلاسل الزمنية: تسرب البيانات، طول التسلسل، الإفراط في التكيف، وعدم محاذاة التسميات

عندما يفشل نموذج السلاسل الزمنية بعد نشره، فإن السبب غالبًا لا يعود إلى حداثة النموذج، بل إلى أخطاء في هندسة البيانات. فيما يلي أربعة أنواع من الأخطاء مرتبة من الأكثر ضررًا إلى الأقل.

الخطأ الأول: تسرب البيانات. ويحدث عندما يتم خلط معلومات مستقبلية في ميزات التدريب، مثل استخدام متوسط البيانات بالكامل للتطبيع، أو استخدام إحصائيات مجموعة الاختبار في مجموعة التدريب. في هذه الحالة، يكون أداء النموذج ممتازًا على مجموعة التحقق، لكنه ينهار فور نشره. يجب تقسيم بيانات السلاسل الزمنية بدقة حسب الوقت، بحيث لا تتداخل مجموعات التدريب والتحقق والاختبار.

الخطأ الثاني: عدم تطابق طول التسلسل مع معدل أخذ العينات. يؤدي انخفاض معدل أخذ العينات إلى تداخل مكونات التردد العالي لخصائص الأعطال، مما يجعل الطيف الذي يتعلمه النموذج غير حقيقي، أو قد يكون التسلسل قصيرًا جدًا بحيث لا يتسع لدورة دوران كاملة. يجب أولاً حساب تردد الدوران وتردد التشابك، ثم تحديد معدل أخذ العينات وطول التسلسل بناءً عليهما.

الخطأ الثالث: الإفراط في تكيف النموذج. تتميز محولات Transformer بعدد كبير من المعاملات، وعندما تكون كمية البيانات غير كافية، يكون الإفراط في التكيف أمرًا شائعًا، حيث ينخفض فقدان التدريب باستمرار بينما يرتفع فقدان التحقق. في هذه الحالة، يجب تقليل حجم النموذج وإضافة التنظيم أولاً، بدلاً من الاستمرار في زيادة البيانات أو تكبير النموذج.

الخطأ الرابع: عدم محاذاة التسميات. ويحدث عندما يتم إقران قراءة المستشعر في اللحظة t بتسمية العطل في اللحظة t+1، أو عند اعتبار وقت الإنذار هو وقت بداية العطل. إذا انزاحت التسمية بمقدار نقطة أخذ عينات واحدة، فإن هدف التنبؤ ينزاح بالكامل. في كيلود للصناعات الثقيلة، عند التعليق التوضيحي لبيانات السلاسل الزمنية، يتم إجراء مراجعة لمحاذاة التسميات زمنيًا، وهذا هو العنصر الأكثر إهمالًا والأكثر فتكًا في نفس الوقت.

بالعودة إلى سؤال العنوان: LSTM أم Transformer؟ في سيناريوهات مثل مراقبة حالة الرافعة، حيث تكون كمية البيانات محدودة والتسلسلات قصيرة، عادة ما تكون LSTM نقطة بداية أكثر استقرارًا، نظرًا لعدد معاملاتها الصغير، واستقرار تدريبها، وانخفاض تكلفة نشرها على أجهزة الحافة. عندما تتراكم البيانات إلى حجم كافٍ، وتكون هناك حاجة لالتقاط اعتمادات طويلة المدى عالمية، يمكن عندها النظر في إدخال Transformer أو استخدامه لدمج متعدد القنوات. لا يوجد إجابة معيارية لاختيار النموذج، بل فقط إجابة تناسب ظروف التشغيل. حدد الشروط الحدودية أولاً، ثم احسب التعقيد، وأخيرًا تحقق من خلال تجارب صغيرة النطاق، وهذا هو الترتيب الذي تم التحقق منه مرارًا في كيلود للصناعات الثقيلة.

📖 قراءات ذات صلة: إدارة صحة المعدات PHM: الممارسة الهندسية للصيانة التنبؤية للرافعات العلوية باستخدام البيانات الضخمة والتعلم الآلي | ما الذي يمكن للنماذج الكبيرة تحقيقه فعليًا في صيانة الرافعات؟ سيناريوهات عملية وحدود القدرة

الأسئلة الشائعة