كيف تثبت موثوقية نموذج الذكاء الاصطناعي؟ اختبار رافعة GB/T 28264

أكثر الأخطاء شيوعًا عند قبول نظام فحص بالذكاء الاصطناعي هو الاكتفاء بمشاهدة العرض التجريبي. يعرض المورّد بعض العينات المنتقاة بعناية، فتبدو النتائج صحيحة تمامًا، فيتم التوقيع على القبول. لكن بمجرد التشغيل الفعلي، تظهر الإنذارات الكاذبة والإنذارات المفقودة في ظروف التشغيل الحقيقية.

موثوقية نموذج الذكاء الاصطناعي لا تُثبت بالعروض التجريبية، بل من خلال ثلاثة عناصر: مجموعة الاختبار، والمتانة، والتعميم، مع توثيق القياسات الفعلية للمؤشرات الصارمة. إليك التفاصيل.

ماذا نختبر عند قبول الفحص بالذكاء الاصطناعي: مجموعة الاختبار والمتانة والتعميم

قبول نموذج الذكاء الاصطناعي قبل التشغيل يعتمد على اختبار ثلاثة أمور جوهرية.

الأمر الأول: تقييم مجموعة الاختبار. يتم استبعاد جزء من البيانات المُعلَّقة وعدم استخدامه في التدريب، بل يُخصص لاختبار النموذج. توفر المواصفة ISO 24621 «تشخيص أعطال آلات الرفع بالذكاء الاصطناعي» إطارًا لقبول نموذج التشخيص. أداء النموذج على هذه البيانات غير المألوفة هو المؤشر الحقيقي لمستواه.

الأمر الثاني: اختبار المتانة. يتم إدخال تشويش على المدخلات، مثل إضافة الضوضاء إلى الصور، أو تغيير الإضاءة، أو تغطية جزئية، لملاحظة ما إذا كان النموذج سينهار تحت هذه الظروف. بيئة العمل الصناعية معقدة، والنموذج ضعيف المتانة سيفشل فور تشغيله.

الأمر الثالث: اختبار التعميم. يتم استخدام بيانات ظروف تشغيل خارج مجموعة التدريب، مثل تغيير مادة الحمولة أو وقت العمل، لاختبار قدرة النموذج على التكيف مع ظروف لم يسبق رؤيتها. قدرة التعميم تحدد ما إذا كان النموذج صالحًا للاستخدام على المدى الطويل.

كيفية الاختبار: مجموعة الاستبعاد والتحقق المتقاطع والمقارنة A/B

يجب أن تكون طريقة الاختبار موثوقة، وإلا كانت المؤشرات غير قابلة للاعتماد.

مجموعة الاستبعاد هي الطريقة الأساسية. تُقسم البيانات إلى مجموعة تدريب ومجموعة اختبار، ويُستخدم التدريب فقط مع مجموعة التدريب، والاختبار فقط مع مجموعة الاختبار، مع عزل تام بينهما لمنع النموذج من "الاطلاع" على بيانات الاختبار مما يؤدي إلى تضخيم المؤشرات.

التحقق المتقاطع أكثر دقة. تُقسم البيانات إلى عدة أجزاء، ويُستخدم كل جزء بدوره كمجموعة اختبار بينما تُستخدم البقية للتدريب، ثم يُؤخذ متوسط النتائج. هذا يعطي تقديرًا أكثر استقرارًا للمستوى الحقيقي للنموذج، وهو مناسب للحالات التي تكون فيها كمية البيانات محدودة.

المقارنة A/B هي الخطوة الأخيرة قبل التشغيل. يتم تشغيل النموذج الجديد مقابل النموذج القديم، أو الذكاء الاصطناعي مقابل الإنسان، على نفس المهمة، لمعرفة أيهما أفضل أداءً بالنتائج الفعلية. تلتزم شركة كيلود للصناعات الثقيلة عند القبول بتقييم مجموعة الاستبعاد كأساس، وإجراء مقارنات A/B في السيناريوهات الحرجة.

ما المؤشرات التي يجب مراقبتها: معدل الدقة ومعدل الاستدعاء ومعدل الإنذار الكاذب

لا يجوز الاعتماد على معدل الدقة وحده عند قبول الفحص بالذكاء الاصطناعي، بل يجب النظر إلى عدة مؤشرات معًا.

معدل الدقة يعكس النسبة الإجمالية للأحكام الصحيحة، لكنه يحمل فخًا: عندما تكون العيوب نادرة، يمكن للنموذج أن يصنف جميع العينات كطبيعية ويحقق معدل دقة مرتفعًا. لذلك لا يمكن الاعتماد على معدل الدقة وحده كأساس للقبول.

معدل الاستدعاء يعكس عدد العيوب الحقيقية التي تم اكتشافها، وهو المؤشر الذي يجب التركيز عليه في تطبيقات السلامة، حيث أن تكلفة الإنذار المفقود هي الأعلى، وانخفاض معدل الاستدعاء يعني تفويت عيوب حقيقية.

معدل الإنذار الكاذب يعكس عدد الحالات الطبيعية التي صُنفت خطأً كحالات شاذة. الإفراط في الإنذارات الكاذبة يستنزف ثقة فريق الصيانة، ويؤدي في النهاية إلى التبلد تجاه التنبيهات. يجب عند القبول النظر إلى معدل الدقة ومعدل الاستدعاء ومعدل الإنذار الكاذب معًا، وتحديد أوزان لمعدل الاستدعاء ومعدل الإنذار الكاذب حسب السيناريو. تجعل شركة كيلود للصناعات الثقيلة معدل الاستدعاء شرطًا إلزاميًا في قبول أنظمة مراقبة السلامة.

أكثر ثغرات القبول شيوعًا

الثغرة الأولى: عدم تطابق مجموعة الاختبار مع توزيع البيانات الحقيقية. استخدام بيانات نظيفة ومنتقاة بعناية يعطي مؤشرات ممتازة، لكن النظام ينهار فور مواجهة ظروف التشغيل الحقيقية. يجب أن تكون مجموعة الاختبار قريبة قدر الإمكان من بيانات التشغيل الفعلية.

الثغرة الثانية: الاعتماد على مؤشر واحد فقط. النظر إلى معدل الدقة فقط دون معدل الاستدعاء ومعدل الإنذار الكاذب يعني إهمال المؤشر الأهم في تطبيقات السلامة، مما يجعل القبول شكليًا بلا قيمة.

الثغرة الثالثة: عدم توثيق النتائج. عدم توثيق القياسات الفعلية لنتائج القبول يجعل من المستحيل تتبع أساس الاختبار عند ظهور مشكلة لاحقًا. تشترط المواصفة GB/T 28264-2017 «نظام مراقبة وإدارة السلامة لآلات الرفع» التوثيق والتتبع. تحتفظ شركة كيلود للصناعات الثقيلة بمجموعة الاختبار والمؤشرات والنتائج موثقة بالكامل، كأساس للتسليم والتتبع.

جدول مؤشرات قبول الفحص بالذكاء الاصطناعي

مرجع سريع لبنود المعايير للكشف والقبول بالذكاء الاصطناعي

الأسئلة الشائعة حول قبول الفحص بالذكاء الاصطناعي

يمكن الاطلاع على منهجية الاعتماد في ممارسات الفحص والاعتماد بالذكاء الاصطناعي من خلال "نظام الفحص البصري بالذكاء الاصطناعي للرافعة العلوية يحصل على شهادة من جهة معتمدة وطنية، مع اجتياز جميع مؤشرات الاختبار من المرة الأولى".

موثوقية نموذج الذكاء الاصطناعي تُثبت بالمؤشرات المقاسة، لا بالعروض التوضيحية. تلتزم كيلود للصناعات الثقيلة بتوثيق تقييم مجموعة الاختبار، والمتانة، والقدرة على التعميم، بالإضافة إلى القياس الفعلي لمعدلات الاستدعاء والإنذار الكاذب كشرط أساسي للقبول، لضمان أن الفحص بالذكاء الاصطناعي قابل للمراجعة والتحقق قبل التشغيل.