مخاطر الاعتماد على نموذج ذكاء اصطناعي واحد: فحص إجابة واثقة

ما يقيسه البحث

أفاد Farquhar وزملاؤه في بحث نُشر في Nature بتاريخ 19 يونيو 2024 بمتوسط AUROC يبلغ 0.790 عبر 30 توليفة من المهام والنماذج لطريقة الإنتروبيا الدلالية. تكشف الطريقة الاختلاقات غير المستقرة. يقيس AUROC التمييز بين الإجابات الصحيحة والخاطئة، ولا يعني أن 79% من الإجابات صحيحة. لم يكن هذا تقييمًا لـ Colay. Farquhar et al., Nature, 2024

يحدد NIST AI 600-1 المعلومات الخاطئة المقدمة بثقة باعتبارها خطرًا متميزًا للذكاء الاصطناعي. إنه إطار عمل لإدارة المخاطر، وليس نموذجًا للمتصدرين أو دراسة لمعدل أخطاء المنتج. NIST AI 600-1, 2024

توصيتنا العملية هي تقييم الأدلة بشكل منفصل عن العرض. يمكن أن يحتوي الجدول الأنيق على مدخلات غير مدعومة. يمكن أن يؤدي الشرح الطويل إلى حذف الاستثناء الذي يهم موقفك. قبل طلب المزيد من التحليل، ضع علامة على العبارات القليلة التي من شأنها أن تغير ما تفعله. تستحق هذه العبارات تدقيقًا صريحًا حتى عندما تبدو بقية الإجابات مقنعة.

خطأ وتعسفي

Farquhar et al., Nature, 2024اقتباس مترجم

تستخدم Nature هذه العبارة لوصف الاختلاقات التي تتأثر بالتفاصيل العرضية للتوليد، وهي فئة محددة من الأخطاء.

أربع طرق يمكن أن تفشل بها الإجابة المعقولة

ابدأ بالطبقة الواقعية: هل الوثيقة المذكورة موجودة، وهل تاريخها صحيح؟ بعد ذلك، تحقق من قابلية التطبيق: هل يغطي البيان موقعك ومنتجك والفترة الزمنية؟ ثم قم بفحص العمليات الحسابية، وخاصة الوحدات والمقامات. وأخيرا، اسأل عن الاكتمال: ما هو البديل الواقعي الذي تم استبعاده؟ يمكن أن تجتاز الاستجابة ثلاثًا من عمليات التحقق هذه ومع ذلك تفشل في اتخاذ القرار.

بإجابة واحدة، يمكن أن تنقسم هذه الأسئلة إلى انطباع واحد بأن كل شيء يبدو معقولاً. وهناك نموذج آخر يكون مفيدًا عندما يفصل بينهما ويحدد نقطة ضعف معينة. إن إعادة صياغة نفس الاستنتاج تضيف القليل من الأدلة. وحدة التقدم ذات الصلة هي افتراض تم اختباره، وليس فقرة أخرى أو تصويت آخر للخيار المفضل.

مثال عملي: حساب صحيح، نطاق غير صحيح

فكر في اقتراح أتمتة الدعم الافتراضي. تفترض مسودتها 1,200 تذكرة شهريًا، مع توفير أربع دقائق لكل تذكرة وقيمة ساعة عمل الموظفين بقيمة €20. ينتج عن الضرب 80 ساعة، أي ما يعادل €1,600. توضح هذه الأرقام المبتكرة سير العمل؛ فهي ليست دراسة حالة للعملاء أو نتائج Colay الملحوظة.

توصي الإجابة الأولى بالمتابعة. يشير أحد المراجعين إلى أن 40% فقط من التذاكر قد تكون مؤهلة للأتمتة. يؤدي الاحتفاظ بثبات الافتراضات الأخرى إلى تغيير التقدير إلى 32 ساعة، أو €640. كان من الممكن أن يكون النموذج الأصلي قد تم حسابه بشكل مثالي مع دعم قرار سيئ لأن افتراض التغطية كان مفقودًا.

الخطوة التالية هي تحديد هذا الرقم 40% باستخدام التذاكر الفعلية. وإذا تم اختراعه أيضًا، فإن المراجع قد قام فقط باستبدال فرضية غير مدعومة بأخرى. ويحدد التوليف المفيد العينة المطلوبة والسيناريوهات البديلة وعتبة المتابعة. الاتفاق لا يحل الملاحظة المفقودة؛ القياس يفعل.

استخدام Consensus لجعل الافتراضات مرئية

في Colay Consensus، يناقش المشاركون مهمة ما ويقوم المنسق بتجميع النتيجة. في هذا المثال، يمكن للمستخدم أن يطلب بشكل صريح عمليات فحص الافتراضات وعمليات فحص الوحدات والتفسيرات البديلة والأسئلة التي لم يتم حلها. هذه تعليمات مقترحة، وليست ادعاءً بأن المنتج يوفر تلقائيًا خبراء مستقلين أو مصادر تم التحقق منها أو تدقيقًا مكتملاً.

قدم نفس جدول الإدخال وميز بين القيم المقاسة والتقديرات. اطلب من كل اعتراض تحديد الصف الذي يعتمد عليه. اطلب إجابة نهائية تفصل بين الحقائق الثابتة والاستنتاجات الشرطية والمجهول. ثم افتح المستندات الأساسية وأعد إنتاج الحساب الحاسم. العديد من النماذج التي تقبل التقدير لا تحوله إلى حقيقة مقاسة.

عندما يضيف منظور إضافي القليل

إذا تلقى كل مشارك مستندًا غير مكتمل، فقد يتجاهل الجميع نفس الاستثناء. يمكن للسؤال الذي يتضمن استنتاجك المفضل أيضًا أن يضع إطارًا للمناقشة بأكملها حول الدفاع عنه. إن المنسق الذي يخفف من الاعتراضات قد يزيل أهم مخرجاته. من الأفضل إنفاق الأرصدة الإضافية عندما يساهم مشارك آخر في تحدي جديد قابل للاختبار.

قد تحتاج الترجمة القصيرة للنص الخاص بك أو مسودة الدعوة إلى التدقيق اللغوي العادي فقط. إن التوصية التي تلزم بالإنفاق أو تغير وعد العميل أو تعتمد على حقائق خارجية تستحق المزيد من التدقيق. مطابقة عملية التدقيق مع عواقب الخطأ وسهولة التراجع عنه. إن زيادة عدد المشاركين هو وسيلة لتنظيم التدقيق، وليس سببًا لتخطيه.

الاحتفاظ بسجل للقرار

احفظ السؤال الأصلي والادعاء الحاسم والوثيقة أو الحساب الداعم والقيد غير المحسوم والمسؤول عن القرار. بعد أسبوع، يوضح هذا السجل المختصر لماذا مضى الفريق قدمًا وما الأدلة الجديدة التي تستدعي المراجعة. كما يمنحك أساسًا ملموسًا للمقارنة بين نموذج واحد وConsensus في عملك.

ابدأ بمذكرة واحدة يمكن أن يؤثر افتراضها الأضعف على القرار الحقيقي. اطلب من Consensus تحديد هذا الافتراض، ثم تحقق منه خارج المناقشة. قد يكون النجاح عبارة عن توصية منقحة، أو حساب مؤكد، أو قرار بانتظار قياس واحد مفقود. الثلاثة كلها أكثر فائدة من الثقة غير المدعومة بالأدلة.