اختبر Consensus مقابل العمل الذي تحتاج إلى إنجازه بالفعل

حدد القرار قبل اختيار مقياس التقييم

تستدعي وظيفة القياس في NIST AI RMF مجموعات الاختبار الموثقة والمقاييس وعدم اليقين والتقييم في ظروف تشبه النشر. فهو يوفر إطارًا للقياس، وليس فائزًا محددًا أو شهادة لمنتج الذكاء الاصطناعي. NIST AI RMF: Measure

اكتب قاعدة اعتماد سير العمل. مثال: استخدام المسار الذي يتضمن مراجعة لتحليل المتطلبات إذا اكتشف مزيدًا من الإغفالات الجوهرية ضمن الميزانية نفسها ومن دون تجاوز وقت الانتظار المتفق عليه. هذه قاعدة مقترحة لتجربتك. حدّد معنى «جوهري» بأمثلة ملموسة قبل أن يولّد أي نموذج إجابة.

افصل بين الصحة الواقعية والاكتمال والفائدة والأسلوب. إن الرد المصقول الذي يخترع قيدًا يجب أن يفشل في التحقق من الوقائع حتى لو كان المراجعون يفضلون لهجته. بالنسبة للمهام ذات النهايات المفتوحة، استخدم نموذج تقييم قصير يحتوي على أمثلة مثبتة وسجل الخلافات بين المراجعين البشريين. إن الاتفاق بين القضاة هو في حد ذاته أمر يجب فحصه، وليس افتراضه.

قم بإقران المهام والتحكم في الميزانية

كوّن عينة من العمل الفعلي: مهام عادية وحالات صعبة وطلبات غامضة وأمثلة بمعلومات ناقصة. احتفظ بمجموعة منفصلة لضبط الطلبات. نفّذ كل مهمة تقييم عبر كلا المسارين بالمادة المصدرية نفسها. أخفِ أسماء المسارات عن المقيّمين ورتّب الإجابات عشوائيًا كي لا يحسم موضع الإجابة أو اسم المنتج المقارنة.

امنح كل مسار عمل الميزانية الإجمالية نفسها والموعد النهائي نفسه عبر مجموعة المهام. احتسب كل توليد وخطوة تنسيق وإعادة محاولة واستدعاء أداة. ينبغي أن يحصل المسار المرجعي ذو الوكيل الواحد على طلب مناسب والمعلومات ذات الصلة نفسها. منح طرف محاولات إضافية مع احتساب إجابته الأخيرة فقط يفسد المقارنة.

تساوي الميزانيات لا يستلزم إهدار المبلغ غير المستخدم. سجل الإنفاق الفعلي وحدد مسبقًا ما يحدث عند بلوغ سقف الميزانية؛ يجب أن تظل المهمة غير المكتملة ظاهرة. يمكنك أيضًا إجراء مقارنة منفصلة عند مستوى جودة متساوٍ لتقدير التكلفة، لكن لا تخلط نتيجتها بتجربة الميزانيات المتساوية.

العينة الصغيرة تحتاج إلى فاصل لعدم اليقين

يصف NIST فاصل ويلسون لنسبة ثنائية الحدين. يعطي حسابنا لـ 95 نجاحًا في 100 تجربة مستقلة وممثلة فاصلًا عند مستوى ثقة 95% من 88.82%–97.85%، باستخدام z = 1.9599639845. هذه ملاحظات توضيحية، وليست قياسات لـ Colay. NIST: فواصل الثقة للنسب

يتعلق الفاصل بمعدل نجاح مجتمع المهام المحدد وفق افتراضات أخذ العينة. وهو ليس احتمال صحة إجابة بعينها، ولا يصلح عينة متحيزة. قد يؤدي تكرار طلبات شبه متطابقة من وثيقة واحدة إلى الاعتماد المتبادل، واختبار المسودات السهلة وحدها لا يخبرنا كثيرًا عن التحليل المعقد.

لا تعلن أن نتيجة مرصودة قدرها 95% تثبت موثوقية المنتج بنسبة 95%. سجل التاريخ وإصدارات النماذج والطلبات واختيار المهام والاستثناءات وقواعد التقييم والميزانية. قد تجعل تغييرات النموذج أو مزيج المهام التقدير القديم غير مناسب للاستدلال على الشهر التالي.

اقرأ النتائج المقترنة، وليس النسبتين المئويتين فقط

تأمل نتيجة أخرى مختلقة صراحةً للمهام الـ 100 نفسها: ينجح المساران في 89، وينجح Consensus وحده في 6، وينجح مسار الوكيل الواحد وحده في 1، ويفشل كلاهما في 4. المجموع 95 و90 نجاحًا. الفرق المقترن خمس مهام، لكن أكثر الملاحظات إفادة هي الحالات السبع التي تختلف فيها النتائج.

في هذا الجدول التوضيحي، يعتمد اختبار McNemar الدقيق ثنائي الطرف على الأزواج السبعة ذات النتائج المختلفة. عند تساوي احتمال الفوز، تكون القيمة الاحتمالية 2 × (1 + 7) ÷ 128 = 0.125. لا تبلغ هذه النتيجة عتبة 0.05 المحددة مسبقًا. وهي لا تثبت التكافؤ، بل توضح لماذا يحتاج التفوق الظاهر إلى مزيد من الأدلة. تداخل فواصل الثقة المنفصلة لا يحل محل تحليل مقترن.

تحويل النتائج إلى قاعدة تشغيل محدودة

افحص كل تراجع في الجودة. قد لا يفي سير عمل بقاعدة الاعتماد إذا حسّن مسودات كثيرة قليلة الأثر لكنه أضاف خطأ واقعيًا جسيمًا واحدًا. وسّع الفئات الواعدة بمهام جديدة واحتفظ بمجموعة اختبار لم تُستخدم في ضبط الطلبات. تكرار فحص النتائج والتوقف عند أول درجة جذابة قد يضخّم المكاسب الظاهرة.

في Colay Consensus، يناقش الوكلاء الطلب ويقوم الوكيل المنسق بصياغة الاستنتاج. قم بتقييم هذا التسليم النهائي والجهد المطلوب للتحقق منه. سجل وحدات الرصيد لأن اشتراكات Colay لها أرصدة وحدود. انشر فقط ما يدعمه اختبارك: المهام التي تم أخذ عينات منها، والتكوين الذي تم اختباره، والمقايضات الملحوظة، وعدم اليقين. لا ينشئ أي من هذا المثال معيار Colay المُقاس.