قارن نماذج الذكاء الاصطناعي باستخدام الموجّهات التي يحتاجها منتجك

تحويل الميزة إلى حالات قابلة للاختبار

ابدأ بالمخرجات التي يحتاجها المستخدم، لا بترتيب النموذج في قوائم التقييم. إذا كانت الميزة تستخرج المهام من النص، فالنجاح يعني الحفاظ على المهمة والمسؤول عنها وموعدها، وترك المعلومات غير المحددة مجهولة. الملخص الأنيق الذي يخترع موعدًا نهائيًا يفشل في هذا الاختبار.

كمجموعة أولية توضيحية، جهّز 12 مثالًا يُسمح لك بمشاركتها: 4 مدخلات اعتيادية، و4 غامضة، و4 حالات حدية. هذا حجم عملي للتمرين، وليس عينة مثبتة الصلاحية إحصائيًا. احذف البيانات الشخصية والسرية التي لا يحق لك مشاركتها، واحتفظ بالنتيجة المتوقعة أو قاعدة قبول صريحة لكل حالة.

قم بإجراء مقارنة يمكنك تفسيرها

يميّز دليل Anthropic للتقييم بين المهمة والمحاولات المتكررة لتنفيذها، لأن النتائج قد تختلف. نطبّق هذا التمييز هنا على تمرين مقارنة يدوي. لا تكفي إجابات قليلة سليمة لاستنتاج معدل الإخفاق عند تشغيل المنتج فعليًا.

لا تمنح مرشحًا موجّهًا محسّنًا بعد إخفاق مرشح آخر في النسخة السابقة. إذا احتاج الموجّه إلى تعديل، أنشئ إصدارًا جديدًا واختبر جميع المرشحين به. وإلا فستقارن اختلاف التعليمات إلى جانب اختلاف النماذج.

1. اختر الوكلاء المرشحين بشكل صريح من الكتالوج الحالي. لا تستخدم Auto عندما تحتاج إلى معرفة المرشح الذي أجاب.
2. قدّم الموجز والمادة المصدرية وتنسيق الإجابة نفسه لكل مرشح. استخدم Ask separately للحصول على الإجابات الأولية، واحتفظ باسم الوكيل الذي أنتج كل إجابة.
3. سجّل التاريخ واسم الوكيل الظاهر وإصدار الموجّه والإعدادات المتاحة لك. ميّز غياب الإجابة عن الإجابة الخاطئة.
4. راجع كل نتيجة وفقًا للقواعد قبل مقارنة جودة النثر. كرر الحالات المهمة أو الغامضة واحتفظ بكل المحاولات، بما في ذلك المحاولات الفاشلة.

• Anthropic: المهام والمحاولات وتصميم التقييم↗

مثال: عناصر عمل من مذكرة اجتماع

مدخل افتراضي: «سترسل ميرا المسودة يوم الثلاثاء. ما زال الفريق يحتاج إلى تحديد مسؤول عن مراجعة الأسعار». النتيجة الصحيحة تتضمن مهمة لها مسؤول وأخرى لم يُحدّد مسؤولها. لا ينبغي إسناد المهمتين كلتيهما إلى ميرا أو اختراع موعد لمراجعة الأسعار.

المخرج المفيد هو سجل للحالات، لا صورة لأجمل إجابة. أرفق النص الناتج كما هو بكل صف حتى يتمكن زميلك من مراجعة تقييمك. افصل أخطاء التنسيق عن الأخطاء الواقعية: خلل قابل للإصلاح في شكل الجدول يختلف عن اختراع التزام.

موجّه لاختبار استخراج المهام

احتفظ بتعليمات التقييم في قائمة مرجعية منفصلة تطبقها على الإجابة. يمكنك أن تطلب من وكيل آخر تحديد الأخطاء المحتملة، ولكن حكمه هو نتيجة أخرى يجب فحصها. Consensus يمكن أن يساعد في تلخيص المفاضلات التي تمت ملاحظتها بعد المقارنة الأولى؛ قم بتقديم النتائج المصنفة ودرجاتك بشكل صريح.

استخرج المهام من مذكرة الاجتماع التالية: [نص يُسمح بمشاركته]. أعد جدولًا يتضمن المهمة والمسؤول والموعد النهائي والمقتطف الداعم. استخدم النص المرفق وحده. اكتب «غير معروف» عندما لا يُحدّد المسؤول أو الموعد. لا تحوّل اقتراحًا إلى التزام متفق عليه. افصل الأسئلة التي لم تُحسم. معرّف المدخل: [معرّف الحالة].

استخدم القائمة المختصرة للاختبار التالي

لخّص الحالات التي يتعامل معها كل مرشح، وإخفاقاته الحاسمة، والأسئلة المتبقية. أبقِ المرشح فقط إذا استوفى الحد الأدنى لمتطلبات الميزة. إذا لم يتأهل أي منها، فقلّص نطاق الميزة أو حسّن السياق المقدم قبل اختيار فائز.

يجب أن تختبر تجربة الدمج، على نحو منفصل، نقطة النهاية الفعلية للنموذج وأدواته وتعليمات النظام وزمن الاستجابة وتكلفة الاستخدام ومعالجة الإخفاقات. أرصدة Colay ليست عرض سعر لتشغيل واجهة API في منتجك. ابدأ بحالة حقيقية أزيلت منها المعرّفات، ويمكنك تقييمها بنفسك، ثم وسّع الاختبار عندما يؤثر ذلك في اختيار المرشحين.

إجابات عن أسئلتك