Compare modelos de IA según las indicaciones que su producto realmente necesita

Convierta una función en casos comprobables

Comience con el resultado que su usuario necesita, no con una clasificación de modelos. Si la función extrae tareas pendientes, el éxito significa preservar el responsable, la tarea y la fecha límite correctos, dejando campos desconocidos desconocidos. Un resumen elegante que inventa una fecha límite debería fracasar en ese caso.

Como conjunto inicial ilustrativo, prepare 12 ejemplos permitidos: 4 entradas ordinarias, 4 entradas ambiguas y 4 casos extremos. Estos números son un ejercicio manejable, no un tamaño de muestra validado estadísticamente. Elimine la información personal y confidencial que no esté autorizado a compartir. Mantenga un resultado esperado o una regla de aceptación explícita al lado de cada caso.

Ejecute una comparación que pueda interpretar

La guía de evaluación de Anthropic distingue una tarea de las pruebas repetidas de esa tarea porque los resultados pueden variar. Este artículo aplica esa distinción básica a un ejercicio de selección manual. Unas pocas respuestas claras no pueden establecer una tasa de errores en producción.

Evite darle a un candidato una pregunta corregida después de que otro ya haya fallado. Si es necesario mejorar el mensaje, cree una nueva versión y vuelva a ejecutar todos los candidatos en ella. De lo contrario, estará comparando instrucciones y modelos.

1. Elija los agentes candidatos explícitamente del catálogo actual. No utilice Auto cuando necesite saber qué candidato respondió.
2. Mantenga idénticos el resumen, el material fuente y el formato solicitado. Utilice Ask separately para las primeras respuestas y conserve sus etiquetas.
3. Registre la fecha, el nombre del agente mostrado, la versión del mensaje y cualquier configuración visible. Anote las respuestas faltantes por separado de las respuestas incorrectas.
4. Revise cada resultado según las reglas antes de comparar la calidad de la prosa. Repita casos importantes o ambiguos y conserve todos los intentos, incluidos los fracasos.

• Anthropic: tareas, ensayos y diseño de evaluación↗

Ejemplo: tareas pendientes de una nota de reunión

Datos ficticios: «Mira enviará el borrador el martes. Aún falta asignar a alguien la revisión de precios». El resultado debe contener una tarea asignada y otra sin responsable. No debe asignar ambas a Mira ni inventar una fecha para revisar los precios.

El artefacto útil es una hoja de caso, no una captura de pantalla de la mejor respuesta. Adjunte el texto exacto devuelto a cada fila para que un compañero de equipo pueda cuestionar su puntuación. Mantenga los errores de formato separados de los errores de contenido: un diseño de tabla reparable y un compromiso inventado tienen consecuencias diferentes.

Un mensaje para la ejecución de la evaluación

Mantenga las instrucciones de evaluación en una lista de verificación separada que aplique a la respuesta. Puede pedirle a otro agente que identifique posibles errores, pero su veredicto es otro resultado a inspeccionar. Consensus puede ayudar a resumir las ventajas y limitaciones observadas después de la primera comparación; proporcione explícitamente los resultados etiquetados y sus puntuaciones.

Extraiga los tareas pendientes de la nota de la reunión proporcionada: [nota permitida]. Devuelva una tabla con la tarea, el responsable, la fecha límite y un extracto de respaldo. Utilice únicamente el texto proporcionado. Escriba desconocido para un responsable o fecha límite no especificados. No convierta una sugerencia en un compromiso acordado. Conserve las preguntas no resueltas por separado. ID de entrada: [ID de caso].

Use la lista corta para la próxima prueba

Resuma los casos que maneja cada candidato, sus fallas críticas y las preguntas aún sin respuesta. Conserve un candidato solo si su comportamiento se ajusta a los requisitos mínimos de la característica. Si ninguno califica, limite la función o mejore el contexto proporcionado antes de seleccionar un ganador.

Una prueba de integración debe verificar por separado el endpoint real del modelo, el acceso a las herramientas, las instrucciones del sistema, la latencia, el costo de uso y el manejo de fallas. Los créditos de Colay no son una cotización para esa carga de trabajo de API. Comience en Colay con un caso real y desidentificado que pueda calificar usted mismo y luego amplíelo solo cuando la comparación cambie su lista corta.

Preguntas y respuestas