Los riesgos de un modelo de IA: comprobar una respuesta segura

Qué mide la investigación

Farquhar et al., en un estudio publicado en Nature el 19 de junio de 2024, informaron de un AUROC medio de 0.790 en 30 combinaciones de tarea y modelo para la entropía semántica. El método detecta confabulaciones inestables. El AUROC mide la capacidad de distinguir respuestas correctas de incorrectas; no significa que el 79% de las respuestas sean correctas. No fue una evaluación de Colay. Farquhar et al., Nature, 2024

NIST AI 600-1 identifica la información falsa presentada con confianza como un riesgo generativo distintivo de IA. Es un marco de gestión de riesgos, no una tabla de clasificación modelo ni un estudio de tasa de error de producto. NIST AI 600-1, 2024

Nuestra recomendación práctica es evaluar la evidencia por separado de la presentación. Una tabla elegante puede contener una dato sin respaldo. Una explicación larga puede omitir la excepción que es importante para su situación. Antes de solicitar más análisis, marque las pocas afirmaciones que cambiarían lo que hace. Esas afirmaciones merecen comprobaciones explícitas incluso cuando el resto de la respuesta parece convincente.

incorrecto y arbitrario

Farquhar et al., Nature, 2024Cita traducida

Nature utiliza esta expresión para confabulaciones sensibles a detalles circunstanciales de la generación: una clase específica de error.

Cuatro formas en las que una respuesta plausible puede fallar

Comience con la capa fáctica: ¿existe el documento citado y su fecha es correcta? A continuación, verifique la aplicabilidad: ¿la declaración cubre su ubicación, producto y período de tiempo? Luego inspecciona la aritmética, especialmente las unidades y denominadores. Finalmente, pregúntese sobre la exhaustividad: ¿qué alternativa realista se ha omitido? Una respuesta puede pasar tres de estas comprobaciones y aun así no aprobar la decisión.

Con una respuesta, esas preguntas pueden convertirse en una única impresión de que todo parece razonable. Otro modelo es útil cuando los separa e identifica una debilidad específica. Reformular la misma conclusión añade poca evidencia. La unidad de progreso relevante es una suposición probada, en lugar de otro párrafo u otro voto por una opción preferida.

Ejemplo resuelto: aritmética correcta, alcance incorrecto

Considere una propuesta hipotética de automatización del soporte. El borrador supone 1,200 solicitudes de soporte al mes, cuatro minutos ahorrados por solicitud y un valor de €20 por hora de trabajo del personal. La multiplicación da 80 horas, equivalentes a €1,600. Estas cifras inventadas ilustran el flujo de trabajo; no son un caso de cliente ni resultados observados de Colay.

La primera respuesta recomienda seguir adelante. Un revisor señala que quizá solo el 40% de las solicitudes pueda automatizarse. Si se mantienen constantes los demás supuestos, la estimación pasa a 32 horas, o €640. El modelo original podría haber calculado perfectamente y aun así respaldar una mala decisión porque faltaba el supuesto sobre la cobertura.

El siguiente paso es establecer esa cifra del 40% utilizando solicitudes de soporte reales. Si también se inventa, el crítico simplemente ha sustituido una premisa sin fundamento por otra. Una síntesis útil especifica la muestra requerida, los escenarios alternativos y el umbral para proceder. El acuerdo no resuelve la observación faltante; la medición sí.

Usar Consensus para hacer visibles las suposiciones

En Colay Consensus, los participantes discuten una tarea y un coordinador sintetiza el resultado. Para este ejemplo, el usuario puede solicitar explícitamente verificaciones de supuestos, verificaciones de unidades, explicaciones alternativas y preguntas no resueltas. Estas son instrucciones sugeridas, no una afirmación de que el producto proporcione automáticamente expertos independientes, fuentes verificadas o una auditoría completa.

Proporcione la misma tabla de entrada y distinga los valores medidos de las estimaciones. Pida a cada objeción que identifique la fila de la que depende. Solicite una respuesta final que separe los hechos establecidos, las conclusiones condicionales y las incógnitas. Luego abra los documentos subyacentes y reproduzca el cálculo decisivo. Varios modelos que aceptan una estimación no la convierten en un hecho medido.

Cuando una perspectiva extra aporta poco

Si cada participante recibe un documento incompleto, es posible que todos pasen por alto la misma excepción. Una pregunta que incorpore su conclusión preferida también puede enmarcar toda la discusión en torno a su defensa. Un coordinador que elimina las objeciones puede eliminar su resultado más valioso. Es mejor gastar los créditos adicionales cuando otro participante aporta un desafío nuevo y comprobable.

Es posible que una traducción breve de su propio texto o un borrador de invitación solo necesite una revisión ordinaria. Una recomendación que compromete gastos, cambia una promesa al cliente o depende de hechos externos merece un mayor escrutinio. Haga coincidir el proceso de verificación con las consecuencias de un error y la facilidad de revertirlo. Un mayor número de participantes es un medio para organizar el escrutinio, no un motivo para omitirlo.

Mantener un registro de decisiones

Guarde la pregunta original, la afirmación decisiva, el documento o cálculo de respaldo, la limitación sin resolver y la persona responsable de la decisión. Una semana después, este registro conciso explicará por qué el equipo siguió adelante y qué nueva evidencia debería motivar una revisión. También le ofrece algo concreto que comparar al evaluar un solo modelo frente a Consensus con su propio trabajo.

Comience con un documento de decisión cuyo supuesto más débil pueda afectar a una decisión real. Pida a Consensus que identifique ese supuesto y compruébelo fuera de la discusión. El éxito puede ser una recomendación revisada, un cálculo confirmado o la decisión de esperar a obtener una medición pendiente. Los tres resultados son más útiles que la confianza sin pruebas que la respalden.