Cuando varios modelos de IA comparten el mismo punto ciego

La similitud y la corrección son preguntas diferentes

Artificial Hivemind, un estudio de NeurIPS 2025, encontró repetición dentro del modelo y similitud entre modelos en indicaciones abiertas. Esas indicaciones admiten múltiples respuestas plausibles. Esto es evidencia sobre la diversidad de respuestas, no una probabilidad medida de que los modelos compartan errores fácticos. Artificial Hivemind, NeurIPS 2025

Considere un equipo de producto preguntando a varios agentes por qué los clientes se van. Explicaciones similares pueden ser correctas, modernas o tomadas de un informe incompleto. La pregunta útil es qué observación podría refutar cada explicación. Sin esa prueba, una redacción diferente puede ocultar una única suposición subyacente, mientras que una redacción idéntica podría simplemente reflejar un hecho obvio.

El análisis de métodos de ensamble de Dietterich explica por qué la votación puede beneficiarse de clasificadores precisos cuyos errores difieren. Su cálculo con errores independientes es un modelo matemático condicionado a ciertos supuestos, no una propiedad que se obtenga automáticamente al utilizar modelos con nombres distintos. Dietterich: Ensemble Methods in Machine Learning

Un cálculo con supuestos deliberadamente simplificados

El siguiente es nuestro ejemplo hipotético de clasificación binaria, no un experimento de Colay. Supongamos tres votantes, una única etiqueta correcta, una probabilidad de error del 20% para cada votante y una votación mayoritaria sin discusión. En el caso de errores independientes, una mayoría equivocada necesita exactamente dos o tres errores. Su probabilidad es 3 × 0.2² × 0.8 + 0.2³ = 0.104, o 10.4%.

Ahora cambie solo la estructura de dependencia. Si los tres siempre tienen éxito o fracasan juntos, la mayoría se equivoca 20% de las veces. Como tercer caso construido, dejemos que la mitad de las tareas utilicen ese mecanismo de error compartido y la otra mitad utilice errores independientes. Cada votante todavía tiene una tasa de error del 20%, pero el error mayoritario se convierte en 0.5 × 20% + 0.5 × 10.4% = 15.2%.

Por qué una discusión no es un experimento de mayoría de votos

Un coordinador conversacional puede aceptar una objeción minoritaria, combinar dos soluciones parciales o introducir un nuevo error. Los participantes también pueden cambiar sus respuestas después de leerse unos a otros. Por lo tanto, el cálculo anterior no puede predecir la exactitud de una discusión. Aísla un problema: contar los resultados no indica cuánta evidencia adicional contienen.

En Colay Consensus, varios agentes discuten una solicitud y un agente coordinador sintetiza la conclusión. Ese flujo de trabajo no establece independencia estadística entre los participantes. Las respuestas iniciales separadas pueden hacer que las diferencias sean más fáciles de inspeccionar, pero incluso las respuestas generadas por separado pueden compartir influencias de capacitación, documentos proporcionados, omisiones o interpretaciones de la tarea.

Inspeccionar las dependencias antes de agregar participantes

Para una revisión concreta, cree un pequeño registro de pruebas. Anote la afirmación en disputa, el documento que la respalda, el supuesto que conecta el documento con la conclusión y un posible contraejemplo. Pida a cada revisor que complete los campos que faltan. Tres referencias al mismo comunicado de prensa siguen siendo una sola fuente de evidencia, aunque tres sitios web lo reproduzcan.

Asigne comprobaciones con diferentes resultados observables. Un revisor puede probar la aritmética, otro puede rastrear las citas hasta los pasajes originales y otro puede buscar en el informe los casos excluidos. Estas asignaciones son métodos de trabajo propuestos, no garantías de errores independientes. Su valor es que puede ver si un participante aportó una nueva comprobación en lugar de otra muestra de apoyo.

• Mantener una objeción hasta que se hayan abordado las pruebas que la respaldan.
• Registre qué hechos provienen del mensaje y cuáles se verificaron de forma independiente.
• Prefiera un contraejemplo demostrado a un recuento seguro de agentes que están de acuerdo.

Mida los desacuerdos útiles

En tareas con respuestas conocidas, marque dónde fallan ambos agentes, dónde falla solo uno y dónde ambos tienen éxito. Investigue primero los fallos compartidos: revelan lagunas que otro participante similar tal vez no subsane. Para tareas creativas, reemplace una única etiqueta de corrección con requisitos explícitos, como conceptos distintos, adecuación a la audiencia o cobertura de limitaciones en competencia.

Deje de añadir participantes cuando las nuevas respuestas ya no cambien la evidencia, revelen una restricción ni mejoren un resultado comprobado. Las suscripciones de Colay tienen créditos y límites, por lo que repetir el mismo acuerdo también consume recursos. Una discusión concisa que conserve una objeción decisiva puede resultar más útil que una discusión larga que termine en un texto unánime pero sin respaldo.