Quando vários modelos de IA compartilham o mesmo ponto cego

Similaridade e correção são questões diferentes

Artificial Hivemind, um estudo da NeurIPS 2025, encontrou repetição dentro do modelo e semelhança entre modelos em prompts abertos. Essas solicitações admitem múltiplas respostas plausíveis. Esta é uma evidência sobre a diversidade de respostas, não uma probabilidade medida de que os modelos compartilhem erros factuais. Artificial Hivemind, NeurIPS 2025

Considere uma equipe de produto perguntando a vários agentes por que os clientes saem. Explicações semelhantes podem ser corretas, elegantes ou emprestadas de um resumo incompleto. A questão útil é que observação poderia refutar cada explicação. Sem esse teste, palavras diferentes podem ocultar uma única suposição subjacente, enquanto palavras idênticas podem simplesmente refletir um fato óbvio.

A análise de métodos de ensemble de Dietterich explica por que a votação pode se beneficiar de classificadores precisos com erros diferentes. Seu cálculo com erros independentes é um modelo matemático condicionado a certas premissas, não uma propriedade obtida automaticamente ao usar modelos com nomes distintos. Dietterich: Ensemble Methods in Machine Learning

Um cálculo com suposições deliberadamente simplificadas

A seguir está nosso exemplo hipotético de classificação binária, não um experimento de Colay. Suponha três eleitores, um único rótulo correto, uma probabilidade de erro de 20% para cada eleitor e votação por maioria sem discussão. Com erros independentes, uma maioria errada precisa de exatamente dois ou três erros. Sua probabilidade é 3 × 0.2² × 0.8 + 0.2³ = 0.104, ou 10.4%.

Agora altere apenas a estrutura de dependência. Se todos os três sempre têm sucesso ou falham juntos, a maioria está errada 20% das vezes. Como terceiro caso construído, deixe que metade das tarefas use esse mecanismo de erro compartilhado e a outra metade use erros independentes. Cada eleitor ainda tem uma taxa de erro de 20%, mas o erro da maioria passa a ser 0.5 × 20% + 0.5 × 10.4% = 15.2%.

Por que uma discussão não é um experimento com votação majoritária

Um coordenador conversacional pode aceitar uma objeção minoritária, combinar duas soluções parciais ou introduzir um novo erro. Os participantes também podem alterar suas respostas depois de lerem uns aos outros. O cálculo acima, portanto, não pode prever a precisão de uma discussão. Isso isola um problema: a contagem dos resultados não informa quantas evidências adicionais eles contêm.

No Colay Consensus, vários agentes discutem uma solicitação e um agente coordenador sintetiza a conclusão. Esse fluxo de trabalho não estabelece independência estatística entre os participantes. Respostas iniciais separadas podem facilitar a inspeção das diferenças, mas mesmo respostas geradas separadamente podem compartilhar influências de treinamento, documentos fornecidos, omissões ou interpretações da tarefa.

Inspecione as dependências antes de adicionar participantes

Para uma revisão concreta, crie um pequeno registro de evidências. Anote a afirmação contestada, o documento que a apoia, a premissa que liga o documento à conclusão e um possível contraexemplo. Peça a cada revisor que complete os campos ausentes. Três referências ao mesmo comunicado de imprensa continuam sendo uma só origem de evidência, mesmo que três sites o reproduzam.

Atribua verificações com diferentes resultados observáveis. Um revisor pode testar a aritmética, outro pode rastrear as citações até as passagens originais e outro pode pesquisar o resumo em busca de casos excluídos. Estas tarefas são métodos de trabalho propostos e não garantias de erros independentes. O valor deles é que você pode ver se um participante contribuiu com uma nova verificação em vez de outra manifestação de apoio.

• Mantenha uma objeção até que suas evidências de apoio sejam abordadas.
• Registre quais fatos vieram do prompt e quais foram verificados de forma independente.
• Prefira um contra-exemplo demonstrado a uma contagem confiável de agentes concordantes.

Avalie divergências úteis

Em tarefas com respostas conhecidas, marque onde ambos os agentes falham, onde apenas um falha e onde ambos são bem-sucedidos. Investigue primeiro as falhas compartilhadas: elas revelam lacunas que outro participante semelhante pode não reparar. Para tarefas criativas, substitua um único rótulo de correção por requisitos explícitos, como conceitos distintos, adequação ao público ou cobertura de restrições concorrentes.

Pare de adicionar participantes quando novas respostas não alterarem mais as evidências, revelarem uma restrição ou melhorarem um resultado testado. As assinaturas do Colay têm créditos e limites, portanto, o acordo repetido também tem um custo de uso. Uma discussão compacta que preserve uma objeção decisiva pode ser mais útil do que uma longa discussão que termine em prosa unânime, mas sem apoio.