Os riscos de um único modelo de IA: verificar uma resposta confiante

O que a pesquisa mede

Farquhar et al., em estudo publicado na Nature em 19 de junho de 2024, relataram um AUROC médio de 0.790 em 30 combinações de tarefa e modelo para a entropia semântica. O método detecta confabulações instáveis. O AUROC mede a capacidade de distinguir respostas corretas de incorretas; não significa que 79% das respostas estejam corretas. Não foi uma avaliação do Colay. Farquhar et al., Nature, 2024

NIST AI 600-1 identifica informações falsas apresentadas com segurança como um risco distinto de IA generativa. É uma estrutura de gerenciamento de riscos, não um modelo de tabela de classificação ou um estudo de taxa de erro de produto. NIST AI 600-1, 2024

Nossa recomendação prática é avaliar as evidências separadamente da apresentação. Uma tabela elegante pode conter uma dado sem respaldo. Uma explicação longa pode omitir a exceção que importa para a sua situação. Antes de solicitar mais análises, marque as poucas afirmações que mudariam o que você faz. Essas declarações merecem verificações explícitas, mesmo quando o restante da resposta parece convincente.

errado e arbitrário

Farquhar et al., Nature, 2024Citação traduzida

A Nature usa essa expressão para confabulações sensíveis a detalhes circunstanciais da geração: uma classe específica de erro.

Quatro maneiras pelas quais uma resposta plausível pode falhar

Comece pela camada factual: o documento citado existe e sua data está correta? A seguir, verifique a aplicabilidade: a declaração cobre sua localização, produto e período de tempo? Em seguida, inspecione a aritmética, especialmente unidades e denominadores. Por fim, pergunte sobre a integralidade: que alternativa realista foi deixada de fora? Uma resposta pode passar por três dessas verificações e ainda assim falhar na decisão.

Com uma resposta, essas perguntas podem se transformar em uma única impressão de que tudo parece razoável. Outro modelo é útil quando os separa e identifica uma fraqueza específica. Reformular a mesma conclusão acrescenta poucas evidências. A unidade relevante de progresso é uma suposição testada, em vez de outro parágrafo ou outra votação para uma opção preferida.

Exemplo resolvido: aritmética correta, escopo incorreto

Considere uma proposta hipotética de automação de suporte. O rascunho pressupõe 1,200 chamados por mês, quatro minutos economizados por chamado e um valor de €20 por hora de trabalho da equipe. A multiplicação resulta em 80 horas, equivalentes a €1,600. Esses números inventados ilustram o fluxo de trabalho; não são um estudo de caso de cliente nem resultados observados do Colay.

A primeira resposta recomenda prosseguir. Um revisor ressalta que apenas 40% dos chamados podem ser elegíveis para automação. Manter as outras suposições constantes altera a estimativa para 32 horas, ou €640. O modelo original poderia ter sido calculado perfeitamente e, ao mesmo tempo, apoiar uma decisão errada porque faltava a suposição de cobertura.

A próxima etapa é estabelecer esse valor de 40% usando chamados reais. Se também for inventado, o revisor apenas substituiu uma premissa não apoiada por outra. Uma síntese útil especifica a amostra necessária, os cenários alternativos e o limite para prosseguir. O acordo não resolve a observação faltante; a medição sim.

Usando o Consensus para tornar as suposições visíveis

No Colay Consensus, os participantes discutem uma tarefa e um coordenador sintetiza o resultado. Para este exemplo, o usuário pode solicitar explicitamente verificações de suposições, verificações de unidades, explicações alternativas e questões não resolvidas. Estas são instruções sugeridas e não uma afirmação de que o produto fornece automaticamente especialistas independentes, fontes verificadas ou uma auditoria concluída.

Forneça a mesma tabela de entrada e distinga valores medidos de estimativas. Peça a cada objeção para identificar de que linha ela depende. Solicite uma resposta final que separe fatos estabelecidos, conclusões condicionais e incógnitas. Em seguida, abra os documentos subjacentes e reproduza o cálculo decisivo. Vários modelos que aceitam uma estimativa não a transformam em um fato medido.

Quando uma perspectiva extra acrescenta pouco

Se todos os participantes receberem um documento incompleto, todos poderão ignorar a mesma exceção. Uma pergunta que incorpore sua conclusão preferida também pode enquadrar toda a discussão em torno de sua defesa. Um coordenador que elimina objeções pode remover o seu resultado mais valioso. Os créditos adicionais são mais bem gastos quando outro participante contribui com um desafio novo e testável.

Uma breve tradução de seu próprio texto ou um rascunho de convite pode precisar apenas de uma revisão normal. Uma recomendação que compromete gastos, altera uma promessa do cliente ou depende de fatos externos merece um exame mais minucioso. Combine o processo de verificação com as consequências de um erro e a facilidade de revertê-lo. Mais participantes são um meio de organizar o escrutínio, e não uma razão para ignorá-lo.

Mantenha um registro de decisões

Salve a pergunta original, a afirmação decisiva, o documento ou cálculo de apoio, a limitação não resolvida e a pessoa responsável pela decisão. Uma semana depois, esse registro conciso explicará por que a equipe prosseguiu e quais novas evidências devem motivar uma revisão. Ele também oferece algo concreto para comparar ao testar um único modelo frente ao Consensus com seu próprio trabalho.

Comece com um memorando cuja suposição mais fraca possa afetar uma decisão real. Peça ao Consensus para identificar essa suposição e depois verifique-a fora da discussão. O sucesso pode ser uma recomendação revista, um cálculo confirmado ou uma decisão de esperar por uma medição em falta. Todos os três são mais úteis do que a confiança não apoiada por evidências.