Confiança na IA e julgamento humano: mantendo o controle de uma decisão

O que a pesquisa sobre confiança pode nos dizer

Um estudo CHI 2025 da Microsoft Research e da Carnegie Mellon entrevistou 319 trabalhadores que descreveram 936 usos de IA. Uma maior confiança na IA foi associada a menos pensamento crítico auto-relatado. Estas são associações de pesquisas, não provas de que a IA causa um declínio na inteligência. Lee et al., CHI 2025

Uma meta-análise de 2024 publicada na Nature Human Behaviour abrangeu 106 experimentos e 370 efeitos de estudos de 2020–2023. As combinações entre humanos e IA tiveram desempenho pior, em média, que o melhor dos dois isoladamente: g de Hedges = −0.23, IC de 95% de −0.39 a −0.07. Esse efeito padronizado não significa uma perda de 23% na precisão. Vaccaro et al., Nature Human Behaviour, 2024

Nossa recomendação é dar à supervisão humana uma tarefa específica. A pessoa deve definir o objetivo, escolher os critérios, verificar as evidências decisivas e explicar porque a conclusão é aceita. Simplesmente reler uma resposta polida e aprová-la é um procedimento muito vago para ser avaliado. A presença de uma pessoa é menos informativa do que as verificações que ela realmente realiza.

Escreva seus critérios antes de ler a resposta

Antes de solicitar análise, registre o que você está escolhendo, quais restrições são obrigatórias e o que mudaria sua visão. Para uma escolha de software, isso pode significar uma integração necessária, um período de aprendizagem aceitável e a capacidade de exportar os seus dados. Esta breve nota não precisa conter a resposta correta. Seu objetivo é preservar seus critérios antes que chegue uma perspectiva externa atraente.

Após a discussão, compare sua conclusão com a nota. Se aparecer um novo critério, identifique de onde ele veio: um requisito real, uma limitação recém-descoberta ou uma descrição atraente? A revisão dos critérios é razoável quando você pode explicar o motivo. O registro ajuda a distinguir o aprendizado da adoção silenciosa da opinião confiante mais recente.

Exemplo resolvido: uma tabela que parece mais completa do que é

Imagine uma equipe fictícia selecionando software para relatórios semanais. Compara três opções com base em cinco critérios. Uma resposta de IA atribui pontuações e anuncia um vencedor. No entanto, dois critérios, o formato de exportação exigido e uma integração específica, não foram verificados. A tabela parece concluída mesmo que os valores de entrada decisivos permaneçam desconhecidos.

Marque essas células como desconhecidas em vez de atribuir uma pontuação neutra. Peça à discussão para testar a decisão sob valores alternativos: e se a exportação não estiver disponível? O vencedor mudaria se a configuração demorasse uma semana? Essas perguntas produzem um breve plano de verificação do produto. As três opções e os cinco critérios fazem parte deste exemplo de ensino, e não das descobertas sobre os clientes do Colay.

Uma pessoa então testa a exportação com um arquivo de amostra e a integração com um fluxo de trabalho real antes de atualizar a tabela. Se a escolha mudar, o motivo importa: chegaram novas observações. Se permanecer igual, a verificação ainda cria uma explicação defensável para os colegas. O objetivo é melhorar a base da escolha, não maximizar o número de vezes que os humanos substituem a IA.

Uma solicitação de Consensus que deixa o julgamento visível

Colay Consensus faz com que os participantes discutam uma solicitação e um coordenador sintetize o resultado. Experimente esta instrução: “Verifique os critérios primeiro. Identifique entradas desconhecidas. Mostre qual incógnita pode alterar a escolha. Proponha a menor verificação útil”. Você também pode pedir a resposta final para preservar uma alternativa que permaneça razoável sob diferentes suposições. Esta é uma prática sugerida, não uma garantia medida do produto.

Não peça ao coordenador para encerrar a pergunta simplesmente porque a maioria das respostas concorda. Solicite a conexão entre evidência e conclusão e mantenha visível a incerteza relevante. Em seguida, explique a decisão com suas próprias palavras, sem copiar o resumo. Se essa explicação depende inteiramente de dizer que os modelos concordam, volte aos dados que deveriam justificá-la.

Avalie a utilidade do seu próprio trabalho

Escolha várias tarefas recorrentes e defina um erro antes de comparar métodos. Dê uma execução de modelo único e uma discussão sobre a mesma tarefa e material de apoio. Inspecione defeitos concretos, como uma afirmação de recurso não suportada, um cálculo errado ou uma restrição obrigatória perdida. Registre o tempo de revisão e o uso de crédito também. Mantenha essas observações separadas da impressão de que a resposta parece mais profunda.

Quando possível, peça a um colega que avalie resultados anonimizados sem saber qual modo produziu cada um. Uma amostra interna pequena não estabelece a superioridade universal de um produto, mas pode revelar quando a discussão justifica o tempo adicional no seu fluxo de trabalho. Preste atenção especial aos erros unânimes: eles expõem limitações que uma demonstração bem-sucedida poderia ocultar.

Preservar a opção de parar sem vencedor

Permita a conclusão de que as evidências são insuficientes. Se um formato exige um vencedor em todas as condições, incentiva o preenchimento de lacunas. Para uma pequena tarefa reversível, você pode aceitar uma suposição e verificar mais tarde. Para uma decisão com consequências importantes, registre a observação necessária antes de prosseguir. A pessoa responsável pela tarefa deve definir esse limite em vez de inferi-lo pelo tom da resposta.

Para sua próxima decisão de trabalho, escreva critérios, solicite discussão, verifique um fato decisivo e explique você mesmo o resultado. Isso torna o papel humano observável. O Consensus pode fornecer um local organizado para diferentes argumentos, enquanto a pessoa que toma a decisão mantém a responsabilidade pelos critérios, verificações factuais e eventuais ações.