Muitas respostas de um modelo ou discussão entre modelos?

O que o documento de autoconsistência realmente mediu

Wang et al., ICLR 2023, relatam que a precisão do PaLM-540B no GSM8K subiu de 56.5% com cadeia de pensamento e decodificação gulosa para 74.4% com autoconsistência: 17.9 pontos percentuais. Os resultados são a média de 10 execuções, com 40 respostas amostradas por execução. São resultados de pesquisa, não medições do Colay. Wang et al., ICLR 2023

O conjunto de teste do GSM8K contém 1,319 problemas de matemática elementar expressos em linguagem natural. Ele oferece respostas finais verificáveis, sem representar todas as tarefas de pesquisa, redação ou tomada de decisão. GSM8K dataset, OpenAI

Uma interpretação prática é que a primeira resposta não precisa ser a melhor resposta disponível em um modelo. A repetição também consome recursos. Uma comparação entre quarenta tentativas e uma tentativa, sem contabilizar o custo, não define qual fluxo de trabalho é preferível dentro do seu limite de gastos ou tempo de espera aceitável.

Três operações separadas no fluxo de trabalho

Para uma avaliação prática, diferencie geração de candidatos, avaliação de candidatos e composição final. A geração determina quais soluções possíveis ficam disponíveis. A avaliação decide quais atendem aos requisitos da tarefa. A composição produz uma resposta útil para o leitor. Cada operação pode ser melhorada separadamente, e o sucesso em um estágio não repara automaticamente uma falha em outro.

Uma solução correta pode já estar presente, mas perder a votação. Alternativamente, o candidato certo pode ser selecionado enquanto a prosa final elimina uma condição essencial. Preserve respostas intermediárias ao avaliar um fluxo de trabalho. Sem elas, é difícil dizer se você precisa de mais candidatos, de uma regra de seleção melhor ou de uma instrução mais clara ao coordenador.

Quando a frequência de resposta é informativa

Considere uma questão aritmética hipotética produzindo cinco respostas: 42, 42, 42, 24 e 24. A votação majoritária seleciona 42. Essa seleção é reproduzível, mas a correção ainda depende do problema e do cálculo. Se todas as três respostas correspondentes confundem minutos com horas, a votação preserva o mesmo erro. A parcela de votos não é automaticamente a probabilidade de uma resposta ser verdadeira.

As perguntas abertas introduzem uma dificuldade anterior: decidir o que conta como concordância. Duas respostas podem recomendar o mesmo produto por motivos incompatíveis. Duas recomendações diferentes podem funcionar sob restrições diferentes. Antes de contar as correspondências, defina o resultado que você precisa: uma decisão, suas condições de aplicabilidade, fatos necessários e qualquer informação que ainda esteja faltando.

Por que a discussão pode ser útil para sua tarefa

Para uma pergunta curta com uma resposta numérica, verificar o cálculo pode ser suficiente. Uma decisão de arquitetura de software se beneficia da comparação de suposições sobre escala, manutenção e restrições desconhecidas. Nesse cenário, a discussão pode ser avaliada pela sua capacidade de revelar premissas incompatíveis, em vez de simplesmente produzir a recomendação repetida com mais frequência.

Suponha que dois participantes recomendem projetos diferentes porque assumem volumes de dados diferentes. Uma síntese útil identifica o ponto em que a preferência muda. Peça um relato compacto do que é conhecido, do que é assumido e que observação resolveria o desacordo. Este é o nosso método de design de tarefas proposto, não uma garantia de que um modelo descobrirá todas as dependências.

Compare fluxos de trabalho sem alterar a pergunta

Defina antecipadamente um teto de gastos e uma rubrica de avaliação comum. Compare uma resposta comum, tentativas separadas com uma regra explícita de seleção e um processo de discussão. O mesmo número de chamadas não implica o mesmo custo: importam o comprimento do contexto, o tamanho da resposta e o modelo escolhido. Registre os gastos reais e o tempo de espera junto com a qualidade, em vez de tratar o trabalho adicional como uma melhoria gratuita.

Um cálculo hipotético torna a compensação visível. O fluxo de trabalho A produz 18 resultados aceitáveis de 20 tarefas para 40 unidades contábeis. O fluxo de trabalho B produz 19 para 80 unidades. O resultado adicional aceitável custa 40 unidades. Isso não significa que A seja preferível: a tarefa extra bem-sucedida pode ser especialmente valiosa. Isso torna o custo da melhoria explícito o suficiente para ser discutido.

O que isso significa para o Consensus em Colay

Colay Consensus usa discussão entre os participantes e uma síntese do coordenador. Os números de autoconsistência não descrevem esse modo: um arranjo diferente precisa da sua própria avaliação. Para investigar o benefício, escolha uma tarefa recorrente, forneça o mesmo material factual e mantenha uma resposta de modo comum ao lado do resultado do Consensus. Avalie ambos de acordo com os critérios estabelecidos previamente.

Peça a base da recomendação, sua objeção relevante mais forte e as condições que a alterariam. Verifique fontes e cálculos separadamente. Quando uma fórmula ou um teste executável puder estabelecer a exatidão, use essa verificação em vez do número de participantes que concordam. Múltiplas tentativas expandem o conjunto de candidatos; o fluxo de trabalho ainda precisa de uma regra defensável para aceitar uma resposta.