Quand une série supplémentaire de révision de l'IA vaut-elle son coût ?

La recherche montre un compromis, pas une remise universelle

FrugalGPT (2023), Tableau 3, rapporte une économie de 98.3% sur HEADLINES à précision égale à GPT-4. Le système a appris des cascades allant jusqu’à trois modèles, avec une répartition aléatoire entre entraînement et test. Ce résultat historique propre à une tâche concerne le recours sélectif à des modèles plus capables, pas la discussion entre plusieurs agents. FrugalGPT, 2023, Table 3

RouteLLM v4 (2025), Tableaux 1 et 6, rapporte un rapport d’économie de coûts de 3.66 sur MT Bench : un score de 8.8 contre 9.3 pour GPT-4. Le routage utilisait GPT-4-1106-preview et Mixtral-8x7B avec des hypothèses historiques de prix des tokens. Les 95% rapportés sont un score relatif au test, pas un taux de réponses correctes. RouteLLM, ICLR 2025, Tables 1 and 6

Ce sont des interventions différentes de demander à chaque participant de répondre puis de débattre. Pour votre flux de travail, comparez les alternatives séparément : une réponse, une réponse avec une vérification ciblée, une escalade sélective et une discussion complète. Dans le cas contraire, l'avantage résultant du choix d'un modèle moins cher peut être attribué à tort à la collaboration, ou une évaluation utile peut être rejetée parce que sa première réponse coûte plus cher.

Créer un petit modèle de décision

Notre modèle illustratif est le coût total attendu = coût d'exécution + probabilité d'erreur × conséquence d'une erreur. Il laisse délibérément de côté de nombreux détails réels afin que le seuil de rentabilité soit visible. Les chiffres ci-dessous sont des intrants pédagogiques inventés, exprimés en dollars pour l'arithmétique. Il ne s'agit pas de prix Colay, de taux d'erreur Colay mesurés ou d'estimations de votre travail.

Supposons qu’un processus à réponse unique coûte $0.02 et présente une probabilité d’erreur de 12%. Supposons qu’un processus avec révision coûte $0.08 et présente une probabilité d’erreur de 8%. Si une erreur entraîne $5 de travail correctif, les coûts attendus sont $0.02 + 0.12 × $5 = $0.62 et $0.08 + 0.08 × $5 = $0.48. Dans ces conditions, la révision permet d’économiser $0.14 par tâche.

Le surcoût d’exécution est de $0.06 et la réduction supposée de la probabilité d’erreur est de 0.04. Le coût de correction au seuil de rentabilité est donc $0.06 ÷ 0.04 = $1.50 par erreur. Sous ce seuil, le processus le moins cher l’emporte dans ce modèle simplifié. Si la révision ne réduit pas les erreurs, ce calcul ne lui attribue aucun bénéfice de prévention qui justifierait son coût.

Remplacer les entrées inventées par des observations

Le nombre le plus difficile est généralement le changement de probabilité d'erreur. Ne le déduisez pas du caractère convaincant de la réponse révisée. Exécutez les deux flux de travail sur les mêmes tâches représentatives, notez les résultats finaux sans révéler le flux de travail et enregistrez les corrections que quelqu'un a réellement dû apporter. Gardez les cas incertains visibles plutôt que de les considérer silencieusement comme des succès.

Estimez les conséquences par catégorie de tâche. Un titre erroné dans un brouillon privé et une quantité erronée dans un plan opérationnel demandent des corrections différentes. Notez le temps de révision, le temps d’attente, les tentatives répétées et les corrections ultérieures. Certaines conséquences doivent être traitées par des contraintes explicites et une expertise humaine plutôt que réduites à un montant monétaire spéculatif.

Dépenser des efforts de révision là où cela peut modifier le résultat

Avant de lancer une discussion, nommez un point non résolu : une dépendance manquante dans une proposition, par exemple, ou une conversion d’unité dans un calcul. Confiez au participant supplémentaire une vérification susceptible de changer la décision et demandez quelles preuves justifieraient ce changement. Une demande générale d’amélioration de la réponse est bien plus difficile à évaluer.

Définissez une règle d'arrêt à l'avance : terminez lorsque les contrôles d'acceptation indiqués sont réussis, faites remonter à une personne lorsqu'un désaccord important persiste et arrêtez de répéter des arguments équivalents. Une réponse peut devenir plus longue sans devenir plus utile. Suivez les livrables acceptés par unité de budget ainsi que la qualité des réponses, afin que la présentation soignée n'absorbe pas la totalité de l'allocation.

Appliquer le calcul à l’utilisation de Colay

Colay Consensus permet aux agents de discuter d'une demande avant qu'un agent de coordination ne synthétise la conclusion. Les abonnements Colay utilisent des crédits et des limites. Mesurez les crédits réels consommés par les modèles et le flux de travail que vous avez choisis ; ne traduisez pas l'exemple hypothétique du dollar en un nombre promis de messages Colay. Incluez les tentatives infructueuses lors de l'estimation d'une semaine normale.

Tenez un registre hebdomadaire simple : type de tâche, flux de travail sélectionné, crédits dépensés, temps de correction humaine et si le résultat répond aux exigences. Après suffisamment d’exemples comparables, réservez la discussion aux catégories où elle mérite un effort supplémentaire. Revérifiez ce choix lorsque les modèles, les tâches ou les conditions d'abonnement changent. Le résultat est une règle de dépenses pratique plutôt qu'une affirmation selon laquelle plus d'agents sont toujours moins chers ou toujours meilleurs.