Les risques d’un seul modèle d’IA : vérifier une réponse pleine d’assurance

Ce que mesure la recherche

Farquhar et al., publiés dans Nature le 19 juin 2024, ont rapporté un AUROC moyen de 0.790 pour 30 combinaisons tâche-modèle pour l'entropie sémantique. La méthode détecte les confabulations instables. AUROC mesure la discrimination entre les réponses correctes et incorrectes ; cela ne signifie pas que 79% des réponses sont correctes. Ce n'était pas une évaluation de Colay. Farquhar et al., Nature, 2024

NIST AI 600-1 identifie les fausses informations présentées en toute confiance comme un risque distinct d'IA générative. Il s'agit d'un cadre de gestion des risques, et non d'un classement de modèles ou d'une étude du taux d'erreur des produits. NIST AI 600-1, 2024

Notre recommandation pratique est d'évaluer les preuves séparément de la présentation. Un tableau élégant peut contenir une donnée non étayée. Une longue explication peut omettre l'exception qui compte pour votre situation. Avant de demander une analyse plus approfondie, marquez les quelques affirmations qui modifieraient ce que vous faites. Ces déclarations méritent des vérifications explicites même lorsque le reste de la réponse semble convaincant.

faux et arbitraire

Farquhar et al., Nature, 2024Citation traduite

Nature utilise cette expression pour les confabulations sensibles à des détails circonstanciels de la génération : une classe précise d’erreur.

Quatre façons dont une réponse plausible peut échouer

Commencez par la couche factuelle : le document cité existe-t-il et sa date est-elle correcte ? Ensuite, vérifiez l’applicabilité : la déclaration couvre-t-elle votre emplacement, votre produit et votre période ? Inspectez ensuite l’arithmétique, en particulier les unités et les dénominateurs. Enfin, posez-vous la question de l’exhaustivité : quelle alternative réaliste a été laissée de côté ? Une réponse peut réussir trois de ces contrôles et échouer quand même à la décision.

Avec une seule réponse, ces questions peuvent se résumer en une seule impression selon laquelle tout semble raisonnable. Un autre modèle est utile lorsqu’il les sépare et identifie une faiblesse spécifique. Reformuler la même conclusion ajoute peu de preuves. L'unité de progrès pertinente est une hypothèse testée, plutôt qu'un autre paragraphe ou un autre vote pour une option préférée.

Exemple concret : arithmétique correcte, portée incorrecte

Envisagez une hypothétique proposition d'automatisation du support. Son projet suppose 1,200 tickets par mois, quatre minutes économisées par ticket et une valeur horaire de personnel de 20 €. La multiplication produit 80 heures, ce qui équivaut à 1,600 €. Ces chiffres inventés illustrent le flux de travail ; il ne s'agit pas d'une étude de cas client ni de résultats Colay observés.

La première réponse recommande de continuer. Un évaluateur souligne que seuls 40% des tickets peuvent être éligibles à l'automatisation. En maintenant les autres hypothèses constantes, l'estimation passe à 32 heures, soit 640 €. Le modèle original aurait pu calculer parfaitement tout en supportant une mauvaise décision car l'hypothèse de couverture manquait.

L'étape suivante consiste à établir ce chiffre de 40% à l'aide de tickets réels. S’il est également inventé, le critique a simplement substitué une prémisse non étayée à une autre. Une synthèse utile précise l'échantillon requis, les scénarios alternatifs et le seuil pour procéder. L'accord ne résout pas l'observation manquante ; la mesure le fait.

Utiliser Consensus pour rendre les hypothèses visibles

Dans Colay Consensus, les participants discutent d'une tâche et un coordinateur synthétise le résultat. Pour cet exemple, l'utilisateur peut demander explicitement des vérifications d'hypothèses, des vérifications d'unités, des explications alternatives et des questions non résolues. Il s'agit d'instructions suggérées et non d'une affirmation selon laquelle le produit fournit automatiquement des experts indépendants, des sources vérifiées ou un audit complet.

Fournissez le même tableau d'entrée et distinguez les valeurs mesurées des estimations. Demandez à chaque objection d’identifier la ligne dont elle dépend. Demandez une réponse finale qui sépare les faits établis, les conclusions conditionnelles et les inconnues. Ouvrez ensuite les documents sous-jacents et reproduisez le calcul décisif. Plusieurs modèles acceptant une estimation n'en font pas un fait mesuré.

Quand une perspective supplémentaire n'apporte pas grand-chose

Si chaque participant reçoit un document incomplet, tous risquent de négliger la même exception. Une question qui intègre votre conclusion préférée peut également encadrer toute la discussion autour de sa défense. Un coordinateur qui dissipe les objections peut supprimer son résultat le plus précieux. Il est préférable de dépenser des crédits supplémentaires lorsqu'un autre participant contribue à un nouveau défi testable.

Une courte traduction de votre propre texte ou un brouillon d'invitation peut nécessiter uniquement une relecture ordinaire. Une recommandation qui engage des dépenses, modifie une promesse client ou dépend de faits externes mérite un examen plus approfondi. Adaptez le processus de vérification aux conséquences d’une erreur et à la facilité de l’annuler. Un plus grand nombre de participants est un moyen d'organiser le contrôle, pas une raison pour l'ignorer.

Tenir un enregistrement des décisions

Conservez la question initiale, l’affirmation décisive, le document ou calcul à l’appui, la limite non résolue et la personne responsable de la décision. Une semaine plus tard, ce relevé concis expliquera pourquoi l’équipe a avancé et quelles nouvelles preuves devraient déclencher une révision. Il fournit aussi un élément concret pour comparer un modèle unique à Consensus sur votre propre travail.

Commencez par un mémo dont l'hypothèse la plus faible pourrait affecter une décision réelle. Demandez à Consensus d'identifier cette hypothèse, puis vérifiez-la en dehors de la discussion. Le succès peut être une recommandation révisée, un calcul confirmé ou une décision d'attendre une mesure manquante. Ces trois éléments sont plus utiles que la confiance non étayée par des preuves.