Die Risiken eines einzelnen KI-Modells: Eine selbstsichere Antwort prüfen

Was die Forschung misst

Farquhar et al., veröffentlicht in Nature am 19. Juni 2024, berichteten über einen mittleren AUROC von 0.790 über 30 Aufgaben-Modell-Kombinationen für semantische Entropie. Die Methode erkennt instabile Konfabulationen. AUROC misst die Unterscheidung zwischen richtigen und falschen Antworten; Dies bedeutet nicht, dass 79% der Antworten richtig sind. Dies war keine Colay-Bewertung. Farquhar et al., Nature, 2024

NIST AI 600-1 identifiziert selbstbewusst präsentierte falsche Informationen als eindeutiges generatives KI-Risiko. Es handelt sich um ein Risikomanagement-Framework, nicht um eine Modell-Bestenliste oder eine Produktfehlerratenstudie. NIST AI 600-1, 2024

Unsere praktische Empfehlung ist, Beweise getrennt von der Präsentation zu bewerten. Eine elegante Tabelle kann eine nicht unterstützte Eingabe enthalten. Eine lange Erklärung kann die Ausnahme auslassen, die für Ihre Situation wichtig ist. Bevor Sie eine weitere Analyse anfordern, markieren Sie die wenigen Aussagen, die Ihre Vorgehensweise ändern würden. Diese Aussagen verdienen eine explizite Überprüfung, auch wenn der Rest der Antwort überzeugend aussieht.

falsch und willkürlich

Farquhar et al., Nature, 2024Übersetztes Zitat

Nature verwendet diesen Ausdruck für Konfabulationen, die empfindlich auf zufällige Generierungsdetails reagieren: eine bestimmte Fehlerklasse.

Vier Möglichkeiten, wie eine plausible Antwort scheitern kann

Beginnen Sie mit der Sachebene: Existiert das zitierte Dokument und ist sein Datum korrekt? Prüfen Sie als Nächstes die Anwendbarkeit: Deckt die Erklärung Ihren Standort, Ihr Produkt und Ihren Zeitraum ab? Dann prüfen Sie die Arithmetik, insbesondere Einheiten und Nenner. Fragen Sie abschließend nach der Vollständigkeit: Welche realistische Alternative wurde ausgelassen? Eine Antwort kann drei dieser Prüfungen bestehen und dennoch die Entscheidung nicht bestehen.

Mit einer einzigen Antwort können diese Fragen zu dem einzigen Eindruck führen, dass alles vernünftig aussieht. Ein anderes Modell ist nützlich, wenn es sie trennt und eine bestimmte Schwachstelle identifiziert. Die Umformulierung derselben Schlussfolgerung bringt kaum zusätzliche Beweise. Die relevante Fortschrittseinheit ist eine getestete Annahme und nicht ein weiterer Absatz oder eine weitere Abstimmung für eine bevorzugte Option.

Arbeitsbeispiel: korrekte Arithmetik, falscher Umfang

Betrachten Sie ein hypothetisches Angebot zur Automatisierung des Supports. Der Entwurf geht von 1,200 Tickets pro Monat, vier eingesparten Minuten pro Ticket und einem Wert von €20 pro Arbeitsstunde aus. Die Multiplikation ergibt 80 Stunden, entsprechend €1,600. Diese erfundenen Zahlen veranschaulichen den Ablauf; sie sind weder eine Kundenfallstudie noch beobachtete Colay-Ergebnisse.

Die erste Antwort empfiehlt die Umsetzung. Ein Prüfer weist darauf hin, dass möglicherweise nur 40% der Tickets automatisierbar sind. Bei unveränderten übrigen Annahmen sinkt die Schätzung auf 32 Stunden beziehungsweise €640. Das ursprüngliche Modell kann völlig korrekt gerechnet und dennoch eine schlechte Entscheidung gestützt haben, weil die Annahme zum abgedeckten Anteil fehlte.

Im nächsten Schritt muss der Anteil von 40% anhand echter Tickets ermittelt werden. Ist auch er erfunden, hat der Prüfer nur eine unbelegte Annahme durch eine andere ersetzt. Eine nützliche Synthese benennt die erforderliche Stichprobe, alternative Szenarien und die Schwelle für die Umsetzung. Übereinstimmung ersetzt die fehlende Beobachtung nicht; eine Messung kann sie liefern.

Verwendung von Consensus, um Annahmen sichtbar zu machen

In Colay Consensus diskutieren Teilnehmer eine Aufgabe, und ein Koordinator fasst das Ergebnis zusammen. Für dieses Beispiel kann der Nutzer ausdrücklich die Prüfung von Annahmen und Einheiten sowie alternative Erklärungen und offene Fragen anfordern. Dies sind vorgeschlagene Anweisungen, keine Behauptung, das Produkt liefere automatisch unabhängige Experten, geprüfte Quellen oder ein abgeschlossenes Audit.

Stellen Sie dieselbe Eingabetabelle bereit und unterscheiden Sie Messwerte von Schätzungen. Bitten Sie jeden Einwand, die Zeile anzugeben, von der er abhängt. Fordern Sie eine endgültige Antwort an, die etablierte Fakten, bedingte Schlussfolgerungen und Unbekannte trennt. Öffnen Sie dann die zugrunde liegenden Dokumente und reproduzieren Sie die entscheidende Berechnung. Wenn mehrere Modelle eine Schätzung akzeptieren, wird daraus keine messbare Tatsache.

Wenn eine zusätzliche Perspektive wenig bringt

Wenn jeder Teilnehmer ein unvollständiges Dokument erhält, kann es sein, dass alle dieselbe Ausnahme übersehen. Eine Frage, die Ihre bevorzugte Schlussfolgerung einbettet, kann auch die gesamte Diskussion um deren Verteidigung rahmen. Ein Koordinator, der Einwände aus dem Weg räumt, entfernt möglicherweise seinen wertvollsten Output. Zusätzliche Credits werden am besten ausgegeben, wenn ein anderer Teilnehmer eine neue, testbare Herausforderung beisteuert.

Eine kurze Übersetzung Ihres eigenen Textes oder ein Einladungsentwurf erfordert möglicherweise nur ein normales Korrekturlesen. Eine Empfehlung, die Ausgaben bindet, ein Kundenversprechen ändert oder von externen Fakten abhängt, verdient eine genauere Prüfung. Passen Sie den Prüfprozess an die Folgen eines Fehlers und die einfache Behebbarkeit an. Mehr Teilnehmer sind ein Mittel zur Organisation der Prüfung und kein Grund, sie zu überspringen.

Führen Sie ein Entscheidungsprotokoll

Speichern Sie die ursprüngliche Frage, die entscheidende Aussage, das stützende Dokument oder die Berechnung, die ungelöste Einschränkung und die verantwortliche Person. Eine Woche später erklärt dieser kompakte Nachweis, warum das Team so entschieden hat und welche neuen Belege eine erneute Prüfung auslösen sollten. Er bietet außerdem eine konkrete Vergleichsgrundlage, wenn Sie ein einzelnes Modell und Consensus an Ihrer eigenen Arbeit testen.

Beginnen Sie mit einem Memo, dessen schwächste Annahme eine echte Entscheidung beeinflussen könnte. Bitten Sie Consensus, diese Annahme zu identifizieren und sie dann außerhalb der Diskussion zu überprüfen. Der Erfolg kann eine überarbeitete Empfehlung, eine bestätigte Berechnung oder die Entscheidung sein, auf eine fehlende Messung zu warten. Alle drei sind nützlicher als Vertrauen, das nicht durch Beweise gestützt wird.