Wann lohnt sich eine zusätzliche KI-Überprüfungsrunde?

Untersuchungen zeigen einen Kompromiss und keinen universellen Rabatt

FrugalGPT (2023), Tabelle 3, berichtet über Kosteneinsparungen von 98.3% auf HEADLINES bei gleicher Genauigkeit wie GPT-4. Dazu wurden Kaskaden aus bis zu drei Modellen anhand einer zufälligen Aufteilung in Trainings- und Testdaten gelernt. Dieses historische, aufgabenspezifische Ergebnis betrifft die gezielte Weiterleitung an weitere Modelle, nicht die Diskussion mehrerer Agenten. FrugalGPT, 2023, Tabelle 3

RouteLLM v4 (2025), Tabellen 1 und 6, meldet ein Kosteneinsparungsverhältnis von 3.66 auf MT Bench: Ergebnis 8.8 gegenüber GPT-4s 9.3. Beim Routing wurden GPT-4-1106-preview und Mixtral-8x7B mit historischen Token-Preisannahmen verwendet. Bei den gemeldeten 95% handelt es sich um einen relativen Benchmark-Wert, nicht um die Richtigkeit. RouteLLM, ICLR 2025, Tabellen 1 und 6

Dies sind andere Interventionen als die Aufforderung an jeden Teilnehmer, zu antworten und dann zu debattieren. Vergleichen Sie für Ihren Workflow die Alternativen separat: eine Antwort, eine Antwort mit gezielter Prüfung, selektive Eskalation und ausführliche Diskussion. Andernfalls kann ein Vorteil aus der Wahl eines günstigeren Modells fälschlicherweise der Zusammenarbeit zugeschrieben werden oder eine nützliche Bewertung kann abgelehnt werden, weil ihre erste Antwort mehr kostet.

Erstellen Sie ein kleines Entscheidungsmodell

Unser veranschaulichendes Modell ist die erwarteten Gesamtkosten = Ausführungskosten + Fehlerwahrscheinlichkeit × Konsequenz eines Fehlers. Es werden bewusst viele reale Details weggelassen, um den Break-Even-Zustand sichtbar zu machen. Die folgenden Zahlen sind erfundene Lehreingaben, ausgedrückt in Dollar für die Arithmetik. Dabei handelt es sich nicht um Colay-Preise, gemessene Colay-Fehlerraten oder Schätzungen für Ihre Arbeit.

Angenommen, ein Ablauf mit einer einzelnen Antwort kostet $0.02 und hat eine Fehlerwahrscheinlichkeit von 12%. Ein Ablauf mit zusätzlicher Prüfung koste $0.08 bei 8% Fehlerwahrscheinlichkeit. Verursacht ein Fehler Nacharbeit im Wert von $5, betragen die erwarteten Kosten $0.02 + 0.12 × $5 = $0.62 beziehungsweise $0.08 + 0.08 × $5 = $0.48. Unter diesen Annahmen spart die Prüfung $0.14 pro Aufgabe.

Die zusätzlichen Ausführungskosten betragen $0.06, die angenommene Verringerung der Fehlerwahrscheinlichkeit 0.04. Die Kostenschwelle für Nacharbeit liegt daher bei $0.06 ÷ 0.04 = $1.50 pro Fehler. Unterhalb dieser Schwelle gewinnt in diesem vereinfachten Modell der günstigere Ablauf. Wenn die Prüfung die Fehler überhaupt nicht verringert, ergibt diese Berechnung keinen Nutzen durch Fehlervermeidung, der ihre Kosten decken könnte.

Ersetzen Sie erfundene Eingaben durch Beobachtungen

Die schwierigste Zahl ist normalerweise die Änderung der Fehlerwahrscheinlichkeit. Lassen Sie sich nicht davon ableiten, wie überzeugend die überarbeitete Antwort klingt. Führen Sie beide Arbeitsabläufe für dieselben repräsentativen Aufgaben aus, bewerten Sie die Endergebnisse, ohne den Arbeitsablauf preiszugeben, und zeichnen Sie Korrekturen auf, die tatsächlich jemand vornehmen musste. Halten Sie ungewisse Fälle sichtbar, anstatt sie stillschweigend als Erfolge zu zählen.

Schätzen Sie die Konsequenzen nach Aufgabenkategorie. Eine falsche Überschrift in einem privaten Entwurf und eine falsche Menge in einem Einsatzplan erfordern unterschiedliche Reparaturen. Erfassen Sie die Zeit des Prüfers, die Wartezeit, wiederholte Versuche und den nachgelagerten Korrekturaufwand. Einige Konsequenzen sollten durch explizite Einschränkungen und Expertenprüfungen gehandhabt werden, anstatt in einer spekulativen Geldzahl komprimiert zu werden.

Verwenden Sie den Überprüfungsaufwand dort, wo er das Ergebnis ändern kann

Bevor Sie eine Diskussion starten, benennen Sie ein ungelöstes Problem. Bei einem Vorschlag könnte es sich um eine fehlende Abhängigkeit handeln. Für eine Berechnung könnte es sich um eine Einheitenumrechnung handeln. Geben Sie dem zusätzlichen Teilnehmer eine Prüfung, der die Entscheidung ändern kann, und fragen Sie, welche Beweise diese Änderung rechtfertigen würden. Eine Anfrage zur Verbesserung der Antwort ist viel schwieriger zu bewerten.

Legen Sie im Voraus eine Stoppregel fest: Beenden Sie den Vorgang, wenn die angegebenen Akzeptanzprüfungen bestanden sind, eskalieren Sie es an eine Person, wenn eine wichtige Meinungsverschiedenheit bestehen bleibt, und hören Sie auf, gleichwertige Argumente zu wiederholen. Eine Antwort kann länger werden, ohne dass sie nützlicher wird. Verfolgen Sie die akzeptierten Ergebnisse pro Budgeteinheit und die Qualität der Antworten, damit die Präsentation nicht den gesamten Betrag ausmacht.

Übertragen Sie die Berechnung auf die Nutzung von Colay

Colay Consensus lässt Agenten eine Anfrage besprechen, bevor ein koordinierender Agent die Schlussfolgerung zusammenfasst. Colay-Abonnements nutzen Guthaben und Limits. Messen Sie die tatsächlich von den von Ihnen ausgewählten Modellen und Arbeitsabläufen verbrauchten Credits. Übersetzen Sie das hypothetische Dollarbeispiel nicht in eine versprochene Anzahl von Colay-Nachrichten. Berücksichtigen Sie bei der Schätzung einer normalen Woche auch erfolglose Versuche.

Führen Sie ein einfaches Wochenprotokoll: Aufgabentyp, gewählter Ablauf, verbrauchte Credits, menschliche Korrekturzeit und Erfüllung der Anforderungen. Reservieren Sie Diskussionen nach ausreichend vielen vergleichbaren Beispielen für die Kategorien, in denen sich der zusätzliche Aufwand lohnt. Prüfen Sie diese Entscheidung erneut, wenn sich Modelle, Aufgaben oder Abonnementbedingungen ändern. So entsteht eine praktische Ausgabenregel, keine Behauptung, mehr Agenten seien immer günstiger oder besser.