Zweimal fragen und abstimmen: wann Wiederholung ihr Geld wert ist
Ein Klassifikationsschritt in einer unserer Pipelines widersprach sich selbst bei etwa sechs Prozent der Eingaben. Wir haben ihn fünfmal laufen lassen und die Mehrheit genommen, und der Widerspruch verschwand. Denselben Trick auf einen Zusammenfassungsschritt angewandt, hat er zum fünffachen Preis nichts gebracht.
Die sechs Prozent
Der fragliche Schritt ordnet ein eingehendes Dokument einer von elf Kategorien zu. Er lief in scheinbar akzeptabler Qualität, bis wir dasselbe Dokument zur Konsistenzprüfung zweimal hindurchschickten und feststellten, dass es in rund sechs Prozent der Fälle in einer anderen Kategorie landete.
Diese Zahl war beunruhigender als eine schlichte Fehlerquote, denn sie bedeutete, dass die Pipeline für eine Eingabe zwei verschiedene Ergebnisse liefern konnte — abhängig von nichts. Ein Kunde, der das einmal sieht, verliert das Vertrauen in alles, was danach kommt.
Die Behebung, die fast zu einfach war
Wir haben den Klassifikator fünfmal laufen lassen und die häufigste Antwort genommen. Der Selbstwiderspruch bei wiederholten Läufen fiel auf deutlich unter ein Prozent, und die Fälle, in denen die fünf Läufe drei zu zwei auseinandergingen, erwiesen sich als tatsächlich mehrdeutige Dokumente, bei denen auch ein menschlicher Prüfer zögerte.
Dieser zweite Effekt war der wertvollere. Die Streuung der Stimmen wurde zu einem nutzbaren Vertrauenssignal: Ein knappes Ergebnis schickt das Dokument heute in die Prüfung, statt zu raten — etwas, das die eine selbstsichere Antwort nie erlaubt hat.
Wo es nichts gebracht hat
Ermutigt haben wir dasselbe bei einem Schritt versucht, der zu jedem Dokument eine kurze Zusammenfassung schreibt. Fünf Läufe erzeugen fünf verschiedene Zusammenfassungen, alle vernünftig, keine identisch, und es gibt keine Mehrheit zu nehmen. Wir haben versucht, die den anderen ähnlichste zu wählen, und konnten nicht zeigen, dass sie besser war als die erste.
Der Unterschied liegt nicht in der Schwierigkeit. Abstimmen braucht Ausgaben, die sich auf Gleichheit vergleichen lassen. Elf Kategorien lassen sich auszählen. Freier Text nicht — und das Gegenteil zu unterstellen fügt nur ein Ähnlichkeitsmaß hinzu, das niemand begründen kann.
| Abstimmen hilft | Abstimmen hilft nicht |
|---|---|
| Ausgabe stammt aus einer festen Menge | Ausgabe ist freier Text |
| Gleichheit ist wohldefiniert | Es gibt nur Ähnlichkeit |
| Fehler streuen, statt systematisch zu sein | Das Modell irrt konsistent |
| Die Streuung selbst ist nützlich | Kosten wiegen schwerer als das letzte Prozent |
Die Forschung und was sie beiträgt
Li und Kollegen veröffentlichten in jenem Monat eine Untersuchung dazu, ein Modell mehrfach zu samplen und die Ergebnisse per Mehrheitsentscheid zu verbinden. Sie berichten, dass die Leistung über eine Reihe von Aufgaben hinweg mit der Anzahl der Stichproben zunimmt und der Gewinn dort am größten ist, wo eine Aufgabe für das Modell schwerer ist.
Wir haben daraus die Erlaubnis mitgenommen, das als normalen technischen Hebel zu behandeln statt als Trick. Was sie nicht beantwortet, ist unser zweiter Fehlschlag: Die Arbeit befasst sich mit Aufgaben, deren Antworten vergleichbar sind — und die interessante Betriebsfrage ist, ob die eigene das ist.
Der Fall, den Abstimmen verschlimmert
Es gibt einen Fehlermodus, den Wiederholung verdeckt statt behebt. Irrt ein Modell systematisch, sind alle fünf Läufe auf dieselbe Weise falsch, die Abstimmung ist einstimmig, und die Pipeline meldet nun hohe Sicherheit für eine falsche Antwort.
Wir sind darauf bei einem Datumsfeld eines Dokumenttyps gestoßen, bei dem ein bestimmtes Layout durchgängig falsch gelesen wurde. Vor dem Abstimmen war es falsch und unsicher, danach falsch und sicher — was schlimmer ist. Wiederholung misst die Streuung eines Modells um seine eigene Antwort, nicht den Abstand dieser Antwort zur Wahrheit.
Wie wir heute entscheiden
Zwei Fragen. Lassen sich die Ausgaben auf Gleichheit vergleichen, und streuen die Fehler, statt systematisch zu sein? Zweimal ja, dann stimmen wir ab. Einmal nein, dann geben wir dasselbe Budget für etwas anderes aus, meist ein besseres Schema, einen strafferen Prompt oder einen Abgleich gegen ein führendes System.
Die Kostenseite ist bewusst schlicht: fünffache Aufrufe und fünffache Latenz für diesen Schritt. Wir zahlen das nur dort, wo eine einzelne widersprüchliche Antwort teuer ist — in der Praxis bei Klassifikation und Routing, nicht bei Generierung.
Was wir im Betrieb fahren
Drei Läufe statt fünf beim Klassifikator. Der Schritt von eins auf drei brachte den größten Teil des Nutzens, drei auf fünf war marginal, und drei hält die Latenz in dem Rahmen, den die Pipeline verkraftet. Einstimmig wird angenommen, zwei zu eins mit Kennzeichnung, alles andere geht in die Prüfung.
Wir protokollieren die Streuung bei jedem Lauf. Sie hat sich als eines der besseren Drift-Signale erwiesen, die wir haben: Steigt der Anteil geteilter Abstimmungen, hat sich etwas an den eingehenden Dokumenten geändert — und dort zeigt es sich, bevor es sich in der Qualität zeigt.
Was wir nicht behaupten
Wir behaupten nicht, mehr Stichproben helfen immer. Unser Gewinn flachte schnell ab, und wo das geschieht, hängt von der Aufgabe ab und lässt sich für einen neuen Schritt ohne Messung nicht vorhersagen.
Wir behaupten auch nicht, die Stimmenstreuung sei eine kalibrierte Wahrscheinlichkeit. Sie ist eine nützliche Rangfolge, und sie als echten Vertrauenswert zu lesen hieße, eine Zahl zu überinterpretieren, die eigentlich davon handelt, dass ein Modell mit sich selbst übereinstimmt.