Einen Schritt länger denken lassen, statt zum größeren Modell zu greifen
Die naheliegende Behebung für einen Schritt, der Fehler macht, ist ein besseres Modell. Sie ist auch die teuerste, denn ein Modellwechsel wirkt auf jeden Aufruf im System, während der Fehler auf einen von neun Schritten konzentriert war.
Ein Schritt von neun
Die Pipeline verwandelt eine Kundenanfrage in eine Folge von Vorgängen gegen ein Auftragssystem. Acht ihrer neun Schritte sind langweilig und verlässlich. Der neunte entscheidet die Reihenfolge der Vorgänge, wenn eine Anfrage mehrere Aufträge berührt — und er lag oft genug daneben, dass es zählte.
Der Reflexvorschlag war, die ganze Pipeline auf ein stärkeres Modell zu heben. Das hätte vermutlich funktioniert und die Kosten aller neun Schritte erhöht, um einen zu beheben — die Art Handel, die leicht zu genehmigen und hinterher schwer zu rechtfertigen ist.
Was wir stattdessen getan haben
Wir lassen diesen einen Schritt drei Kandidatenfolgen statt einer erzeugen, prüfen jede mit einem deterministischen Validator und nehmen die erste, die besteht. Der Validator war bereits da: dieselben Regeln, die eine ungültige Folge weiter hinten abgelehnt hätten.
Die Fehler auf dem Referenzset fielen um etwa zwei Drittel. Der Schritt wurde dreimal teurer und die Pipeline insgesamt rund drei Prozent teurer, weil dieser Schritt nur einen kleinen Anteil der Gesamtarbeit ausmacht.
Warum das nicht das Abstimmungsmuster ist
Wir nutzen anderswo Mehrheitsentscheide, und das hier ist etwas anderes, das sich leicht damit verwechseln lässt. Abstimmen nimmt mehrere Antworten und wählt die häufigste, was vergleichbare Antworten voraussetzt und Übereinstimmung als Beleg behandelt.
Hier wird nichts mit nichts verglichen. Jeder Kandidat wird gegen ein Regelwerk geprüft, das weiß, was eine gültige Folge ist, und der erste Bestehende gewinnt. Übereinstimmung spielt keine Rolle, und eine einstimmige Menge ungültiger Kandidaten erzeugt völlig richtig gar keine Antwort.
| Möglichkeit, mehr auszugeben | Wann sie passt |
|---|---|
| Ein stärkeres Modell überall | Qualität fehlt breit über die Schritte |
| Mehrere Kandidaten, ein Prüfer | Ein prüfbarer Schritt scheitert oft |
| Mehrere Stichproben, Mehrheit | Feste Ausgabemenge, streuende Fehler |
| Mehr abgerufener Kontext | Selten. Erst messen, es schadet oft |
Die Forschung, die die Wahl benannt hat
Snell und Kollegen veröffentlichten in jenem August eine Arbeit zur Verteilung von Rechenzeit zum Ausführungszeitpunkt: Sie vergleichen Strategien, ein festes Zusatzbudget beim Antworten auszugeben, mit der Alternative, es in ein größeres Modell zu stecken, und berichten, dass der Weg über die Ausführungszeit je nach Schwierigkeit des Problems der wirksamere sein kann.
Übernommen haben wir die Rahmung, dass Modellgröße und Ausführungsrechenzeit zwei Wege sind, dasselbe zu kaufen, und dass sie austauschbar sind statt geordnet. Vorher hatten wir ein größeres Modell als das Upgrade behandelt und alles andere als Behelf.
Die Bedingung, die es trägt
Ein Prüfer. Unser Folgenvalidator ist deterministisch, vollständig für die Eigenschaft, die uns interessiert, und billig. Drei Kandidaten zu erzeugen nützt nur, weil etwas anderes als ein Modell sagen kann, welcher davon annehmbar ist.
Wo es keine solche Prüfung gibt, verfällt das Muster dazu, mehrere Antworten zu erzeugen und nach Vorliebe zu wählen — der Fehler, den wir in einem früheren Beitrag zur Bewertung beschrieben haben. Ein echter Prüfer ist der ganze Unterschied, und es lohnt sich, ihn zu bauen, bevor man zur Technik greift.
Was wir beobachten
Den Anteil der Anfragen, bei denen alle drei Kandidaten scheitern — heute das interessante Signal. Er lag anfangs bei vier Prozent, und wenn er steigt, hat sich die Anfragenverteilung in Gebiete verschoben, die der Schritt nicht abdeckt. Das ist handlungsfähiger als eine allgemeine Qualitätskennzahl.
Diese Fälle gehen an einen Menschen, nicht an einen vierten Versuch. Wir haben die Kandidatenzahl erhöht, und der Ertrag brach nach drei deutlich ein — was zu erwarten war: Ein Schritt, der dreimal hintereinander scheitert, scheitert meist aus einem strukturellen Grund.
Wo wir doch das Modell gewechselt haben
An einer Stelle, und die gehört genannt, damit das hier nicht als Argument gegen bessere Modelle gelesen wird. Der Schritt, der kundengerichteten Text entwirft, ist auf ein stärkeres Modell gewechselt, weil seine Ausgabe von Menschen beurteilt wird und kein Prüfer entscheiden kann, ob ein Satz gut ist.
Das ist die ehrliche Trennung. Wo eine Prüfung existiert, kauft man Rechenzeit am Schritt. Wo Qualität Urteilssache ist, kauft man ein besseres Modell. Die meisten Diskussionen, die wir dazu gesehen haben, behandeln das als eine Frage, wo es zwei sind.
Was wir nicht behaupten
Wir behaupten nicht, drei Kandidaten seien eine allgemeine Einstellung. Dort flachte der Ertrag bei unserem Schritt ab, und die Zahl wird für andere abweichen. Übertragbar ist, zu messen, wo sie abflacht, statt eine Zahl zu wählen, die vernünftig klingt.
Wir behaupten auch nicht, das ersetze allgemein ein besseres Modell. Es ersetzt eines dort, wo ein Prüfer existiert, und das ist in den meisten Systemen, die wir gesehen haben, eine Minderheit der Schritte. Das Gegenteil zu suggerieren hieße, eine schmale Technik als breite zu verkaufen.