Die Rangliste ist nicht Ihre Bewertung
Ein Kunde schickte uns eine Rangliste und fragte, warum wir nicht das Modell an der Spitze einsetzen. Eine berechtigte Frage. Wir haben den Wechsel auf unserem eigenen Set durchgespielt — und das Modell drei Plätze weiter oben war schlechter für die Arbeit, die wir tatsächlich tun.
Der Wechsel, der rückwärts ging
Der fragliche Schritt extrahiert elf Felder aus einem Lieferschein und gibt sie gegen ein striktes Schema zurück. In einer öffentlichen Rangliste stand das von uns genutzte Modell mehrere Plätze unter einem, das wir nicht ausprobiert hatten — also haben wir es ausprobiert, denn nicht hinzusehen wäre die falsche Antwort an den Kunden gewesen.
Es formulierte in jedem direkten Vergleich, den wir gelesen haben, besser und verfehlte das Schema häufiger. Optionale Felder, die es nicht finden konnte, kamen mit einem plausiblen Wert zurück statt als fehlend — und dieses eine Verhalten wog für uns schwerer als sämtliche stilistischen Gewinne zusammen.
Was eine Präferenzrangliste misst
Chiang und Kollegen haben in jenem Monat die offene Plattform hinter einer der bekanntesten Ranglisten beschrieben: Nutzer vergleichen zwei anonyme Antworten auf einen selbst gewählten Prompt, stimmen für die bevorzugte, und die Stimmen werden zu einer Bewertung verdichtet.
Dieser Aufbau ist ehrlich darüber, was er ist, und misst etwas Reales, das statische Benchmarks verfehlen. Er ist zugleich konstruktionsbedingt ein Mittel über die Fragen, die Menschen zufällig stellen, beurteilt an der Antwort, die sie zufällig bevorzugen. Beides ist nicht unser Feldextraktionsschritt.
Warum das bessere Modell verlor
Präferenz begünstigt eine Antwort, die sich gut liest. Ein Modell, das ein unsicheres Feld mit einem selbstsicheren Wert füllt, liest sich besser als eines, das es leer lässt — und ein Mensch, der zwei Antworten ohne das Quelldokument vergleicht, kann nicht erkennen, welche die Zahl erfunden hat.
Unsere Anforderung ist die umgekehrte. Ein leeres Feld geht in die Prüfung und kostet eine Minute; ein selbstsicher falsches Feld landet im Kundensystem und wird Wochen später entdeckt. Die Rangliste war nicht falsch, sie beantwortete eine andere Frage — und wir hatten kurz vergessen, unsere zu stellen.
| Eine öffentliche Rangliste sagt Ihnen | Sie kann Ihnen nicht sagen |
|---|---|
| Allgemeine Leistungsfähigkeit, grob | Verhalten an Ihrem Schema |
| Was Menschen lieber lesen | Was Ihr nachgelagertes System braucht |
| Die relative Position von heute | Latenz und Kosten bei Ihrer Menge |
| Welche Modelle in die engere Wahl gehören | Welches Modell in den Betrieb geht |
Wofür wir Ranglisten nutzen
Wir nutzen sie für genau eine Sache: zu entscheiden, was wir testen. Ein Modell, das in mehreren unabhängigen Bewertungen weit oben auftaucht, ist einen Nachmittag auf unserem Set wert, eines, das nirgends auftaucht, vermutlich nicht. Das ist eine Vorauswahl, und eine Vorauswahl ist wirklich nützlich.
Aufgehört haben wir damit, Bewegung in einer Rangliste als Grund für Änderungen zu nehmen. Ein Modell, das zwei Plätze steigt, ist keine Information über unsere Pipeline — und darauf zu reagieren kostet eine Neubewertung, ein Deployment und eine Zeit, in der das eingeübte Verhalten ein anderes ist.
Die achtzig Fälle
Unsere Entscheidung läuft über ein Referenzset von rund achtzig Fällen, geschrieben von Leuten, die die Domäne kennen, mit von Hand geprüften erwarteten Ergebnissen. Es ist klein genug, um gepflegt zu werden, und spezifisch genug, dass ein Ergebnis darauf etwas über den Betrieb aussagt.
Jedes Kandidatenmodell durchläuft dasselbe Set mit denselben Prompts. Wir sehen zuerst auf die Schema-Treue, dann auf die Richtigkeit der extrahierten Werte, dann auf die Rate selbstsicherer Erfindung bei tatsächlich fehlenden Feldern. Sprachqualität wird nicht bewertet, denn in diesem Schritt liest niemand die Sprache.
Das Gespräch mit dem Kunden
Wir haben dem Kunden den Vergleich gezeigt, statt über die Rangliste zu streiten. Vierzehn von achtzig Fällen waren mit dem höher platzierten Modell schlechter, alle auf dieselbe Weise, und zwei der vierzehn waren Fehler der Art, die unbemerkt in sein ERP gelangt wären.
Das beendete die Diskussion in etwa fünf Minuten, und zwar besser, als ein allgemeines Argument über Benchmarks es getan hätte. Die Zahl ist der Punkt: keine Behauptung, Ranglisten seien unzuverlässig, sondern ein Beleg über diesen Schritt, dieses Schema und diese Daten.
Was die Pflege kostet
Die achtzig Fälle haben einen Fachexperten etwa zwei Tage Schreiben und Prüfen gekostet, und sie brauchen Nacharbeit, wenn sich die Dokumenttypen ändern. Das ist ein echter Aufwand und der Grund, warum die meisten Teams kein solches Set haben — was wiederum der Grund ist, warum die meisten Modellentscheidungen aus Ranglisten getroffen werden.
Er zahlt sich beim ersten vorgeschlagenen Wechsel zurück. Wir haben inzwischen elf Kandidatenmodelle dagegen bewertet, und in drei von elf widersprach das Ergebnis dem, was die öffentliche Position nahelegte. Ohne das Set hätten wir mindestens eines davon ausgeliefert.
Was wir nicht behaupten
Wir behaupten nicht, öffentliche Ranglisten seien irreführend. Die fragliche ist transparent über ihre Methode, und das auf unserem Set unterlegene Modell ist wirklich stark. Es ist besser in dem, was gemessen wird, und schlechter in dem, was wir brauchen.
Wir behaupten auch nicht, unsere achtzig Fälle seien allgemein eine ausreichende Bewertung. Sie decken die Fehler ab, die wir kennen, sind blind für die, die uns nicht begegnet sind, und sollten als Mindesthürde für eine Änderung gelesen werden, nicht als Beweis, dass ein Modell gut ist.