Wo ein Reasoning-Modell seine Latenz verdient
Modelle, die vor der Antwort eine ausgedehnte Gedankenkette erzeugen, wurden in jenem Januar breit verfügbar, und wir wurden gefragt, ob wir wechseln. Wir haben alle neun unserer Schritte dagegen laufen lassen, und die Antwort war: zwei davon sollten.
Was wir getestet haben
Neun Schritte, jeder mit eigenem Referenzset, jeder dreimal gegen das bisherige Modell und dreimal gegen ein Reasoning-Modell, mit nur dort angepassten Prompts, wo das Ausgabeformat es verlangte.
Der Anlass war, dass im Januar 2025 auf Schlussfolgern ausgerichtete Modelle mit veröffentlichten Gewichten verfügbar wurden, namentlich mit der Freigabe von DeepSeek-R1 — womit dies eine Frage wurde, die Kunden uns direkt stellten, und kein Thema, das sich vertagen ließ.
Die zwei, die besser wurden
Der Schritt, der eine Folge von Vorgängen über mehrere Aufträge plant, und der Schritt, der zwei Auswertungen abgleicht und eine Abweichung erklärt. Beide verbesserten sich um einen Abstand, der die Wiederholungen überstand, und beide teilen eine Eigenschaft: Es gibt eine Zwischenentscheidung, deren Richtigkeit die Endantwort bestimmt.
Das ist das Muster, und es ist nicht dasselbe wie Schwierigkeit. Unser nach Fehlerquote schwerster Schritt ist die Extraktion aus schlechten Scans, und der verbesserte sich überhaupt nicht — denn die Schwierigkeit dort ist wahrnehmungsbedingt, nicht überlegungsbedingt. Mehr Nachdenken macht eine verschmierte Ziffer nicht lesbar.
Der eine, der schlechter wurde
Die Einordnung in elf Kategorien. Die Genauigkeit fiel um rund zwei Punkte, und die Fehler hatten eine gleichbleibende Gestalt: Das Modell argumentierte sich von einer offensichtlichen Kategorie weg, indem es einen Fall für eine ungewöhnliche konstruierte.
Für einen Schlussfolgerungsvorgang ist das vernünftig, für einen Verteiler schlecht. Wir haben es zurückgenommen und beschreiben es Kunden heute als den klarsten Fall, in dem ausgedehntes Nachdenken keine Verbesserung ist: Eine Entscheidung, die unmittelbar sein sollte, profitiert nicht vom Abwägen.
| Art des Schritts | Wirkung |
|---|---|
| Mehrstufige Planung | Deutliche Verbesserung |
| Abgleich mit Erklärung | Deutliche Verbesserung |
| Extraktion aus Dokumenten | Unverändert. Die Schwierigkeit ist Wahrnehmung |
| Einordnung in feste Kategorien | Schlechter. Abwägen erfindet Fälle |
Die Kostenseite
Die Latenz verdreifachte sich etwa bei den zwei umgestellten Schritten, und keiner von beiden steht vor einem Nutzer — deshalb war die Umstellung tragbar. Säße der Abgleichschritt vor einer Person, die auf eine Antwort wartet, wäre der Qualitätsgewinn mit einer Wartezeit bezahlt, die wir nicht rechtfertigen könnten.
Die Tokenkosten stiegen stärker als die Latenz, weil die Gedankenkette erzeugt wird. Wir leiten diese zwei Schritte über unser Gateway an das Reasoning-Modell, womit die Änderung Konfiguration war statt Code — und die Kosten erscheinen als eigene Position, statt in einer Summe zu verschwinden.
Die Gedankenkette ist kein Prüfpfad
Das ist der Punkt, den Kunden am häufigsten missverstehen, und es ist leicht nachvollziehbar: Die sichtbare Kette liest sich wie eine Erklärung, wie die Antwort entstanden ist. So gelesen lädt sie zu einem Schluss ein, den wir nicht stützen können — nämlich dass ihre Anzeige eine Pflicht zur Begründung einer Entscheidung erfüllt.
Sie ist erzeugter Text, der eine Antwort begleitet. Sie mag den Vorgang getreu beschreiben, und wir haben keine Möglichkeit zu prüfen, ob sie es tut — also zeigen wir sie Endnutzern nicht und legen sie nicht in Aufzeichnungen ab, auf die ein Kunde sich stützen könnte. Wo eine Entscheidung begründbar sein muss, muss die Begründung aus einer deterministischen Regel kommen, nicht aus einer Erzählung.
Was wir stattdessen zeigen
Beim Abgleichschritt: die Abweichung, die beiden Ausgangswerte, die Regel, die sie markiert hat, und eine kurze erzeugte Zusammenfassung, deutlich als Zusammenfassung gekennzeichnet. Das ist prüfbar, weil die ersten drei Angaben Aufzeichnungen sind und kein Text.
Die Gedankenkette bleibt in unseren eigenen Traces zur Fehlersuche, wo sie wirklich nützt: nachzulesen, warum das Modell in einem Fehlerfall danebenlag, ist schneller, als es aus der Ausgabe zu erschließen. Internes Diagnosemittel, kein Beleg für Kunden.
Wie wir heute beraten
Je Schritt testen, nie je System. Das Neun-Schritte-Ergebnis ist das Argument: Eine systemweite Umstellung hätte zwei Verbesserungen gebracht, sechs unveränderte Schritte zum dreifachen Preis und eine Verschlechterung — unterm Strich schlecht und ohne Messung je Schritt unsichtbar.
Und prüfen, wo der Schritt relativ zu einem wartenden Menschen sitzt. Ein mit Latenz bezahlter Qualitätsgewinn ist kostenlos, wenn niemand wartet, und teuer, wenn doch — eine Frage an die Oberfläche, nicht an das Modell.
Was wir nicht behaupten
Wir behaupten nicht, Reasoning-Modelle seien eng. Unsere neun Schritte sind eine bestimmte Pipeline begrenzter Geschäftsaufgaben, und die Aufgaben, für die diese Modelle gebaut sind, darunter Mathematik und Programmierung, kommen in unserem Set überhaupt nicht vor.
Wir behaupten auch nicht, die Verschlechterung bei der Einordnung sei verallgemeinerbar. Es ist ein Schritt, eine Taxonomie, drei Läufe, und der beschriebene Mechanismus ist unsere Lesart der Fehler, nicht etwas, das wir belegt hätten.