Technische Analysen
Seit 2023 analysieren wir, was in KI-Systemen belastbar funktioniert — anhand von Zahlen, Quellen und klar benannten technischen Grenzen.
Ein Kunde fragte, warum wir nicht das Modell an der Spitze einer Rangliste nutzen. Wir haben den Wechsel auf unserem eigenen Set durchgespielt: Das höher platzierte Modell war schlechter für unsere Arbeit — schöner formuliert, weniger verlässlich am Schema. Genau diesen Handel belohnt eine Präferenzrangliste. Was eine Rangliste misst, was sie strukturell nicht kann, und wie stattdessen achtzig eigene Fälle entscheiden.
Die Änderung war eine Zeile Konfiguration. Die Folge war ein Index, der einen Arbeitstag lang halb im alten und halb im neuen Vektorraum antwortete — mit einem Symptom, das nach Qualitätsproblem aussah. Warum Vektoren zweier Modelle gar nicht vergleichbar sind, das Doppelindex-Verfahren, das wir heute nutzen, und warum ein besserer Benchmark-Wert allein keine Neuindexierung rechtfertigt.
Der Scan war sauber, die Zeichenerkennung genau, und die extrahierten Daten waren falsch: Eine dreispaltige Tabelle von links nach rechts gelesen ergibt korrekte Wörter in einer Reihenfolge, die etwas anderes bedeutet. Wo wir heute das Bild statt des Textes schicken, warum wir die Texterkennung für die meisten Dokumente trotzdem behalten haben, und die eine Prüfung, die beide Wege unbeaufsichtigt betreibbar macht.
Eine neue Architektur schaffte es in die allgemeine Presse, und drei Kunden fragten in einer Woche, ob sie unsere Empfehlungen ändert. Die vier Fragen, die wir durchgehen, warum die meisten aufregenden Ergebnisse eine Schicht betreffen, die wir nicht anfassen, und die Unterscheidung, die fast alle diese Anrufe beantwortet: Ein Ergebnis kann für das Feld wichtig und für ein System, das an seinen Daten hängt, belanglos sein.
Unser Agent öffnet Pull Requests und kann sie nicht mergen, führt Tests aus und kann die Pipeline nicht ändern. Keine dieser Grenzen stammt aus einem Richtliniendokument, jede von einem konkreten Nachmittag. Was Yang und Kollegen die Agent-Computer-Schnittstelle nennen, ist der Teil, an dem wir am längsten gearbeitet haben — und die Regel darunter: Werkzeuge bestimmen den Wirkungsradius.
Das Lieferdatum stand im Auftrag, das Zeitfenster im Vertrag — keine abgerufene Passage konnte beides enthalten. Die naheliegende Antwort wäre ein Wissensgraph. Wir haben zuerst gemessen: Die Verbindung war eine Vertragsnummer, die beide Dokumente ohnehin tragen, und ein deterministischer Join schlägt eine gelernte Verknüpfung, solange die Kennung existiert. Wo das aufhört zu gelten und was wir dann bauen würden.
Unserer hat bei zwei Prozent abgelehnt und hätte es bei neun tun müssen. Strengere Anweisungen bewegten die Zahl in beide Richtungen und verweigerten auch Fragen, die er gut beantworten konnte. Geholfen hat, zwei verschiedene Gründe für Nichtwissen zu trennen, jedem ein eigenes Signal und eine eigene Reaktion zu geben — und zu akzeptieren, dass einer davon am Modell gar nicht erkennbar ist.
Eine Übersichtsarbeit zählte weit über fünfzig benannte Prompt-Techniken. Wir haben die elf plausibel passenden gegen ein Referenzset laufen lassen: Zwei halfen, eine schadete, die anderen acht waren auf unseren Aufgaben nicht von Rauschen zu unterscheiden. Welche zwei, warum ausgerechnet die meistempfohlene schadete, und warum ein Katalog von Techniken eher eine Testliste ist als eine Übernahmeliste.
Ein Kunde wollte sein ganzes sechsjähriges Support-Archiv nutzen. Das System auf gefilterten fünf Prozent antwortete besser als das auf allem, denn das Archiv enthielt überholte Auskünfte, die sich genau wie gültige lesen. Wonach wir gefiltert haben, warum Aktualität allein nicht reichte, und wie die verworfenen fünfundneunzig Prozent zu einer prüfbaren Entscheidung wurden.
Ein Lieferant kopierte eine Notiz für einen Kollegen in die Fußzeile eines Lieferscheins, unser Extraktionsschritt las sie als Anweisung und befolgte sie. Es brauchte nichts Böswilliges, um zu zeigen, dass wir keine Grenze zwischen Inhalt und Befehl hatten. Was wir geändert haben, warum Musterfilter die schwächste der vier Maßnahmen sind, und welche wirklich hält.
Alle paar Monate fragt jemand, ob lange Kontextfenster Retrieval überflüssig machen. Das ist eine Rechenfrage. Bei einem unserer Bestände passt alles hinein, und wir legen es hinein; bei einem anderen hätte es je Frage das Vierzigfache gekostet — für einen Qualitätsunterschied, den wir nicht messen konnten. Die drei Eigenschaften, die es entscheiden, und die Mischform dazwischen.
Ein Schritt einer neunstufigen Pipeline scheiterte, und die naheliegende Behebung wäre ein größeres Modell für alles gewesen. Snell und Kollegen zeigen, dass mehr Rechenzeit bei der Ausführung mehr bringen kann als mehr Modellgröße. Wir haben sie in einen Schritt gesteckt: drei Kandidatenpläne, je eine deterministische Prüfung, der erste gültige gewinnt — für rund drei Prozent der Kosten eines System-Upgrades.