Technische Analysen
Seit 2023 analysieren wir, was in KI-Systemen belastbar funktioniert — anhand von Zahlen, Quellen und klar benannten technischen Grenzen.
Sechs Wochen lang stieg unser Treue-Wert, und die Supportanfragen stiegen mit. Die automatische RAG-Bewertung war nicht kaputt, sie beantwortete eine engere Frage als gedacht. Was referenzfreie Metriken wirklich fangen, welchen Fehler sie bauartbedingt nicht sehen, und welche günstige menschliche Prüfung wir seitdem darunterlegen.
Bei jeder Anfrage abzurufen machte unseren Assistenten bei den leichten Fragen schlechter: drei lose verwandte Auszüge und eine Relativierung, wo ein Satz gereicht hätte. Wo wir die Abrufentscheidung hinlegen, warum wir sie in der Pipeline behalten statt sie ins Modell zu trainieren, und welche zwei Signale sie gut genug vorhersagen.
Wir haben ein 7B-Modell als Übergangslösung für einen Klassifikationsschritt eingesetzt und nie ersetzt. Nicht weil kleine Modelle aufgeholt hätten, sondern weil wir den Schritt endlich so zugeschnitten haben, dass seine Schwierigkeit zum Modell passt. Wie dieser Zuschnitt aussieht, wo wir ohne Zögern ein großes Modell nehmen, und welche Messung den Streit entscheidet.
Unser Assistent widersprach sich bei einem Liefertermin, den er sechs Minuten zuvor bestätigt hatte. Der Reflex ist ein größeres Fenster; geholfen hat, Entscheidungen im Moment ihres Entstehens in einen Speicher zu schreiben und sie als Fakten statt als Verlauf zurückzulesen. Was wir einlagern, was nie, und der Fehler, der die Regel unverhandelbar gemacht hat.
Unser System-Prompt war auf neunhundert Wörter angewachsen, zusammengetragen von sechs Personen über vier Monate, jede Zeile aus einem Grund ergänzt und kein Grund notiert. Niemand löschte etwas, weil niemand die Folgen vorhersagen konnte. Wie wir Prompts prüfbar gemacht haben, was ein Test je Anweisung verändert hat und welche zweihundert Wörter nichts bewirkten.
Ein Kunde bat uns, einen Schritt zu automatisieren, den seine Mitarbeiter in vierzig Sekunden erledigen. Wir haben abgelehnt, denn kurz heißt nicht einfach: Die Aufgabe stützte sich auf Kontext, den es in keinem für einen Assistenten erreichbaren System gibt. Die drei Prüfungen vor jeder Automatisierungszusage und warum unsere Ablehnungsliste länger geworden ist.
Referenz-Pipelines zeigen acht oder neun Stufen. Unsere hat vier, und zwei davon existieren nur, weil ein konkreter Fehler sie erzwungen hat. Eine Übersichtsarbeit aus jenem Dezember gab dem Namen, was wir eher zufällig zusammengebaut hatten — und machte damit sagbar, was wir bewusst weggelassen haben.
Alle paar Monate fragt ein Kunde, ob er das Modell selbst betreiben soll, und fast nie wegen der Leistungsfähigkeit. Offene Gewichte auf Augenhöhe haben eine Beschaffungsfrage verändert, keine technische. Die vier Punkte, die wir abwägen, was Eigenbetrieb wirklich kostet, sobald jemand dafür Rufbereitschaft hat, und die zwei Fälle, in denen wir ohne Zögern dazu raten.
Vierhundert modellerzeugte Testfälle ließen unsere Suite gründlich aussehen und maßen fast nichts: Sie stimmten dem System zu, weil sie demselben Aufgabenverständnis entstammten. Wo modellerzeugte Daten sich wirklich lohnen, welche Linie wir zwischen erzeugter Eingabe und erwarteter Antwort ziehen, und was ein Prüfer leisten muss, damit Selbsttraining etwas bedeutet.
Ein Handbuch mit dreihundert Seiten lieferte zu jedem Anzugsmoment perfekte Treffer und scheiterte an der Frage, wofür die Maschine da ist. Die Antwort auf eine globale Frage steht in keiner einzelnen Passage, also findet sie auch besseres Ranking nicht. Was wir ergänzt haben, was eine Zusammenfassungsschicht kostet und warum wir sie nur bauen, wo die Fragen es rechtfertigen.
Ein Klassifikationsschritt widersprach sich bei sechs Prozent der Eingaben. Fünf Läufe und eine Mehrheitsentscheidung beseitigten das. Derselbe Trick auf einem Zusammenfassungsschritt kostete das Fünffache und brachte nichts. Der Unterschied liegt darin, ob sich Ausgaben überhaupt vergleichen lassen — und im schwierigeren Fall: Eine falsche Antwort, die sich wiederholt, wird dadurch nicht richtig.
Niemand hat entschieden, zwanzigtausend Token Kontext zu senden. Es sammelte sich in kleinen, vertretbaren Schritten an, und die Qualität fiel, ohne dass eine einzelne Änderung die Ursache war. In das Fenster zu passen ist nicht dasselbe wie nutzbar zu sein — und ein Budget wirkt nur, wenn Hinzufügen bedeutet, etwas zu entfernen.