Technische Analysen
Seit 2023 analysieren wir, was in KI-Systemen belastbar funktioniert — anhand von Zahlen, Quellen und klar benannten technischen Grenzen.
Ein Werkzeugaufruf bestand jede Prüfung: gültiges JSON, richtige Feldnamen, passende Typen — und eine Auftragsnummer, die es nie gab. Form und Referenz sind zwei verschiedene Fragen, und nur eine wurde gestellt. Was wir heute prüfen, bevor ein Aufruf den Prozess verlässt, warum wir das blinde Wiederholen abgeschafft haben, und das Argument, das kein Schema fangen kann.
Wir trainieren keine Modelle, also hatten wir Trainingsrisiken als nicht unser Problem abgelegt. Eine Bestandsaufnahme fand elf Modell- und Embedding-Artefakte aus öffentlichen Registries in Systemen, die wir betreiben — bei vieren konnten wir die Herkunft benennen. Was wir festnageln, was wir spiegeln, warum ein Hash die billigste Kontrolle ist, und die ehrliche Grenze.
Die Hälfte unserer Nutzer fragt auf Deutsch gegen englische Dokumentation, und lange sah dieser Fehler nach schlechter Abdeckung aus statt nach einem Sprachproblem. Wir haben vier Wege gemessen: Fragen übersetzen, Dokumente übersetzen, beides indexieren, mehrsprachige Embeddings. Der naheliegende wurde Dritter, und der Sieger hängt an etwas, das die meisten Vergleiche weglassen.
Ein gemeinsamer Antwort-Cache senkte die Kosten um rund ein Fünftel und funktionierte wie entworfen. Er bedeutete aber auch, dass eine schnelle Antwort verriet, dass jemand anderes kürzlich Ähnliches gefragt hatte — bei einer Plattform mit konkurrierenden Unternehmen eine Offenlegung, der niemand zugestimmt hat. Wo wir heute cachen und welcher Zeitkanal auch dann bleibt.
Ein Kunde fragte nach seinem Anteil an unseren Modellkosten, und wir konnten nicht antworten: eine Rechnung, keine Zuordnung. Das Gateway kostete eine Woche und hat sich vierfach bezahlt gemacht — vor allem dadurch, dass ein Modellwechsel Konfiguration wurde statt einer Änderung an elf Stellen. Was es festhält, was es ablehnt, und was es nie werden darf.
Ein umbenanntes Feld zerlegte einen Schritt, der monatelang achtzig Fälle bestand, ohne dass sich an der Aufgabe etwas geändert hätte. Die Fälle waren echt und alle gleich formuliert — das Set maß also die Passung an unsere Formulierung statt an die Aufgabe. Was wir heute erzeugen, um es ehrlich zu halten, und warum genau hier modellerzeugte Daten ihren Platz verdienen.
Ein Kunde zeigte uns einen Agenten, der sein ERP über die Oberfläche bediente, und fragte nach dem Liefertermin. Ein Bildschirm ist eine Darstellung eines Systems, nicht das System — und dagegen zu automatisieren heißt, von einem Layout abzuhängen, dessen Beständigkeit niemand zugesagt hat. Die drei Fragen vorab, das eine Projekt mit Ja, und die Bedingung für unbeaufsichtigten Betrieb.
Drei Wochen Arbeit senkten die mittlere Antwortzeit um ein Drittel, und die Rückmeldungen blieben gleich. Nutzer erleben keine Gesamtdauer, sie erleben die Stille, bevor etwas erscheint — und unser Abruf samt Reranking lief vollständig in dieser Stille. Was wir umgestellt haben, warum eine Fortschrittsmeldung einen Spinner schlägt, und wann Streaming die falsche Antwort ist.
Wir haben einen Menschen in den Ablauf gesetzt und die Sache für erledigt erklärt. Die Freigabequoten nach Monatstag zeigten eine Prüfung, die drei Wochen wirkt und in der vierten zusammenbricht, wenn Menge und Druck am höchsten sind. Was wir an der Warteschlange geändert haben statt an den Menschen — und warum eine menschliche Prüfung für uns heute eine Komponente mit Kapazitätsgrenze ist.
Ein Kunde wollte eine halbe Stelle durch einen Agenten ersetzen. Wir haben die elf Aufgaben dieser Stelle aufgelistet und einzeln bewertet: vier lohnten die Automatisierung, drei waren verkappt die Arbeit anderer, vier hängen an Urteilen, die wir nicht abgeben würden. Warum Abschlussquoten auf echten Büroaufgaben die ehrliche Zahl sind — und was die verbleibende Koordination kostet.
Zwei Prozent der Extraktionen ließen sich nicht parsen, eine Wiederholung behob es, und das sah gelöst aus. Die Erzeugung an die Grammatik zu binden beseitigte die Fehler — und zeigte, was die Wiederholungen verdeckt hatten: Gerade die nicht parsbaren Dokumente waren die, bei denen der Schritt inhaltlich danebenlag. Wo wir binden, wo es schadet, und warum gültig nicht richtig heißt.
Wir haben alle neun Schritte einer Pipeline gegen ein Modell laufen lassen, das vor der Antwort nachdenkt. Zwei wurden klar besser, sechs blieben gleich, einer wurde messbar schlechter. Das Muster ist nicht Schwierigkeit, sondern ob ein Schritt überhaupt eine Zwischenentscheidung hat. Dazu der häufigste Irrtum: Die sichtbare Gedankenkette liest sich wie eine Begründung und taugt nicht als Prüfpfad.