Technische Analysen
Seit 2023 analysieren wir, was in KI-Systemen belastbar funktioniert — anhand von Zahlen, Quellen und klar benannten technischen Grenzen.
Auf Deutsch fragen, eine Zahl aus dem ERP bekommen: Die Vorführung ist unwiderstehlich, die Betriebsfassung sieht ihr nicht ähnlich. Wir geben kuratierte Sichten frei statt Tabellen, denn eine korrekte Abfrage über die falsche Tabelle ist der Fehler ohne Fehlermeldung. Was wir verbieten, warum jede Antwort die Abfrage zeigt, und die Zahl, die stimmte und trotzdem falsch war.
Ein Kunde wollte eine fünfzehn Jahre alte Codebasis modernisieren, und wir haben die ersten sechs Wochen Tests geschrieben. Code zu übersetzen können Modelle gut; zu wissen, ob die Übersetzung das Verhalten erhält, entscheidet, ob das Projekt ankommt. Was wir zuerst testen, warum wir Blätter vor Stämmen migrieren, und welche Änderung wir keinem Assistenten erlaubt haben.
Modelle wissen besser, was sie nicht wissen, wenn das Thema breit dokumentiert ist. Ni und Kollegen verknüpfen diese Selbsteinschätzung mit der Verbreitung des Wissens — mit einer unangenehmen Folge für Spezialisten: Der Assistent kann seine Unsicherheit genau dort am schlechtesten anzeigen, wo die Expertise des Kunden liegt. Was daraus für die Architektur folgt.
Planer, Rechercheur, Schreiber, Kritiker und Aufseher erzeugten plausible Pläne und falsche Ergebnisse, die niemand einer Komponente zuordnen konnte. Cemri und Kollegen erstellen eine Taxonomie, warum Multi-Agenten-Systeme scheitern — die meisten Kategorien betreffen Koordination, nicht Fähigkeit. Was wir durch gewöhnlichen Code ersetzt haben und wo ein zweiter Agent seinen Platz behält.
Ein Techniker fragte, was beim Mischen zweier Reinigungsmittel passiert, und der Sicherheitsfilter lehnte ab — genau die Frage, für die es das Sicherheitsdatenblatt gibt. Kumar und Kollegen zeigen, dass Guardrails Falsch-Positive gegen Falsch-Negative tauschen, ohne kostenlose Option. Was wir auf beiden Seiten messen, warum eine Ablehnung ein Defekt mit Ticket ist, und wo wir Überblockung bewusst hinnehmen.
Nach achtzehn Monaten mit englischen Angriffsprompts haben wir sie übersetzt. Etwa doppelt so viele kamen durch — in einem System, in dem die meisten Nutzer Deutsch schreiben. Kumar und Kollegen bauen mehrsprachige Moderation über siebzehn Sprachen, gerade weil die Abdeckung ungleich ist. Was wir geändert haben, warum Übersetzen für das Testset nicht reicht, und die allgemeine Lehre.
Die Extraktionsgenauigkeit fiel über ein Wochenende um vier Punkte, ohne Deployment und mit derselben Modellkennung in jeder Anfrage. Eine Versionsangabe ist ein Name, den der Anbieter vergibt, keine Zusicherung über Verhalten. Was wir täglich laufen lassen, welche vertragliche Frage wir vor Unterschrift stellen, und was wir tun, wenn die Antwort unbefriedigend ist.
Unser Bewertungsset stellte eine Frage und prüfte eine Antwort, und die meisten echten Fehler passierten in der dritten Runde. Kranti und Kollegen bewerten aufgabenorientierte Dialogsysteme als ganze Gespräche. Was ein mehrstufiger Fall festlegen muss, warum ein simulierter Nutzer eine Testvorrichtung ist und kein Richter, und die zwei Fehlerarten, die erst mit Gesprächsverlauf auftreten.
Ein selbstverbessernder Assistent, der seine Anweisungen aus Korrekturen anpasst, ist die am häufigsten abgelehnte Anfrage. Han und Kollegen beschreiben, wie Selbstentwicklung Agenten mit der Zeit vom beabsichtigten Verhalten wegtreiben kann. Unser Einwand ist enger: Ein System, das sich selbst umschreibt, hat keine benennbare Version — und jeder Prozess drumherum setzt voraus, dass es eine gibt.
Zwei Jahre lang hieß es bei uns, ein Wissensgraph sei überzogen — dann kam ein Bestand, in dem der Vektorabruf bei fast einem Drittel der Fragen strukturell scheiterte. Ahmad und Kollegen vergleichen Vektor-, Graph- und Hybrid-Pipelines nebeneinander. Was diesen Bestand unterscheidet, was der Graph in Bau und Pflege kostet, und warum die Antwort hybrid war statt Ersatz.
Um drei Uhr nachts ist der schwierige Teil die Orientierung, nicht die Behebung: Was hat sich geändert, was ist betroffen, was gab es schon? Xiang und Kollegen verbinden Clusterzustand mit einem Modell zur Ursachenanalyse. Unserer ist nur lesend, schlägt Hypothesen mit Belegen vor und nie eine Schlussfolgerung — und die Regel, die ihn ehrlich hält: Er darf nicht sagen, was zu tun ist.
Die Techniker, die die Dokumentation am dringendsten brauchen, arbeiten dort, wo es keinen Empfang gibt. Auf ein Handgerät passt ein kleines Modell und ein Ausschnitt des Bestands — was eine Entscheidung erzwang, die niemand treffen wollte: welche Fragen dieses Gerät überhaupt gestellt bekommen darf.