Technische Analysen
Seit 2023 analysieren wir, was in KI-Systemen belastbar funktioniert — anhand von Zahlen, Quellen und klar benannten technischen Grenzen.
Beim vierten Adapter, damit ein Modell ein Auftragssystem abfragen kann, dauerte es zwei Tage und sah aus wie die drei davor. Eine Standardschnittstelle beseitigte die Doppelarbeit und verschob die verbleibende Arbeit dorthin, wo sie hingehört: zu entscheiden, was ein Werkzeug überhaupt anbieten soll. Was wir vereinheitlicht haben, was bewusst nicht, und die Sicherheitseigenschaft, die dadurch leichter zu benennen und leichter zu verfehlen ist.
Acht Kundensysteme, je ein Nachmittag. Keines fiel als hochriskant aus, das war der langweilige Teil. Nützlich war, dass das Aufschreiben — was ein System tut, was es entscheidet, was ein Mensch entscheidet — Fragen erzwang, die unsere Entwurfsprüfungen nie gestellt hatten. Zwei Systeme haben sich dadurch geändert. Und warum wir deutlich sagen, dass dies keine Rechtsberatung ist.
Wer nach Feintuning fragt, meint das antwortende Modell. In den zwei Projekten, in denen Training auf Kundendaten sich gelohnt hat, war es der Retriever: deutlich billiger, deutlich kleiner und auf den Fehler gerichtet, der uns wirklich kostete — die falsche Passage zu finden, nicht über die richtige schlecht zu schreiben. Was die Trainingsdaten leisten müssen und welche Pflege niemand erwähnt.
Wir haben Namen, Adressen und Kundennummern entfernt, bevor Tickets an ein gehostetes Modell gingen — ein Kollege erkannte den Kunden am Rest in etwa zehn Sekunden. Direkte Kennzeichen sind die leichte Hälfte. Was wir geändert haben, nachdem wir akzeptiert hatten, dass Schwärzen die Preisgabe begrenzt statt sie zu beseitigen, und wo wir gar keine Daten mehr senden.
Vektorspeicher war bei zweihunderttausend Chunks ein Rundungsfehler und bei vier Millionen eine eigene Position — weil er mit dem Bestand wächst, nicht mit der Nutzung. Quantisierung senkte den Speicher um rund drei Viertel, zu einem messbaren und vertretbaren Qualitätspreis. Was wir vorher gemessen haben, die zweistufige Anordnung am Ende, und die billigere Behebung, die zuerst gehört hätte.
Einen fremden Werkzeugserver einzubinden dauert eine Minute — der Wert einer Standardschnittstelle und der Grund, warum niemand prüft, was er einbindet. Eine Werkzeugbeschreibung ist Text, den das Modell liest und dem es folgt: also ebenso Eingabekanal wie Fähigkeit. Was wir vor dem Betrieb prüfen, was wir rundheraus ablehnen, und warum die Zugangsdaten schwerer wiegen als der Code.
Die Passage war korrekt, gut geschrieben und drei Jahre alt. Unser Index hielt vier Revisionen desselben Handbuchs ohne einen Begriff davon, welche gilt — Ähnlichkeitssuche hat keine Meinung zur Zeit. Was wir an den Metadaten geändert haben, warum die Voreinstellung die aktuelle Revision sein muss und nicht der beste Treffer, und welche Frage wir ohne Datum nicht mehr beantworten.
Ein Kunde fragte, ob sein Agent direkt mit dem des Lieferanten sprechen kann. Technisch ja; schwierig ist, dass keine Seite sieht, warum die andere so entschied — ein falscher Auftrag hat damit keine diagnostizierbare Ursache. Was wir statt eines freien Austauschs bauen, die drei Dinge, die eine grenzüberschreitende Interaktion festhalten muss, und wo wir rundheraus abgelehnt haben.
Ein Einkauf fragte nach dem Energieverbrauch eines Assistenten für einen Nachhaltigkeitsbericht, und wir hatten eine Rechnung und keine Antwort. Was sich ehrlich messen lässt, was sich nur mit angegebener Spanne schätzen lässt, und die Entwurfsentscheidung, die daraus folgte: ein Hintergrundschritt, auf den niemand wartete, lief über jedes Dokument statt über einen Bruchteil.
Die Genauigkeit stieg ein Jahr lang, und die Eskalationen einer Nutzergruppe bewegten sich nicht — der Assistent antwortete in der Sprache eines Handbuchs für Techniker. Vereinfachung ist keine Prompt-Anweisung; achtlos gemacht streicht sie die Einschränkung, die den Satz wahr machte. Was wir vereinfachen, was nicht, und wie wir gemessen haben, ob es wirkt.
Ein Gedächtnis über Sitzungen ist die meistgewünschte Funktion — und die einzige, mit der ein Nutzer ändern kann, was einem anderen gesagt wird. Dong und Kollegen zeigen, dass sich ein solcher Speicher allein über gewöhnliche Anfragen vergiften lässt, ohne besondere Rechte. Was wir eingrenzen, was nie in den Speicher kommt, und die Prüfung, die aus zwei Tagen zwei Wochen machte.
Ein Kunde fragte, warum sein Assistent nicht einfach nachsehen könne. Webzugang beantwortet mehr Fragen und macht jede Antwort auf eine Quelle unzurückführbar, die er kontrolliert — in einer regulierten Branche wiegt das schwerer als die Antwort. Wo wir es doch erlauben, welche zwei Eigenschaften eine Quelle braucht, und was wir tun, wenn das Handbuch wirklich schweigt.