Einen Assistenten dazu bringen zu sagen, dass er es nicht weiß
Wir haben gemessen, wie oft der Assistent eine Antwort verweigert hat und wie oft er es hätte tun müssen. Zwei Prozent gegen neun. Die Lücke war kein Charakterproblem, das sich mit einer strengeren Anweisung beheben ließe — und sie so zu behandeln hatte uns schon drei Monate gekostet.
Zwei Prozent gegen neun
Die Messung war einfach und überfällig. Wir haben vierhundert protokollierte Gespräche genommen, einen Fachexperten jede Antwort als durch das abgerufene Material gedeckt oder nicht markieren lassen und das damit verglichen, wie oft der Assistent eine Antwort verweigert hatte.
Er verweigerte bei etwa zwei Prozent. Er hätte bei etwa neun verweigern müssen. Die übrigen sieben Prozent waren Antworten, die klangen wie jede andere Antwort — und genau diese Eigenschaft macht die Sache teuer: Es gibt kein äußeres Merkmal, das eine gedeckte von einer erfundenen Antwort trennt.
Warum der Prompt es nicht behoben hat
Unsere ersten drei Versuche waren Anweisungen. Sag, dass du es nicht weißt, wenn die Dokumente die Antwort nicht enthalten. Dann eine strengere Fassung. Dann eine mit Beispielen. Jede bewegte die Verweigerungsquote, und jede bewegte sie gleichzeitig in beide Richtungen.
Bei diesem Punkt lohnt es sich zu verweilen. Eine strengere Anweisung erzeugte mehr Verweigerungen bei Fragen, die das System gut beantworten konnte — denn das Modell hat keinen verlässlichen inneren Zugang dazu, ob seine Antwort gedeckt ist, und reagiert auf die Anweisung, indem es allgemein zögerlicher wird statt treffsicherer darin, wann Zögern angebracht ist.
Zwei verschiedene Gründe für Nichtwissen
Yadkori und Kollegen veröffentlichten in jenem Monat eine Arbeit, die Unsicherheit, weil eine Frage tatsächlich mehrere gültige Antworten hat, von Unsicherheit, weil dem Modell das Wissen fehlt, unterscheidet und ein Maß herleitet, das auf das Zweite zielt.
Diese Unterscheidung hat uns gelöst, nicht als umzusetzendes Verfahren, sondern als Sichtweise: Wir hatten ein Problem behandelt, wo zwei waren. Das Dokument enthält das nicht und die Frage hat nicht eine Antwort verlangen völlig verschiedene Behandlung, und wir hatten einer einzigen Anweisung zugemutet, beides abzudecken.
| Grund für Nichtwissen | Was wir tun |
|---|---|
| Nichts über der Schwelle abgerufen | Modell gar nicht aufrufen. Kontakt anbieten |
| Abgerufen, aber Antwort steht nicht darin | Mit dem Vorhandenen antworten, Lücke benennen |
| Frage hat mehrere gültige Antworten | Nachfragen, welcher Fall gemeint ist |
| Frage liegt außerhalb der Domäne | Sofort an einen Menschen weiterleiten |
Das Signal, das tatsächlich funktioniert hat
Keine Eigenschaft des Modells. Der Retrieval-Wert. Kommt nichts über der Relevanzschwelle zurück, rufen wir den Generierungsschritt gar nicht auf, und der Nutzer bekommt eine kurze Nachricht mit einem Kontaktweg statt eines Absatzes.
Das ist deterministisch, billig und erklärt sich selbst. Es deckt außerdem einen großen Teil der Lücke ab: Etwa vier der sieben Prozentpunkte waren Fragen, bei denen der Abruf nichts Brauchbares geliefert hatte und das Modell trotzdem aus seinem Allgemeinwissen antwortete.
Der schwierigere Rest
Der Rest ist härter. Der Abruf liefert etwas Einschlägiges, die Antwort steht tatsächlich nicht darin, und das Modell füllt die Lücke. Dafür haben wir geändert, was wir verlangen, statt wie streng wir es verlangen: Die Antwort muss die Passage zitieren, auf die sie sich stützt, und eine Nachprüfung kontrolliert, dass der zitierte Text im abgerufenen Material vorkommt.
Eine Antwort, die kein stützendes Zitat liefern kann, wird nicht angezeigt. Das verwandelt eine nicht messbare Eigenschaft in einen Zeichenkettenvergleich, und es ist die Änderung, die die Zahl am stärksten bewegt hat. Sie ist auch unvollkommen, denn ein echtes Zitat kann an einer Schlussfolgerung hängen, die daraus nicht folgt.
Was Nutzer stattdessen bekommen
Die Formulierung wiegt hier schwerer, als wir erwartet hatten. Ein Assistent, der sagt, er könne nicht helfen, ist schlechter als nutzlos. Unserer benennt, was er gefunden hat, sagt, welchen Teil der Frage er aus den Dokumenten nicht beantworten kann, und bietet den Kontaktweg in derselben Nachricht an.
Wir haben die Wirkung an Eskalationen gemessen, nicht an Zufriedenheit. Die Kontakte stiegen, was der Zweck war, und der Anteil der Kontakte, die den einschlägigen Dokumentverweis bereits mitbrachten, stieg stärker — was ihre Bearbeitung am anderen Ende beschleunigte.
Was es gekostet hat
Latenz für die Nachprüfung, die vernachlässigbar ist, und einen echten Rückgang beantworteter Fragen. Etwa sieben Prozent der Gespräche, die vorher mit einer Antwort endeten, enden heute mit einer Teilantwort und einem Weg zu einem Menschen — und einige dieser Antworten waren richtig gewesen.
Diesen Handel würden wir in dieser Domäne wieder eingehen, wo eine falsche Auskunft zu einer Vertragsklausel teuer und eine Weiterleitung leicht lästig ist. In einer anderen Domäne zeigte die Rechnung in die Gegenrichtung, und wir benennen den Handel lieber, als die Änderung als kostenlos auszugeben.
Was wir nicht behaupten
Wir behaupten nicht, die Zitatprüfung erkenne Halluzinationen. Sie erkennt eine ungedeckte Aussage einer bestimmten Bauart. Ein Modell kann korrekt zitieren und daraus falsch schließen, und dieser Fehler passiert unsere Prüfung unverändert.
Wir behaupten auch nicht, neun Prozent sei die wahre Quote. Es ist das Urteil eines Experten über vierhundert Gespräche, und die Grenze zwischen gedeckt und ungedeckt ist nicht immer scharf. Es war genau genug, um zu zeigen, dass die Lücke groß war — mehr musste die Messung nicht leisten.