Wir verkaufen keinen Halluzinations-Detektor
Ausschreibungen fragen ihn namentlich nach, meist mit einer Zielquote daneben. Wir bieten ihn nicht an, und zu erklären, warum, ist inzwischen fester Bestandteil des ersten Gesprächs statt eines unangenehmen Moments im dritten.
Was verlangt wird
Eine Komponente, die eine Antwort liest und sagt, ob sie wahr ist. Meist mit einer Zahl: Erkennungsrate über fünfundneunzig Prozent, Falschmeldungen unter fünf. Geschrieben von jemandem Vernünftigen, der eine Qualitätsanforderung in eine vertragsfähige Form bringen will.
Die Anforderung ist berechtigt. Was als Komponente verlangt wird, existiert in der Form, die der Name nahelegt, nicht — und dafür Geld zu nehmen hieße, einen Namen zu verkaufen statt einer Fähigkeit.
Was Ähnlichkeit belegen kann und was nicht
Sinha veröffentlichte Ende 2025 eine Arbeit, die Grenzen dessen herleitet, was embedding-basierte Prüfungen darüber feststellen können, ob eine erzeugte Antwort durch die abgerufenen Quellen gedeckt ist, und argumentiert, dass Ähnlichkeit im Embedding-Raum die Eigenschaft nicht belegen kann, die das Wort Erkennung nahelegt.
Unsere eigenen Messungen stimmen von der anderen Seite zu. Eine Ähnlichkeitsprüfung zwischen Antwort und Quelle fängt eine Antwort, die von der Passage abgedriftet ist — ein echter und der leichte Fehler. Sie lässt eine Antwort durch, die korrekt zitiert und daraus einen Schluss zieht, den die Passage nicht stützt. Das ist der Fehler, der Kunden erreicht.
Die drei Prüfungen, die wir tatsächlich bauen
Erstens: Gibt es überhaupt eine Quelle? Liefert der Abruf nichts über der Schwelle, entsteht keine Antwort. Das ist deterministisch und hat den größten Anteil unserer ungedeckten Antworten beseitigt.
Zweitens: Kommt der zitierte Text im abgerufenen Material vor — als Zeichenkettenvergleich, nicht als Ähnlichkeit. Drittens: Passen die extrahierten Werte zueinander und zu den führenden Systemen? Jede fängt einen bestimmten, benennbaren Fehler, und keine davon ist ein Detektor.
| Was verlangt wird | Was wir liefern |
|---|---|
| Eine Wahrheitsprüfung der Antwort | Eine Ablehnung, wenn nichts abgerufen wurde |
| Einen Konfidenzwert | Ein Zitat, das wörtlich vorkommen muss |
| Eine Halluzinationsquote unter Zielwert | Eine gemessene Fehlerquote auf einem Referenzset |
| Erkennung jeder falschen Aussage | Quer- und Abgleichprüfungen |
Was stattdessen in den Vertrag kommt
Eine Fehlerquote auf einem benannten Referenzset, monatlich gemessen, mit dem Set selbst als Anlage. Das ist eine Zusage, die wir halten und ein Kunde überprüfen kann — und sie betrifft die Ausgabe des Systems statt die Fähigkeit einer Komponente.
Sie übersteht auch den Kontakt mit einem Prüfer besser als eine Erkennungsrate. Eine Prozentzahl an einem Detektor lädt zur Frage ein, wie gemessen wurde, und die ehrliche Antwort offenbart meist, dass der Detektor an den Fehlern bewertet wurde, für die er gebaut ist.
Der unangenehme Teil des Gesprächs
Dass die verbleibenden Fehler von nichts erkennbar sind, was wir bauen können, und dass die Antwort darauf Prozess ist statt Technik: Ein Mensch prüft, oder das System lehnt ab, oder die Ausgabe speist einen Schritt, in dem ein Irrtum billig ist.
Kunden nehmen das bereitwilliger an, als wir erwartet hatten. Was sie ablehnen, ist, es nach Vertragsschluss zu erfahren — und einem Anbieter, der es im ersten Gespräch sagt, glaubt man das, was er zusagt, leichter.
Wo ein Modell, das ein Modell prüft, doch hilft
Als Filter vor einem Menschen, nicht als Gate. Wir nutzen ein zweites Modell, um Antworten zu markieren, die ungedeckt wirken, und markierte Antworten gehen in die Prüfung statt blockiert zu werden. Das erhöht die Dichte echter Fehler in der Warteschlange, und das ist etwas wert.
Ein Detektor ist es nicht, weil ihm nicht zugetraut wird, recht zu haben. Eine Markierung, die Arbeit zu einer Person leitet, hat ein anderes Fehlerprofil als eine, die Ausgaben unterdrückt — und beides zu verwechseln macht aus einer nützlichen Heuristik eine falsche Zusicherung.
Wie wir die Ausschreibungsfrage beantworten
Indem wir die Anforderung in Begriffe fassen, die wir erfüllen können, schriftlich, im Angebot: Wir bieten keine Halluzinationserkennung; wir bieten eine gemessene Fehlerquote auf Ihren Daten mit benanntem Testset, einen Ablehnungspfad bei fehlender Evidenz und Abgleich gegen Ihre Systeme.
Wir haben mit dieser Antwort eine Ausschreibung verloren und vier gewonnen, bei denen der Einkauf sagte, es sei die einzige Antwort gewesen, die nichts Unmögliches versprach. Das ist eine kleine Stichprobe und der Grund, warum wir dabei geblieben sind.
Was wir nicht behaupten
Wir behaupten nicht, automatisches Prüfen sei wertlos. Unsere Zitatprüfung ist automatisch, unser Abgleich ist automatisch, und das markierende Modell verdient seine Kosten. Die Behauptung betrifft, was eine Komponente belegen kann, nicht ob Automatisierung hilft.
Wir behaupten auch nicht, die Forschung entscheide die Frage. Sie leitet Grenzen unter angegebenen Annahmen her, andere Ansätze mögen besser abschneiden als Embedding-Ähnlichkeit, und unsere Haltung stützt sich vor allem auf eigene Messungen — enger und näher an den Systemen, die wir betreiben.