Korrekt abgerufen, treu zitiert, trotzdem falsch
Jede Prüfschicht, die wir gebaut haben, fragt, ob die Antwort zur Quelle passt. Keine fragt, ob die Quelle stimmt — und bei einem über zwei Jahrzehnte gewachsenen Bestand ist das keine theoretische Lücke.
Der Wert, der immer schon dastand
Ein Wartungsintervall, in einem Prozedurdokument mit zwölf Monaten angegeben und in der Anlagenspezifikation mit sechs. Beide Dokumente liegen im Bestand, beide sind gültig, und die Prozedur ist seit einer Revision von 2019 falsch, die niemandem auffiel.
Der Assistent antwortete mit zwölf Monaten, zitierte die Prozedur und verwies auf den Abschnitt. Unsere Zitatprüfung bestand, unsere Abstimmprüfung hatte nichts abzustimmen, weil sie innerhalb eines Datensatzes arbeitet und nicht über Dokumente hinweg — und die Antwort war falsch.
Was unsere Prüfungen tatsächlich belegen
Treue. Sagt die Antwort, was die Quelle sagt? Das ist die Eigenschaft, die die meisten Retrieval-Systeme prüfen, und sie ist prüfenswert — denn der Gegenfehler, eine Antwort ohne Quelle, ist häufiger und leichter zu erzeugen.
Es ist nicht Richtigkeit. Eine treue Antwort aus einem falschen Dokument ist von einer treuen Antwort aus einem richtigen durch keine Prüfung unterscheidbar, die nur das Paar betrachtet — und das gesamte Branchenvokabular rund um Verankerung beschreibt Treue und klingt, als beschriebe es Wahrheit.
Die Forschung speziell zu Zahlen
Patil veröffentlichte 2026 eine Arbeit zur Erkennung manipulierter Zahlenangaben in Retrieval-Systemen im behördlichen Umfeld und behandelt Zahlen als eigene Kategorie mit eigener Prüfung statt als gewöhnlichen Text.
Die Sicherheitsrahmung ist nicht unsere, denn niemand hat unser Dokument manipuliert. Nützlich ist die Kategorie: Zahlen sind der Ort, an dem eine falsche Quelle den größten Schaden anrichtet, sie sind auf eine Weise extrahier- und vergleichbar, wie Prosa es nicht ist — und lassen sich deshalb dokumentübergreifend prüfen.
| Prüfung | Was sie belegen kann |
|---|---|
| Zitat kommt in der Quelle vor | Treue. Nicht Richtigkeit |
| Werte stimmen im Datensatz überein | Innere Widerspruchsfreiheit |
| Gleiche Größe über Dokumente hinweg | Widersprüche im Bestand |
| Wert gegen ein führendes System | Richtigkeit, wo es eines gibt |
Was wir gebaut haben
Einen dokumentübergreifenden Konsistenzlauf über extrahierte Zahlenangaben. Je Anlage werden Werte mit gleichem Namen und gleicher Einheit über Dokumente hinweg verglichen, und Abweichungen werden dem Team für technische Dokumentation des Kunden aufgelistet, statt von uns aufgelöst.
Der erste Lauf ergab einundneunzig Abweichungen über den Bestand, von denen das Team zweiundsechzig als echte Fehler im einen oder anderen Dokument einstufte. Niemand hatte davon gewusst, und mehrere waren so lange in Antworten wiederholt worden, wie es den Assistenten gab.
Was der Assistent heute tut
Wo ein Wert eine bekannte Abweichung hat, sagt die Antwort das und nennt beide, mit Quellen und Daten. Sie wählt nicht. Wählen verlangte ein Urteil darüber, welches Dokument maßgeblich ist — das gehört dem Kunden und hat ihn in einem Fall drei Wochen gekostet.
Das ist das schlechtere Nutzererlebnis und das richtige. Ein Assistent, der still einen Wert wählt, liegt in genau den Fällen, in denen es zählt, in der Hälfte selbstsicher falsch — und Nutzer sagten uns, den Konflikt zu sehen sei nützlicher gewesen, als eine Antwort es wäre.
Warum sich Prosa so nicht prüfen lässt
Zwei Dokumente, die eine Prozedur unterschiedlich beschreiben, stehen meist nicht im Widerspruch; sie sind für verschiedene Zielgruppen oder Varianten geschrieben. Eine Aussage aus Prosa zu extrahieren und dokumentübergreifend zu vergleichen erzeugt überwiegend Fehlalarme — wir haben es versucht.
Zahlen mit Namen und Einheit sind die Ausnahme. Zwölf Monate und sechs Monate für dasselbe Intervall an derselben Anlage sind ein Widerspruch ohne gutartige Lesart, und diese Enge ist der Grund, warum die Prüfung überhaupt funktioniert.
Der Teil, der ein Datenproblem bleibt
Wir können Widersprüche sichtbar machen. Wir können keine Dokumente reparieren, nicht entscheiden, welches maßgeblich ist, und die nächste falsche Revision nicht verhindern — und es wäre unangemessen, wenn wir das an der technischen Dokumentation eines Kunden täten.
Geändert hat sich, dass der Bestand jetzt eine Mängelliste mit Verantwortlichen hat. Das ist unspektakuläres Dokumentenmanagement und hat mit Modellen nichts zu tun — und es ist die größte Qualitätsverbesserung, die dieses System in einem Jahr hatte.
Was wir nicht behaupten
Wir behaupten nicht, falsche Quellen zu erkennen. Wir erkennen Abweichungen zwischen Quellen. Ein Wert, der in jedem Dokument falsch ist, das ihn nennt, oder der nur einmal vorkommt, besteht jede Prüfung, die wir haben, und wird es immer.
Wir behaupten auch nicht, die zweiundsechzig sagten etwas über diesen Kunden aus. Ein Bestand, den viele Menschen über zwanzig Jahre zusammengetragen haben, enthält Widersprüche — überraschend ist nicht, dass es sie gibt, sondern dass nie jemand nachgesehen hat.