Start KI-Lösungen Fertige Lösungen Peers & Simulation RAG & Retrieval Use Cases Frameworks Blog English Kontakt
Zurück zum Blog

Die Antwort war richtig, und niemand hat sie verstanden

Die Antworten waren korrekt, belegt und wurden weitgehend nicht gelesen. Die Eskalationen einer Nutzergruppe blieben ein Jahr lang konstant, während die Genauigkeit stieg — das Muster, das entsteht, wenn der Fehler nicht im Inhalt liegt.

Zwei Gruppen, eine Stimme

Der Assistent bedient Techniker, die die Anlagen warten, und Bürokräfte, die Aufträge und Beschwerden dazu bearbeiten. Beide fragen zu denselben Dokumenten, und beide bekamen Antworten im Register dieser Dokumente — also technisch.

Für die Techniker ist das richtig und willkommen. Für die Bürokräfte entstanden Antworten, die korrekt und nicht handhabbar waren: Ein Satz mit drei Teilebezeichnungen und einem Bedingungssatz ist eine gute Antwort auf eine Frage, die der Lesende mangels Vokabular gar nicht präzise stellen konnte.

Änderungprompt · model Goldenes Testsetechte fälle Richterllm + regeln Gate
Eine Änderung landet — Prompt, Modell oder Retrieval. 1/4

Warum die Kennzahlen es verfehlt haben

Unsere Genauigkeit misst, ob die Antwort durch die Quelle gedeckt ist. Sie sagt nichts darüber, ob die lesende Person danach handeln konnte — zwei verschiedene Eigenschaften, die in den meisten Projektgesprächen zufällig mit demselben Wort gemessen werden.

Das Signal lag in der Eskalationsquote je Nutzergruppe, die wir nicht aufgeschlüsselt hatten. Als wir es taten: Techniker eskalierten in rund vier Prozent der Gespräche, Bürokräfte in neunzehn — bei gleichem Bestand und gleicher Genauigkeit.

Die Forschung dazu, ob Vereinfachung hilft

Guidroz und Kollegen veröffentlichten im Mai 2025 eine Arbeit, die die Wirkung modellbasierter Textvereinfachung auf Verständnis und kognitive Last misst — die Frage, auf die es ankommt, und nicht dieselbe wie die, ob der vereinfachte Text als einfacher bewertet wird.

Diese Unterscheidung ist der Grund für das Zitat. Lesbarkeitswerte sind leicht zu bewegen und leicht zu bewegen, ohne jemandem zu helfen — und eine Studie, die Verständnis misst statt eines Lesbarkeitsindex, ist die Art von Beleg, die eine Änderung im Betrieb rechtfertigt.

Wir vereinfachenWir vereinfachen nicht
Satzbau und VerknüpfungenTeilenummern und Bezeichnungen
Reihenfolge, Handlung zuerstZahlenwerte und Einheiten
Wortwahl, wo es ein gängiges Wort gibtBedingungen und Einschränkungen
Erklären, was ein Begriff bedeutetDie zitierte Quellpassage

Was zuerst schiefging

Unser erster Versuch war eine Anweisung, in einfacher Sprache zu antworten. Sie wirkte in dem Sinne, dass der Text einfacher wurde, und sie verlor Bedingungen. Der Satz sofern die Maschine nicht die ältere Steuerung hat verlor seinen Nebensatz oft genug, dass wir es binnen einer Woche fanden — die Antworten waren dann falsch statt einfach.

Das ist die besondere Gefahr dieser Aufgabe. Vereinfachung entfernt untergeordnete Strukturen, und in den untergeordneten Strukturen wohnen die Bedingungen. Achtlose Vereinfachung löscht also systematisch den Teil, der eine Antwort im konkreten Fall des Lesenden wahr macht.

Was wir heute tun

Zwei Antworten aus einem Abruf. Die technische Antwort entsteht zuerst, dann schreibt ein zweiter Schritt sie nach ausdrücklichen Regeln um: jede Bedingung behalten, jede Zahl und Bezeichnung exakt behalten, Sätze kürzen, Handlung nach vorn, und für jeden Begriff, der nicht ersetzbar war, eine einzeilige Erklärung ergänzen.

Die zitierte Quellpassage wird nie umgeschrieben. Sie bleibt, wie sie ist, unter der Antwort, in den Worten des Handbuchs — wer das Original will, hat es, und ein umgeschriebener Satz wird nie für ein Zitat gehalten.

Wie wir geprüft haben, ob es wirkt

Nicht mit einem Lesbarkeitswert. Wir haben vierzig Antworten in beiden Fassungen genommen und acht Personen aus der Bürogruppe gefragt, was sie als Nächstes tun würden. Die richtige Handlung stieg von etwa der Hälfte auf etwa vier Fünftel, und die verbleibenden Fehlschläge waren überwiegend Fragen, bei denen die richtige Handlung war, jemanden zu fragen.

Die Eskalationen dieser Gruppe fielen im Folgequartal von neunzehn auf elf Prozent. Das ist die Zahl, die wir berichten, und sie ist mehr wert als jede Eigenschaft des Textes selbst.

Wer die Fassung wählt

Die Oberfläche, anhand der Rolle, mit einem Umschalter. Das war intern strittig: Die Alternative wäre, das Modell aus der Frage schließen zu lassen — elegant, und es liegt falsch beim Techniker mit einer einfachen Frage und bei der Bürokraft, die eine Teilenummer aus einer Mail zitiert.

Rolle plus Übersteuerung ist im Betrieb unauffällig geblieben, was das gewünschte Ergebnis ist. Etwa jeder vierzehnte Nutzer schaltet um, und die meisten tun es einmal und bleiben dabei.

Was wir nicht behaupten

Wir behaupten nicht, vereinfachte Antworten seien von sich aus unbedenklich. Unsere sind es, weil der Umschreibschritt darauf verpflichtet ist, Bedingungen und Werte zu erhalten, und gegen dasselbe Referenzset geprüft wird wie die technische Antwort. Ein unbeschränkter Umschreibschritt ist ein Weg, selbstsicheren, gut lesbaren und falschen Text zu erzeugen.

Wir behaupten auch nicht, unsere Aufteilung in zwei Gruppen sei allgemein. Manche Systeme haben ein Publikum und brauchen eine Stimme, und zwei Antworten zu erzeugen, wo eine genügt, sind Kosten ohne Ertrag.

Quellen