Ein Modell schätzt sich genau dort am schlechtesten ein, wo Ihr Geschäft liegt
Ein Modell, das nach einer breit dokumentierten Norm gefragt wird, sagt oft, wenn es unsicher ist. Nach einem Bauteil gefragt, das ein Lieferant für eine Branche fertigt, antwortet es mit derselben Sicherheit und liegt häufiger falsch — und diese Asymmetrie ist kein Detail.
Das Muster in unseren eigenen Zahlen
Wir halten eine kleine Menge Fragen, die wir jedem Kandidatenmodell ohne jeden Abruf stellen, nur um zu sehen, was es ungestützt weiß. Fragen zu breit dokumentierten Normen ergeben entweder eine richtige Antwort oder eine klare Einschränkung. Fragen zum Bauteil eines bestimmten Lieferanten ergeben eine selbstsichere Antwort, die in etwa einem Drittel der Fälle falsch ist.
Beide Mengen werden im selben Ton beantwortet. Es gibt kein sprachliches Signal, das die verlässlichen von den unverlässlichen Antworten trennt, und ein Nutzer kann nicht erkennen, welche Art Frage er gestellt hat — denn die Unterscheidung betrifft die Trainingsdaten, nicht das Thema.
Die Forschung, die den Mechanismus benennt
Ni und Kollegen veröffentlichten 2025 eine Arbeit dazu, wie die Verbreitung von Wissen die Wahrnehmung der eigenen Wissensgrenze durch ein Modell beeinflusst — also wie gut es beurteilen kann, ob es etwas weiß.
Die Folge für unsere Kunden ist unangenehm und gehört deutlich gesagt. Ihr Wettbewerbsvorteil ist definitionsgemäß Wissen, das nicht breit dokumentiert ist, und genau dort ist die Selbsteinschätzung eines Modells am wenigsten verlässlich. Der Assistent ist genau dort am selbstsichersten falsch, wo ihr Geschäft liegt.
| Thema | Was das Modell tut |
|---|---|
| Eine breit dokumentierte Norm | Oft richtig, schränkt bei Unsicherheit ein |
| Ein gängiges Produkt eines großen Herstellers | Meist richtig, gelegentlich selbstsicher falsch |
| Das Bauteil eines Lieferanten | Selbstsicher, in etwa einem Drittel falsch |
| Der eigene Prozess des Kunden | Selbstsicher, fast immer falsch |
Warum das einen Architekturstreit entscheidet
Es ist der Grund, warum wir alles in Dokumenten verankern, statt uns auf das Wissen des Modells zu stützen — auch bei Themen, in denen seine ungestützten Antworten gut aussehen. Sie sehen auf der bekannten Hälfte der Fragenverteilung gut aus, und diese Hälfte ist nicht die, in der der Wert liegt.
Es erklärt außerdem ein Muster in Vertriebsgesprächen. Eine Vorführung mit allgemeinen Fragen wirkt beeindruckend und sagt nichts über die Leistung auf dem Material des Kunden aus — weshalb unser erstes Treffen heute seine Fragen und seine Dokumente nutzt, auch wenn die Vorführung dadurch schlechter wird.
Was wir dagegen tun
Immer abrufen, für alles Domänenspezifische, und ablehnen, wenn der Abruf nichts liefert, statt auf das Modellwissen zurückzufallen. Dieser Rückfall ist verlockend, weil er eine Antwort erzeugt — und zwar die unverlässlichste Klasse von Antwort, die verfügbar ist.
Wir trennen außerdem die beiden Fragearten in der Oberfläche, wo ein System beide bedient. Allgemeine Fragen zu einer Norm dürfen ohne Abruf beantwortet und als solche gekennzeichnet werden; alles zu Anlagen oder Prozessen des Kunden wird verankert oder abgelehnt.
Die unangenehme Folge für die Bewertung
Ein Modellvergleich auf allgemeinen Benchmarks sagt etwas über die bekannte Region. Wir haben früher darüber geschrieben, warum Ranglisten unsere Ergebnisse nicht vorhersagten — dies ist der Mechanismus darunter und kein separater Punkt.
Es heißt auch, dass unsere eigenen Referenzsets wichtiger sind, als sie es sonst wären: Sie sind die einzige Messung in der Region, in der wir tatsächlich arbeiten, und einen öffentlichen Ersatz dafür kann es konstruktionsbedingt nicht geben.
Was das für den Zuschnitt bedeutet
Je spezialisierter die Domäne eines Kunden, desto mehr des Projekts ist Bestandsarbeit statt Modellarbeit. Das ist das Gegenteil dessen, was die meisten erwarten: Eine hochtechnische Nische klingt nach einem leistungsfähigeren Modell und braucht bessere Dokumente und einen strengeren Ablehnungspfad.
Wir sagen das heute im ersten Gespräch, und es verändert, wofür Kunden Geld einzuplanen erwarten. Zwei Projekte haben auf unsere Empfehlung mit drei Monaten Dokumentationsarbeit begonnen, bevor es überhaupt einen Assistenten gab, und beide liefen besser als die, die es nicht taten.
Wo der Effekt für uns arbeitet
Beim allgemeinen Wissen, das das Spezialwissen umgibt. Einheiten, Werkstoffe, regulatorisches Vokabular, gängige Verfahren: Das beherrscht das Modell gut und schränkt angemessen ein — deshalb kann ein Assistent erklären, was ein Begriff bedeutet, und zugleich verweigern zu sagen, welchen Wert er bei einer bestimmten Maschine annimmt.
Diese Trennung ist eine nützliche Gestalt für eine Oberfläche. Frei erklären, nur aus Dokumenten behaupten und die Grenze sichtbar machen, statt beides zu einem selbstsicheren Absatz zu verschmelzen.
Was wir nicht behaupten
Wir behaupten nicht, unser Drittel sei in einem strengen Sinne eine gemessene Quote. Es stammt aus einem kleinen internen Fragenset, ist kein Benchmark, und seine einzige Rolle ist, ein Argument zu stützen, nach dem wir dann konservativ handeln.
Wir behaupten auch nicht, Modelle könnten hier nicht besser werden. Selbsteinschätzung ist ein aktives Forschungsfeld, und in einem Jahr kann das anders aussehen — unsere Architektur hängt nicht am Fortbestehen des Effekts: Verankerung ist der richtige Entwurf auch für ein Modell, das sich perfekt einschätzt.