Den Retriever trainieren statt den Schreiber
Wenn ein Kunde nach Feintuning fragt, meint er das Modell, das die Antwort schreibt. In den zwei Projekten, in denen sich Training auf Kundendaten tatsächlich gelohnt hat, war es der Retriever — und der Kostenunterschied zwischen beiden Optionen ist groß.
Welche Hälfte scheitert
Bevor wir überhaupt über Training nachdenken, teilen wir die Fehler auf. Man nehme die Fälle, die das System falsch beantwortet hat, und frage bei jedem, ob die richtige Passage im abgerufenen Satz war. War sie es, hat der Generierungsschritt versagt. War sie es nicht, hat der Abruf versagt.
In dem Projekt, das dies auslöste, waren einundsiebzig Prozent der Fehler Abruffehler. Das Modell schrieb völlig vernünftige Antworten aus Material, das die Antwort nicht enthielt — ein Retrieval-Problem in den Kleidern eines Generierungsproblems, das wochenlang als Letzteres diskutiert worden war.
Warum der Retriever das billigere Trainingsziel ist
Er ist ein viel kleineres Modell, die Trainingsdaten sind Paare aus Frage und richtiger Passage statt aus Frage und idealer Antwort — und die richtige Passage kann ein Fachexperte in Sekunden markieren, während eine ideale Antwort Minuten braucht und bestreitbar bleibt.
Béchard und Kollegen veröffentlichten Anfang 2025 eine Arbeit zum Feintuning eines Retrievers für domänenspezifischen Einsatz mit mehreren Aufgaben in einem Modell — was der Gestalt unseres Problems entspricht: mehrere Arten von Anfragen gegen einen Bestand, wo ein allgemeines Embedding-Modell Fachbegriffe wie gewöhnliche Wörter behandelt.
Wie unsere Trainingsdaten aussahen
Rund zwölfhundert Paare, aus echten Anfragen gesammelt statt erfunden. Wo das System gescheitert war, markierte ein Experte, welche Passage hätte kommen müssen; wo es gelang, wurde die gelieferte Passage bestätigt. Zwei Nachmittage pro Woche über einen Monat, nebenher zur normalen Supportarbeit.
Die Sammelmethode wiegt schwerer als die Anzahl. Paare aus echten Fehlern bringen dem Retriever genau die Vokabularlücke bei, die tatsächlich Geld kostet; ein Set aus plausibel erfundenen Fragen hätte ihm das Vokabular beigebracht, das wir ohnehin beherrschen.
| Option | Kosten und Wirkung |
|---|---|
| Antwortmodell feintunen | Teuer, und unsere Fehler lagen woanders |
| Retriever feintunen | Billig, und auf einundsiebzig Prozent gerichtet |
| Besseres Chunking | Kostenlos, und wir haben es zuerst gemacht |
| Mehrsprachige Embeddings | Konfiguration, half gesondert |
Die Reihenfolge, in der wir vorgehen
Chunking zuerst, weil es kostenlos ist und in jedem gemessenen Projekt der größte Hebel war. Dann ein allgemeines mehrsprachiges Modell, wenn Anfragen und Dokumente in verschiedenen Sprachen vorliegen. Dann, und nur wenn die Fehleraufteilung es rechtfertigt, das Training des Retrievers.
In beiden Projekten, die schließlich trainierten, kam das Training zuletzt, und in vier weiteren Projekten schlossen die früheren Schritte die Lücke, sodass Training nie nötig wurde. Diese Reihenfolge ist der praktische Gehalt dieses Beitrags, mehr als das Training selbst.
Was es gebracht hat
Die Abruffehler fielen auf dem Referenzset um etwas mehr als die Hälfte, und die Gesamtgenauigkeit stieg um neun Punkte — eine größere Verbesserung als jeder Modellwechsel, den wir in diesem System vorgenommen haben. Die Latenz blieb gleich, denn das trainierte Modell ist so groß wie das ersetzte.
Es verallgemeinerte auch schlechter als das allgemeine Modell bei Anfragen, die nichts im Trainingsset ähneln — erwartbar und erwähnenswert. Ein auf das Vokabular eines Kunden trainierter Retriever ist eine Komponente dieses Deployments, kein allgemeines Gut.
Die Pflege, die niemand erwähnt
Ein trainierter Retriever ist ein zweites Artefakt, das driften kann. Ändert sich der Bestand erheblich, beschreibt das Trainingsset einen Bestand, den es nicht mehr gibt, und der Retriever wird still schlechter — auf eine Weise, die wie gewöhnlicher Qualitätsverfall aussieht.
Wir prüfen ihn quartalsweise gegen das Referenzset und trainieren etwa jährlich nach, und wir haben das im Angebot gesagt. Wer neun Punkte annimmt, sollte wissen, dass sie mit einem Artefakt kommen, das gefüttert werden will — die Alternative wäre, diese Pflicht achtzehn Monate später zu entdecken.
Wann wir weiterhin absagen
Unter einigen tausend Dokumenten, oder wenn der Anteil der Abruffehler unter etwa einem Drittel liegt. In beiden Fällen bringt der Aufwand anderswo mehr, und wir haben zwei Kunden auf dieser Grundlage vom Retriever-Training abgeraten, nachdem wir für sie die Fehleraufteilung gemacht hatten.
Wir sagen auch ab, wenn auf Kundenseite niemand die Nachmittage zum Markieren aufbringen kann. Die Daten lassen sich nicht an uns auslagern, denn der ganze Wert liegt darin, dass ein Fachexperte weiß, welche Passage die richtige ist — und genau dieses Wissen haben wir nicht.
Was wir nicht behaupten
Wir behaupten nicht, das Feintuning des Antwortmodells sei nie richtig. Wo der Fehler in Stil, Format oder einem Hausvokabular liegt, das kein Prompt verlässlich erzwingt, ist es das richtige Werkzeug, und in einem unserer Projekte machen wir genau das.
Wir behaupten auch nicht, unsere neun Punkte seien übertragbar. Es ist ein Bestand mit sehr ausgeprägtem Fachvokabular — der beste Fall für dieses Verfahren — und ein Bestand aus gewöhnlicher Prosa zeigte deutlich weniger.