Wann wir feinabstimmen — und wann wir es ablehnen
Feinabstimmung wurde günstig genug, dass Kunden sie namentlich verlangten. Das hat das Gespräch schwerer gemacht, nicht leichter: Die Frage ist nicht mehr, was es kostet, sondern wofür es gut ist.
Die Anfrage
Der Kunde wollte seinen Produktkatalog im Modell haben. Preise, Verfügbarkeit, Kompatibilitätsregeln — eintrainiert, damit der Assistent sie ohne Nachschlagen einfach weiß. Die Begründung: Retrieval bringe Latenz und ein bewegliches Teil, und Feinabstimmung sei günstig geworden.
Der Katalog änderte sich wöchentlich. Diese eine Tatsache entschied den Entwurf, und sie war in der Anfrage nicht berücksichtigt.
Warum günstige Abstimmung die Frage verändert hat
Dettmers und Kollegen hatten gezeigt, dass sich ein großes Modell auf deutlich bescheidenerer Hardware feinabstimmen lässt als zuvor, indem Adapter über einer quantisierten Basis trainiert werden. QLoRA ist ein echtes Ingenieursergebnis und hat Feinabstimmung von einer Investitionsentscheidung zu einer alltäglichen gemacht.
Die Folge war nicht, dass nun alle abstimmen sollten. Die Folge war, dass die Kosten aufhörten, der Filter zu sein. Ist etwas teuer, entscheidet der Preis für einen mit. Ist es günstig, muss man sachlich entscheiden — und viele Teams hatten nie formulieren müssen, wofür Abstimmung eigentlich gut ist.
Die Regel, nach der wir entscheiden
Wir trennen Wissen von Verhalten. Fakten, die sich ändern — Preise, Bestände, Richtlinien, Personen — gehören in Retrieval, denn ein Trainingslauf ist eine Momentaufnahme, und eine Momentaufnahme eines bewegten Ziels ist bei Auslieferung bereits falsch. Verhalten, das stabil ist — Ton, Ausgabeformat, Fachvokabular, eine hauseigene Art zu argumentieren — ist das, worin Abstimmung gut ist.
Als Frage formuliert: Wenn sich das nächsten Monat ändert, muss dann das Modell neu trainiert werden? Wenn ja, ist es Wissen und gehört nicht in Gewichte.
| Gehört in Retrieval | Gehört in Feinabstimmung |
|---|---|
| Preise, Bestände, Verfügbarkeit | Ausgabeformat und Struktur |
| Kunden- und Vertragsdaten | Ton und Register |
| Richtlinien, die überarbeitet werden | Fachvokabular und Abkürzungen |
| Alles mit Nachweispflicht | Eine gleichbleibende Art, eine Aufgabe zu durchdenken |
Die zwei Fälle, in denen wir abstimmen
Der erste ist Formattreue im Mengengeschäft. Wenn jede Ausgabe einer strengen Struktur folgen muss und die Durchsetzung per Prompt fortlaufend Tokens kostet und trotzdem abdriftet, fixiert Abstimmung die Form zuverlässig und pro Aufruf günstig. Das ist ein Verhalten, und es veraltet nicht.
Der zweite ist Fachsprache. Wo eine Branche Vokabular hat, das das Basismodell falsch liest — Abkürzungen, die mit Alltagswörtern kollidieren, Begriffe mit spezifischer Bedeutung — bringt Abstimmung die richtige Lesart bei. Retrieval kann das nicht, weil das Problem Verstehen ist und nicht Nachschlagen.
Was wir stattdessen gebaut haben
Für den Katalog Retrieval mit striktem Schema auf den extrahierten Feldern und nächtlichem Indexaufbau. Der Assistent kennt den Preis nicht; er schlägt ihn nach und nennt den verwendeten Datensatz. Ändert sich ein Preis, wird nichts neu trainiert und nichts ist veraltet.
Der ursprüngliche Einwand des Kunden war Latenz. Gemessen kostete das Nachschlagen weniger als die Rückfragerunde, die ein selbstsicher falscher Preis auslöste.
Was wir nicht behaupten
Wir behaupten nicht, Abstimmung und Retrieval seien Alternativen. Die meisten Systeme, die wir betreiben, nutzen beides für unterschiedliche Aufgaben, und die interessante Ingenieursarbeit liegt an der Grenze, nicht in der Wahl.
Wir behaupten auch nicht, unsere Regel sei vollständig. Es gibt einen echten Zwischenbereich — Wissen, das über Jahre stabil ist, etwa eine selten geänderte Vorschrift — wo beides funktioniert und die Entscheidung eher an betrieblichen Vorlieben hängt als an einem Prinzip.