25.10.2023 AI Engineering 5 Minuten Lesezeit

Fine-Tuning von GPT-3.5 Turbo vs. RAG: Form ist trainierbar, Wissen nicht

OpenAI hat am 22. August 2023 das Fine-Tuning für GPT-3.5 Turbo freigegeben. Wir definieren, was Fine-Tuning tatsächlich verbessert — Ausgabeformat, Ton, eng umrissene Aufgaben — und was nicht: Wissen hinzufügen. Mit der Preisliste vom Oktober 2023 rechnen wir Trainingskosten, den achtfachen Inferenzaufschlag und den Break-even durch und zeigen, warum Retrieval-Augmented Generation der richtige Kanal für Fakten bleibt.

Zwei Hebel zur Anpassung eines Sprachmodells

Am 22. August 2023 hat OpenAI das Fine-Tuning für GPT-3.5 Turbo freigegeben. Innerhalb weniger Tage erreichte uns dieselbe Anfrage aus mehreren Richtungen: "Trainieren Sie das Modell auf unsere Dokumentation, damit es unsere Produkte kennt." Die Anfrage ist verständlich. Sie beruht auf einem Missverständnis. Fine-Tuning ist kein Mechanismus, um einem Modell Wissen hinzuzufügen. Für den falschen Zweck eingesetzt, kostet es Geld und liefert Halluzinationen.

Es gibt zwei Hebel, um ein gehostetes Sprachmodell anzupassen. Fine-Tuning verändert die Gewichte des Modells durch überwachtes Training auf Beispielkonversationen. Retrieval-Augmented Generation (RAG) verändert die Eingabe des Modells: Relevanter Text wird zur Anfragezeit gesucht und in das Kontextfenster gestellt. Die beiden Hebel lösen unterschiedliche Probleme. Dieser Artikel definiert die Grenze und legt Zahlen daneben.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was OpenAI am 22. August ausgeliefert hat

Die Veröffentlichung umfasst überwachtes Fine-Tuning für gpt-3.5-turbo-0613 über die API. Sie laden Trainingsdaten als JSONL-Chatverläufe hoch, starten einen Fine-Tuning-Job und erhalten einen privaten Modell-Checkpoint, den Sie unter eigenem Namen ansprechen. Die Kontextlänge beim Fine-Tuning beträgt 4.000 Token; Unterstützung für die 16k-Variante ist für den Herbst angekündigt, ebenso Fine-Tuning für GPT-4.

Zwei operative Details sind relevant. Trainingsdaten durchlaufen vor dem Training die Moderation-API von OpenAI sowie ein GPT-4-basiertes Moderationssystem. Und OpenAI erklärt, dass Daten aus der Fine-Tuning-API dem Kunden gehören und nicht zum Training anderer Modelle verwendet werden. Die zentrale Aussage von OpenAI: Ein feinabgestimmtes GPT-3.5 Turbo kann das Basis-GPT-4 bei bestimmten eng umrissenen Aufgaben erreichen oder sogar übertreffen.

Was Fine-Tuning tatsächlich verbessert

Fine-Tuning formt die Ausgabeverteilung. Es wirkt in genau drei Kategorien. Erstens Formattreue: Ein Modell, das auf valide JSON-Antworten trainiert wurde, liefert deutlich konsistenter valides JSON als eines, das nur dazu angewiesen wird. Zweitens Ton und Stil: ein Support-Bot, der in einer definierten Markensprache schreiben muss, auf Deutsch, in festgelegtem Register. Drittens eng umrissene Aufgaben: Klassifikation, Extraktion oder Vervollständigung gegen ein festes Schema bei stabiler Aufgabenverteilung.

Ein vierter Effekt ist Prompt-Kompression. Instruktionen und Few-Shot-Beispiele, die pro Anfrage Hunderte Token belegen, lassen sich in die Gewichte trainieren. OpenAI berichtet, dass frühe Tester ihre Prompts um bis zu 90 Prozent verkürzt haben. Kürzere Prompts bedeuten geringere Latenz. Ob sie geringere Kosten bedeuten, ist eine Rechnung, keine Annahme. Wir führen sie weiter unten durch.

Was Fine-Tuning nicht leistet

Fine-Tuning fügt kein Wissen zuverlässig hinzu. Einige tausend Trainingsbeispiele verändern, wie das Modell antwortet; sie bauen keinen abfragbaren Faktenspeicher auf. So gelernte Fakten haben keine Provenienz: Das Modell kann nicht angeben, woher eine Antwort stammt, und es interpoliert plausible Falschaussagen, wo seine Gewichte schweigen. Was tatsächlich behalten wurde, lässt sich nur durch Tests feststellen — pro Fakt.

Die operativen Probleme wiegen schwerer als die statistischen. Gewichte sind veraltet, sobald sich ein Dokument ändert; die Korrektur ist ein neuer Trainingslauf. Innerhalb eines Checkpoints gibt es keine nutzerspezifische Zugriffskontrolle: Jeder antrainierte Fakt steht jedem Aufrufer des Modells zur Verfügung. Und Fine-Tuning erweitert weder das Kontextfenster noch die Fähigkeit zum Schlussfolgern. Es verengt Verhalten; es erweitert keine Kompetenz.

Die Kostenrechnung im Oktober 2023

Das Training ist günstig. Fine-Tuning kostet 0,008 US-Dollar pro 1.000 Trainingstoken; OpenAIs eigenes Beispiel beziffert eine Trainingsdatei mit 100.000 Token über drei Epochen auf rund 2,40 US-Dollar. Die Inferenz ist nicht günstig. Ein feinabgestimmtes GPT-3.5 Turbo kostet pro Token das Achtfache des Basismodells.

Der Break-even folgt direkt. Bei einem Aufschlag von Faktor acht pro Token rechnet sich Prompt-Kompression nur, wenn Sie mehr als 87,5 Prozent der Token einsparen — die Obergrenze dessen, was OpenAI berichtet. Gegen das Basis-GPT-3.5 gewinnt Fine-Tuning bei den Kosten selten. Der realistische Fall ist ein anderer: GPT-4 bei einer eng umrissenen Aufgabe ersetzen. Dort kostet das feinabgestimmte GPT-3.5 beim Input 60 Prozent weniger und beim Output 73 Prozent weniger — bei geringerer Latenz.

Modell	Input pro 1K Token	Output pro 1K Token	Training pro 1K Token
GPT-3.5 Turbo (4K)	$0,0015	$0,0020	—
GPT-3.5 Turbo feinabgestimmt	$0,0120	$0,0160	$0,0080
GPT-4 (8K)	$0,0300	$0,0600	—

Retrieval ist der Wissenskanal

Retrieval-Augmented Generation wurde 2020 von Lewis et al. beschrieben: Dokumente abrufen, die zur Anfrage passen, und die Generierung darauf konditionieren. Die Engineering-Variante im Jahr 2023 ist geradlinig. Den Korpus in Abschnitte teilen, jeden Abschnitt mit text-embedding-ada-002 einbetten, die Vektoren speichern und zur Anfragezeit die bestbewerteten Abschnitte in den Prompt einsetzen.

Die Ökonomie liegt auf einer anderen Skala. Embeddings kosten 0,0001 US-Dollar pro 1.000 Token; ein Korpus von 10 Millionen Token kostet einen Dollar. Aktualisierungen sind Index-Schreibvorgänge und in Sekunden wirksam. Jede Antwort kann ihre Quellabschnitte zitieren. Zugriffskontrolle liegt in der Retrieval-Schicht — dort, wo sie hingehört. Die Fehlermodi sind ehrliche: schlechtes Chunking, schwaches Ranking. Beides ist messbar.

Fine-Tuning für die Form und Retrieval für Fakten

Die Entscheidungsregel, die wir in Kundenprojekten anwenden: Fine-Tuning für die Form, Retrieval für Fakten. Lautet der Fehler "falsches Format, falscher Ton, ignoriert Anweisungen", ist Fine-Tuning das richtige Werkzeug. Lautet er "kennt X nicht" oder "X hat sich letzte Woche geändert", ist Retrieval das richtige Werkzeug. Die meisten Produktivsysteme, die nach Fine-Tuning aussehen, brauchen Retrieval und einen besseren Prompt.

Die Kombination ist legitim und wird zu selten genutzt. Trainieren Sie GPT-3.5 Turbo auf Beispiele dafür, wie aus geliefertem Kontext geantwortet wird — mit Ablehnung, wenn der Kontext die Antwort nicht enthält, mit Quellenangaben, mit stabilem Ausgabeschema. Den Kontext liefert RAG. Eine Voraussetzung gilt für beide Hebel: ein Evaluationsdatensatz vor jedem Trainingslauf. Ohne ihn können Sie nicht feststellen, ob das Fine-Tuning geholfen oder nur die Art Ihrer Fehler verändert hat.

Ausblick vom Oktober 2023

Von unserem Standpunkt im Oktober 2023 sieht die Entwicklung so aus: Fine-Tuning für GPT-4 ist für diesen Herbst angekündigt, eine Fine-Tuning-Oberfläche ist geplant. Die Tokenpreise sind seit März kontinuierlich gefallen; wir erwarten, dass der Inferenzaufschlag für feinabgestimmte Modelle schrumpft. Das schwächt das Kostenargument — nicht aber das Wissensargument. Dieses ist struktureller Natur.

Wir erwarten außerdem, dass Basismodelle und Function Calling zunehmend Formatarbeit übernehmen, die heute Fine-Tuning erfordert, während Retrieval-Werkzeuge — Vektordatenbanken, Chunking, Re-Ranking — zu Standardinfrastruktur reifen. Unsere Prognose: In einem Jahr ist "Sollten wir feinabstimmen?" eine Routinefrage im Architektur-Review mit kurzer Checklisten-Antwort — und die Standardantwort lautet weiterhin: zuerst Retrieval.