29.07.2023 AI Engineering 4 Minuten Lesezeit

RAG oder Fine-Tuning für Unternehmenswissen

Retrieval-Augmented Generation oder Fine-Tuning: Wie kommt Unternehmenswissen in ein Sprachmodell? Eine Engineering-Sicht aus dem Sommer 2023. Wir erklären, was Fine-Tuning tatsächlich ändert, wie Embeddings und Vektorsuche funktionieren, warum Retrieval bei Fakten der Standard sein sollte und wo sich Fine-Tuning lohnt — gestützt auf Lewis et al. (2020) und aktuelles Tooling.

Das Problem mit parametrischem Wissen

Ein großes Sprachmodell speichert, was es im Training gesehen hat, in seinen Gewichten. Dieses parametrische Wissen ist auf dem Stand des Trainingsschnitts eingefroren, es kann keine Quelle nennen, und wo ein Fakt fehlt, erzeugt das Modell plausiblen Text statt einer Lücke. Unternehmenswissen — Produktspezifikationen, Verträge, Support-Tickets, interne Wikis — ist genau das, was das Modell nie gesehen hat. Es in das System zu bringen ist die zentrale Ingenieursfrage der angewandten LLM-Arbeit im Jahr 2023.

Seit dem Start von ChatGPT im November 2022 taucht in fast jedem Kundengespräch bei Blue IT Systems dieselbe Frage auf: Können wir das Modell auf unseren Daten trainieren? Die ehrliche Antwort: Sie können, aber Sie sollten selten dort anfangen. Zwei Mechanismen konkurrieren um diese Aufgabe. Sie lösen unterschiedliche Probleme, und sie zu verwechseln ist der häufigste Fehler, den wir in Projektskizzen sehen.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was Fine-Tuning tatsächlich ändert

Fine-Tuning setzt das Training eines vortrainierten Modells auf eigenen Beispielen fort. Es verschiebt die Gewichte so, dass das Modell die Verteilung der Trainingsdaten imitiert: Ton, Format, Aufgabenstruktur. Parametereffiziente Verfahren haben das erschwinglich gemacht. LoRA (Hu et al., Juni 2021) friert das Basismodell ein und trainiert kleine Low-Rank-Adaptermatrizen — bei GPT-3-Größe rund 10.000-mal weniger trainierbare Parameter als volles Fine-Tuning. QLoRA (Dettmers et al., Mai 2023) tunt ein Modell mit 65 Milliarden Parametern auf einer einzelnen 48-GB-GPU.

Was Fine-Tuning nicht zuverlässig leistet: Fakten einbringen. Ein Modell, das auf Ihrem Produkthandbuch getunt wurde, wird keine Nachschlagetabelle dieses Handbuchs. Es wird ein Modell, das wie das Handbuch schreibt. Der Abruf konkreter Werte bleibt probabilistisch und ohne Beleg, und er ist auf den Trainingszeitpunkt eingefroren: Jede Dokumentänderung bedeutet einen neuen Trainingslauf, eine neue Evaluation, ein neues Deployment.

Retrieval-Augmented Generation definiert

Retrieval-Augmented Generation geht den umgekehrten Weg: Die Gewichte bleiben unangetastet, die Fakten kommen in den Prompt. Der Begriff stammt von Lewis et al. (2020) bei Facebook AI Research. Ihre Architektur koppelte einen dichten Retriever (DPR, Karpukhin et al. 2020) mit einem Seq2seq-Generator (BART) über einem Vektorindex der Wikipedia. Die erzeugten Antworten waren messbar spezifischer und faktentreuer als die der rein parametrischen Baseline. Ein Ergebnis ist für die Praxis entscheidend: Der Wissensindex ließ sich austauschen, ohne das Modell neu zu trainieren.

Das Produktionsmuster des Jahres 2023 ist einfacher als das ursprüngliche End-to-End-Modell. Teilen Sie Dokumente in Abschnitte von einigen hundert Token. Berechnen Sie für jeden Abschnitt ein Embedding und speichern Sie den Vektor. Zur Anfragezeit wird die Frage eingebettet, die ähnlichsten Abschnitte werden geholt und einem instruktionsgetunten LLM übergeben — mit der expliziten Anweisung, nur aus dem gelieferten Kontext zu antworten. Diese Anweisung reduziert Halluzinationen; sie beseitigt sie nicht.

Grundlagen von Embeddings und Vektorsuche

Ein Embedding-Modell bildet Text so auf einen Vektor ab, dass semantische Ähnlichkeit zu geometrischer Nähe wird, meist gemessen als Kosinus-Ähnlichkeit. OpenAIs text-embedding-ada-002 (Dezember 2022) liefert Vektoren mit 1.536 Dimensionen und kostet seit Juni 2023 0,0001 US-Dollar pro 1.000 Token — ein Korpus von zehn Millionen Token kostet beim Einbetten rund einen Dollar. Open-Source-Modelle aus der sentence-transformers-Familie laufen auf eigener Hardware; für Kunden mit Anforderungen an den Datenstandort ist das entscheidend.

Im großen Maßstab weicht der exakte Vergleich mit jedem gespeicherten Vektor approximativen Nearest-Neighbor-Indizes wie HNSW. Faiss liefert die Algorithmen als Bibliothek, pgvector ergänzt PostgreSQL um Vektorsuche, und dedizierte Systeme wie Weaviate, Qdrant und Milvus verbinden Indizierung mit Filterung. Zwei ehrliche Einschränkungen: Die Chunking-Strategie dominiert die Retrieval-Qualität, und ein Retriever, der falsche Passagen liefert, scheitert lautlos — der Generator antwortet trotzdem.

Warum Retrieval bei Fakten gewinnt

Bei Faktenfragen ist der Vergleich einseitig. Ein Index-Update ist ein Datenbank-Schreibvorgang; ein Gewichts-Update ist ein Trainingslauf. Geholte Abschnitte liefern Belege, die Sie neben der Antwort anzeigen können; Gewichte können das nicht. Retrieval kann Berechtigungen pro Nutzer zur Anfragezeit durchsetzen; ein getuntes Modell gibt Memoriertes an jeden weiter, der fragt. Nichts davon macht RAG von allein korrekt — es macht Fehler sichtbar, zuordenbar und korrigierbar, und genau das brauchen Produktionssysteme.

Kriterium	Retrieval (RAG)	Fine-Tuning
Fakt aktualisieren	Ein Dokument neu indizieren	Neuer Trainingslauf
Quellenangabe	Geholte Abschnitte als Beleg	Keine
Zugriffskontrolle pro Nutzer	Filter zur Anfragezeit	Nicht durchsetzbar
Verhalten bei fehlendem Fakt	Ablehnung aus Kontext möglich	Erfindet lautlos
Kontrolle über Stil und Format	Auf Prompting begrenzt	Stark
Aufwand vorab	Pipeline und Index	Datenkuration und GPU-Läufe

Wann sich Fine-Tuning lohnt

Fine-Tuning ist das richtige Werkzeug, wenn das Ziel Verhalten ist und nicht Wissen: ein konsistenter Ton, ein striktes Ausgabeschema, eine feste Klassifikationstaxonomie, ein Fachdialekt, den das Basismodell schlecht beherrscht. Es macht außerdem kleinere selbst gehostete Modelle brauchbar — Llama 2 (Meta, 18. Juli 2023) erscheint in Varianten mit 7, 13 und 70 Milliarden Parametern unter einer Lizenz, die kommerzielle Nutzung erlaubt, und LoRA-artiges Tuning passt es auf moderater Hardware an.

Zur aktuellen API-Realität: Zum Zeitpunkt dieses Textes deckt OpenAIs gehostetes Fine-Tuning nur die ursprünglichen GPT-3-Basismodelle ab (ada, babbage, curie, davinci) — nicht gpt-3.5-turbo, nicht GPT-4. Und die Ansätze kombinieren sich: Nichts spricht dagegen, ein getuntes Modell als Generator in einer RAG-Pipeline einzusetzen. Auch Lewis et al. haben ihren Generator getunt.

Ausblick vom Juli 2023

Kontextfenster wachsen schnell: GPT-4 bietet eine 32K-Variante, und Anthropics Claude akzeptiert seit Mai 2023 100.000 Token. Wir erwarten nicht, dass lange Kontexte Retrieval überflüssig machen. Die Kosten skalieren mit den verarbeiteten Token, und die relevanten tausend Token aus Millionen auszuwählen bleibt ein Suchproblem — unabhängig von der Fenstergröße. Retrieval ist der Index; das Kontextfenster ist nur der Schreibtisch.

Drei Erwartungen aus dem Juli 2023. Gehostetes Fine-Tuning aktueller Chat-Modelle wird kommen — und Retrieval bei Fakten trotzdem nicht ersetzen. Vektorsuche wird ein Datenbank-Feature statt einer Datenbank-Kategorie; pgvector zeigt die Richtung. Und die Evaluation, nicht die Modellierung, wird zum Engpass: Retrieval-Qualität auf dem eigenen Korpus zu messen. Unsere Standardempfehlung bleibt: erst Retrieval, dann Fine-Tuning für den Rest.