29.07.2023 AI Engineering4 Minuten Lesezeit

RAG oder Fine-Tuning für Unternehmenswissen

Retrieval-Augmented Generation oder Fine-Tuning: Wie gelangt Unternehmenswissen sinnvoll in ein Sprachmodell? Aus Engineering-Sicht im Sommer 2023 erklären wir, was Fine-Tuning tatsächlich verändert, wie Embeddings und Vektorsuche arbeiten, warum Retrieval für Fakten der Standard sein sollte und wann sich Fine-Tuning lohnt — gestützt auf Lewis et al. (2020) und aktuelles Tooling.

Das Problem mit parametrischem Wissen

Ein großes Sprachmodell verdichtet das im Training Gesehene in seinen Gewichten. Dieses parametrische Wissen bleibt auf dem Stand des Trainingsschnitts eingefroren und kann keine Quellen ausweisen. Fehlt ein Fakt, erzeugt das Modell eher plausiblen Text, als die Lücke offenzulegen. Unternehmenswissen — Produktspezifikationen, Verträge, Support-Tickets, interne Wikis — gehört meist genau zu dem Material, das es nie gesehen hat. Dieses Wissen kontrolliert in das System zu bringen, ist 2023 eine zentrale Engineering-Frage der angewandten LLM-Arbeit.

Seit dem Start von ChatGPT im November 2022 hören wir bei Blue IT Systems in fast jedem Kundengespräch dieselbe Frage: Können wir das Modell auf unseren Daten trainieren? Die ehrliche Antwort lautet: Ja — aber selten sollten Sie damit beginnen. Für diese Aufgabe stehen zwei Mechanismen bereit, die unterschiedliche Probleme lösen. Sie zu verwechseln ist der häufigste Fehler, den wir in Projektskizzen sehen.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was Fine-Tuning tatsächlich ändert

Fine-Tuning setzt das Training eines vortrainierten Modells auf eigenen Beispielen fort. Es verschiebt die Gewichte so, dass das Modell die Verteilung der Trainingsdaten imitiert: Ton, Format, Aufgabenstruktur. Parametereffiziente Verfahren haben das erschwinglich gemacht. LoRA (Hu et al., Juni 2021) friert das Basismodell ein und trainiert kleine Low-Rank-Adaptermatrizen — bei GPT-3-Größe rund 10.000-mal weniger trainierbare Parameter als volles Fine-Tuning. QLoRA (Dettmers et al., Mai 2023) tunt ein Modell mit 65 Milliarden Parametern auf einer einzelnen 48-GB-GPU.

Was Fine-Tuning nicht zuverlässig leistet: Fakten einbringen. Ein Modell, das auf Ihrem Produkthandbuch getunt wurde, wird keine Nachschlagetabelle dieses Handbuchs. Es wird ein Modell, das wie das Handbuch schreibt. Der Abruf konkreter Werte bleibt probabilistisch und ohne Beleg, und er ist auf den Trainingszeitpunkt eingefroren: Jede Dokumentänderung bedeutet einen neuen Trainingslauf, eine neue Evaluation, ein neues Deployment.

Retrieval-Augmented Generation definiert

Retrieval-Augmented Generation geht den umgekehrten Weg: Die Gewichte bleiben unangetastet, die Fakten kommen in den Prompt. Der Begriff stammt von Lewis et al. (2020) bei Facebook AI Research. Ihre Architektur koppelte einen dichten Retriever (DPR, Karpukhin et al. 2020) mit einem Seq2seq-Generator (BART) über einem Vektorindex der Wikipedia. Die erzeugten Antworten waren messbar spezifischer und faktentreuer als die der rein parametrischen Baseline. Ein Ergebnis ist für die Praxis entscheidend: Der Wissensindex ließ sich austauschen, ohne das Modell neu zu trainieren.

Das Produktionsmuster des Jahres 2023 ist einfacher als das ursprüngliche End-to-End-Modell. Teilen Sie Dokumente in Abschnitte von einigen hundert Token. Berechnen Sie für jeden Abschnitt ein Embedding und speichern Sie den Vektor. Zur Anfragezeit wird die Frage eingebettet, die ähnlichsten Abschnitte werden geholt und einem instruktionsgetunten LLM übergeben — mit der expliziten Anweisung, nur aus dem gelieferten Kontext zu antworten. Diese Anweisung reduziert Halluzinationen; sie beseitigt sie nicht.

Grundlagen von Embeddings und Vektorsuche

Ein Embedding-Modell bildet Text so auf einen Vektor ab, dass semantische Ähnlichkeit zu geometrischer Nähe wird, meist gemessen als Kosinus-Ähnlichkeit. OpenAIs text-embedding-ada-002 (Dezember 2022) liefert Vektoren mit 1.536 Dimensionen und kostet seit Juni 2023 0,0001 US-Dollar pro 1.000 Token — ein Korpus von zehn Millionen Token kostet beim Einbetten rund einen Dollar. Open-Source-Modelle aus der sentence-transformers-Familie laufen auf eigener Hardware; für Kunden mit Anforderungen an den Datenstandort ist das entscheidend.

Im großen Maßstab weicht der exakte Vergleich mit jedem gespeicherten Vektor approximativen Nearest-Neighbor-Indizes wie HNSW. Faiss liefert die Algorithmen als Bibliothek, pgvector ergänzt PostgreSQL um Vektorsuche, und dedizierte Systeme wie Weaviate, Qdrant und Milvus verbinden Indizierung mit Filterung. Zwei ehrliche Einschränkungen: Die Chunking-Strategie dominiert die Retrieval-Qualität, und ein Retriever, der falsche Passagen liefert, scheitert lautlos — der Generator antwortet trotzdem.

Warum Retrieval bei Fakten gewinnt

Für Faktenfragen fällt der Vergleich deutlich aus. Ein Index-Update ist ein Datenbank-Schreibvorgang; ein Gewichts-Update erfordert einen Trainingslauf. Abgerufene Abschnitte liefern Belege, die neben der Antwort erscheinen können; Gewichte liefern keine. Retrieval kann zudem Berechtigungen pro Nutzer zur Anfragezeit durchsetzen, während ein getuntes Modell Memoriertes grundsätzlich jedem Fragenden zugänglich macht. RAG wird dadurch nicht automatisch korrekt. Es macht Fehler aber sichtbar, zuordenbar und korrigierbar — genau die Eigenschaften, die Produktionssysteme benötigen.

Kriterium	Retrieval (RAG)	Fine-Tuning
Fakt aktualisieren	Ein Dokument neu indizieren	Neuer Trainingslauf
Quellenangabe	Geholte Abschnitte als Beleg	Keine
Zugriffskontrolle pro Nutzer	Filter zur Anfragezeit	Nicht durchsetzbar
Verhalten bei fehlendem Fakt	Ablehnung aus Kontext möglich	Erfindet lautlos
Kontrolle über Stil und Format	Auf Prompting begrenzt	Stark
Aufwand vorab	Pipeline und Index	Datenkuration und GPU-Läufe

Wann sich Fine-Tuning lohnt

Fine-Tuning ist das richtige Werkzeug, wenn das Ziel Verhalten ist und nicht Wissen: ein konsistenter Ton, ein striktes Ausgabeschema, eine feste Klassifikationstaxonomie, ein Fachdialekt, den das Basismodell schlecht beherrscht. Es macht außerdem kleinere selbst gehostete Modelle brauchbar — Llama 2 (Meta, 18. Juli 2023) erscheint in Varianten mit 7, 13 und 70 Milliarden Parametern unter einer Lizenz, die kommerzielle Nutzung erlaubt, und LoRA-artiges Tuning passt es auf moderater Hardware an.

Zur aktuellen API-Realität: Zum Zeitpunkt dieses Textes deckt OpenAIs gehostetes Fine-Tuning nur die ursprünglichen GPT-3-Basismodelle ab (ada, babbage, curie, davinci) — nicht gpt-3.5-turbo, nicht GPT-4. Und die Ansätze kombinieren sich: Nichts spricht dagegen, ein getuntes Modell als Generator in einer RAG-Pipeline einzusetzen. Auch Lewis et al. haben ihren Generator getunt.

Ausblick vom Juli 2023

Kontextfenster wachsen schnell: GPT-4 bietet eine 32K-Variante, und Anthropics Claude akzeptiert seit Mai 2023 100.000 Token. Wir erwarten nicht, dass lange Kontexte Retrieval überflüssig machen. Die Kosten skalieren mit den verarbeiteten Token, und die relevanten tausend Token aus Millionen auszuwählen bleibt ein Suchproblem — unabhängig von der Fenstergröße. Retrieval ist der Index; das Kontextfenster ist nur der Schreibtisch.

Drei Erwartungen aus dem Juli 2023: Gehostetes Fine-Tuning aktueller Chat-Modelle wird kommen, ohne Retrieval für Fakten zu ersetzen. Vektorsuche wird vom eigenen Datenbanktyp zum Datenbank-Feature; pgvector weist die Richtung. Und nicht die Modellierung, sondern die Evaluation wird zum Engpass — insbesondere die Messung der Retrieval-Qualität auf dem eigenen Korpus. Unsere Standardempfehlung bleibt deshalb: zuerst Retrieval, danach Fine-Tuning für das verbleibende Verhaltensproblem.