01.04.2024 AI Engineering 5 Minuten Lesezeit

RAG-getunte Modelle: Command R und Grounded Generation

Cohere hat am 11. März 2024 Command R veröffentlicht: ein Modell, das Grounded Generation als trainierte Fähigkeit statt als Prompt-Trick behandelt — mit Zitaten auf Span-Ebene, nativem Tool Use, 128k Kontext und offenen Forschungsgewichten. Wir analysieren, was ein RAG-getuntes Modell für Produktionssysteme ändert, was es nicht löst und wohin sich die Kategorie entwickelt.

Das Grounding-Problem in produktivem RAG

Retrieval-Augmented Generation ist nicht neu. Lewis et al. haben das Muster 2020 formalisiert: relevante Dokumente zur Inferenzzeit laden, das Modell darauf konditionieren, generieren. In der Praxis war Grounding bis 2023 meist Prompt-Engineering. Abgerufene Textblöcke wurden in das Kontextfenster kopiert, versehen mit der Anweisung, nur aus den Quellen zu antworten. Ob das Modell sich daran hielt, war nicht überprüfbar. Attribution war, wo es sie überhaupt gab, ein Regex über Freitext. Das Modell wurde nie für die Aufgabe trainiert, die man ihm gab.

Für Produktionssysteme ist das eine strukturelle Schwäche. Eine Antwort, die sich nicht auf eine Quelle zurückführen lässt, ist nicht auditierbar — und genau einen Audit-Trail verlangen Unternehmensanwender von RAG-Systemen. Am 11. März 2024 hat Cohere Command R veröffentlicht: ein Modell, in dem Grounding eine trainierte Fähigkeit mit definiertem API-Vertrag ist. Dieser Wechsel — Grounded Generation als Produktanforderung statt als Nachgedanke — ist Thema dieses Artikels.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was ein RAG-getuntes Modell ist

Ein RAG-getuntes Modell ist gezielt für den Retrieval-Workflow nachtrainiert. Drei Verhaltensweisen sind Teil des Trainings statt des Prompts: Suchanfragen aus einer Konversation generieren, eine Antwort über mehrere abgerufene Dokumente synthetisieren und dabei irrelevante Passagen ignorieren, und feingranulare Zitate neben dem generierten Text ausgeben. Ein Allzweckmodell mit RAG-Prompt-Template approximiert diese Verhaltensweisen. Ein RAG-getuntes Modell ist auf sie optimiert und evaluiert — eine andere ingenieurtechnische Aussage.

Command R zielt auf die von Cohere so genannte skalierbare Kategorie: Modelle, die etwas Spitzenleistung gegen Latenz, Durchsatz und Preis tauschen. Die These dahinter: Produktives RAG braucht selten das größte verfügbare Modell. Es braucht ein Modell, das zuverlässig bei den Quellen bleibt — zu Kosten, die reale Anfragevolumina überstehen.

Command R in Zahlen

Command R hat 35 Milliarden Parameter und ein Kontextfenster von 128k Token, bepreist mit 0,50 $ pro Million Input-Token und 1,50 $ pro Million Output-Token. Zum Vergleich: GPT-4 Turbo (November 2023) kostet 10,00 $ bzw. 30,00 $ für dieselben Mengen. Coheres eigene Benchmarks sehen Command R bei End-to-End-RAG vor GPT-3.5 Turbo. Herstellerbenchmarks verdienen Skepsis; die Preise sind ein Fakt.

Zwei weitere Zahlen sind für europäische Deployments relevant. Das Modell deckt 10 Geschäftssprachen ab, darunter Deutsch, Französisch, Spanisch, Japanisch und Arabisch — wichtig überall dort, wo Quelldokumente nicht auf Englisch vorliegen. Und die Gewichte sind auf Hugging Face unter CC-BY-NC-Lizenz öffentlich: offen für Forschung und Evaluation, ausdrücklich nicht für kommerzielles Self-Hosting.

Eigenschaft	Command R (März 2024)
Veröffentlichung	11. März 2024
Parameter	35 Milliarden
Kontextfenster	128k Token
API-Preis	0,50 $ / 1,50 $ pro 1 Mio. Input-/Output-Token
Sprachen	10 Geschäftssprachen darunter Deutsch
Gewichte	Offen auf Hugging Face (CC-BY-NC / nicht-kommerziell)

Zitate als API-Vertrag

Der Mechanismus ist ein API-Vertrag. Coheres Chat-Endpoint akzeptiert einen documents-Parameter: eine Liste von Textausschnitten mit IDs, typischerweise der Output Ihrer Retrieval-Pipeline. Die Antwort enthält neben dem generierten Text eine Liste von Zitatobjekten. Jedes trägt Start- und End-Indizes in die generierte Antwort, die zitierte Textspanne und die IDs der belegenden Dokumente. Zitate sind strukturierte Daten, keine Prosa.

Das ändert, was ein Produkt leisten kann. Eine Oberfläche kann exakt hervorheben, welcher Satz auf welcher Quelle ruht. Eine Testsuite kann Grounding-Abdeckung — den Anteil des Antworttexts mit Zitatbeleg — als Regressionsmetrik berechnen. Eine Compliance-Schicht kann Antworten verwerfen, deren kritische Aussagen nichts zitieren. Nichts davon ist machbar, solange Attribution irgendwo im Freitext steht.

Tool Use als zweite Säule

Command R startet mit einer zweiten trainierten Fähigkeit: Tool Use. Das Modell gibt strukturierte Funktionsaufrufe aus — an Suchendpunkte, Datenbanken, Rechner, interne APIs — und verarbeitet die Ergebnisse in eine belegte Antwort. Retrieval selbst wird ein Werkzeug unter mehreren. Das vereinheitlicht RAG und Systemintegration unter einem Mechanismus — und deshalb behandeln wir RAG-getunt und Tool-getunt als eine Kategorie, nicht als zwei.

Hier ist Abgrenzung wichtig. Stand heute unterstützt die API Single-Step Tool Use: eine Runde Aufrufe, dann eine Antwort. Verkettung — den Output eines Tools nutzen, um den nächsten Aufruf zu bestimmen — bleibt Anwendungscode, typischerweise eine handgeschriebene Schleife oder ein Orchestrierungs-Framework, mit den entsprechenden Latenz- und Debugging-Kosten. Modelle, die Multi-Step-Tool-Sequenzen nativ planen, sind der naheliegende nächste Schritt. In Coheres Portfolio existieren sie heute nicht.

Was Grounded Generation nicht löst

Grounded Generation attribuiert; sie verifiziert nicht. Ist das abgerufene Dokument falsch oder veraltet, produziert das Modell eine selbstbewusst zitierte falsche Antwort. Zitate verlagern die Vertrauensfrage vom Modell auf den Korpus. Das ist ein Fortschritt — ein Korpus lässt sich kuratieren, versionieren und auditieren —, aber keine Lösung. Garbage in bleibt Garbage out, jetzt mit Quellenangabe.

Die Retrieval-Qualität bleibt entscheidend. Ein zitierfähiger Generator kann keinen Suchschritt reparieren, der die falschen Passagen liefert. Embedding-Modelle wie Coheres Embed v3 (November 2023), Reranker und die Chunking-Strategie bleiben damit auf dem kritischen Pfad. Auch das 128k-Fenster ersetzt Retrieval nicht: Kosten und Latenz skalieren mit den Input-Token, und das Kontextfenster zu füllen ist die teure Form von Bequemlichkeit. Grounding reduziert Halluzinationen. Kein Anbieter behauptet, es eliminiere sie — und keiner sollte.

Ausblick vom April 2024

Unsere Erwartungen, festgehalten am 1. April 2024. Erstens: Die skalierbare Kategorie füllt sich schnell. Command R wird nicht allein in seiner Klasse bleiben; ein größeres Geschwistermodell mit demselben RAG- und Zitat-Training ist eine absehbare Veröffentlichung in Monaten, nicht Jahren. Zweitens: Multi-Step Tool Use wandert im Laufe des Jahres 2024 aus Anwendungs-Frameworks in die Modelle selbst — das Trainingsrezept, das Zitate erzeugt, kann auch Pläne erzeugen.

Drittens, die größere Wette: Bis 2025 werden maschinenlesbare Zitate ein Standardposten in der Beschaffung von Unternehmens-RAG sein, so wie SSO bei SaaS. Bei Blue IT Systems behandeln wir Zitatspannen schon heute als Teil der Systemschnittstelle — getestet, versioniert, überwacht — und nicht als UI-Dekoration. Grounded Generation als Produktanforderung statt als Nachgedanke: Das ist die Messlatte, die Command R gelegt hat. Wir erwarten nicht, dass der Markt sie wieder senkt.