01.04.2024 AI Engineering5 Minuten Lesezeit

RAG-getunte Modelle: Command R und Grounded Generation

Cohere veröffentlichte Command R am 11. März 2024: ein Modell, das Grounded Generation als trainierte Fähigkeit statt als Prompt-Trick behandelt — mit Zitaten auf Span-Ebene, nativem Tool Use, 128k Kontext und offenen Forschungsgewichten. Wir untersuchen, was ein RAG-getuntes Modell in Produktionssystemen verändert, wo seine Grenzen liegen und wie sich die Kategorie weiterentwickelt.

Das Grounding-Problem in produktivem RAG

Retrieval-Augmented Generation ist nicht neu. Lewis et al. formalisierten das Muster 2020: relevante Dokumente zur Inferenzzeit abrufen, das Modell darauf konditionieren und eine Antwort erzeugen. Bis 2023 blieb Grounding in der Praxis jedoch meist Prompt-Engineering. Abgerufene Textblöcke landeten im Kontextfenster, ergänzt um die Bitte, ausschließlich aus diesen Quellen zu antworten. Ob das Modell diese Vorgabe einhielt, ließ sich nicht verlässlich prüfen. Attribution bestand, sofern überhaupt vorhanden, aus einem Regex über Freitext. Für die eigentliche Aufgabe war das Modell nie trainiert worden.

In Produktionssystemen wird daraus eine strukturelle Schwäche. Eine Antwort ohne belastbare Zuordnung zu einer Quelle ist nicht auditierbar — genau diesen Audit-Trail verlangen Unternehmen von RAG-Systemen. Cohere veröffentlichte deshalb am 11. März 2024 Command R: ein Modell, bei dem Grounding eine trainierte Fähigkeit mit definiertem API-Vertrag ist. Dieser Perspektivwechsel — Grounded Generation als Produktanforderung statt als nachträgliche Absicherung — steht im Mittelpunkt dieses Artikels.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was ein RAG-getuntes Modell ist

Ein RAG-getuntes Modell ist gezielt für den Retrieval-Workflow nachtrainiert. Drei Verhaltensweisen sind Teil des Trainings statt des Prompts: Suchanfragen aus einer Konversation generieren, eine Antwort über mehrere abgerufene Dokumente synthetisieren und dabei irrelevante Passagen ignorieren, und feingranulare Zitate neben dem generierten Text ausgeben. Ein Allzweckmodell mit RAG-Prompt-Template approximiert diese Verhaltensweisen. Ein RAG-getuntes Modell ist auf sie optimiert und evaluiert — eine andere ingenieurtechnische Aussage.

Command R zielt auf die von Cohere so genannte skalierbare Kategorie: Modelle, die etwas Spitzenleistung gegen Latenz, Durchsatz und Preis tauschen. Die These dahinter: Produktives RAG braucht selten das größte verfügbare Modell. Es braucht ein Modell, das zuverlässig bei den Quellen bleibt — zu Kosten, die reale Anfragevolumina überstehen.

Command R in Zahlen

Command R hat 35 Milliarden Parameter und ein Kontextfenster von 128k Token, bepreist mit 0,50 $ pro Million Input-Token und 1,50 $ pro Million Output-Token. Zum Vergleich: GPT-4 Turbo (November 2023) kostet 10,00 $ bzw. 30,00 $ für dieselben Mengen. Coheres eigene Benchmarks sehen Command R bei End-to-End-RAG vor GPT-3.5 Turbo. Herstellerbenchmarks verdienen Skepsis; die Preise sind ein Fakt.

Zwei weitere Zahlen sind für europäische Deployments relevant. Das Modell deckt 10 Geschäftssprachen ab, darunter Deutsch, Französisch, Spanisch, Japanisch und Arabisch — wichtig überall dort, wo Quelldokumente nicht auf Englisch vorliegen. Und die Gewichte sind auf Hugging Face unter CC-BY-NC-Lizenz öffentlich: offen für Forschung und Evaluation, ausdrücklich nicht für kommerzielles Self-Hosting.

Eigenschaft	Command R (März 2024)
Veröffentlichung	11. März 2024
Parameter	35 Milliarden
Kontextfenster	128k Token
API-Preis	0,50 $ / 1,50 $ pro 1 Mio. Input-/Output-Token
Sprachen	10 Geschäftssprachen darunter Deutsch
Gewichte	Offen auf Hugging Face (CC-BY-NC / nicht-kommerziell)

Zitate als API-Vertrag

Der Mechanismus ist ein API-Vertrag. Coheres Chat-Endpoint akzeptiert einen documents-Parameter: eine Liste von Textausschnitten mit IDs, typischerweise der Output Ihrer Retrieval-Pipeline. Die Antwort enthält neben dem generierten Text eine Liste von Zitatobjekten. Jedes trägt Start- und End-Indizes in die generierte Antwort, die zitierte Textspanne und die IDs der belegenden Dokumente. Zitate sind strukturierte Daten, keine Prosa.

Der strukturierte Vertrag erweitert damit den Handlungsspielraum des Produkts. Eine Oberfläche kann exakt markieren, welcher Satz auf welcher Quelle beruht. Eine Testsuite kann die Grounding-Abdeckung — den Anteil des Antworttexts mit Zitatbeleg — als Regressionsmetrik berechnen. Eine Compliance-Schicht kann Antworten verwerfen, deren kritische Aussagen unbelegt bleiben. Solange Attribution nur irgendwo im Freitext steht, ist nichts davon zuverlässig umsetzbar.

Tool Use als zweite Säule

Command R startet mit einer zweiten trainierten Fähigkeit: Tool Use. Das Modell gibt strukturierte Funktionsaufrufe aus — an Suchendpunkte, Datenbanken, Rechner, interne APIs — und verarbeitet die Ergebnisse in eine belegte Antwort. Retrieval selbst wird ein Werkzeug unter mehreren. Das vereinheitlicht RAG und Systemintegration unter einem Mechanismus — und deshalb behandeln wir RAG-getunt und Tool-getunt als eine Kategorie, nicht als zwei.

Hier ist Abgrenzung wichtig. Stand heute unterstützt die API Single-Step Tool Use: eine Runde Aufrufe, dann eine Antwort. Verkettung — den Output eines Tools nutzen, um den nächsten Aufruf zu bestimmen — bleibt Anwendungscode, typischerweise eine handgeschriebene Schleife oder ein Orchestrierungs-Framework, mit den entsprechenden Latenz- und Debugging-Kosten. Modelle, die Multi-Step-Tool-Sequenzen nativ planen, sind der naheliegende nächste Schritt. In Coheres Portfolio existieren sie heute nicht.

Was Grounded Generation nicht löst

Grounded Generation attribuiert; sie verifiziert nicht. Ist das abgerufene Dokument falsch oder veraltet, produziert das Modell eine selbstbewusst zitierte falsche Antwort. Zitate verlagern die Vertrauensfrage vom Modell auf den Korpus. Das ist ein Fortschritt — ein Korpus lässt sich kuratieren, versionieren und auditieren —, aber keine Lösung. Garbage in bleibt Garbage out, jetzt mit Quellenangabe.

Die Retrieval-Qualität bleibt entscheidend. Ein zitierfähiger Generator kann keinen Suchschritt reparieren, der die falschen Passagen liefert. Embedding-Modelle wie Coheres Embed v3 (November 2023), Reranker und die Chunking-Strategie bleiben damit auf dem kritischen Pfad. Auch das 128k-Fenster ersetzt Retrieval nicht: Kosten und Latenz skalieren mit den Input-Token, und das Kontextfenster zu füllen ist die teure Form von Bequemlichkeit. Grounding reduziert Halluzinationen. Kein Anbieter behauptet, es eliminiere sie — und keiner sollte.

Ausblick vom April 2024

Unsere Erwartungen, festgehalten am 1. April 2024. Erstens: Die skalierbare Kategorie füllt sich schnell. Command R wird nicht allein in seiner Klasse bleiben; ein größeres Geschwistermodell mit demselben RAG- und Zitat-Training ist eine absehbare Veröffentlichung in Monaten, nicht Jahren. Zweitens: Multi-Step Tool Use wandert im Laufe des Jahres 2024 aus Anwendungs-Frameworks in die Modelle selbst — das Trainingsrezept, das Zitate erzeugt, kann auch Pläne erzeugen.

Drittens die größere Wette: Bis 2025 werden maschinenlesbare Zitate bei der Beschaffung von Unternehmens-RAG ebenso selbstverständlich abgefragt wie SSO bei SaaS. Bei Blue IT Systems behandeln wir Zitatspannen bereits als Teil der Systemschnittstelle — getestet, versioniert und überwacht —, nicht als Dekoration der Oberfläche. Command R hat damit eine klare Messlatte gesetzt: Grounded Generation ist eine Produktanforderung, keine nachträgliche Ergänzung. Wir erwarten nicht, dass der Markt dahinter zurückfällt.