04.01.2025 AI Engineering5 Minuten Lesezeit

Agentisches RAG: Wenn Retrieval-Schleifen den Einzelabruf schlagen

Agentisches RAG ersetzt den einmaligen Abruf durch eine begrenzte Suchschleife. Wir ordnen die Evidenz aus IRCoT, Self-RAG und CRAG ein, zeigen, wann iterative Suche wirklich hilft, und erklären, warum ein Router, ein guter Index und harte Kostenlimits vor jeder Schleife kommen.

Die Grenzen des einmaligen Retrievals

Klassisches RAG folgt einer festen Pipeline: Anfrage einbetten, Top-k-Chunks abrufen, Antwort generieren. Es gibt einen Abruf, eine Generierung und keine zweite Chance. Für Faktenfragen gegen ein sauberes Korpus reicht das häufig aus. Bei Multi-Hop-Fragen scheitert der Ansatz dagegen systematisch, weil die richtige zweite Suchanfrage erst aus dem ersten Ergebnis entsteht. Das Embedding der vollständigen Frage trifft nur selten genau das Dokument, das den nächsten Schritt enthält.

Problematisch ist nicht nur der Fehler, sondern seine Unsichtbarkeit. Liefert der erste Abruf Rauschen, generiert das Modell dennoch eine flüssige, selbstsichere und unbelegte Antwort. Eine Pipeline ohne Rückfrage oder erneuten Abruf kann sich von einem schlechten ersten Treffer nicht erholen. Agentisches RAG ergänzt genau diese Möglichkeit — zu messbaren Kosten.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was RAG agentisch macht

Anthropics Engineering-Leitfaden vom 19. Dezember 2024 zieht eine nützliche Grenze: Workflows folgen vordefinierten Codepfaden, Agenten steuern ihren Prozess selbst. Agentisches RAG wendet diese Unterscheidung auf Retrieval an. Das Modell entscheidet, ob es sucht, welche Anfrage es stellt, ob die Ergebnisse ausreichen und wann es stoppt. Retrieval wird zu einem Werkzeug, das das Modell aufruft — nicht zu einer Stufe, die es durchläuft.

Das Prinzip ist älter als der Begriff. ReAct verzahnte im Oktober 2022 Denkschritte mit Aktionen, IRCoT wechselte im Dezember 2022 zwischen Chain-of-Thought und Retrieval, und FLARE suchte ab Mai 2023 während der Generierung nach, sobald die Token-Konfidenz sank. Neu ist Anfang 2025 nicht die Idee, sondern ihre Praxistauglichkeit: Aktuelle Modelle rufen Werkzeuge verlässlich genug auf, dass solche Schleifen heute in Produktionscode statt nur in Forschungsumgebungen laufen.

Query-Zerlegung in der Praxis

Query-Zerlegung teilt eine zusammengesetzte Frage in Teilanfragen und ruft für jede separat ab. "Welcher unserer beiden Lieferanten hatte 2023 den höheren Audit-Score?" wird zu zwei Abfragen und einem Vergleich. Die Zahlen sind konkret: IRCoT mit GPT-3 (code-davinci-002) verbesserte den Retrieval-Recall um 11 bis 21 Punkte und die nachgelagerte QA-Leistung um bis zu 15 F1-Punkte auf HotpotQA, 2WikiMultihopQA, MuSiQue und IIRC — und reduzierte Faktenfehler in den Begründungsketten um bis zu 50 Prozent.

Der Geltungsbereich ist eng. Zerlegung hilft bei zusammengesetzten und Multi-Hop-Fragen. Sie hilft nicht, wenn das Korpus die Antwort nicht enthält, und erhöht die Latenz jeder Anfrage um einen LLM-Aufruf plus mehrere Abrufe — auch bei einfachen Anfragen, sofern ein Router diese nicht vorher aussortiert.

Iterative Suche mit Selbstkritik

Selbstkritik schließt die Schleife. Self-RAG (Oktober 2023) trainierte Modelle auf Reflection-Tokens: Abruf bei Bedarf, danach Bewertung jeder Passage auf Relevanz und jedes generierten Segments auf Beleg. Die 7B- und 13B-Modelle übertrafen ChatGPT bei Open-Domain-QA und Faktenprüfung. CRAG (Januar 2024) ergänzte einen leichtgewichtigen Retrieval-Evaluator, der abgerufene Dokumente bewertet und bei niedriger Konfidenz Korrekturen auslöst, darunter einen Websuche-Fallback.

Für den Produktionseinsatz wird dafür selten ein Modell nachtrainiert. Üblicher ist eine bewertete Schleife: Chunks abrufen, sie von einem LLM gegen die Frage prüfen lassen, bei Ablehnung die Anfrage umformulieren und erneut suchen. Anthropic beschreibt dieselbe Struktur als Evaluator-Optimizer-Workflow. Zwei bis drei Iterationen beheben die meisten lösbaren Fehler. Bleibt die Schleife länger offen, liegt das Problem meist im Korpus oder Index, nicht in der Anfrageformulierung.

Wann eine Schleife den Einzelabruf schlägt

Eine Schleife lohnt sich vor allem unter vier Bedingungen: Die nächste Suchanfrage hängt von Zwischenergebnissen ab, Frage und Dokumente verwenden unterschiedliches Vokabular, die Belege verteilen sich über heterogene Quellen oder eine falsche Antwort ist teuer. Für Faktenabfragen gegen ein gut indiziertes Korpus bleibt Einmal-Retrieval mit Reranker günstiger und schneller. Schon drei Iterationen können die Latenz grob um den Faktor drei bis zehn erhöhen.

Eine Schleife repariert keinen schwachen Index. Sind Chunking, Embeddings oder Filter defekt, liefert jede Iteration dasselbe Rauschen, und der Kritikschritt lehnt es zu Recht dauerhaft ab. Beheben Sie zuerst die Qualität des Einzelabrufs — hybride Suche, Reranking, besseres Chunking. In unseren Projekten bei Blue IT Systems ist die Schleife die letzte Optimierung, nicht die erste.

Ob sich diese Mehrkosten lohnen, lässt sich direkt messen. Führen Sie dasselbe Evaluationsset durch den Einmal- und den Schleifenpfad und stellen Sie Antwortqualität, Token-Verbrauch und Latenz pro Anfrage gegenüber. Verbessert die Schleife die Genauigkeit weniger als ein noch nicht ausgeliefertes Reranker-Upgrade, gehört zuerst der Reranker in Produktion.

Kostenkontrolle in Retrieval-Schleifen

Schleifen vervielfachen den Token-Verbrauch. Jede Iteration sendet den akkumulierten Kontext erneut, die Kosten wachsen daher schneller als linear mit der Iterationszahl. Ohne Limits kann eine pathologische Anfrage das Fünfzigfache des Medians kosten. Kostenkontrolle ist deshalb Teil der Architektur, kein Nachtrag.

Die wichtigsten Hebel sind Limits, Modellabstufung und Caching. Bewertung und Umformulierung brauchen kein Frontier-Modell: GPT-4o mini kostet 0,15 Dollar pro Million Input-Tokens und 0,60 Dollar pro Million Output-Tokens (Juli 2024), gegenüber 2,50 und 10,00 Dollar für GPT-4o. Prompt-Caching senkt den Preis erneut gesendeten Kontexts: Anthropic berechnet Cache-Reads mit 10 Prozent des Basis-Inputpreises, OpenAI rabattiert gecachten Input um 50 Prozent.

Protokollieren Sie Token-Zahlen pro Anfrage und pro Iteration vom ersten Tag an. Ein wöchentlicher Perzentilbericht zeigt, welche Anfragen in die Schleife gehen und warum. Nach unserer Erfahrung verursacht ein kleiner Teil der Anfragen den Großteil der Schleifenkosten; ein Router, der einfache Fragen auf den Einmal-Pfad schickt, entfernt den Großteil dieser Ausgaben ohne messbaren Qualitätsverlust.

Ausblick auf 2025

Aus Sicht von Anfang Januar 2025 dürften drei Entwicklungen das Jahr prägen. Erstens übernehmen Reasoning-Modelle wie OpenAIs o1 einen Teil der Planung, die heute im Schleifen-Code steckt; die Schleife wird kleiner, verschwindet aber nicht. Zweitens etablieren Frameworks wie LangGraph und die Workflows von LlamaIndex bewertete Retrieval-Schleifen als Standardbausteine, wodurch Telemetrie pro Iteration vom Eigenbau zum Default wird. Drittens deutet Anthropics Model Context Protocol auf standardisierten Zugriff auf Werkzeuge und Datenquellen — genau die Grundlage, die solche Schleifen brauchen.

Wir erwarten deshalb, dass bis Ende 2025 die meisten produktiven RAG-Systeme mindestens eine modellgesteuerte Retrieval-Entscheidung enthalten. Vollständig autonome Recherche-Agenten werden in regulierten europäischen Umgebungen dagegen die Ausnahme bleiben. Sinkende Kosten pro Iteration ändern daran nichts: Harte Abbruchbedingungen bleiben Pflicht. Erfolgreich werden nicht die Teams mit den längsten Schleifen sein, sondern jene, die deren Nutzen so sorgfältig messen wie ihre Implementierung.