28.11.2024 AI Engineering 5 Minuten Lesezeit

LazyGraphRAG: Die Ökonomie aufgeschobener Zusammenfassung

LazyGraphRAG von Microsoft Research verschiebt die gesamte LLM-Zusammenfassung von der Indexierung in die Anfragezeit. Die Indexierungskosten sinken auf 0,1 % von vollem GraphRAG — identisch mit Vektor-RAG —, während die Antwortqualität GraphRAG Global Search bei einem Bruchteil der Anfragekosten erreicht oder übertrifft. Wir analysieren Mechanismus, Benchmark-Zahlen und die Kompromisse für den Produktiveinsatz.

Der Preis eines Graph-Index

Vektorbasiertes RAG findet Textabschnitte über Embedding-Ähnlichkeit. Das funktioniert für lokale Fragen, deren Antwort in wenigen Passagen steht. Es scheitert an globalen Fragen — "Was sind die zentralen Themen dieses Korpus?" —, weil kein einzelner Abschnitt die Antwort enthält. GraphRAG, im April 2024 von Microsoft Research publiziert, löst das: Ein LLM extrahiert einen Entitätsgraphen aus dem Korpus und fasst Cluster verwandter Entitäten vorab zusammen. Die Antwortqualität bei globalen Fragen steigt messbar.

Der Preis ist der Index. Jeder Textabschnitt durchläuft ein LLM, bevor die erste Frage gestellt werden kann. Die Indexierungskosten wachsen linear mit der Korpusgröße, und ein großer Teil der Zusammenfassungen wird nie von einer Anfrage berührt. Für große oder häufig wechselnde Korpora war diese Vorabrechnung bislang das Hauptargument gegen Graph-RAG im Produktivbetrieb.

Entitäten und Relationen werden aus jedem Dokument extrahiert. 1/4

Was GraphRAG vorab berechnet

Die GraphRAG-Pipeline zerlegt das Korpus in Chunks, extrahiert per LLM Entitäten und Relationen, partitioniert den Graphen mit dem Leiden-Algorithmus in hierarchische Communities und erzeugt für jede Community einen Report — bottom-up, Ebene für Ebene. Zur Anfragezeit liefert ein Map-Reduce-Durchlauf über diese Reports die globale Antwort. Seit dem 2. Juli 2024 ist die Methode Open Source.

Der dominante Kostentreiber ist die LLM-basierte Extraktion und Zusammenfassung. Microsoft Research erklärte bereits im Juli 2024, NLP-basierte Approximationen des Wissensgraphen zu untersuchen, um Auswertungen "mit minimalen Vorab-Indexierungskosten" zu ermöglichen. LazyGraphRAG, im November 2024 von Darren Edge, Ha Trinh und Jonathan Larson vorgestellt, ist das Ergebnis dieser Arbeit.

Die lazy Inversion

LazyGraphRAG entfernt das LLM vollständig aus der Indexierung. Der Index besteht aus eingebetteten Text-Chunks und einem Konzeptgraphen aus Nominalphrasen-Extraktion und Kookkurrenz-Statistik — klassisches NLP, keine Generierung. Community-Detection läuft weiterhin auf diesem Graphen. Microsoft beziffert den Effekt: Die Indexierungskosten sind identisch mit Vektor-RAG und betragen 0,1 % der Kosten von vollem GraphRAG.

Die Zusammenfassung entfällt nicht, sie wird verschoben. Alle LLM-Arbeit findet zur Anfragezeit statt — und nur für die Regionen des Korpus, die eine konkrete Anfrage tatsächlich berührt. Nichts wird zusammengefasst, wonach niemand fragt. Das ist die gesamte Idee, und sie ist ökonomischer Natur, kein algorithmischer Durchbruch bei der Modellqualität.

Anfragezeit als Suchprozess

Eine Anfrage wird zunächst per LLM in Teilanfragen zerlegt und gegen den Konzeptgraphen abgeglichen. Kandidaten-Chunks werden nach Embedding-Ähnlichkeit und Community-Struktur gerankt. Ein günstiges LLM führt anschließend Relevanztests auf Satzebene durch, während die Suche die Community-Hierarchie im Iterative-Deepening-Verfahren absteigt — eine Kombination aus Best-First- und Breadth-First-Dynamik. Zweige ohne relevante Treffer werden beschnitten. Relevante Aussagen werden extrahiert, gerankt und zur Antwort synthetisiert.

Ein Parameter steuert alles: das Relevanztest-Budget. Es begrenzt die Zahl der LLM-Relevanztests pro Anfrage und legt damit den Kosten-Qualitäts-Kompromiss auf einer einzigen Achse fest. Ein Budget von 100 mit einem günstigen Modell kostet pro Anfrage etwa so viel wie Standard-Vektor-RAG; Budgets von 500 und 1.500 kaufen messbar bessere Antworten.

Die Benchmark-Zahlen

Microsoft evaluierte LazyGraphRAG auf 5.590 AP-Nachrichtenartikeln mit 100 synthetischen Anfragen (50 lokal, 50 global) gegen acht Bedingungen: Vektor-RAG mit 8K- und 64K-Token-Kontext, RAPTOR sowie GraphRAG Local, Global (Ebenen C1, C2, C3 mit dynamischer Community-Auswahl) und DRIFT Search. Metriken waren Comprehensiveness, Diversity und Empowerment, bewertet durch ein LLM im direkten Paarvergleich.

Zwei Einschränkungen gehören neben diese Zahlen. Sie stammen aus einem einzelnen Datensatz mit synthetischen Anfragen, und die Metriken sind LLM-Präferenzurteile, keine verifizierte faktische Korrektheit. Die Ergebnisse sind stark, aber noch nicht unabhängig reproduziert. Fachkorpora verhalten sich anders als Nachrichtentexte.

Konfiguration	Relevanztest-Budget	Anfragekosten	Berichtetes Ergebnis
Z100_Lite	100 (durchgehend günstiges LLM)	≈ Vektor-RAG (8K-Kontext)	Bestwert bei lokalen Anfragen; GraphRAG-Global-Qualität bei über 700-fach niedrigeren Anfragekosten
Z500	500 (günstige Tests; stärkeres LLM für Antworten)	4 % von GraphRAG Global Search (C2)	Übertrifft alle acht Vergleichsbedingungen bei lokalen und globalen Anfragen signifikant
Z1500	1.500 (gleiche Modellaufteilung)	Weiterhin ein Bruchteil von C2	Gewinnraten steigen mit dem Budget weiter

Was LazyGraphRAG nicht löst

LazyGraphRAG erzeugt keine dauerhaften Wissensartefakte. Volles GraphRAG hinterlässt einen typisierten Entitätsgraphen und lesbare Community-Reports, die Analysten durchsuchen können; das sind eigenständige Produkte. Ein Konzeptgraph aus Nominalphrasen ist verrauschter und nicht für menschliche Leser gedacht. Wenn Sie den Graphen selbst benötigen — für Exploration, Audits oder nachgelagerte Analytik —, brauchen Sie weiterhin den teuren Index.

Die Kosten verschwinden nicht, sie wandern. Jede Anfrage bezahlt bis zu mehrere hundert Relevanztests, was Latenz und laufende Kosten erzeugt. Für ein stabiles Korpus mit sehr hohem Anfragevolumen kann ein amortisierter GraphRAG-Index in Summe weiterhin günstiger sein. Und Stand heute ist die Implementierung nicht veröffentlicht — Microsoft hat sie für die Open-Source-GraphRAG-Bibliothek angekündigt.

Konsequenzen für den Systementwurf

Für unsere eigenen Retrieval-Systeme bei Blue IT Systems lautet die Entscheidungsregel künftig: lazy als Standard. Einmalanalysen, explorative Arbeit und Streaming-Korpora erhalten den günstigen Index; vorberechnete Zusammenfassungen rechtfertigen sich nur durch hohes Anfragevolumen auf stabilem Korpus oder durch den expliziten Bedarf an lesbaren Reports. Das Relevanztest-Budget macht Retrieval-Kosten zu einer Entscheidung pro Request — eine Eigenschaft, die weder Vektor-RAG noch volles GraphRAG bot.

Microsoft positioniert LazyGraphRAG zudem als Benchmark-Instrument: Jeder neue RAG-Ansatz sollte angeben, welches Budget-Niveau er schlägt. Diese Disziplin halten wir für sinnvoll. Eine Methode, die eine Lazy-Baseline mit Budget 100 nicht übertrifft, hat kein Kostenargument mehr.

Ausblick im November 2024

Stand November 2024 ist der Code angekündigt, aber nicht verfügbar. Wir erwarten die Implementierung in der Open-Source-GraphRAG-Bibliothek innerhalb weniger Monate — und danach hybride Designs: überall der günstige NLP-Index, LLM-Zusammenfassungen selektiv für Communities, die von Anfragen häufig besucht werden. Ein Cache, den die Nachfrage wärmt, statt eines Index, der auf Verdacht gebaut wird.

Halten die Zahlen auf Fachkorpora, ist der Satz "Graph-RAG ist zu teuer" ab diesem Monat falsch. Das größere Muster dürfte bleiben: Modellkapazität zur Anfragezeit einsetzen, gesteuert durch das, was tatsächlich gefragt wird — statt Antworten auf Fragen vorzuberechnen, die niemand stellt. Wir erwarten, dass 2025 mehr Systeme so gebaut werden.