Hybrides Retrieval und Reranker: Die Baseline 2025
Ein Leitfaden zum Retrieval-Stack, der 2025 zum Standard wurde: BM25 und dichte Vektoren, fusioniert per Reciprocal Rank Fusion und neu geordnet durch einen Cross-Encoder-Reranker. Wir behandeln die gemessenen Verbesserungen von Anthropic und Cohere, ein realistisches Latenzbudget, drei Reranker für die Produktion und die Frageklassen, die diese Baseline weiterhin nicht beantwortet.
Warum ein einzelner Retriever nicht genügt
Retrieval-Augmented Generation steht und fällt mit dem Retriever, und jeder einzelne Retriever hat einen blinden Fleck. BM25 matcht exakte Token. Es findet Fehlercodes, Artikelnummern und Aktenzeichen, erkennt aber nicht, dass "einen Vertrag kündigen" und "eine Vereinbarung beenden" dasselbe meinen. Dichte Embeddings erfassen genau diese Paraphrasen, verwischen dafür seltene Bezeichner und Fachjargon zu unscharfen Nachbarschaften. Die Fehlermodi ergänzen sich.
Der BEIR-Benchmark hat das messbar gemacht. Thakur et al. (2021) evaluierten Retriever zero-shot über 18 Datensätze: Die meisten dichten Modelle lagen außerhalb ihrer Trainingsdomäne hinter BM25, während BM25 mit nachgeschaltetem Cross-Encoder im Schnitt am besten abschnitt. Dieses Ergebnis hat die Architektur definiert, die die Branche heute als Baseline behandelt.
Anatomie der Baseline 2025
Die Baseline 2025 hat vier Stufen. Erstens: BM25 liefert die Top 50 bis 200 Chunks. Zweitens: Eine Approximate-Nearest-Neighbor-Suche über dichte Embeddings liefert ihre eigenen Top 50 bis 200. Drittens: Reciprocal Rank Fusion führt beide Listen zu einer zusammen. Viertens: Ein Cross-Encoder-Reranker bewertet die fusionierten Top 50 bis 100 Kandidaten gegen die Query und behält die besten 5 bis 20 für den Prompt.
Die Arbeitsteilung ist bewusst gewählt. Die ersten drei Stufen optimieren Recall und sind billig. Der Reranker optimiert Präzision und ist teuer, deshalb sieht er nur eine kurze Kandidatenliste. Wichtig ist, was das Design nicht leistet: Ein Reranker kann kein Dokument retten, das die erste Stufe nie gefunden hat. Recall-Fehler sind stromabwärts irreparabel.
Reciprocal Rank Fusion übernimmt das Mischen
RRF vergibt pro Dokument die Summe aus 1/(k + Rang) über alle Eingaberankings, mit k = 60. Cormack, Clarke und Büttcher publizierten das 2009 als zweiseitiges SIGIR-Paper. In ihren TREC-Experimenten schlug die fusionierte Rangliste Condorcet-Fusion, CombMNZ und das beste Einzelsystem um durchschnittlich 4 bis 5 Prozent. RRF braucht weder Trainingsdaten noch Score-Kalibrierung — entscheidend, denn BM25-Scores und Kosinus-Ähnlichkeiten leben auf inkompatiblen Skalen.
RRF hat bekannte Grenzen. Es nutzt nur Ränge; ein knapper erster Platz zählt exakt wie ein souveräner. Das Paper selbst berichtet, dass die Wahl von k unkritisch ist. Gewichtete Varianten lassen Sie einen Retriever bevorzugen, doch die ungewichtete Form bleibt der Standard, weil es an ihr nichts zu tunen gibt.
Drei Reranker im Vergleich
Ein Cross-Encoder liest Query und Dokument gemeinsam durch einen Transformer und gibt einen Relevanz-Score aus. Diese gemeinsame Attention erklärt, warum er Bi-Encoder schlägt — und warum sich seine Scores nicht vorberechnen lassen. Drei Modelle dominieren Mitte 2025 unsere Projektarbeit; alle drei sind an derselben Pipeline-Position austauschbar.
Cohere Rerank 3.5 deckt über 100 Sprachen ab und behandelt Queries mit mehreren Bedingungen gut; der Preis ist eine API-Abhängigkeit bei nicht offengelegten Gewichten. bge-reranker-v2-m3 ist die Standardwahl für Self-Hosting unter Apache 2.0. Jinas Release von jina-reranker-m0 im April 2025 — ein multimodales 2,4B-Modell, das Seitenbilder in 29 Sprachen rankt — zeigt, wohin sich die Kategorie bewegt.
| Modell | Veröffentlicht | Parameter | Max. Kontext | Zugang |
|---|---|---|---|---|
| Cohere Rerank 3.5 | Dez. 2024 | nicht offengelegt | 4.096 Token | API (Cohere, Amazon Bedrock) |
| jina-reranker-v2-base-multilingual | Juni 2024 | 278M | 8.192 Token | API; offene Gewichte (nicht-kommerziell) |
| BAAI bge-reranker-v2-m3 | März 2024 | 568M | 8.192 Token (feinjustiert bis 1.024) | Self-Hosting, Apache 2.0 |
Was die Messungen zeigen
Anthropics Contextual-Retrieval-Studie vom September 2024 ist die sauberste öffentliche Messung des Stacks. Hybrides Retrieval — kontextuelle Embeddings plus kontextuelles BM25 — senkte die Top-20-Fehlerrate von 5,7 auf 2,9 Prozent, eine Reduktion um 49 Prozent. Ein zusätzlicher Reranker drückte sie auf 1,9 Prozent, 67 Prozent unter Baseline. Jede Stufe baute auf der vorherigen auf.
Coheres interne Benchmarks vom Dezember 2024 melden für Rerank 3.5 auf Finanzdatensätzen 23,4 Prozent mehr nDCG@10 als hybride Suche und 30,8 Prozent mehr als BM25 allein. Behandeln Sie Herstellerzahlen als Obergrenze für fremde Domänen. Der einzige Lift, der zählt, ist der, den Sie auf Ihrem eigenen gelabelten Query-Set messen.
Das Latenzbudget planen
Lexikalische Suche und ANN-Suche antworten auf Korpora mit wenigen Millionen Chunks jeweils in ein- bis niedrig zweistelligen Millisekunden; RRF ist Arithmetik. Der Reranker dominiert das Budget. Anthropics Cookbook beziffert Reranking auf grob 100 bis 200 Millisekunden pro Query, abhängig von der Kandidatenzahl. Ein realistisches Retrieval-Budget liegt Ende-zu-Ende bei 150 bis 300 Millisekunden — wenig neben den Sekunden, die ein LLM generiert.
Die Kosten skalieren linear mit den Kandidaten; der wichtigste Hebel ist also, wie viele Dokumente Sie reranken. 100 statt 50 verdoppelt die Latenz für einen Recall-Gewinn, der schnell abflacht. Dokumente zu kürzen hilft: bge-reranker-v2-m3 wurde bei 1.024 Token feinjustiert, und BAAI empfiehlt, die Eingabe dort zu kappen. Self-Hosting auf einer GPU spart den API-Roundtrip, kostet aber Betriebsaufwand.
Wenn die Baseline nicht reicht
Die Baseline findet Passagen, die der Query ähneln. Ganze Frageklassen liegen außerhalb dieses Vertrags. Aggregationen — wie viele Verträge laufen dieses Quartal aus — sind Fragen an das Korpus, nicht an eine Passage; kein Top-k beantwortet sie. Multi-Hop-Fragen brauchen Evidenz über mehrere Dokumente hinweg, die eine einzelne Query nie gemeinsam findet. Vergleiche und Trendfragen verstreuen ihre Antwort über Dutzende Chunks.
Die Abhilfen stehen neben der Baseline, nicht in ihr. Kontextuelle Chunk-Anreicherung bekämpft Mehrdeutigkeit zur Indexzeit. Query-Dekomposition und iteratives Retrieval lassen ein Modell mehrere gezielte Queries stellen. Aggregation gehört in strukturierte Speicher mit SQL, und Metadaten-Filter schlagen semantische Ähnlichkeit überall dort, wo eine harte Bedingung existiert. Die Baseline ist ein Boden, keine Architektur.
Ausblick vom Juli 2025
Drei Entwicklungen erscheinen aus Sicht vom Juli 2025 wahrscheinlich. Reranker werden multimodal: jina-reranker-m0 rankt bereits Seitenbilder neben Text, und wir erwarten, dass API-Reranker binnen eines Jahres folgen. Listwise-Reranking mit kleinen LLMs wird billig genug, um Cross-Encodern auf qualitätskritischen Pfaden Konkurrenz zu machen. Und Fusion plus Reranking könnten zu einer einzigen gelernten Stufe verschmelzen.
Die größere Verschiebung ist agentisch. Modelle stellen zunehmend eigene Queries, prüfen Ergebnisse und verfeinern — Retrieval wird eine Schleife, keine Stufe. Das schafft die hybride Baseline nicht ab; es vervielfacht, wie oft sie läuft, und macht das Latenzbudget damit strenger, nicht lockerer. Wachsende Kontextfenster ändern, wie viel Sie abrufen, nicht ob. Wir bei Blue IT Systems bauen auf dieser Annahme.
Quellen
- Cormack, Clarke, Büttcher: Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (SIGIR, 19 Jul 2009)
- Thakur et al.: BEIR — A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models (arXiv, 17 Apr 2021)
- Anthropic: Introducing Contextual Retrieval (19 Sep 2024)
- Cohere: Introducing Rerank 3.5 — Precise AI Search (2 Dec 2024)
- BAAI: bge-reranker-v2-m3 model card (Hugging Face, Mar 2024)
- Jina AI: jina-reranker-m0 — Multilingual Multimodal Document Reranker (8 Apr 2025)