Hybrides Retrieval und Reranker: Die Baseline 2025
Die Retrieval-Baseline 2025 kombiniert BM25 und dichte Vektoren per Reciprocal Rank Fusion und ordnet die Kandidaten anschließend mit einem Cross-Encoder neu. Wir bewerten die gemessenen Zugewinne von Anthropic und Cohere, ein realistisches Latenzbudget, drei produktionsreife Reranker und die Frageklassen, die auch dieser Stack nicht beantwortet.
Warum ein einzelner Retriever nicht genügt
Retrieval-Augmented Generation steht und fällt mit dem Retriever, doch jeder einzelne Ansatz hat einen blinden Fleck. BM25 trifft exakte Token und findet Fehlercodes, Artikelnummern oder Aktenzeichen, erkennt aber nicht, dass "einen Vertrag kündigen" und "eine Vereinbarung beenden" dasselbe meinen. Dichte Embeddings erfassen solche Paraphrasen, verwischen dafür seltene Bezeichner und Fachjargon zu unscharfen Nachbarschaften. Gerade diese gegensätzlichen Fehlermodi machen die Kombination wertvoll.
Der BEIR-Benchmark hat das messbar gemacht. Thakur et al. (2021) evaluierten Retriever zero-shot über 18 Datensätze: Die meisten dichten Modelle lagen außerhalb ihrer Trainingsdomäne hinter BM25, während BM25 mit nachgeschaltetem Cross-Encoder im Schnitt am besten abschnitt. Dieses Ergebnis hat die Architektur definiert, die die Branche heute als Baseline behandelt.
Anatomie der Baseline 2025
Die Baseline 2025 hat vier Stufen. Erstens: BM25 liefert die Top 50 bis 200 Chunks. Zweitens: Eine Approximate-Nearest-Neighbor-Suche über dichte Embeddings liefert ihre eigenen Top 50 bis 200. Drittens: Reciprocal Rank Fusion führt beide Listen zu einer zusammen. Viertens: Ein Cross-Encoder-Reranker bewertet die fusionierten Top 50 bis 100 Kandidaten gegen die Query und behält die besten 5 bis 20 für den Prompt.
Diese Arbeitsteilung ist bewusst gewählt: Die ersten drei Stufen optimieren kostengünstig den Recall. Der teure Reranker optimiert anschließend die Präzision und sieht deshalb nur eine kurze Kandidatenliste. Darin liegt zugleich die Grenze des Designs: Ein Reranker kann kein Dokument retten, das die erste Stufe nie gefunden hat. Recall-Fehler lassen sich stromabwärts nicht reparieren.
Reciprocal Rank Fusion übernimmt das Mischen
RRF vergibt pro Dokument die Summe aus 1/(k + Rang) über alle Eingaberankings, mit k = 60. Cormack, Clarke und Büttcher publizierten das 2009 als zweiseitiges SIGIR-Paper. In ihren TREC-Experimenten schlug die fusionierte Rangliste Condorcet-Fusion, CombMNZ und das beste Einzelsystem um durchschnittlich 4 bis 5 Prozent. RRF braucht weder Trainingsdaten noch Score-Kalibrierung — entscheidend, denn BM25-Scores und Kosinus-Ähnlichkeiten leben auf inkompatiblen Skalen.
RRF bringt zugleich klare Grenzen mit. Es betrachtet ausschließlich Ränge, sodass ein knapper erster Platz genauso zählt wie ein souveräner. Laut Paper ist die Wahl von k weitgehend unkritisch. Gewichtete Varianten können einen Retriever bevorzugen; die ungewichtete Form bleibt dennoch der Standard, gerade weil sie ohne zusätzliches Tuning auskommt.
Drei Reranker im Vergleich
Ein Cross-Encoder liest Query und Dokument gemeinsam durch einen Transformer und gibt einen Relevanz-Score aus. Diese gemeinsame Attention erklärt, warum er Bi-Encoder schlägt — und warum sich seine Scores nicht vorberechnen lassen. Drei Modelle dominieren Mitte 2025 unsere Projektarbeit; alle drei sind an derselben Pipeline-Position austauschbar.
Cohere Rerank 3.5 deckt über 100 Sprachen ab und behandelt Queries mit mehreren Bedingungen gut; der Preis ist eine API-Abhängigkeit bei nicht offengelegten Gewichten. bge-reranker-v2-m3 ist die Standardwahl für Self-Hosting unter Apache 2.0. Jinas Release von jina-reranker-m0 im April 2025 — ein multimodales 2,4B-Modell, das Seitenbilder in 29 Sprachen rankt — zeigt, wohin sich die Kategorie bewegt.
| Modell | Veröffentlicht | Parameter | Max. Kontext | Zugang |
|---|---|---|---|---|
| Cohere Rerank 3.5 | Dez. 2024 | nicht offengelegt | 4.096 Token | API (Cohere, Amazon Bedrock) |
| jina-reranker-v2-base-multilingual | Juni 2024 | 278M | 8.192 Token | API; offene Gewichte (nicht-kommerziell) |
| BAAI bge-reranker-v2-m3 | März 2024 | 568M | 8.192 Token (feinjustiert bis 1.024) | Self-Hosting, Apache 2.0 |
Was die Messungen zeigen
Anthropics Contextual-Retrieval-Studie vom September 2024 ist die sauberste öffentliche Messung des Stacks. Hybrides Retrieval — kontextuelle Embeddings plus kontextuelles BM25 — senkte die Top-20-Fehlerrate von 5,7 auf 2,9 Prozent, eine Reduktion um 49 Prozent. Ein zusätzlicher Reranker drückte sie auf 1,9 Prozent, 67 Prozent unter Baseline. Jede Stufe baute auf der vorherigen auf.
Coheres interne Benchmarks vom Dezember 2024 melden für Rerank 3.5 auf Finanzdatensätzen 23,4 Prozent mehr nDCG@10 als hybride Suche und 30,8 Prozent mehr als BM25 allein. Für fremde Domänen sind solche Herstellerwerte höchstens eine Obergrenze. Ausschlaggebend ist allein der Zugewinn auf Ihrem eigenen gelabelten Query-Set.
Das Latenzbudget planen
Lexikalische Suche und ANN-Suche antworten auf Korpora mit wenigen Millionen Chunks jeweils in ein- bis niedrig zweistelligen Millisekunden; RRF ist Arithmetik. Der Reranker dominiert das Budget. Anthropics Cookbook beziffert Reranking auf grob 100 bis 200 Millisekunden pro Query, abhängig von der Kandidatenzahl. Ein realistisches Retrieval-Budget liegt Ende-zu-Ende bei 150 bis 300 Millisekunden — wenig neben den Sekunden, die ein LLM generiert.
Die Kosten skalieren linear mit den Kandidaten; der wichtigste Hebel ist also, wie viele Dokumente Sie reranken. 100 statt 50 verdoppelt die Latenz für einen Recall-Gewinn, der schnell abflacht. Dokumente zu kürzen hilft: bge-reranker-v2-m3 wurde bei 1.024 Token feinjustiert, und BAAI empfiehlt, die Eingabe dort zu kappen. Self-Hosting auf einer GPU spart den API-Roundtrip, kostet aber Betriebsaufwand.
Wenn die Baseline nicht reicht
Die Baseline findet Passagen, die der Query ähneln. Ganze Frageklassen liegen außerhalb dieses Vertrags. Aggregationen — wie viele Verträge laufen dieses Quartal aus — sind Fragen an das Korpus, nicht an eine Passage; kein Top-k beantwortet sie. Multi-Hop-Fragen brauchen Evidenz über mehrere Dokumente hinweg, die eine einzelne Query nie gemeinsam findet. Vergleiche und Trendfragen verstreuen ihre Antwort über Dutzende Chunks.
Die passenden Erweiterungen liegen neben der Baseline, nicht in ihr. Kontextuelle Chunk-Anreicherung reduziert Mehrdeutigkeit bereits bei der Indexierung; Query-Dekomposition und iteratives Retrieval erlauben mehrere gezielte Suchläufe. Aggregationen gehören in strukturierte Speicher mit SQL, und bei harten Bedingungen sind Metadatenfilter präziser als semantische Ähnlichkeit. Die Baseline liefert damit einen verlässlichen Ausgangspunkt, aber noch keine vollständige Architektur.
Ausblick vom Juli 2025
Drei Entwicklungen erscheinen aus Sicht vom Juli 2025 wahrscheinlich. Reranker werden multimodal: jina-reranker-m0 rankt bereits Seitenbilder neben Text, und wir erwarten, dass API-Reranker binnen eines Jahres folgen. Listwise-Reranking mit kleinen LLMs wird billig genug, um Cross-Encodern auf qualitätskritischen Pfaden Konkurrenz zu machen. Und Fusion plus Reranking könnten zu einer einzigen gelernten Stufe verschmelzen.
Die größere Verschiebung ist agentisch: Modelle formulieren zunehmend eigene Queries, prüfen Ergebnisse und verfeinern ihre Suche. Retrieval wird dadurch zur Schleife statt zur einmaligen Stufe. Die hybride Baseline bleibt bestehen, läuft aber häufiger; ihr Latenzbudget wird deshalb strenger, nicht großzügiger. Auch wachsende Kontextfenster verändern vor allem die Abrufmenge, nicht die Notwendigkeit des Abrufs. Auf dieser Annahme bauen wir bei Blue IT Systems.
Quellen
- Cormack, Clarke, Büttcher: Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (SIGIR, 19 Jul 2009)
- Thakur et al.: BEIR — A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models (arXiv, 17 Apr 2021)
- Anthropic: Introducing Contextual Retrieval (19 Sep 2024)
- Cohere: Introducing Rerank 3.5 — Precise AI Search (2 Dec 2024)
- BAAI: bge-reranker-v2-m3 model card (Hugging Face, Mar 2024)
- Jina AI: jina-reranker-m0 — Multilingual Multimodal Document Reranker (8 Apr 2025)