Hybride Suche: BM25 ist nicht tot
Reine Vektorsuche verfehlt Artikelnummern, Fehlercodes und andere exakte Bezeichner. Wir erklären die komplementären Stärken von BM25 und Dense Retrieval, zeigen die scorefreie Fusion per Reciprocal Rank Fusion und ordnen die gemessenen Zugewinne hybrider Suche sowie früher Reranker wie Cohere Rerank anhand von Benchmarks aus dem Jahr 2023 ein.
Warum reine Vektorsuche exakte Bezeichner verfehlt
2023 etablierte sich ein Standard-Stack für RAG-Anwendungen: Dokumente in Chunks zerlegen, jeden Chunk mit einem Modell wie OpenAIs text-embedding-ada-002 einbetten, die Vektoren in einem ANN-Index speichern und per Kosinus-Ähnlichkeit abrufen. Paraphrasierte Fragen bedient dieser Ansatz gut. Vorhersagbar schwach ist er jedoch bei alltäglichen exakten Anfragen nach Artikelnummern, Fehlercodes, Rechnungsnummern, Funktionsnamen oder Normverweisen.
Das Scheitern ist strukturell, kein Tuning-Problem. Ein Embedding komprimiert einen Chunk in einen Vektor fester Länge — 1.536 Dimensionen bei ada-002. Seltene Bezeichner wie DIN 4108-2 oder eine konkrete SKU tragen zu diesem Vektor fast nichts bei. Microsoft hat das im September 2023 quantifiziert: Bei Keyword-artigen Anfragen erreichte reine Vektorsuche 11,7 NDCG@3, klassische Stichwortsuche 79,2. Der exakte Treffer, den der Nutzer verlangt, ist im Vektor schlicht nicht repräsentiert.
Was BM25 weiterhin besser kann
BM25 ist eine Ranking-Funktion aus dem Okapi-System, erstmals 1994 bei TREC-3 evaluiert. Sie bewertet ein Dokument über Termfrequenz, inverse Dokumentfrequenz und Dokumentlänge, gesteuert durch zwei Parameter, k1 und b. Sie matcht exakte Tokens, ihre Scores sind erklärbar, sie braucht weder Trainingsdaten noch GPU, und der invertierte Index ist günstig aufzubauen und zu aktualisieren.
Außerhalb der Trainingsdomäne ist BM25 zudem schwer zu schlagen. Der BEIR-Benchmark (Thakur et al., 2021) verglich Retrieval-Systeme zero-shot über 18 Datensätze und fand BM25 als starke Baseline, die viele auf MS MARCO trainierte Dense Retriever auf fremden Korpora nicht übertrafen. Was BM25 nicht kann: Es kennt weder Synonyme noch Paraphrasen. "Kündigungsfrist" und "notice period" teilen kein Token. Diese Lücke ist real — und es ist genau die Lücke, die Embeddings schließen.
Was dichte Embeddings beitragen
Dense Retrieval bildet Anfragen und Dokumente mit einem Bi-Encoder in denselben Vektorraum ab. Relevanz wird zu geometrischer Nähe. Das schließt die Vokabellücke: Paraphrasen, Synonyme und — mit mehrsprachigen Modellen — Anfragen über Sprachgrenzen hinweg finden die richtigen Passagen ohne gemeinsame Tokens. Seit Dezember 2022 ist text-embedding-ada-002 der pragmatische Standard; 2023 erreichten offene Modelle wie E5, GTE und BGE auf dem MTEB-Benchmark vergleichbare Qualität.
Auch die Grenzen sind konkret: Auf Domänen fern der Trainingsdaten sinkt die Qualität, Kosinus-Scores tragen keine kalibrierte Bedeutung, und exakte Bezeichner bleiben ein blinder Fleck, weil der Encoder nie auf deren Erhalt optimiert wurde. Dense Retrieval schließt damit die semantische Lücke der lexikalischen Suche, kann deren exakte Treffer aber nicht ersetzen.
Reciprocal Rank Fusion in einer Formel
Reciprocal Rank Fusion wurde 2009 von Cormack, Clarke und Büttcher auf der SIGIR als zweiseitiges Paper veröffentlicht. Die Regel: RRF-Score(d) = Σ 1/(k + r(d)), summiert über alle Ergebnislisten, wobei r(d) der Rang des Dokuments in einer Liste ist und k = 60. In den TREC-Experimenten schlug diese simple Regel Condorcet Fuse und das beste Einzelsystem um 4 bis 5 Prozent.
Die entscheidende Eigenschaft: RRF verarbeitet Ränge, keine Scores. BM25-Scores sind unbeschränkt, Kosinus-Ähnlichkeiten liegen in [-1, 1]. RRF muss beides nie normalisieren. Es braucht kein Training und kein Tuning; das Paper fand k = 60 nahezu optimal, aber unkritisch. Ende 2023 ist RRF produktisiert: Elasticsearch 8.8 (Mai 2023) liefert RRF in der Such-API, Weaviate bietet hybride Queries seit v1.17 (Dezember 2022), und Azure Cognitive Search fusioniert Stichwort- und Vektorergebnisse per RRF.
RRF hat dafür einen klaren Preis: Es ignoriert Score-Magnituden, sodass ein sicherer Spitzentreffer und ein knapper Treffer auf demselben Rang gleich viel zählen. Zudem kann ein schwacher Retriever einen starken im Verbund verwässern. Größe der Fusionsfenster und mögliche Gewichte pro Liste bleiben deshalb bewusste Entwurfsentscheidungen.
Gemessene Gewinne durch hybride Suche
Microsoft veröffentlichte im September 2023 die meistzitierten Hybrid-Zahlen des Jahres, gemessen auf Azure Cognitive Search mit ada-002-Vektoren, 512-Token-Chunks und RRF-Fusion. Wichtiger als die absoluten Werte ist das Muster: Jede Stufe verbessert die Relevanz — und jede tut es aus einem anderen Grund.
Hybrid schlägt in der Studie beide Einzelverfahren auf jedem Benchmark. Der Reranker liefert auf den Kundendaten den größten Einzelsprung. Ein Vorbehalt gehört dazu: Es ist ein Vendor-Benchmark mit hauseigenem Reranker. Die Richtung deckt sich jedoch mit dem, was wir bei Blue IT Systems in Kundenprojekten messen: Die Fusion aus lexikalischem und dichtem Retrieval ist der günstigste verfügbare Relevanzgewinn — sie kostet eine zusätzliche Query gegen einen Index, den Sie vermutlich ohnehin betreiben.
| Konfiguration | Kundendaten (NDCG@3) | BEIR (NDCG@10) |
|---|---|---|
| Stichwortsuche (BM25) | 40,6 | 40,6 |
| Vektor (ada-002) | 43,8 | 45,0 |
| Hybrid (RRF) | 48,4 | 48,4 |
| Hybrid + semantischer Reranker | 60,1 | 50,0 |
Reranker als zweite Stufe
Ein Reranker ist ein Cross-Encoder: Er liest Anfrage und Kandidatendokument gemeinsam und gibt einen Relevanz-Score aus. Diese gemeinsame Attention ist genauer als jeder Bi-Encoder-Vergleich — und viel zu langsam für ein ganzes Korpus. Daraus folgt das zweistufige Muster: Das Retrieval (BM25, dense oder hybrid) wählt 50 bis 100 Kandidaten, der Reranker ordnet sie neu.
2023 wurde dieses Muster zum API-Aufruf. Cohere startete Rerank am 1. Mai mit rerank-english-v2.0 und rerank-multilingual-v2.0. In der eigenen Auswertung erreichte lexikalische Suche bei rund 44 % der Anfragen einen relevanten Top-3-Treffer, Embedding-Suche bei 65 % und Reranking bei 72 %. Die Gegenleistung ist klar: zusätzliche Latenz, Kosten pro Aufruf und eine harte Recall-Grenze. Kein Reranker kann ein Dokument retten, das die erste Stufe nie abgerufen hat.
Ausblick vom Dezember 2023
Stand Dezember 2023 erwarten wir drei Entwicklungen. Erstens wird hybrides Retrieval vom Expertenfeature zum Default; Suchmaschinen liefern die Fusion bereits als einzeiligen Query-Parameter aus. Zweitens verwischen gelernte Sparse-Modelle wie SPLADE und Elastics ELSER die Grenze — sie erzeugen Termgewichte wie BM25, lernen Expansion aber wie ein Embedding-Modell. Drittens werden Reranker kleiner und günstiger und laufen zunehmend selbst gehostet neben dem Index.
Unsere Prognose lautet daher: BM25 wird auch in fünf Jahren neben dem dann aktuellen Embedding-Modell in produktiven Retrieval-Pipelines stehen. Die Fusion heterogener Ranglisten ist langlebiger als jedes einzelne Modell. Wer heute RAG baut, sollte den invertierten Index behalten und jede Stufe an eigenen Anfragen messen — nicht am Benchmark eines Anbieters.
Quellen
- Cormack, Clarke & Büttcher: Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (SIGIR, July 2009)
- Thakur et al.: BEIR — A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models (arXiv, April 2021)
- Cohere: Say Goodbye to Irrelevant Search Results — Cohere Rerank Is Here (May 1, 2023)
- Elastic: Elasticsearch 8.8 — ELSER and hybrid scoring with Reciprocal Rank Fusion (May 25, 2023)
- Microsoft: Azure Cognitive Search — Outperforming vector search with hybrid retrieval and ranking capabilities (September 18, 2023)