Hybride Suche: BM25 ist nicht tot
Reine Vektorsuche scheitert an Artikelnummern, Fehlercodes und anderen exakten Bezeichnern. Wir erklären warum, definieren BM25 und Dense Retrieval präzise, zeigen wie Reciprocal Rank Fusion beide Verfahren ohne Score-Normalisierung kombiniert und ordnen die gemessenen Gewinne hybrider Suche sowie früher Reranker wie Cohere Rerank ein — mit Zahlen aus Benchmarks des Jahres 2023.
Warum reine Vektorsuche exakte Bezeichner verfehlt
2023 wurde ein Retrieval-Stack zum Standard für RAG-Anwendungen: Dokumente in Chunks zerlegen, jeden Chunk mit einem Modell wie OpenAIs text-embedding-ada-002 einbetten, die Vektoren in einem ANN-Index ablegen, per Kosinus-Ähnlichkeit abrufen. Für paraphrasierte Fragen funktioniert das gut. Es scheitert vorhersagbar an Anfragen, die Nutzer täglich stellen: Artikelnummern, Fehlercodes, Rechnungsnummern, Funktionsnamen, Normverweise.
Das Scheitern ist strukturell, kein Tuning-Problem. Ein Embedding komprimiert einen Chunk in einen Vektor fester Länge — 1.536 Dimensionen bei ada-002. Seltene Bezeichner wie DIN 4108-2 oder eine konkrete SKU tragen zu diesem Vektor fast nichts bei. Microsoft hat das im September 2023 quantifiziert: Bei Keyword-artigen Anfragen erreichte reine Vektorsuche 11,7 NDCG@3, klassische Stichwortsuche 79,2. Der exakte Treffer, den der Nutzer verlangt, ist im Vektor schlicht nicht repräsentiert.
Was BM25 weiterhin besser kann
BM25 ist eine Ranking-Funktion aus dem Okapi-System, erstmals 1994 bei TREC-3 evaluiert. Sie bewertet ein Dokument über Termfrequenz, inverse Dokumentfrequenz und Dokumentlänge, gesteuert durch zwei Parameter, k1 und b. Sie matcht exakte Tokens, ihre Scores sind erklärbar, sie braucht weder Trainingsdaten noch GPU, und der invertierte Index ist günstig aufzubauen und zu aktualisieren.
Außerhalb der Trainingsdomäne ist BM25 zudem schwer zu schlagen. Der BEIR-Benchmark (Thakur et al., 2021) verglich Retrieval-Systeme zero-shot über 18 Datensätze und fand BM25 als starke Baseline, die viele auf MS MARCO trainierte Dense Retriever auf fremden Korpora nicht übertrafen. Was BM25 nicht kann: Es kennt weder Synonyme noch Paraphrasen. "Kündigungsfrist" und "notice period" teilen kein Token. Diese Lücke ist real — und es ist genau die Lücke, die Embeddings schließen.
Was dichte Embeddings beitragen
Dense Retrieval bildet Anfragen und Dokumente mit einem Bi-Encoder in denselben Vektorraum ab. Relevanz wird zu geometrischer Nähe. Das schließt die Vokabellücke: Paraphrasen, Synonyme und — mit mehrsprachigen Modellen — Anfragen über Sprachgrenzen hinweg finden die richtigen Passagen ohne gemeinsame Tokens. Seit Dezember 2022 ist text-embedding-ada-002 der pragmatische Standard; 2023 erreichten offene Modelle wie E5, GTE und BGE auf dem MTEB-Benchmark vergleichbare Qualität.
Die Grenzen sind ebenso konkret. Embeddings verlieren Qualität auf Domänen fern der Trainingsdaten. Scores sind Kosinus-Ähnlichkeiten ohne kalibrierte Bedeutung. Und exakte Bezeichner bleiben ein blinder Fleck, weil der Encoder nie darauf trainiert wurde, sie zu erhalten. Dense Retrieval ergänzt die lexikalische Suche. Es ersetzt sie nicht.
Reciprocal Rank Fusion in einer Formel
Reciprocal Rank Fusion wurde 2009 von Cormack, Clarke und Büttcher auf der SIGIR als zweiseitiges Paper veröffentlicht. Die Regel: RRF-Score(d) = Σ 1/(k + r(d)), summiert über alle Ergebnislisten, wobei r(d) der Rang des Dokuments in einer Liste ist und k = 60. In den TREC-Experimenten schlug diese simple Regel Condorcet Fuse und das beste Einzelsystem um 4 bis 5 Prozent.
Die entscheidende Eigenschaft: RRF verarbeitet Ränge, keine Scores. BM25-Scores sind unbeschränkt, Kosinus-Ähnlichkeiten liegen in [-1, 1]. RRF muss beides nie normalisieren. Es braucht kein Training und kein Tuning; das Paper fand k = 60 nahezu optimal, aber unkritisch. Ende 2023 ist RRF produktisiert: Elasticsearch 8.8 (Mai 2023) liefert RRF in der Such-API, Weaviate bietet hybride Queries seit v1.17 (Dezember 2022), und Azure Cognitive Search fusioniert Stichwort- und Vektorergebnisse per RRF.
Was RRF nicht leistet: Es ignoriert Score-Magnituden — ein sicherer Spitzentreffer und ein knapper zählen auf gleichem Rang gleich. Ein schwacher Retriever im Verbund verwässert einen starken. Fusionsfenster und eventuelle Gewichtung pro Liste bleiben Entwurfsentscheidungen.
Gemessene Gewinne durch hybride Suche
Die meistzitierten Hybrid-Zahlen des Jahres hat Microsoft im September 2023 veröffentlicht, gemessen auf Azure Cognitive Search mit ada-002-Vektoren, 512-Token-Chunks und RRF-Fusion. Wichtiger als die absoluten Werte ist das Muster: Jede Stufe trägt zur Relevanz bei, und jede aus einem anderen Grund.
Hybrid schlägt in der Studie beide Einzelverfahren auf jedem Benchmark. Der Reranker liefert auf den Kundendaten den größten Einzelsprung. Ein Vorbehalt gehört dazu: Es ist ein Vendor-Benchmark mit hauseigenem Reranker. Die Richtung deckt sich jedoch mit dem, was wir bei Blue IT Systems in Kundenprojekten messen: Die Fusion aus lexikalischem und dichtem Retrieval ist der günstigste verfügbare Relevanzgewinn — sie kostet eine zusätzliche Query gegen einen Index, den Sie vermutlich ohnehin betreiben.
| Konfiguration | Kundendaten (NDCG@3) | BEIR (NDCG@10) |
|---|---|---|
| Stichwortsuche (BM25) | 40,6 | 40,6 |
| Vektor (ada-002) | 43,8 | 45,0 |
| Hybrid (RRF) | 48,4 | 48,4 |
| Hybrid + semantischer Reranker | 60,1 | 50,0 |
Reranker als zweite Stufe
Ein Reranker ist ein Cross-Encoder: Er liest Anfrage und Kandidatendokument gemeinsam und gibt einen Relevanz-Score aus. Diese gemeinsame Attention ist genauer als jeder Bi-Encoder-Vergleich — und viel zu langsam für ein ganzes Korpus. Daraus folgt das zweistufige Muster: Das Retrieval (BM25, dense oder hybrid) wählt 50 bis 100 Kandidaten, der Reranker ordnet sie neu.
2023 wurde daraus ein API-Aufruf. Cohere startete Rerank am 1. Mai 2023 mit rerank-english-v2.0 und rerank-multilingual-v2.0. In Coheres eigener Auswertung platzierte lexikalische Suche für rund 44 % der Anfragen ein relevantes Ergebnis in den Top 3, Embedding-Suche für 65 %, Reranking für 72 %. Die Kompromisse liegen offen: zusätzliche Latenz pro Anfrage, Kosten pro Aufruf und eine harte Obergrenze — ein Reranker rettet kein Dokument, das die erste Stufe nie abgerufen hat. Der Recall ist entschieden, bevor er läuft.
Ausblick vom Dezember 2023
Stand Dezember 2023 erwarten wir drei Entwicklungen. Erstens wird hybrides Retrieval vom Expertenfeature zum Default; Suchmaschinen liefern die Fusion bereits als einzeiligen Query-Parameter aus. Zweitens verwischen gelernte Sparse-Modelle wie SPLADE und Elastics ELSER die Grenze — sie erzeugen Termgewichte wie BM25, lernen Expansion aber wie ein Embedding-Modell. Drittens werden Reranker kleiner und günstiger und laufen zunehmend selbst gehostet neben dem Index.
Unsere Prognose: BM25 wird auch in fünf Jahren in produktiven Retrieval-Pipelines stehen — neben dem dann aktuellen Embedding-Modell. Die Rangfusion heterogener Retriever ist eine langlebigere Idee als jedes einzelne Modell. Wenn Sie heute RAG bauen: Behalten Sie den invertierten Index — und messen Sie jede Stufe an Ihren eigenen Anfragen, nicht am Benchmark eines Anbieters.
Quellen
- Cormack, Clarke & Büttcher: Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (SIGIR, July 2009)
- Thakur et al.: BEIR — A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models (arXiv, April 2021)
- Cohere: Say Goodbye to Irrelevant Search Results — Cohere Rerank Is Here (May 1, 2023)
- Elastic: Elasticsearch 8.8 — ELSER and hybrid scoring with Reciprocal Rank Fusion (May 25, 2023)
- Microsoft: Azure Cognitive Search — Outperforming vector search with hybrid retrieval and ranking capabilities (September 18, 2023)