Vektordatenbanken: Wann Sie wirklich eine brauchen
Allein im Frühjahr 2023 flossen über 160 Millionen Dollar in Vektordatenbanken. Wir erklären, was Approximate-Nearest-Neighbor-Suche tatsächlich leistet, wie der HNSW-Index funktioniert und warum Postgres mit dem heute erschienenen pgvector 0.5.0 oft ausreicht — samt konkreter Kriterien, wann sich ein dediziertes System wirklich lohnt.
Eine neue Datenbankkategorie in zwölf Monaten
Seit dem Start von ChatGPT im November 2022 ist Retrieval-Augmented Generation das Standardmuster, um große Sprachmodelle mit privaten Daten zu verbinden. Jede dieser Pipelines speichert Embeddings — dichte Gleitkommavektoren, typischerweise 1.536 Dimensionen aus OpenAIs text-embedding-ada-002 — und sucht zur Laufzeit die nächsten Nachbarn eines Anfragevektors. Um diese eine Operation ist ein Markt entstanden: Allein im April 2023 erhielt Pinecone 100 Millionen Dollar, Weaviate 50 Millionen und Chroma 18 Millionen. Milvus, 2019 als Open Source veröffentlicht, ist bereits ein graduiertes Projekt der LF AI & Data Foundation.
Die erste Frage, die uns Kunden stellen, lautet: Welche Vektordatenbank sollen wir nehmen? Aus unserer Sicht ist das die zweite Frage. Die erste ist, ob überhaupt eine dedizierte Vektordatenbank nötig ist. Dieser Beitrag erklärt, was Approximate-Nearest-Neighbor-Suche leistet, wie die dominierende Indexstruktur funktioniert, was die aktuellen Systeme bieten — und wo schlichtes PostgreSQL die richtige Antwort ist.
Was Approximate-Nearest-Neighbor-Suche leistet
Embedding-Modelle bilden Text, Bilder oder Code auf Punkte in einem hochdimensionalen Raum ab; semantische Ähnlichkeit wird zu geometrischer Nähe. Retrieval bedeutet dann k-Nearest-Neighbor-Suche. Die exakte Variante vergleicht die Anfrage mit jedem gespeicherten Vektor: Eine Million 1.536-dimensionale float32-Vektoren belegen rund 6 GB, und jede Anfrage durchläuft alles. Die Kosten wachsen linear mit dem Korpus. Baumstrukturen, die in niedrigen Dimensionen funktionieren, degradieren mit steigender Dimensionalität zum Brute-Force-Scan — der Fluch der Dimensionalität.
ANN-Suche lockert die Exaktheit. Sie liefert die meisten der wahren Nachbarn, gemessen als Recall: der Anteil der gefundenen echten Top-k-Ergebnisse. Produktionssysteme arbeiten typischerweise bei 90 bis 99 Prozent Recall mit Antwortzeiten im Millisekundenbereich. Ebenso wichtig ist, was ANN nicht leistet: Es gibt keine Garantie auf vollständige Ergebnisse. Der Recall kann bei restriktiven Metadatenfiltern deutlich einbrechen. Und die Distanzmetrik — Kosinus, euklidisch oder Skalarprodukt — muss zum Embedding-Modell passen.
Wie HNSW Nachbarn schnell findet
Hierarchical Navigable Small World Graphs, von Malkov und Yashunin im März 2016 auf arXiv veröffentlicht, sind der Index hinter den meisten heutigen Vektordatenbanken. HNSW baut einen mehrschichtigen Nachbarschaftsgraphen: Obere Schichten sind dünn besetzt und überbrücken große Distanzen, die unterste Schicht enthält jeden Vektor. Eine Anfrage startet oben, läuft gierig Richtung Ziel und steigt Schicht für Schicht ab — dieselbe Idee wie eine Skip-List, angewandt auf Graphen. Die Suchkomplexität skaliert logarithmisch. In den ANN-Benchmarks führt HNSW seit Jahren die Speed-Recall-Front an; Implementierungen existieren in hnswlib, Faiss und Lucene.
Die Kompromisse sind explizit. Der Graph liegt im RAM; der Speicherbedarf wächst mit Vektorzahl und Verknüpfungsdichte. Der Indexaufbau ist langsam im Vergleich zu flachen oder IVF-Strukturen. Zwei Parameterfamilien bestimmen alles: M, die Zahl der Kanten pro Knoten, sowie ef_construction und ef_search, die Größe der Kandidatenlisten — höhere Werte kaufen Recall gegen Speicher, Bauzeit und Latenz. Löschungen erfordern Umwege. HNSW ist schnell, aber nicht gratis.
Die Landschaft im August 2023
Fünf Systeme dominieren die aktuelle Diskussion. Vier sind dedizierte Vektordatenbanken, eines ist eine Postgres-Erweiterung. Finanzierungsvolumen und GitHub-Sterne messen Markterwartungen, nicht die Eignung für Ihre Arbeitslast. Alle fünf implementieren graphbasierte ANN-Verfahren — HNSW oder Varianten —, sodass sich die reine Anfrageleistung weniger unterscheidet, als das Marketing nahelegt; Betriebsmodell und Ökosystem unterscheiden sich deutlich stärker.
| System | Lizenz und Modell | Stand August 2023 | Typischer Einsatz |
|---|---|---|---|
| Pinecone | Proprietärer Managed Service | 100-Mio.-Dollar-Series-B bei 750 Mio. Bewertung (April 2023) | Teams ohne Betriebsaufwand mit Cloud-Budget |
| Weaviate | Open Source (BSD-3) plus Cloud | 50-Mio.-Dollar-Series-B (April 2023); hybride Suche integriert | Hybride Keyword-Vektor-Suche |
| Milvus | Open Source (Apache 2.0) | Graduiertes LF-AI-&-Data-Projekt; verteilte Architektur | Verteilte Deployments im Milliardenmaßstab |
| Chroma | Open Source (Apache 2.0) | 18-Mio.-Dollar-Seed (April 2023); Embedded-First-API | Prototypen und lokale Entwicklung |
| pgvector | Open Source (PostgreSQL-Lizenz) | v0.5.0 mit HNSW am 28. August 2023 erschienen | Teams, die bereits Postgres betreiben |
Wann Postgres mit pgvector genügt
pgvector 0.5.0 ist heute, am 28. August 2023, erschienen und bringt einen HNSW-Indextyp nach PostgreSQL, neben dem bestehenden IVFFlat. Damit schließt sich für viele Arbeitslasten die wesentliche Leistungslücke zu dedizierten Systemen. Das Architekturargument ist einfach: Embeddings liegen in einer Spalte neben den Zeilen, die sie beschreiben. Ein System of Record, echte ACID-Transaktionen, Joins zwischen Vektoren und Geschäftsdaten, Metadatenfilter über gewöhnliche WHERE-Klauseln — und Ihr bestehender Backup-, Replikations- und Monitoring-Stack.
Die Grenzen verdienen dieselbe Klarheit. Indizes sind auf 2.000 Dimensionen begrenzt. Postgres skaliert für diese Arbeitslast vertikal, nicht horizontal. HNSW-Builds sind langsam und speicherhungrig. Es gibt keine eingebaute Embedding-Pipeline und kein automatisches hybrides Ranking. Für Korpora bis in die unteren Millionen von Vektoren bei moderaten Anfrageraten — was die meisten Enterprise-RAG-Systeme beschreibt, die wir sehen — spielt nichts davon eine Rolle. Wer bereits Postgres betreibt, erhält Vektorsuche als Migration, nicht als Projekt: eine Extension, eine Spalte, ein Index.
Wann sich eine dedizierte Vektordatenbank lohnt
Eine zweite Datenbank ist nie nur ein Bibliotheksimport. Sie ist ein Deployment, das betrieben und aktualisiert werden muss, eine Synchronisationspipeline zwischen System of Record und Suchindex, ein Konsistenzmodell, über das man nachdenken muss, wenn beide auseinanderlaufen, und ein neuer Fehlermodus im Störungsfall. Hinzu kommen Betriebswissen, Alarmierung und ein weiteres Upgrade-Fenster. Diese Kosten sind fix und fallen sofort an; der Nutzen hängt vollständig von einer Skalierung ab, die Sie womöglich nie erreichen.
Konkrete Schwellen, ab denen sich dedizierte Systeme lohnen: Hunderte Millionen Vektoren und mehr, horizontales Sharding, dauerhaft hoher Anfragedurchsatz mit strikten Latenzbudgets oder stark gefilterte Suche im großen Maßstab. Trifft heute nichts davon zu und liegt nichts davon auf einer gemessenen Wachstumskurve, ist die Einführung Over-Engineering. Beginnen Sie langweilig; spezialisieren Sie auf Basis von Evidenz, nicht von Erwartung.
Wohin sich die Vektorsuche entwickelt
Unsere Erwartung aus der Perspektive des August 2023: Vektorsuche wird ein Feature, keine Produktkategorie. Elasticsearch lieferte approximative kNN-Suche mit Version 8.0 im Februar 2022 aus, Redis folgte 2022 mit Vector Similarity Search, MongoDB kündigte Atlas Vector Search im Juni 2023 an. Postgres reiht sich heute mit pgvector ein. Universaldatenbanken absorbieren die Fähigkeit schneller, als dedizierte Anbieter sich differenzieren können.
Wir erwarten daher Konsolidierung unter den eigenständigen Anbietern, hybrides Keyword-plus-Vektor-Retrieval als Standard und Embedding-Modelle, die sich schneller ändern als Speicherschichten — womit Re-Indexing-Pipelines die dauerhaftere Ingenieursinvestition sind als die Indexwahl. Einige dieser Vorhersagen werden schlecht altern. Auf eine würden wir wetten: In fünf Jahren klingt die Frage nach der richtigen Vektordatenbank so, wie heute die Frage nach dem richtigen MapReduce-Framework klingt.
Quellen
- Malkov & Yashunin: Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs (arXiv:1603.09320, 30 March 2016)
- pgvector v0.5.0 Release Notes — HNSW index type (GitHub, 28 August 2023)
- Pinecone: Announcing Our $100M Series B Funding (26 April 2023)
- Weaviate Raises $50 Million Series B Funding (PR Newswire, 21 April 2023)
- Chroma Raises $18M Seed Round (7 April 2023)