Die Digitalisierung und der Einsatz von Machine Learning haben den Umgang mit Vektordaten in Suchsystemen entscheidend verändert. Moderne Embedding-Modelle erzeugen hochdimensionale Vektoren in Form von Float32-Zahlen, welche für präzise semantische Suchen sowie Ähnlichkeitssuchen verwendet werden. Die Herausforderung besteht darin, dass diese Vektoren enormen Speicher und Rechenressourcen erfordern, was den praktischen Einsatz in Echtzeitsystemen erschwert. In diesem Zusammenhang präsentiert Lucene zusammen mit Elasticsearch eine bahnbrechende Technologie namens Better Binary Quantization (BBQ), die sowohl den Speicherverbrauch drastisch senkt als auch eine schnelle und qualitativ hochwertige Vektorsuche ermöglicht. Die Einführung von BBQ beschreibt nicht nur einen technischen Fortschritt, sondern auch eine neue Ära für Suchmaschinen, die auf Vektorbasis arbeiten.
Was genau verbirgt sich hinter BBQ, wie funktioniert diese Methode und welche Vorteile bietet sie gegenüber traditionellen Quantisierungsansätzen? Um diese Fragen zu beantworten, bietet es sich an, zunächst die Problematik der Vektorquantisierung in Suchmaschinen zu verstehen. Vektorquantisierung ist ein Verfahren, mit dem hochdimensionale, fließkommazahlenbasierte Vektoren in eine kompaktere, meist diskretisierte Form überführt werden. Die Herausforderung dabei ist, möglichst viel der ursprünglichen Information zu bewahren, um die Suchqualität nicht zu beeinträchtigen, während gleichzeitig Speicherbedarf und Rechenzeit minimiert werden. Klassische Methoden wie die Produktquantisierung (PQ) können zwar den Speicherbedarf reduzieren, leiden aber oft unter langen Indexierungszeiten sowie einer Einbuße bei der Rekall-Genauigkeit. Hier setzt Better Binary Quantization an und stellt einen deutlichen Fortschritt dar.
BBQ extrahiert aus Float32-Vektoren binäre Repräsentationen mit nur einem Bit pro Dimension. Diese „bessere“ Form der binären Quantisierung erreicht dabei eine Reduktion um etwa 95 Prozent des Speicherverbrauchs, ohne die Qualität der Suchergebnisse signifikant zu verschlechtern. Während naive binäre Quantisierungen dazu führen, dass man ein Vielfaches an zusätzlichen Nachbarn für die Nachbearbeitung (Rerank) sammeln muss, um eine akzeptable Rekall-Genauigkeit zu erzielen, löst BBQ dieses Problem durch eine Reihe innovativer Techniken. Ein zentrales Merkmal von BBQ ist die Normalisierung aller Vektoren um einen sogenannten Centroid. Diese Mittelwertvektoren stellen eine Bezugsebene dar, um die einzelnen Vektoren besser quantisieren zu können. Darüber hinaus speichert das Verfahren mehrere Fehlerkorrekturwerte, welche auf der Centroid-Normalisierung und der Quantisierung beruhen.
Dadurch kann die Suchmaschine die quantisierten Vektoren gezielter korrigieren und dadurch Fehler im Vergleich zu den ursprünglichen Vektoren minimieren. Ein weiterer wichtiger Aspekt ist die asymmetrische Quantisierung. Während die gespeicherten Vektoren mit nur einem Bit pro Dimension äußerst kompakt sind, werden die Abfragevektoren (Queries) mit einer höheren Auflösung von 4 Bit pro Dimension quantisiert. Dieses differenzierte Verfahren sorgt für eine deutlich verbesserte Suchqualität, ohne den Speicherbedarf bei der Indexierung signifikant zu erhöhen. Die Implementierung von BBQ nutzt zudem effiziente bitweise Operationen zur Suche. Das bedeutet konkret, dass die quantisierten Vektoren sowie die vierbitigen Query-Vektoren so transformiert werden, dass Berechnungen wie der Skalarprodukt sehr schnell über bitweise Vergleiche ausgeführt werden können. Dieses Vorgehen ist entscheidend für die Beschleunigung der Suchabfragen. Die Indexierung mit BBQ verläuft in Lucene sehr effizient.
Neue Vektoren werden beim Aufbau eines Segments zunächst inkrementell verwendet, um den Centroid zu bestimmen. Danach werden die eingehenden Vektoren um diesen Centroid normalisiert und schließlich quantisiert. Dadurch entstehen hochkompakte binäre Repräsentationen, bei denen pro 8er Dimensionen nur ein Byte gespeichert wird – inklusive der Fehlerkorrekturdaten, die je nach Distanzmaß (beispielsweise euklidisch oder Skalarprodukt) zwei oder drei Float-Werte umfassen. Besonders erwähnenswert ist auch die Handhabung von Segmentzusammenführungen (Merging). Hier wird der neue Centroid als gewichtetes Mittel der bestehenden Centroid-Werte berechnet, um die Vektoren um den neuen Referenzpunkt erneut quantisieren zu können. Dies sichert eine konsistente und qualitativ hochwertige Indexstruktur über Zeit.
Kombiniert mit dem effizienten Aufbau und der Verwaltung von HNSW-Grafen (Hierarchical Navigable Small World), die für schnelle Annäherungssuchen verwendet werden, ermöglicht BBQ eine Suchinfrastruktur, die sowohl speichereffizient als auch leistungsfähig ist. Eine Herausforderung bei HNSW ist das Aufrechterhalten der hohen Qualität und Diversität im Nachbarschaftsgraphen trotz Quantisierung. BBQ löst das, indem zur Suche unterschiedliche Quantisierungsstufen genutzt werden: Die initiale Nachbarschaftssuche erfolgt mit binär quantisierten Vektoren, während zur Evaluation der Nachbarschaftsdiversität eine Zwischendatei mit den int4 quantisierten Query-Vektoren herangezogen wird. Diese temporäre Datei wird nach der Merge-Operation entfernt, sodass nur die kompakten binären Vektoren verbleiben. Die eigentliche Transformation der Query-Vektoren für die Suche ist besonders innovativ.
Die 4-Bit Werte werden bitweise so verschoben und angeordnet, dass die Dot-Produkt-Berechnung als eine Serie von bitweisen AND-Operationen ausgeführt werden kann. Dies führt zu einer erheblichen Beschleunigung bei der Suche, da moderne Prozessoren für solche Operationen optimiert sind. Tests und Benchmarks bestätigen die Leistungsfähigkeit von BBQ eindrucksvoll. In verschiedenen Datensätzen, wie E5-small mit 500. 000 Vektoren bis hin zu Millionen von Dimensionen umfassenden Cohere-Modellen, zeigt BBQ eine erstaunliche Balance aus Indexierungszeit, Speicherverbrauch und Suchgenauigkeit. In einigen Fällen erreicht BBQ mit nur einem Bit pro Dimension Öffnungen von über 70 Prozent Recall bei einem Bruchteil des Speichers im Vergleich zu rohen Float32 Vektoren. Auch in großskaligen Tests mit bis zu 138 Millionen Vektoren auf einer einzelnen 64GB Cloud-Instanz demonstrierte BBQ eine drastische Reduktion des Speicherverbrauchs von über 500GB auf knapp 19GB.
Dabei sind die Latenzzeiten niedrig genug, um auch bei hoher Suchlast praktikable Antwortzeiten zu gewährleisten. Für die Praxis bedeutet Better Binary Quantization eine neue Möglichkeit, anspruchsvolle Vektor-basierte Suchen in Elasticsearch schnell und kosteneffizient umzusetzen. Gerade für Anwendungen wie semantische Suche, Empfehlungssysteme oder andere KI-gestützte Suchlösungen, bei denen große Mengen an Einbettungen verarbeitet und durchsucht werden, sind die Vorteile signifikant. Bestehende Vektordatenbank-Technologien wie FAISS werden hiermit beispielsweise auf sehr effiziente Weise herausgefordert. Insgesamt lässt sich zusammenfassen, dass BBQ nicht nur auf dem Papier, sondern auch in realen Szenarien einen echten Mehrwert bietet. Durch die Kombination aus Speicherersparnis, schneller Indexierung und schneller Suche sowie hoher Genauigkeit positioniert sich die Better Binary Quantization als zukunftsweisende Technologie im Bereich der Vektorindizierung.
Die einfache Aktivierung in Elasticsearch ist ein weiterer Vorteil: durch Setzen des Index-Typs auf „bbq_hnsw“ oder „bbq_flat“ können Entwickler die Vorteile sofort für ihre Projekte nutzen. Gerade Unternehmen, die mit sehr großen Datenmengen arbeiten und gleichzeitig auf niedrige Antwortzeiten angewiesen sind, profitieren von dieser Innovation deutlich. Die technischen Grundlagen, die BBQ von bisherigen Algorithmen wie RaBitQ unterscheiden, zeigen dabei die handwerklich akribische Entwicklung des Verfahrens. So wird auf eine einzelne Centroid-Normalisierung gesetzt, die Implementierung des Dot-Produkts voll unterstützt und eine klare Trennung im Rescoring vorgenommen, was die Systemstabilität erhöht. Kombiniert mit bitweisen Operationen zur schnellen Berechnung ist BBQ eine perfekte Antwort auf die Herausforderung moderner Ähnlichkeitssuche in hochdimensionalen Räumen.
Abschließend kann man sagen, dass Better Binary Quantization in Lucene und Elasticsearch einen Meilenstein in der Welt der Vektorindizierung darstellt. Wer auf der Suche nach speichereffizienten, schnellen und qualitativ hochwertigen Suchmethoden für Vektor-Embedding-Daten ist, findet hier einen innovativen Ansatz, der traditionelle Methoden hinsichtlich Geschwindigkeit und Genauigkeit übertrifft. Für Unternehmen und Entwickler bedeutet dies, dass sie noch effizientere, skalierbarere und kostengünstigere Suchlösungen gestalten können, die den steigenden Anforderungen moderner KI-Anwendungen gerecht werden. Die Zukunft der Vektorsuche ist mit BBQ schneller, kleiner und präziser – eine spannende Entwicklung, die in der Welt von Lucene und Elasticsearch bereits jetzt Einzug gehalten hat.
