Daten, die den Unterschied machen: Echtzeit-Einblicke für Marken im Quick Commerce

Im schnelllebigen Umfeld des Quick Commerce, geprägt von blitzschnellen Lieferzeiten und hohen Kundenerwartungen, sind datengetriebene Entscheidungen essenziell für den Marken-Erfolg. Marken, die ihre Präsenz auf solchen Plattformen maximieren wollen, brauchen tiefgreifende, präzise und vor allem zeitnahe Informationen über den Markt, die Kundenpräferenzen und den Wettbewerb. Nur wer umfassende Echtzeit-Daten auswertet und daraus relevante Erkenntnisse gewinnt, kann agil reagieren, seine Angebote anpassen und damit eine herausragende Kundenerfahrung schaffen. Die Zepto-Plattform in Indien ist ein eindrucksvolles Beispiel dafür, wie innovative Unternehmen Daten nutzen, um den Bedürfnissen ihrer Partner-Marken bestmöglich gerecht zu werden und so ihre Position am Markt zu stärken. Die Ausgangssituation im Quick Commerce ist gekennzeichnet durch eine Fülle von Daten, die in ständig wachsendem Umfang generiert werden.

Dabei sind die Herausforderungen weniger in der reinen Verfügbarkeit von Informationen zu sehen, sondern vielmehr darin, diese strukturiert, schnell und verständlich aufzubereiten. Für Marken, die Wert auf fundierte Entscheidungsprozesse legen, spielen Kennzahlen wie Verkaufszahlen, Lagerbestände, Suchtrends und Konversionsraten eine maßgebliche Rolle. Daraus lassen sich Trends erkennen, Schwachstellen aufdecken und Potenziale identifizieren. Einmal erfasste Daten bleiben jedoch wertlos, wenn sie nicht in Handlungen umgesetzt werden können. Die Einführung eines Brand Analytics Dashboards hat Zepto zum zentralen Werkzeug gemacht, um Marken mit den wichtigsten Daten zu versorgen – auf eine Art und Weise, die sowohl intuitiv als auch leistungsstark ist.

Von Anfang an war das Ziel klar: Ein Tool zu entwickeln, das nicht nur große Datenmengen verarbeiten, sondern diese vor allem in Echtzeit aufbereiten kann. Schnell wurde ein Minimum Viable Product (MVP) mithilfe von PostgreSQL realisiert. Diese bewährte Datenbank bot zunächst eine solide Basis, um die ersten Insights an eine begrenzte Nutzergruppe auszuliefern. Mit einigen Millionen Datensätzen bewältigte Regelsysteme PostgreSQL anfänglich gut und erfüllte den Zweck einer schnellen Markteinführung. Allerdings führte das rasante Wachstum der Zepto-Plattform zu einem exponentiellen Anstieg der Datenmenge und der Nutzerzahlen.

Die stark wachsenden Produktkataloge mit Tausenden von SKUs sowie der kontinuierliche Zustrom neuer Marken erzeugte immense Datenvolumen, die viele hundert Millionen Datensätze umfassen. Dies stellte PostgreSQL vor erhebliche Herausforderungen, da das System für transaktionale Arbeitslasten optimiert ist und komplexe analytische Abfragen in dieser Dimension langsam oder gar nicht mehr performant verarbeiten konnte. Die Folge lag auf der Hand: Es brauchte eine Technologie, die speziell für schnelle Analysen großer Datenmengen entwickelt wurde und gleichzeitig die Anforderungen an Latenz und Mehrfachanfragen bewältigte. Der Wechsel zu einem spezialisierten OLAP-System (Online Analytical Processing) war unumgänglich. Bei der Auswahl der passenden Lösung standen Kriterien wie Unterstützung komplexer Joins, blitzschnelle Antwortzeiten, nahtlose Integration in bestehende Datenpipelines sowie Skalierbarkeit im Fokus.

Verschiedene Tools wie ClickHouse, Apache Pinot und StarRocks wurden intensiv getestet. Jede Technologie brachte ihre Stärken mit, aber insbesondere StarRocks erfüllte alle Anforderungen mit großer Überzeugung. Die Fähigkeit zu schnellen und effizienten Joins, eine Unter-500-Millisekunden-Latenz auch bei mehreren hundert Millionen Datensätzen, verbunden mit einer einfachen Integration in Kafka-Streams und S3-Speicher, machten die Entscheidung eindeutig. StarRocks setzte in der Architektur auf das Shared-Nothing-Prinzip, was bedeutete, dass die gesamte Speicherung und Verarbeitung lokal innerhalb der Clusterknoten geschieht. Diese Entscheidung erwies sich als klug, da sie die benötigte hohe Performance, insbesondere bei Benutzeranfragen externer Markenpartner, sicherstellen konnte.

Da das Datenvolumen bislang unter der Größenordnung von Zehntausenden Terabyte lag, ergab sich keine Notwendigkeit, auf die Shared-Data-Variante umzusteigen, bei der Daten direkt aus objektspeicherbasierten Systemen abgefragt werden würden. Die lokal gespeicherten Daten boten den bestmöglichen Mix aus Geschwindigkeit und Zuverlässigkeit im aktuellen Szenario. Für die Datenintegration entwickelte Zepto eine clevere zweigleisige Strategie: Zum einen wird per Pipe Load kontinuierlich auf S3 gespeicherte Parquet-Dateien aus Databricks geladen, wodurch der Workflow mit minimalem Konfigurationsaufwand aufrechterhalten wird. Zum anderen erfolgt mit Routine Load eine nahezu Echtzeit-Ingestion von Streams, die über Kafka bereitgestellt werden. Gerade die Fähigkeit von StarRocks, direkt mit Kafka-Themen zu kommunizieren, ermöglicht eine Datenaufnahme mit garantiert exakter Einmal-Verarbeitung.

So verschwinden Latenzen, die Kunden bei analytischen Einblicken früher oft suspendierten. Der Ablauf des gesamten Systems verdeutlicht den hohen Automatisierungs- und Skalierungsgrad. Über sechzigtausend Ereignisse pro Sekunde aller Art – von Produktimpressionen über Bestellstatus bis hin zu Lieferungen – werden von der unternehmensweiten Plattform erfasst. Apache Flink übernimmt in Echtzeit die Datenaufbereitung, filtert relevante Informationen heraus, führt 5-minütige Aggregationen durch und gibt die veredelten Daten an Kafka, bevor sie im StarRocks Cluster landen. So entstehen brandaktuelle Dashboards, die Markenpartner ohne Verzögerung oder Performance-Einbußen nutzen können.

Der strategische Einsatz dieser Architektur verändert die Dynamik am Markt immens. Marken erhalten Einblicke in ihrem Dashboard, die weit über tägliche Berichte hinausgehen. Sie erkennen Umsatztrends, Lagerengpässe und Suchanfragen mit einer Geschwindigkeit, die schnelle Reaktionen und datenbasierte Nachjustierungen möglich macht. Ob regionale Besonderheiten oder Branchenentwicklungen – alle relevanten Kennzahlen sind abrufbar und jederzeit aktuell. Diese Agilität ist im dynamischen Wettbewerb des Quick Commerce von unschätzbarem Wert.

Die von Zepto realisierte Lösung steht exemplarisch für einen Weg, wie gerade wachsende Unternehmen mit steigendem Analytics-Bedarf den technologischen Wandel stemmen können. Der Weg begann mit einer pragmatischen, schnell implementierten MVP-Version auf Basis bewährter Werkzeuge und führte zu einer optimierten Produktionsplattform, die zukunftsfähig skaliert. Mit dem Wechsel zu modernen OLAP-Technologien und durch die Nutzung nativer Datenintegration haben sich vollkommen neue Möglichkeiten erschlossen. Sie ermöglichen den Umgang mit riesigen Datenmengen, die sich in Echtzeit verwerten lassen, um so Kunden und Partner maximal zu unterstützen. Der Erfolg der StarRocks-basierten Lösung zeigt sich nicht nur in der technischen Performance.