Der Quick Commerce Markt in Indien entwickelt sich rasant und fordert von Marken und Plattformen maximale Agilität und datengetriebene Entscheidungsfindung. Marken stehen heute vor der Herausforderung, auf wechselnde Kundenbedürfnisse und regionale Trends unmittelbar reagieren zu können. Zepto, eines der am schnellsten wachsenden Unternehmen im indischen Quick Commerce, zeigt, wie eine fortschrittliche Dateninfrastruktur diesen Anforderungen gerecht wird und Marken den entscheidenden Wettbewerbsvorteil verschafft. Dabei stehen Echtzeitdaten und deren umfassende Analyse im Mittelpunkt, um fundierte Geschäftsentscheidungen in einem dynamischen Marktumfeld treffen zu können. Eine vielfältige und reichhaltige Produktpalette bildet bei Zepto die Basis für den Erfolg. Millionen von Datenpunkten aus Produktansichten, Stadtumsätzen und Kundeninteraktionen werden täglich verarbeitet.
Die Herausforderung liegt dabei nicht in der bloßen Verfügbarkeit der Daten, sondern in deren Nutzbarkeit und Interpretierbarkeit für Marken. Um diesem Anspruch gerecht zu werden, wurde die Brand Analytics Plattform entwickelt – ein hochmoderner, intuitiver Dashboard-Service, der es Marken ermöglicht, Trends in Echtzeit zu erkennen, Umsätze zu optimieren und die Performance ihrer Produkte detailliert zu überwachen. Der Aufbau eines solchen Systems begann mit einer schlanken, schnellen Lösung. Die erste Version von Brand Analytics nutzte die bewährte PostgreSQL-Datenbank, die es ermöglichte, relevante Daten auf Marken-, Stadt- und Produktebene effizient zu sammeln und zu konsolidieren. PostgreSQL bewältigte zunächst Millionen von Datensätzen problemlos und lieferte die notwendige Geschwindigkeit für erste Markttests und Feedbackrunden.
Ergänzt wurde diese Architektur durch Databricks, das als flexible und skalierbare Big-Data-Plattform komplexe Datenverarbeitungen ermöglichte und zusammen mit Delta Lake für eine optimierte Speicherstruktur sorgte. So entstand ein modularer Datenfluss, der regelmäßige Aktualisierungen gewährleistete und den Brands erste wertvolle Einblicke lieferte. Mit dem enormen Wachstum der Plattform kam jedoch ein höherer Bedarf an Datenvolumen und Performance auf. Durch die rapide Zunahme von Marken, Produktvielfalt und Transaktionsdaten wuchsen die Datenbestände rasch auf über 200 Millionen Zeilen an. Hier stieß die traditionelle OLTP-Datenbank PostgreSQL an ihre Grenzen. Für die hochkomplexen, analytischen Anfragen, die Marken wünschen, war eine leistungsfähigere OLAP-Lösung gefragt, die schnelle Antwortzeiten und effiziente Verarbeitung großer Datenmengen gewährleistet.
Die Anforderungen an die neue Datenbank waren klar definiert: Die Unterstützung komplexer Joins ohne horizontale Datenredundanz, sub-sekündige Antwortzeiten für externe Dashboards sowie nahtlose Integration in bestehende Datenpipelines via Kafka und Databricks. Nach sorgfältigem Benchmarking verschiedener OLAP-Systeme wie ClickHouse und Apache Pinot fiel die Wahl auf StarRocks. StarRocks überzeugte durch herausragende Join-Performance, konstant schnelle Abfragezeiten auch bei über 300 Millionen Datensätzen und native Unterstützung für Datenquellen wie Kafka und S3. StarRocks wurde im sogenannten Shared-Nothing-Storage-Architektur betrieben. Diese Entscheidung beruhte auf der Wichtigkeit niedriger Latenzzeiten für externe Nutzer und einem Datenvolumen, das lokal gut handhabbar ist. Dabei speichert StarRocks Daten lokal und bietet schnelles, performantes Querying.
Für Unternehmen mit extrem großen Datenmengen in Petabyte-Größe könnte jedoch eine Shared-Data-Architektur mit getrenntem Compute- und Storage-Layer sinnvoller sein. Ein zentrales Element der Datenverarbeitung bei Zepto ist der Dateninput aus mehreren Quellen. Die Integration erfolgt über zwei Hauptingestionsmechanismen: Pipe Load und Routine Load. Pipe Load importiert regelmäßig Parquet-Dateien, die von Databricks auf S3 abgelegt werden, und sorgt so für kontinuierliche Aktualisierung der Datenbasis. Routine Load stellt die Verbindung zu Kafka her, um eine nahezu Echtzeitdatenverarbeitung zu ermöglichen. Dieses Streaming-Verfahren erfüllt genau die Anforderungen von Marken, die aktuelle Verkaufszahlen, Lagerbestände oder Nutzerinteraktionen nahezu verzögerungsfrei einsehen möchten. Die Routine Load Funktion garantiert neben geringem Verwaltungsaufwand außerdem eine genau-einmal-Verarbeitung der Daten, was die Qualität und Konsistenz der Insights sichert.
Über 30 Millionen Zeilen werden täglich per Kafka Routine Load in StarRocks geladen, was die immense Skalierbarkeit und Effizienz des Systems unterstreicht. Der Kern der Echtzeitanalyse ist die Streaming-Datenpipeline, an deren Anfang die massive Menge an Ereignissen von über 60. 000 Events pro Sekunde steht. Diese Events werden via Kafka eingelesen und durch Apache Flink verarbeitet. Flink filtert irrelevante Daten, aggregiert die Informationen in Fünf-Minuten-Intervallen und bereitet so komprimierte, leicht abfragbare Datensätze für StarRocks auf. Durch diese Verarbeitungsschritte sind Daten im Dashboard innerhalb von Sekunden nach ihrer Entstehung sichtbar, was Marken erlaubt, schnell auf Marktveränderungen zu reagieren und fundierte Entscheidungen zu treffen. Das Ergebnis ist eine hochperformante Analytics-Plattform, die durch die Kombination aus StarRocks, Kafka und Apache Flink den Sprung von täglichen Batch-Reports zu nahezu Echtzeitanalysen vollzogen hat.
Marken bekommen so eine nie dagewesene Transparenz über Absatztrends, Suchverhalten und Produktperformance bis auf die Stadt- und SKU-Ebene. Diese Innovation ermöglicht es den Partnern von Zepto, Planung und Produktmanagement wesentlich agiler zu gestalten. Der Wechsel von der traditionellen Datenbank hin zu einer spezialisierten OLAP-Architektur war dabei nicht nur ein Technologiewechsel, sondern auch ein kultureller Schritt hin zu einer datengetriebenen Organisation. Das gestiegene Nutzerfeedback führte zu ständigen Anpassungen und Optimierungen am System. Die Implementierung von StarRocks hat sich als Gamechanger erwiesen – sowohl in Bezug auf Performance als auch hinsichtlich der Verfügbarkeit aktueller Daten für Marken. Für Unternehmen im schnelllebigen Quick Commerce ist der Zugang zu Echtzeitdaten kein Luxus, sondern eine Notwendigkeit. Entscheidungen, die gestern getroffen werden, spiegeln heute möglicherweise nicht mehr die Realität wider, und erst recht nicht die von morgen.
Zepto demonstriert eindrucksvoll, wie eine durchdachte Datenstrategie mit modernster Technologie Unternehmen befähigt, im Wettbewerb die Nase vorn zu haben und Kundenbedürfnisse punktgenau zu erfüllen. Der Weg von einem MVP mit PostgreSQL bis hin zu einer skalierbaren, robusten Plattform mit StarRocks ist ein Lehrstück für technologische Evolution in dynamischen Märkten. Die nahtlose Kombination aus durchdachter Architektur, modernster Infrastruktur und einem starken Fokus auf Nutzerfreundlichkeit sichert Marken nicht nur heute sondern auch in Zukunft einen klaren Wettbewerbsvorteil. Zukünftige Entwicklungen bei Zepto werden sich darauf konzentrieren, Benchmarks zwischen verschiedenen OLAP-Systemen noch detaillierter zu erforschen und interne Workflows weiter zu optimieren. Mit Blick auf die steigenden Datenvolumina und Nutzeranforderungen wird die Skalierung und Effizienz der Datenpipeline weiterhin ein zentrales Thema sein.
Marken können sich darauf verlassen, dass sie mit Brand Analytics eine stets leistungsstarke und verlässliche Datenbasis erhalten, um ihr Wachstum im spannenden, schnelllebigen Quick Commerce Markt zu unterstützen. Die praxisnahe Lösung von Zepto zeigt eindrucksvoll, wie datengetriebene Systeme in Kombination mit Echtzeit-Technologien traditionelle Handelsmodelle revolutionieren und damit Marken in einer sich ständig verändernden Landschaft neue Perspektiven eröffnen.
