Im heutigen E-Commerce-Umfeld spielt Social Proof eine entscheidende Rolle bei der Kaufentscheidung der Kunden. Kundenbewertungen können maßgeblich dazu beitragen, das Vertrauen in ein Produkt oder eine Marke zu stärken und damit die Conversion-Rate deutlich zu verbessern. Doch wie kann man auf effiziente Weise an eine große Menge an authentischen Kundenbewertungen gelangen und diese für eigene Zwecke nutzbar machen? Genau dieser Herausforderung haben wir uns gestellt und dabei 2,2 Millionen echte Kundenrezensionen von Shopify-Produkten ausgelesen. In den folgenden Abschnitten berichten wir detailliert über den kompletten Prozess, die technischen Hürden sowie die Erkenntnisse, die wir dabei gewinnen konnten. Shopify hat sich als eine der beliebtesten Plattformen für Online-Shops weltweit etabliert.
Viele Händler nutzen diverse Tools und Dienste, um ihre Produkte mit Kundenbewertungen zu versehen und dadurch mehr Vertrauen bei potentiellen Käufern zu erzeugen. Ein solcher Dienst ist Yotpo, ein Anbieter, der speziell auf die Integration von Kundenfeedback und Bewertungen ausgelegt ist. Yotpo ermöglicht Shopify-Händlern, Produkt-Reviews direkt auf ihren Seiten einzubinden und zu verwalten. Wir erkannten frühzeitig, dass die Daten von Yotpo-gestützten Shopify-Shops potenziell öffentlich zugänglich sind und so einen wertvollen Datenschatz darstellen könnten. Dies liegt daran, dass jeder Shopify-Shop, der Yotpo nutzt, eine eindeutige Store-ID besitzt, mit der Produktbewertungen über eine öffentliche JSON-API abrufbar sind.
Grundsätzlich hat jede URL die folgende Form: https://api-cdn.yotpo.com/v3/storefront/store/{Store ID}/product/{Product ID}/reviews Während die Product IDs klar und einfach zu ermitteln sind – denn Shopify veröffentlicht Produktinformationen in mehreren öffentlichen JSON-Dateien, die direkt über die Shop-URLs abgerufen werden können –, stellte die Store ID eine größere Herausforderung dar. Diese ID wird von Yotpo individuell vergeben und ist nicht direkt über gängige Shopify API-Endpunkte zugänglich. Um die Store IDs zu finden, haben wir eine kreative Lösung entwickelt.
Dabei stellten wir fest, dass alle Shopify-Webshops mit Yotpo im Quellcode ein HTML-Skript eingebettet haben, das über das Attribut src eine URL mit der Store ID enthält. Konkret machten wir uns die Tatsache zunutze, dass in der Webseite der jeweilige Shopify-Shop ein <script>-Tag mit src="//staticw2.yotpo.com/{Store ID}.js" vorhanden ist.
So konnten wir mittels Webscraping die Store IDs auslesen, indem wir den Homepages der Anbieter automatisiert den HTML-Code herunterluden und gezielt nach diesem Script-Tag suchten. Um überhaupt einen guten Ausgangspunkt für die Shops zu bekommen, haben wir eine Store-Liste von BuiltWith gekauft. Dieses Tool erlaubt es, Shopify-Shops in den USA ausfindig zu machen, die Yotpo verwenden. Diese Kombination ermöglichte uns eine effiziente und gezielte Erfassung von relevanten Online-Stores. Anschließend programmierten wir einen Crawler, der dynamisch sowohl die Store IDs als auch die Produkt-IDs in die Yotpo-API-URLs einsetzte, um so Kundenbewertungen automatisiert abzurufen.
Dabei wurde großer Wert darauf gelegt, die Daten in einem einheitlichen Standardformat zu speichern und eine reibungslose Indexierung zu gewährleisten. Da der Crawler mit JavaScript realisiert wurde, ließ sich die gesamte Pipeline modular und performant aufbauen. Nach nur drei Tagen Laufzeit hatten wir mehr als 2,2 Millionen echte Kundenbewertungen gesammelt und in unserer Datenbank auf der Plattform Agora verfügbar gemacht. Diese große Menge an Daten führte nicht nur zu einem besseren Verständnis der Kundenmeinungen, sondern konnte direkt dazu beitragen, die Konversionsraten verschiedener Produkte signifikant zu steigern. Die Nutzer unserer Plattform profitierten davon, weil mehr Produkte durch fundierte Social-Proof-Daten überzeugender präsentiert wurden.
Die erfolgreiche Sammlung dieser umfangreichen Datenmenge zeigt eindrucksvoll, wie viel öffentlich zugängliche Informationen im Netz oft verborgen liegen und bislang ungenutzt bleiben. Man muss nur wissen, wo und wie man suchen sollte. Mit der transparenten Bereitstellung von Bewertungen wird nicht nur das Vertrauen der Kunden gestärkt, sondern auch die Transparenz im Online-Handel gefördert. Zukünftig planen wir, diese Daten über eine API für Entwickler und Unternehmen leicht zugänglich zu machen. So können Onlinehändler, Marktplätze oder Analyseunternehmen direkt auf produktbezogene Rezensionen zugreifen und sie in eigene Applikationen oder Marketingstrategien integrieren.
Durch diese Schnittstelle soll die Nutzung von Social Proof auf breiter Ebene unterstützt werden und somit die Wettbewerbsfähigkeit vieler Shops weiter steigen. Ein wichtiger Aspekt bei der Erhebung solcher Daten ist natürlich auch die Einhaltung rechtlicher Vorgaben und Datenschutzrichtlinien. Da die Bewertungen öffentlich einsehbar sind und keine persönlichen Kundendaten direkt erfasst werden, bewegen wir uns hier im erlaubten Rahmen. Dennoch ist es ratsam, beim Umgang mit großen Datensätzen stets datenschutzkonforme Verfahren zu nutzen und verantwortungsvoll mit den Informationen umzugehen. Der gesamte Prozess verdeutlicht, wie man durch technische Kreativität und sorgfältige Recherche aus scheinbar schwer zugänglichen Quellen wertvolle Informationen gewinnen kann.
Für Unternehmen, die wachsen wollen und ihre Produkte besser vermarkten möchten, bietet die Nutzung von Kundenbewertungen ein enormes Potenzial. Die Kombination aus umfangreicher Datenlage und moderner Technologie ebnet hier den Weg zu einem datengetriebenen Erfolg. Letztlich unterstreicht unser Projekt auch die Bedeutung von Innovation im E-Commerce-Bereich. Während viele Händler sich auf traditionelle Marketingmaßnahmen verlassen, können datenbasierte Strategien einen entscheidenden Wettbewerbsvorteil bringen. Die Erfassung und Nutzung von Kundenstimmen stärkt nicht nur die Bindung zu bestehenden Käufern, sondern hilft auch dabei, neue Zielgruppen anzusprechen und nachhaltiges Wachstum zu generieren.
Abschließend lässt sich festhalten, dass es im Zeitalter digitaler Informationen unverzichtbar ist, die richtigen Datenquellen gezielt zu identifizieren und für eigene Geschäftsmodelle nutzbar zu machen. Mit der Kombination von Shopify, Yotpo und cleverem Scraping haben wir einen wichtigen Schritt getan, um eine riesige Menge an Kundenbewertungen zu sammeln und für die Community zugänglich zu machen. Dies eröffnet neue Perspektiven für Onlinehändler und zeigt, wie die Macht der Kundenstimmen erfolgreich für den E-Commerce eingesetzt werden kann.
