Web-Scraper sind automatisierte Programme, die Webseiten gezielt durchsuchen und Inhalte extrahieren, oft ohne die Zustimmung des Seitenbetreibers. Während diese Technik legitim sein kann, um etwa Inhalte für Suchmaschinen bereitzustellen, wird sie oft missbraucht. Insbesondere sogenannte AI-Scraper, die für Trainingsdaten generativer KI-Modelle vermutet werden, beanspruchen enorme Ressourcen und können Webseiten lahmlegen. Für Betreiber von Websites ist es daher essenziell, Maßnahmen zu ergreifen, die solche Scraper zuverlässig abwehren. In diesem Kontext bieten die Lösungen Tigris und DuckDB eine innovative Kombination, um Scraper-Aktivitäten zu identifizieren und einzudämmen. Tigris ist ein global verteiltes, S3-kompatibles Objektspeichersystem, das sich durch geringe Latenz und einfache Skalierbarkeit auszeichnet. Es eignet sich hervorragend, um große Mengen an Logdaten zu speichern, die durch die Monitoring-Systeme von Webservern erzeugt werden.
DuckDB dagegen ist eine leichtgewichtige relationale Datenbank, die speziell für analytische Workloads entwickelt wurde. Sie setzt auf einfache Integration und ermöglicht es, komplexe Abfragen auf strukturierten und semi-strukturierten Daten durchzuführen – ideal für die Analyse von Logdateien. Eine praxisnahe Anwendung dieser Technologien zeigt sich im Projekt Anubis, einer Open Source Web AI Firewall Utility. Anubis setzt an mehreren Stellen an, um unerwünschte Scraper herauszufiltern. Es nutzt sogenannte Honeypots, also Köderserver, die speziell darauf ausgelegt sind, verdächtige Bots aufzufangen und deren Verhalten zu protokollieren. Dabei werden detaillierte Informationen über jede eingehende Anfrage festgehalten – von HTTP-Headern über IP-Adressen bis hin zu TLS-Sitzungsdetails. Diese umfangreichen Logdaten werden kontinuierlich in Tigris gespeichert.
Aufgrund der hohen Menge an Daten ist eine effektive Speicherung und schnelle Verfügbarkeit essenziell, um in nahezu Echtzeit reagieren zu können. Die Integration von DuckDB ermöglicht dann, direkt auf den gespeicherten Daten analytische Abfragen zu fahren. So können Muster erkannt werden, die auf automatisierte Zugriffe oder manipulierte Browser-Clients hinweisen. Gerade weil DuckDB auch mit komplexen verschachtelten Datenstrukturen wie JSON im Logformat umgehen kann, stellt sie eine optimale Datenbank für diesen Anwendungsfall dar. Ein wichtiger Aspekt bei der Abwehr von Scraping ist die Differenzierung zwischen legitimen Bots – etwa Suchmaschinen-Crawler oder Feed-Reader – und bösartigen Bots, die bewusst versuchen, Schutzmechanismen zu umgehen. Anubis arbeitet daher mit einer umfangreichen Regelbasis, die zunächst sehr restriktiv agiert und Zugriffe anhand von definierten Kriterien entweder erlaubt, blockiert oder einer sekundären Prüfung unterzieht.
Die Herausforderung besteht darin, die Sicherheitsvorkehrungen so zu gestalten, dass sie einerseits effektiv vor Missbrauch schützen und andererseits nicht den legitimen Nutzerfluss stören. Durch die Analyse der Logdaten mit DuckDB können sogenannte Fingerprints von Webanfragen erstellt werden. Das bedeutet, dass anhand von HTTP-Headern, User-Agent Strings und anderen Metadaten charakteristische Muster extrahiert werden, die auf bestimmte Bot-Typen hinweisen. Beispielsweise kann man anhand der Kombination bestimmter Header-Felder und deren Werte unterscheiden, ob ein Browser tatsächlich echt ist oder nur vorgetäuscht wird. Solche Erkenntnisse helfen, Regeln zu verfeinern und Scraper gezielt zu blockieren. Beeindruckend ist auch, wie die Datenlage in Tigris genutzt wird, um Angriffe großer Unternehmen wie Amazon Alexa zu identifizieren. Offenbar wird von deren Scraping-Tools sehr aggressiv auf Quellcode-Daten zugegriffen, was enorme Last auf den Servern erzeugt hat.
Der Betreiber des beschriebenen Systems konnte durch die umfangreiche Logdatenanalyse überwachen, wie viele Anfragen von Alexa kamen und deren Verhalten extrapolieren. Diese Transparenz ist ein wesentlicher Baustein, um gezielt gegen solche Missbrauchsmuster vorzugehen. Die technische Umsetzung des Datenimports in DuckDB zeigt, wie flexibel und mächtig diese Kombination ist. Durch die Definition eines passenden Schemas können die verschachtelten JSON-Logs direkt eingelesen und in einer relationalen Form verarbeitet werden. Dabei lassen sich komplexe SQL-Abfragen formulieren, um zeitliche Verläufe, geografische Verteilung, Header-Muster oder diverse andere Merkmale auszuwerten. So können Betreiber wissen, welche User-Agent Strings welche IPs verwenden, wie viele unterschiedliche IP-Adressen tatsächlich echte Browser repräsentieren, und somit realistische Nutzerverteilungen simulieren. Neben der Erkennung ist auch das Labeln der Anfragen ein wichtiger Schritt.
Mittels zusätzlicher Tabellenschemata in DuckDB lassen sich Regeln speichern, welche Anfragen bestimmte Kriterien erfüllen und somit als „verdächtig“ oder „sicher“ eingestuft werden. Diese Klassifizierung erlaubt es Anubis, dynamisch auf Veränderungen im Traffic zu reagieren und gleichzeitig eine Datenbasis aufzubauen, um auch zukünftig unbekannte Scraper zu erkennen. Datenschutz ist dabei ein zentrales Thema. Während für die Analyse eine große Menge sensibler Daten gesammelt wird, verzichtet Anubis bewusst auf die Verarbeitung personenbezogener Daten und legt den Fokus auf aggregierte Mustererkennung. Die Verwendung von Tigris hilft, die Sicherheit und Vertraulichkeit der Logs zu gewährleisten, ohne den Betreiber mit unverhältnismäßig großen Verantwortlichkeiten zu belasten. Die Zukunft der Scraper-Abwehr wird maßgeblich durch die fortschreitende Entwicklung von KI-Technologien geprägt sein.
Da viele Scraper inzwischen intelligent agieren und sich bewusst als legitime Browser tarnen, ist eine kontinuierliche Weiterentwicklung der Erkennungsmethoden unerlässlich. Tools wie Anubis, unterstützt durch die Datenspeicherung in Tigris und die Analyse mit DuckDB, sind dabei wertvolle Helfer, um auch gegen immer raffiniertere Bots gewappnet zu sein. Zusammenfassend lässt sich sagen, dass die Kombination von Tigris und DuckDB eine moderne und skalierbare Lösung für die Herausforderungen beim Schutz vor Scraping darstellt. Dabei profitieren Betreiber von der leistungsfähigen Speicherung großer Mengen an Logdaten, der flexiblen Datenanalyse und den praxisnahen Firewall-Regeln, die auf realen Mustern basieren. Nicht zuletzt trägt diese Technologie-Kombination dazu bei, die Infrastruktur vor Überlastung zu schützen, den Missbrauch von Inhalten zu verhindern und die Qualität und Verfügbarkeit von Webdiensten langfristig sicherzustellen.
Webseitenbetreiber und Sicherheitsverantwortliche sollten künftig daher verstärkt auf derartige integrierte Ansätze setzen, um sich gegen die stetig wachsende Bedrohung durch automatisierte Scraper zu wappnen. Das Zusammenspiel aus intelligenter Erkennung, leistungsfähiger Datenplattform und nutzerfreundlichen Tools wird hierbei zum entscheidenden Erfolgsfaktor. So bleibt das Internet ein sicherer und fairer Ort für alle Beteiligten.
