Im digitalen Zeitalter stellen automatisierte Bots eine zunehmende Herausforderung für Webseitenbetreiber dar. Insbesondere AI-gestützte Scraping-Bots verursachen durch massenhafte und niedrige Aufwand betriebene Anfragen enorme Belastungen für Server und Infrastruktur. Go-away ist eine selbstgehostete Lösung, die gezielt entwickelt wurde, um genau diese Problematik zu adressieren. Diese Software ermöglicht eine effektive Missbrauchserkennung und die dynamische Durchsetzung von Regeln, sodass Betreiber die Kontrolle über Zugriffe und Anfragen behalten und gleichzeitig den Dienst für echte Nutzer optimieren können. Go-away positioniert sich als Zwischeninstanz zwischen dem eigenen Webservice und dem Internet oder einem vorgelagerten Proxy.
Durch die zentrale Steuerung können eingehende Anfragen anhand frei konfigurierbarer Regeln bewertet werden. Das System bietet eine ausgeklügelte Auswahl an Aktionen, von der einfachen Weiterleitung legitimer Nutzer bis hin zur Herausgabe von Herausforderungen an potenzielle Scraper. Ziel ist es, automatisierten Traffic zu reduzieren, der durch einfache User-Agent-Filterung oder statische Blacklists längst nicht mehr effektiv bekämpft werden kann. Eine der größten Stärken von Go-away liegt in seiner Flexibilität durch Verwendung der Common Expression Language (CEL). Diese moderne Ausdruckssprache erlaubt es, auf vielfältige Parameter einer Anfrage zuzugreifen und diese für Entscheidungen einzusetzen.
So können nicht nur IP-Adressen oder HTTP-Methoden herangezogen werden, sondern auch individuelle Fingerprints, TLS-Eigenschaften oder sogar komplexe Bedingungen unter Berücksichtigung von Pfaden, Headern und Queries. Diese Granularität erlaubt eine präzise Unterscheidung zwischen legitimen und schädlichen Zugriffen und macht das System besonders widerstandsfähig gegen neue Bot-Strategien. Herausforderungen, die Go-away anbietet, können je nach Anforderung unterschiedlich gestaltet sein. Es stehen Transparenzoptionen zur Verfügung, die ohne sichtbare Intervention für Nutzer im Hintergrund arbeiten. Bei stärkerem Verdacht kann das System auf nicht-JavaScript-basierte Checks zurückgreifen, die gängige Browserparameter überprüfen oder sogar serverseitig ablaufen.
Für komplexere Bots, die solche simplen Mechanismen umgehen, unterstützt Go-away zudem individuelle JavaScript- und WebAssembly-Herausforderungen. Diese reichen von Proof-of-Work-Mechanismen bis hin zu Captchas und umfassen ein umfassendes Framework zur Integration eigener Prüfmethoden. Der Schutz vor ungebremstem Scraping ist für viele Betreiber von Webdiensten und API-Providern essenziell. Häufig verursachen AI-Scraper enorme Serverlasten, indem sie Millionen von Anfragen in kurzer Zeit generieren, oft in der Absicht, Daten für eigene Trainings oder Konkurrenten zu extrahieren. Diese sogenannten Spray-and-Pray-Angriffe führen zu Netzwerküberlastungen, Einbrüchen in der Performance und stellen auch eine rechtliche und ethische Problematik dar.
Während einfache Blockaden auf Basis von User-Agent-Strings heute kaum noch sicheren Schutz bieten, setzt Go-away an einem höheren Punkt im Stack an und nutzt moderne, konfigurierbare und ausbaufähige Methoden. Ein weiterer Vorteil von Go-away ist die Unterstützung verschiedener Hintergründe und Backends. Betreiber können mehrere Domains oder Subdomains zentral mit unterschiedlichen Regeln verwalten. Dadurch lassen sich auch komplexe Hosting-Szenarien abbilden. Zudem erkennt das System Netzwerkbereiche wie Cloudanbieter oder bekannte Bots und kann diese mit spezifischen Regeln behandeln.
Die Automatisierung des Einlesens von IP-Listen aus Quellen wie Cloudflare, AWS oder spezifischen Suchmaschinen schafft eine konsequente und aktuelle Filterbasis. Zur Erhöhung der Sicherheit und Wirksamkeit beinhaltet Go-away moderne TLS-Unterstützung mit automatischer Zertifikatsverwaltung über ACME-Protokolle. Durch TLS-Fingerprinting mittels JA3 und JA4 kann das Verhalten und Profil einer Verbindung besser eingeschätzt werden. So werden beispielsweise Bots, die mit ungewöhnlichen TLS-Konfigurationen auftreten, frühzeitig erkannt und gezielt herausgefordert oder blockiert. Die Kombination aus TLS-Fingerprinting und intelligenten Regeln erhöht den Schutz besonders bei verschlüsselten Verbindungen erheblich.
Die Herausforderung bei Bot-Schutzmechanismen ist stets, die legitimen Nutzer nicht negativ zu beeinträchtigen. Go-away legt daher besonderen Wert darauf, unterschiedliche Schwellenwerte und Bedingungen anzubieten, um echte Besucher nicht unnötig zu belasten. Die verschiedenen Arten von Challenges und deren Reihenfolge können individuell definiert werden, um Nutzerfreundlichkeit und Sicherheit optimal zu balancieren. Ein eingeloggter Nutzer beispielsweise kann mittels Cookies oder Backend-Verifikation identifiziert und von Herausforderungen befreit werden. Der Aspekt der Selbsthostung bietet Betreibern die absolute Kontrolle über die eigenen Sicherheitsregeln und Mechanismen.
Insbesondere in Zeiten, in denen Datenschutz und Compliance von großer Bedeutung sind, gewinnen solche Lösungen an Attraktivität. Go-away benötigt keine externen Dienste, wodurch sensible Daten nicht das eigene System verlassen. Außerdem ermöglicht die Open-Source-Verfügbarkeit und aktive Entwicklung eine kontinuierliche Anpassung an neue Bedrohungen oder spezifische Anforderungen. Darüber hinaus bietet Go-away eine gut dokumentierte, aktive Community und Supportkanäle, die auch Neulingen bei der Einrichtung und Optimierung helfen. Die Möglichkeit, Policies flexibel über YAML-Konfigurationen zu definieren, erleichtert den Einstieg und erlaubt trotzdem eine hochgradige Spezialisierung.
Beispielkonfigurationen für verschiedene Szenarien wie Forgejo-Instanzen oder generelle Websites sind verfügbar und dienen als solide Grundlage. Die anhaltende Weiterentwicklung ist ein weiterer Pluspunkt. Die Entwickler planen unter anderem Möglichkeiten für Live-Reloads von Konfigurationen, verbesserte Metriken zur Analyse der Bot-Aktivitäten und eine intensivere Integration in Webserver wie Caddy. Damit wird Go-away nicht nur reaktiv, sondern auch proaktiv und messbar in der Bekämpfung von Bot-Traffic. Der Vergleich mit ähnlichen Projekten wie Anubis, Powxy oder PoW! zeigt, dass Go-away sich insbesondere durch seine konfigurierbare Vielseitigkeit, seinen modularen Aufbau und die umfangreichen Herausforderungen hervortut.
Wo einfache Proof-of-Work-Systeme oft nicht mehr ausreichen, bietet Go-away die Plattform, um anspruchsvolle und individuelle Lösungen zu realisieren, die sowohl den aktuellen als auch zukünftigen Herausforderungen gewachsen sind. Insgesamt stellt Go-away eine moderne Antwort auf die Problematik der AI-Scraping-Bots dar. Betreiber von Webseiten, API-Diensten oder anderen Online-Ressourcen profitieren von einem flexiblen, selbstgehosteten System, das nachhaltigen Schutz bietet, ohne dabei legitime Nutzer unnötig zu behindern. In einer Zeit, in der automatisiertes Crawling und Scraping sowohl technische als auch wirtschaftliche Herausforderungen darstellen, ist der Einsatz von intelligenten Lösungen wie Go-away essenziell, um die Stabilität, Sicherheit und Integrität von Webservices zu gewährleisten.
