Im digitalen Zeitalter sind Bots allgegenwärtig. Sie durchforsten das Internet, sammeln Daten und belasten Webseiten mit unerwünschtem Traffic. Für Webmaster, Dienstanbieter und Entwickler ist die Bot-Bedrohung zu einem dauerhaften Problem geworden, das es zu bewältigen gilt. Während viele Unternehmen auf große Anbieter wie Cloudflare setzen, gibt es auch Lösungen aus der Community, die eine selbst gehostete Alternative anbieten und das Ringen gegen Bots individuell handhabbar machen. Eine solche Lösung ist Anubis, ein Open-Source-Web-AI-Firewall-Tool, das von Xe, einem engagierten Entwickler, entwickelt wurde.
Im Rahmen eines Vortrags auf der BSDCan-Konferenz präsentierte er seine Vision und Umsetzung, wie man Bots effizient stoppen kann, ohne dabei Nutzer durch lästige Captchas zu vergraulen. Bots unterscheiden sich nur schwer von echten Nutzeranfragen. Moderne Scraper täuschen nicht nur menschliches Verhalten vor, sondern umgehen auch traditionelle Schutzmechanismen. Standard-Captchas, die viele von uns als lästig empfinden, sind inzwischen für professionelle Bots kaum noch eine Hürde. Dies liegt daran, dass viele Scraper auf ausgeklügelte Captcha-Löser zurückgreifen, die oftmals auf menschlicher Arbeit in Niedriglohnländern basieren.
Dieses System belastet Nutzer, Betreiber und die Integrität des Internets gleichermaßen. Anubis geht daher einen neuen Weg. Statt eines frustrierenden Puzzles setzt es auf browserbasierte Prüfungen durch kryptographische Herausforderungen, die automatisiert vom Server verifiziert werden können. Dadurch wird nicht nur die Benutzererfahrung verbessert, es steigt gleichzeitig die Sicherheit und Belastbarkeit des Webservers. Die Idee entstand aus persönlicher Notwendigkeit.
Das private Git-Server-Projekt des Entwicklers wurde durch einen regelrechten Ansturm von Crawlern und Bots überlastet – unter anderem auch von Anfragen des Amazon-Crawlers, der über TLS-Zertifikatstransparenz-Logs auf den Server aufmerksam wurde. Der „Flammenwerfer“ von Anfragen drohte den Server lahmzulegen. Dieses Erlebnis war der Auslöser für die Entwicklung von Anubis, das mittlerweile weit über den eigenen Bedarf hinaus verbreitet ist. Zahlreiche namhafte Organisationen wie FreeBSD, NetBSD, GNOME, FFmpeg und sogar die UNESCO setzen mittlerweile auf Anubis. Diese breite Akzeptanz zeigt, dass das Problem mit Bots nicht nur eine Nische betrifft, sondern einen gesellschaftlichen und technischen Kampf darstellt.
Ein wesentliches Problem bei der Bot-Erkennung ist die Tatsache, dass Bots zunehmend wie legitime Browser auftreten. Fingerprinting-Methoden allein reichen nicht mehr aus, da moderne Bots eine Vielzahl von Techniken einsetzen, um menschliches Verhalten zu imitieren. Zum Beispiel werden TLS-Fingerabdrücke wie JA3 oder JA4, HTTP/2-spezifische Charakteristika und das Ausführen von JavaScript als Indikatoren herangezogen. Doch diese Methoden haben ihre Grenzen und werden ständig von Bot-Entwicklern umgangen. Daher forscht die Entwicklergemeinschaft permanent an neuen Wegen, etwa durch tiefere Verhaltensanalysen und serverseitige Technologien wie WebAssembly, um den Schutz noch robuster zu gestalten.
Die Implementierung von Anubis in verschiedenen Webserver-Stacks zeigt die Vielseitigkeit des Projekts. Egal ob Nginx, Apache, Caddy oder Kubernetes-Umgebungen – Anubis lässt sich flexibel integrieren. Die Entscheidung für die Programmiersprache Go vermeidet Abhängigkeiten von C-Bibliotheken und sorgt für einfache Kompilierbarkeit und Plattformunabhängigkeit, was gerade für BSD-Derivate von Vorteil ist. In der Open-Source-Community wird die Software stetig weiterentwickelt und durch regelmäßige Aktualisierungen gepflegt, um den sich ständig ändernden Angriffsmethoden einen Schritt voraus zu sein. Innerhalb der Zukunftspläne für Anubis stehen neben der Verbesserung der Unterstützung für JavaScript-freie Browser auch die Entwicklung eines gehosteten Dienstes, der die Vorteile der Software ohne eigenen Hostingaufwand nutzbar macht.
Ebenso sollen adaptive Maßnahmen implementiert werden, die nur bei hoher Serverbelastung aktiviert werden, um unnötige Blockaden zu vermeiden. Weitere ambitionierte Vorhaben umfassen die Integration von IP-Reputationsdatenbanken, um bösartige Aktivitäten frühzeitig zu identifizieren und abzuwehren. Bot-Abwehr ist mehr als nur eine technische Herausforderung. Es ist ein gesellschaftliches Problem, das die Balance zwischen Zugänglichkeit und Schutz, zwischen Automatisierung und Menschlichkeit fordert. Die kontinuierliche Weiterentwicklung von Tools wie Anubis zeigt, dass innovative Lösungen auch in einer Welt, die zunehmend von Künstlicher Intelligenz und Automatisierung geprägt ist, möglich sind.
Dabei erkennt Xe als Entwickler auch die Grenzen seiner Arbeit und die Dynamik des Marktes, vor allem angesichts der Entwicklungen im AI-Sektor, die die gesamte Branche beeinflussen. Das Engagement, das Besucherzahlen trotz Widrigkeiten zu schützen, ist ein Kampf, der von vielen als verloren angesehen wird. Doch die Entstehung von Anubis vermittelt Hoffnung, dass durch gemeinschaftliche Kraft und kreative Ansätze mehr erreicht werden kann. Nutzer und Entwickler sind deshalb eingeladen, sich an der Weiterentwicklung zu beteiligen, sei es durch Feedback, Code-Beiträge oder das Verbreiten von Awareness. Aus der anfänglichen Frustration an einem kleinen privaten Server wurde so ein Werkzeug, das weltweit eingesetzt wird und das Web ein Stück sicherer macht.
Für Webadministratoren stellt sich häufig die Frage: Wie kann ich echte Besucher von Bots unterscheiden, ohne legitime Nutzer zu belästigen? Das Problem ist keineswegs trivial, und einfache Einmal-Lösungen bringen meist nur kurzfristigen Schutz. Die intelligente Bot-Abwehr erfordert daher eine Kombination aus verschiedenen Überprüfungen und die Bereitschaft, auf neue Bedrohungen schnell zu reagieren. Tools wie Anubis bieten eine offen zugängliche Plattform, um genau diesen Anforderungen gerecht zu werden. Sie ermöglichen jedem Betreiber mit zumindest grundlegenden technischen Kenntnissen, den Schutz individuell anzupassen und so die Kontrolle zurückzugewinnen. Abschließend zeigt die Geschichte rund um Anubis, wie eine persönliche Herausforderung in der digitalen Welt zu einem bedeutenden Projekt mit weltweiter Reichweite werden kann.
Es verdeutlicht, dass der Kampf gegen Bots nicht aufzugeben ist und dass engagierte Entwickler einen wichtigen Beitrag zum Erhalt einer sicheren und nutzerfreundlichen Internetinfrastruktur leisten. Wer sich mit dem Thema beschäftigt, erkennt schnell, dass Bot-Schutz nicht nur aus technischen Mitteln besteht, sondern auch ein Verständnis für die Dynamiken und Erwartungen der Internetgemeinschaft benötigt. Lösungen müssen balancieren zwischen Sicherheit, Benutzerfreundlichkeit und realistischer Umsetzbarkeit, um langfristig Erfolg zu haben. Anubis steht exemplarisch für diesen Weg und gibt Hoffnung, dass auch im Kampf gegen automatisierte Angriffe die Menschlichkeit und die Kontrolle über eigene digitale Ressourcen bewahrt werden können.
