EU-finanzierte Software zur Erkennung von kinderpornografischem Material mit erheblichen Schwächen – Hersteller gesteht Fehler ein

Die Bekämpfung von kinderpornografischem Material (Child Sexual Abuse Material, CSAM) ist eine der vorrangigen Aufgaben im digitalen Zeitalter. Mit der immer größeren Verbreitung von Online-Plattformen, auf denen Fotos, Videos und Nachrichten in Echtzeit ausgetauscht werden, steigen auch die Herausforderungen, diese gefährlichen Inhalte genau und schnell zu erkennen und zu entfernen. Vor diesem Hintergrund hat die Europäische Union Technologien gefördert und vorgeschlagen, die automatisiert illegales Material identifizieren sollen. Zwar klingt der Ansatz sinnvoll und notwendig, doch zeigen sich in der Praxis erhebliche technische und ethische Probleme – Bestätigungen, die zuletzt vom Hersteller der maßgeblichen Software selbst eingeräumt wurden. Thorn, eine US-amerikanische Non-Profit-Organisation gegründet von Schauspielern wie Demi Moore und Ashton Kutcher, ist eines der wichtigsten Unternehmen hinter einer solchen Überwachungssoftware, die auch von der EU gepriesen wird.

Die Organisation wirbt für ihre Technologie als einen Weg, kinderporno­grafische Inhalte automatisiert zu erkennen und gleichzeitig die Privatsphäre unbeteiligter Nutzer zu schützen. Doch neue Dokumente, die durch Recherchen von „Follow the Money“ veröffentlicht wurden, offenbaren Schwachstellen und Zweifel an der Zuverlässigkeit der Software, die den europäischen Gesetzgebungsprozess beeinflussen könnten. Thorn setzt vor allem auf digitale Fingerabdrücke, sogenannte Hashes, um bekanntermaßen illegalen Content zu identifizieren. Diese Hashes werden anonymisierten Bildern und Videos zugeordnet, die bereits von Behörden erfasst wurden. Sobald ein Bild neu hochgeladen oder verschickt wird, vergleicht das System die Hashes und meldet einen Fund, sollte es eine Übereinstimmung mit dem als illegal gekennzeichneten Material geben.

Der Plan der EU-Kommission sieht vor, dass solche Technologien nicht nur auf offenen Plattformen wie Facebook oder TikTok Anwendung finden, sondern auch auf End-to-End-verschlüsselten Diensten wie WhatsApp oder Signal. Damit wäre letztlich jede private Nachricht und jedes verschickte Medium potenziell der automatischen Durchsuchung unterworfen. Dieses Vorhaben hat sowohl in der Politik als auch in Datenschutz- und Bürgerrechtskreisen massive Kritik ausgelöst. Die Bedenken betreffen vor allem den Eingriff in das Grundrecht auf Privatsphäre und die Gefahr, dass eine Massenüberwachung ohne konkreten Tatverdacht eingeführt wird. Gleichzeitig warnen Experten davor, dass die Technik nicht zuverlässig genug sei, um Fehler bei der Erkennung zu vermeiden.

Fehlalarme können dazu führen, dass unschuldige Nutzer fälschlicherweise beschuldigt werden, kinderpornografische Inhalte zu besitzen oder zu verbreiten. Zudem besteht die Gefahr einer Überlastung von Strafverfolgungsbehörden, die mit einer großen Zahl von irrtümlich gemeldeten Fällen umgehen müssten. Die EU-Kommission verteidigt das Vorhaben mit der Begründung, dass nur die „wenigst eingreifenden“ Technologien verpflichtend genutzt werden sollen. Dabei sei die Erkennungsrate sehr hoch, und „keine Fehlalarme“ dürften an die Behörden weitergeleitet werden. Diese Aussagen stehen jedoch in starkem Widerspruch zu internen Dokumenten, die nicht vollständig veröffentlicht wurden, aber Teilelemente preisgeben, die von der schwedischen Regierung und „Follow the Money“ in unzensierter Form erhalten wurden.

In einem dieser Papiere mit dem Titel „False Positive Mitigation“ gibt es deutlich subtilere Hinweise darauf, dass die Software definitiv nicht frei von Fehlern ist. Der Hersteller Thorn räumt ein, dass keine Technologie vollkommen zuverlässig sein kann und Fehler auch weiterhin möglich bleiben. Entsprechend ist vorgesehen, dass alle potenziellen Funde menschlich überprüft werden, bevor Maßnahmen gegen verdächtige Nutzer ergriffen werden. In der Praxis bedeutet dies, dass Content-Moderatoren oder Ermittlungsbehörden massenhaft Bildmaterial sichten müssen, das zuvor von der Software verdächtigt wird. Diese menschliche Nachprüfung ist enorm zeit- und ressourcenintensiv und führt zu erheblichen logistischen und rechtlichen Herausforderungen.

Die Debatte um den Einsatz solcher Überwachungstechnologie ist auch eine Diskussion über den richtigen Umgang mit digitalen Grundrechten und der Grenzen staatlicher Überwachung im Internet. Viele Datenschutzaktivisten und digitale Bürgerrechtsorganisationen argumentieren, dass die automatische Durchsuchung sämtlicher User-Kommunikation im Kern einer Massenüberwachung gleichkommt. Sie fordern stattdessen zielgerichtete Ermittlungen auf Basis von konkretem Verdacht und mehr Transparenz für Nutzer bezüglich möglicher Scans und Datenweiterleitungen. Die technologische Umsetzung solcher Lösungen steht zwar im Vordergrund, doch die gesellschaftlichen und juristischen Fragen sind mindestens ebenso relevant. Welche Kompromisse sind akzeptabel, um den Schutz von Kindern im Netz zu gewährleisten, ohne die Privatsphäre der Allgemeinheit aufzugeben? Wie kann gewährleistet werden, dass die verwendeten Technologien zuverlässig arbeiten und Fehlinterpretationen minimiert werden? Kein Gesetzesentwurf oder technische Lösung kann diese Fragen vollständig beantworten, doch die jüngsten Enthüllungen zur Software von Thorn liefern wichtige Denkanstöße für die EU-Politik und die Öffentlichkeit.

Es wird deutlich, dass Transparenz und vollständige Einsicht in die Funktionsweise solcher Überwachungssysteme unverzichtbar sind. Nur so kann sichergestellt werden, dass Maßnahmen zum Schutz Minderjähriger nicht unerwünschte Nebenwirkungen haben und demokratische Grundwerte gewahrt bleiben. Auch wenn der Schutz von Kindern vor sexuellem Missbrauch im Netz ein dringendes Anliegen ist, darf nicht vergessen werden, dass nichts ohne Zweifel auch Nachteile und Risiken mit sich bringt. Eine verantwortungsvolle Balance zwischen Sicherheit, Wahrung der Menschenrechte und wirksamen technischen Lösungen wird die Zukunft der digitalen Überwachungstechnologie bestimmen. Die EU und ihre Mitgliedsstaaten stehen hier vor einer komplexen Aufgabe: ein technisch anspruchsvolles und ethisch sensibles Thema politisch und gesellschaftlich transparent zu gestalten, den Dialog mit Experten und Bürgern zu fördern und sicherzustellen, dass die eingesetzten Systeme auch tatsächlich ihre Versprechen halten.

Das jüngste Eingeständnis von Thorn ist ein Weckruf für all jene, die Mindestanforderungen an Datenschutz und Rechtssicherheit beim automatisierten Scannen von Online-Kommunikation ablehnen oder unterschätzen. Nur durch sorgfältige Prüfung und ständige Weiterentwicklung solcher Technologien kann das Vertrauen aller Beteiligten erhalten bleiben – von betroffenen Kindern über Nutzer bis hin zu Strafverfolgungsbehörden. Die kommenden Monate werden zeigen, wie sich die EU in dieser heiklen Thematik positioniert und ob der vermeintliche Heilsbringer im Kampf gegen Online-Kinderpornografie tatsächlich seinen hohen Ansprüchen gerecht werden kann.