Kalifornien gilt als einer der Vorreiter im Bereich Technologie und Digitalisierung, doch genau an dieser Stelle zeigt sich aktuell eine Auffälligkeit, die Experten und Beobachter gleichermaßen alarmiert: Trotz zahlreicher Hinweise und Belege behauptet die kalifornische Regierung, keine Hochrisiko-KI-Systeme zu verwenden. Dieses widersprüchliche Bild entsteht vor dem Hintergrund gesetzlicher Anforderungen, einer wachsenden gesellschaftlichen Debatte und dem zunehmenden Einsatz von Algorithmen in Bereichen, die das Leben der Bürger erheblich beeinflussen. Die kalifornische Regierung veröffentlichte im Jahr 2025 einen Bericht, der auf der Grundlage einer Befragung von nahezu 200 staatlichen Einrichtungen erstellt wurde. Diese Einrichtungen waren gesetzlich verpflichtet, offenzulegen, ob sie Hochrisiko-automatisierte Systeme verwenden.
Dabei definiert Kalifornien „Hochrisiko“ als den Einsatz von Algorithmen, die wichtige Entscheidungen beeinflussen oder gar eigenständig treffen können – etwa im Bereich der Strafjustiz, der Arbeitslosenunterstützung, der Vergabe von Bildungs-, Gesundheits- oder Beschäftigungschancen. Trotz der gesetzlichen Verpflichtung meldeten sämtliche Behörden, keine Hochrisiko-KI-Systeme im Einsatz zu haben. Diese Angabe steht im starken Kontrast zu verschiedenen bekannten Fällen, in denen bereits jetzt Algorithmen verwendet werden, die massive Auswirkungen auf die Lebensrealität von Menschen haben. Ein Beispiel ist die kalifornische Strafvollzugsbehörde, die Algorithmen einsetzt, um Rückfallrisiken von Inhaftierten zu bewerten. Eines dieser Systeme ist COMPAS, das in der Vergangenheit mehrfach wegen rassistischer Verzerrungen in der Entscheidungsfindung kritisiert wurde. Trotzdem meldete die Behörde offiziell keine Nutzung von Hochrisiko-KI.
Ein anderes prominentes Beispiel ist das California Employment Development Department (EDD), das während der Weihnachtszeit 2020 fast 1,1 Millionen Anspruchsberechtigten Arbeitslosenunterstützung entzogen hatte. Grund war die Verwendung eines KI-basierten Betrugserkennungssystems von Thomson Reuters, das fälschlicherweise viele legitime Anträge als betrügerisch einstufte. Später zeigte sich, dass etwa 600. 000 dieser Menschen zu Unrecht abgestraft wurden. Diese Vorfälle werfen starke Fragen zur Transparenz, Verantwortung und zum Umgang mit automatisierten Entscheidungen auf. Die Diskrepanz zwischen den offiziellen Berichten und der Realität könnte verschiedene Ursachen haben. Zum einen gibt das California Department of Technology offen zu, dass es keine genaue Kenntnis darüber hat, welche Algorithmen konkret in den Behörden zum Einsatz kommen.
Die Verantwortung zur Meldung liege allein bei den einzelnen Einrichtungen, die auch selbst über die Auslegung der gesetzlichen Definition von Hochrisiko-KI entscheiden. Dies führt zu einem blinden Fleck und Offenheit für Inkonsistenzen oder gar bewusste Untertreibungen. Zum anderen ist unklar, wie die Definition von Hochrisiko exakt angewandt wird. Einige systemrelevante Algorithmen, die Entscheidungen mit erheblichen Konsequenzen treffen – etwa den Entzug von Leistungen oder die Beurteilung von Kriminalitätsrisiken – werden offensichtlich nicht als hochriskant eingestuft, obwohl sie klar in die gesetzliche Definition fallen könnten. Darüber hinaus widersprechen die offiziellen Angaben auch den Einschätzungen von Legislative-Analysten, die Studien anfertigten und vor enormen Kosten warnten, die anfallen würden, wenn die Regierung Hochrisiko-KI-Systeme umfassend überwachen und bewerten würde.
Die finanziellen Schätzungen für eine angemessene Kontrolle bewegen sich in Millionen bis Milliarden von Dollar jährlich. Dieser Widerspruch nährt Spekulationen, dass zumindest teilweise eine bewusste Beschönigung oder Verharmlosung der tatsächlichen Lage stattfindet. Auch Experten aus Universitäten und zivilgesellschaftlichen Organisationen kritisieren die aktuelle Praxis. Sie fordern strengere Kriterien, mehr Transparenz und regelmäßige Prüfungen, um sicherzustellen, dass der Einsatz von KI-Systemen keine diskriminierenden oder unfairen Folgen für die Bevölkerung hat. Besonders die Entscheidung, ob ein System als Hochrisiko kategorial erfasst wird, ist entscheidend, denn Hochrisiko-KI unterliegt aufgrund möglicher negativer Auswirkungen strengeren Regulierungen und Kontrollen. Der Diskussion liegt die grundsätzliche Frage zugrunde, wie Regierungen mit den Chancen und Risiken moderner Künstlicher Intelligenz umgehen sollten.
Während KI das Potenzial hat, Prozesse zu verbessern, Verwaltung zu optimieren und Bürgerinnen und Bürgern schneller zu helfen, bergen automatisierte Entscheidungen gerade im sozialen Bereich erhebliche Gefahren für den Schutz der Grundrechte. Missbrauch, Diskriminierung und Intransparenz sind Risiken, die es aktiv zu verhindern gilt. Die kalifornische Regierung steht daher vor einer entscheidenden Herausforderung: Sie muss einerseits den technologischen Fortschritt und die Effizienzgewinne fördern, andererseits aber angemessene Kontrolle- und Schutzmechanismen etablieren. Diese Balance wird in den kommenden Monaten und Jahren eine zentrale Rolle in Politik und Verwaltung Kaliforniens spielen. Derzeit werden verschiedene Gesetzesinitiativen auf Landesebene diskutiert, um KI-Anwendungen besser zu regulieren. Dazu zählt unter anderem ein Vorschlag, der regelmäßige Risikoanalysen und öffentliche Berichterstattungen über den Einsatz von Algorithmen mit weitreichenden Folgen vorschreibt.
Zudem arbeitet die kalifornische Regierung an Leitlinien, die den Umgang mit generativer KI definieren und den Schutz der Bürgerrechte stärken sollen. Zudem steht die Frage im Raum, warum bestimmte Bereiche von der Berichtspflicht ausgenommen sind – so etwa die Justiz oder berufsständische Organisationen wie die kalifornische Anwaltskammer. Gerade dort kommen KI-gestützte Systeme zum Einsatz, die erheblichen Einfluss auf Beruf und Leben haben können. Auch lokale Verwaltungen, die zum Beispiel im Bereich der Polizeiarbeit Algorithmen nutzen, sind nicht zur Meldung verpflichtet, obwohl hier grundsätzliche Risiken bestehen. Nicht zuletzt stellt sich die Frage nach der Rolle der Öffentlichkeit und unabhängiger Medien bei der Kontrolle staatlicher KI-Einsätze. Berichte wie der von CalMatters, die wohlredend und kritisch über die Diskrepanzen berichten, sind dabei ein unerlässlicher Beitrag, um Transparenz zu schaffen und politische Verantwortliche unter Druck zu setzen.
Ohne eine informierte Öffentlichkeit droht die Entwicklung eines undurchsichtigen Systems, das das Vertrauen in demokratische Institutionen beschädigen kann. Zusammenfassend lässt sich feststellen, dass Kaliforniens offizielle Darstellung – wonach keine Hochrisiko-KI im Einsatz ist – angesichts der Faktenlage zumindest fragwürdig erscheint. Die Herausforderung liegt in der präzisen Definition, der Überwachung und der Verbindlichkeit von Berichts- und Kontrollpflichten. Nur wenn klare Vorgaben bestehen und diese konsequent eingehalten werden, kann sichergestellt werden, dass Künstliche Intelligenz verantwortungsvoll eingesetzt wird und negative gesellschaftliche Auswirkungen minimiert werden. Der Umgang Kaliforniens mit dieser Herausforderung wird wichtige Impulse dafür geben, wie demokratische Gesellschaften weltweit mit den Risiken von automatisierten Entscheidungsprozessen umgehen sollten.
Es bleibt zu hoffen, dass Politik, Verwaltung, Forschung und Zivilgesellschaft an einem Strang ziehen, um den Einsatz von KI transparent, gerecht und nachvollziehbar zu gestalten – zum Schutz der Bürgerinnen und Bürger und für das Vertrauen in den Staat.
