Künstliche Intelligenz revolutioniert alle Lebens- und Arbeitsbereiche. Besonders der Einsatz autonomer KI-Agenten, die ohne große menschliche Kontrolle Aufgaben erledigen, gewinnt immer mehr an Bedeutung. Von der Automatisierung einfacher Kundenanfragen bis hin zur komplexen Steuerung von Prozessen in Unternehmen sind diese Systeme heute bereits aktiv. Doch diese enorme Automatisierung, gekoppelt mit weitgehender Selbstständigkeit der KI-Agenten, bringt ein neues, komplexes Problem mit sich: Wer ist eigentlich verantwortlich, wenn ein KI-Agent Fehler macht oder Schaden verursacht? Die Entwicklung agentischer KI-Systeme, also von digitalen Akteuren, die eigenständig Entscheidungen treffen und operieren, schreitet rasch voran. Große Technologiekonzerne wie Microsoft und Google treiben diese Entwicklung mit großem Nachdruck voran.
Ihre Vision ist, dass zukünftig ganze Arbeitsprozesse oder sogar ganze Arbeitskräfte durch vernetzte, kooperierende KI-Agenten ersetzt werden. Denn das erlaubt Unternehmen, enorme Kosten bei Zeit und Arbeitskräften einzusparen. Analysen von Marktforschern prognostizieren, dass bis 2029 etwa 80 Prozent der typischen Kundenanfragen automatisiert und ohne menschliches Eingreifen durch diese Systeme bearbeitet werden können. Auch die Nachfrage nach Tools und Plattformen, die den Aufbau solcher Agentensysteme erleichtern, erlebt regelrechte Explosionen. Ein Beispiel aus der Praxis verdeutlicht die Herausforderungen sehr anschaulich: Jay Prakash Thakur, ein erfahrener Softwareentwickler aus Kalifornien, experimentiert seit einiger Zeit mit solchen KI-Agenten.
Er arbeitet mit Multi-Agenten-Systemen, bei denen verschiedene KI-Anwendungen gemeinsam komplexe Aufgaben lösen sollten – etwa Apps programmieren oder Bestellungen entgegennehmen und in die Tat umsetzen. Dabei hat er festgestellt, wie fehleranfällig die Kommunikation zwischen den einzelnen Agenten sein kann. Ein Suchagent etwa fühlte sich berufen und fand ein Tool, das angeblich unlimitierte Anfragen pro Minute für Unternehmenskunden unterstützte. Der Zusammenfassungsagent seinerseits kürzte aber die entscheidende Einschränkung heraus, dass diese Funktion ausschließlich für zahlende Unternehmenskunden gilt. Das führte dazu, dass der Programmieragent die falsche Annahme traf, er könne beliebig viele Anfragen stellen, obwohl er dafür keine Berechtigung hatte.
Ein kleines Versäumnis, doch im echten Betrieb hätte das System dadurch erheblichen Schaden nehmen können. Solche Fehler zeigen auf, wie schwer es ist, klare Verantwortlichkeiten festzulegen. Wenn verschiedene KI-Agenten unterschiedlich programmiert sind, von unterschiedlichen Anbietern stammen und innerhalb eines komplexen Systems agieren, entsteht ein undurchsichtiges Netz von Einflüssen und Fehlerquellen. Der Versuch, aus den Logfiles der verschiedenen Systeme eine klare Fehlerquelle herauszulesen, gleicht dem mühsamen Versuch, eine Diskussion anhand von verschiedenen Mitschriften auseinanderzufriemeln. Rechtlich gesehen bewegt sich dieses Terrain auf unbekanntem Grund.
Anwälte wie Benjamin Softness weisen darauf hin, dass diejenigen mit den besten finanziellen Ressourcen meist zur Verantwortung gezogen werden, wenn KI-Agenten Schäden verursachen. In der Praxis bedeutet das, dass Unternehmen, die solche Technologien anbieten, oft die Haftung übernehmen müssen – selbst wenn die eigentliche Fehlerquelle vielleicht ein Nutzer war, der das System unsachgemäß bedient hat. Die Versicherungswirtschaft hat bereits reagiert und bietet spezifische Policen an, um mögliche Risiken durch KI-Agenten abzudecken. Die Fehleranfälligkeit autonomer KI-Systeme zeigt sich oft in unerwarteten Situationen oder bei komplexeren Eingaben. So entwickelte Thakur beispielsweise ein Konzept für ein KI-gesteuertes Restaurantsystem, in dem Robotik und Agenten gemeinsam Bestellungen aus verschiedenen Küchenbereichen umsetzen sollten.
Obwohl das System in den meisten Fällen korrekt arbeitete, kam es immer wieder zu Missverständnissen bei multifunktionalen Bestellungen. Aus „Ich möchte Onion Rings“ wurde beispielsweise „extra onions“ – eine lapidare Verwechslung mit potenziell ernsten Konsequenzen, etwa bei Allergikern. Oder Bestellungen mit mehr als fünf Elementen führten häufiger zu Fehlern. Eine solche Fehlerquote ist für den Einsatz in der realen Welt problematisch, vor allem, wenn Gesundheit und Sicherheit betroffen sind. Auch beim Online-Shopping geht es nicht immer glatt, wenn mehrere Agenten zum Einsatz kommen.
Ein Vergleichsagent könnte einen günstigen Deal auf einer Webseite finden, bei der automatischen Buchung aber auf den falschen Produktlink einer teureren Webseite verweisen. Für den Kunden ist das ärgerlich bis kostspielig. Sogar einzelne KI-Systeme wie Chatbots machen häufig Fehler, die finanziell oder rechtlich relevant werden können. Ein Beispiel ist ein von einem AI-Chatbot „erfundener“ Gutschein, der von einer Fluggesellschaft nicht nur akzeptiert, sondern später sogar rechtlich als gültig anerkannt wurde. In einem anderen Fall musste ein Unternehmen sich öffentlich entschuldigen, weil eine KI in einer juristischen Einreichung unsaubere Zitate erzeugte.
Solche Fehlentwicklungen verdeutlichen, dass auch einzelne, nicht-kollaborative Systeme nicht frei von Problematiken sind. Ein häufig diskutierter Lösungsansatz ist die Einführung sogenannter „Richter-Agenten“. Diese besonderen KI-Agenten sollen als übergeordnete Instanz fungieren, die Fehler in anderen Agenten erkennt und korrigiert, bevor sie sich potenziell kumulieren oder eskalieren. Ziel ist es, die Ausführung von Aufträgen konsistent zu überwachen und z.B.
automatisch zu erkennen, dass mit „onion rings“ nicht etwa „extra onions“ gemeint sind. Allerdings besteht hier auch die Gefahr, dass solche Systeme mit zu vielen Agenten überfrachtet werden und sich ineffiziente, bürokratische Strukturen ähnlich wie in menschlichen Unternehmen bilden. Parallel zur technischen Lösung muss das rechtliche Umfeld weiterentwickelt werden. Derzeit gelten bestehende Gesetze meist für Nutzer als Verantwortliche, wenn sie Aufträge an KI-Agenten erteilen. Nutzer, die über Beschränkungen und Risiken informiert sind, tragen demnach zumindest eine Mitverantwortung.
Doch wie weit reicht dieser Rahmen, wenn komplexe, autonome Agentensysteme von mehreren Anbietern betrieben werden? Experten empfehlen daher, Verträge so zu gestalten, dass die Hersteller explizit Haftungen übernehmen, wohingegen Endverbraucher vor allem für grobe Missbräuche verantwortlich gemacht werden können. Für Verbraucher bleibt jedoch die wenig erfreuliche Tatsache, dass sie wenig Einfluss auf solche Vereinbarungen haben, da sie diese kaum individuell aushandeln können. Besondere Fragen werfen Datenschutz und Privatsphäre auf. Kann ein KI-Agent eigenmächtig Datenschutzbestimmungen umgehen, indem er im Namen eines Nutzers Bedingungen akzeptiert oder durchsucht? Hier entstehen neue Rechtsunsicherheiten, die in Zukunft besondere Aufmerksamkeit verdienen. Die ethische Seite dieser Diskussion darf nicht unterschätzt werden, denn KI-Agenten vermitteln Befehle oft in einer Art, die der Nutzer nicht komplett versteht oder kontrolliert.
Experten fordern daher sowohl technische als auch organisatorische Maßnahmen, um Fehlerquoten deutlich zu reduzieren. Ein Fehler von zehn Prozent bei einer simplen Aufgabe wie „Zwiebeln hinzufügen“ ist in vielen Bereichen schlicht nicht akzeptabel. Systeme sollten so lange getestet und verbessert werden, bis durch sie kein Schaden für Menschen oder Unternehmen entsteht. Gleichzeitig bedeutet dies aber, dass Nutzer auch weiterhin nicht einfach „die Füße hochlegen“ können und KI-Agenten blind vertrauen sollten. Ganz konkret bedeutet das für Unternehmen, die KI-Agenten implementieren wollen, umfangreiche Tests, ausreichend menschliche Kontrollpunkte und ein solides Vertragswerk.
Für Nutzer wiederum gilt, vorsichtig mit den Fähigkeiten der Agenten umzugehen, Einsätze zu überwachen und Fehler unverzüglich zu melden. Die Zukunft autonomer KI-Agenten verspricht eine enorme Umwälzung verschiedener Branchen mit vielen Vorteilen, aber auch bedeutenden Risiken. Die Frage der Verantwortung bleibt dabei eine der dringlichsten Herausforderungen, die sowohl Technikentwickler, Juristen als auch Anwender gemeinsam lösen müssen. Nur durch eine klare rechtliche Regulierung, transparente Gestaltung von Systemen und konsequente Fehlerkontrolle kann das volle Potenzial dieser Technologien genutzt werden, ohne Menschen und Unternehmen unnötigen Schaden zuzufügen.
