Die Fortschritte im Bereich der künstlichen Intelligenz (KI) zeigen eine bemerkenswerte Dynamik, insbesondere bei Forschungen, die die Skalierbarkeit und Zuverlässigkeit von KI-Agenten bei komplexen und langwierigen Aufgaben betreffen. Eine außergewöhnlich spannende Fragestellung hierbei ist, ob es für die Erfolgsraten von KI-Agenten – also die Wahrscheinlichkeit, eine Aufgabe erfolgreich zu lösen – eine sogenannte Halbwertszeit gibt. Das Konzept einer Halbwertszeit stammt ursprünglich aus der Physik, genauer gesagt aus der Radioaktivität, und beschreibt den Zeitraum, in dem die Hälfte einer Substanz zerfallen ist. In der KI-Forschung könnte dieses Prinzip helfen, zu verstehen, wie sich Erfolgschancen bei steigender Aufgabendauer verändern. Aktuelle empirische Untersuchungen, insbesondere die Studien von Kwa et al.
(2025) in Zusammenarbeit mit der Forschungseinrichtung METR, haben aufgezeigt, dass in einem umfangreichen Aufgabenset, das Softwareingenieurwesen, Cybersicherheit, allgemeine Problemlösung und maschinelles Lernen umfasst, die Erfolgsrate von KI-Agenten mit zunehmender Zeitdauer der Aufgabe drastisch abnimmt. Diese Beobachtung lässt sich durch ein sehr einfaches mathematisches Modell beschreiben: Jedes einzelne Zeitintervall, das ein Mensch benötigt, um die Aufgabe zu erfüllen, beinhaltet eine konstante Wahrscheinlichkeit des Scheiterns für die KI-Agenten. Daraus folgt, dass die Wahrscheinlichkeit des Erfolgs exponentiell mit der Länge der Aufgabe abnimmt. Die Folge ist, dass jeder KI-Agent durch eine individuelle Halbwertszeit charakterisiert werden kann – also die Zeitdauer, nach der die Wahrscheinlichkeit, eine Aufgabe erfolgreich zu beenden, auf 50 Prozent gesunken ist. Wenn man diesen Ansatz weiterdenkt, liefert er eine prognostische Grundlage, um den Erfolg eines bestimmten Agenten bei unterschiedlich langen Aufgaben abzuschätzen.
Dieses Modell verdeutlicht auch die Mechanismen des Versagens bei längeren Aufgaben: Je komplexer und länger die Aufgabe, desto mehr einzelne Teilschritte müssen erfolgreich bewältigt werden, wobei ein Fehler in einem dieser Subaufgaben zum Scheitern des Gesamtprozesses führt. Aus Sicht von METR konnte außerdem gezeigt werden, dass die Länge der Aufgaben, die von fortschrittlichen KI-Agenten zuverlässig gelöst werden können, alle sieben Monate etwa doppelt so lang wird. Dieses Ergebnis basiert auf einem Katalog von 170 Aufgaben, die herausfordernde Forschungs- und Engineering-Probleme umfassen und so gestaltet sind, dass sie KI-Agenten in der Unterstützung von KI-Forschung testen. Die Bewertung der Schwierigkeit erfolgte auf Grundlage der Zeit, die ein Mensch durchschnittlich benötigt, um die Aufgaben zu lösen. Das bedeutet, dass die „Halbwertszeit“ in der Einheit menschlicher Zeit gemessen wird.
Interessanterweise nutzt die Studie eine Erfolgswahrscheinlichkeit von 50 Prozent als Referenzpunkt, da diese leichter und robuster messbar ist. Für Praxisanwendungen können jedoch höhere Erfolgswahrscheinlichkeiten notwendig sein, so zum Beispiel 80 Prozent oder sogar 99,9999 Prozent. Die Studien zeigen, dass die Halbwertszeit für diese höheren Erfolgsraten kürzer ist. Beispielsweise zeigte das beste Modell Claude 3.7 Sonnet eine Halbwertszeit von 59 Minuten bei einer 50-prozentigen Erfolgsrate, allerdings nur 15 Minuten bei einer 80-prozentigen Erfolgsrate.
Rein mathematisch bedeutet das, dass der Zeitraum, über den eine hohe Erfolgswahrscheinlichkeit zu erwarten ist, deutlich kürzer als der Zeitraum für eine moderate Erfolgsrate ist. Das zugrundeliegende Modell für den Leistungsabfall basiert auf dem Konzept einer konstanten Hazard-Rate, ein Begriff aus der Überlebensanalyse. Er bedeutet, dass die Fehlerwahrscheinlichkeit in jedem abgeschlossenen Zeitabschnitt konstant und unabhängig von der bereits vergangenen Zeit ist. Dieses Verhalten führt zu einer exponentiellen Abnahme der Erfolgswahrscheinlichkeit, ähnlich wie beim radioaktiven Zerfall eines Isotops. Für KI-Agenten bedeutet das, dass die Chance, eine Aufgabe in einem bestimmten Zeitrahmen erfolgreich zu beenden, nicht davon abhängt, wie lange sie bereits erfolgreich gearbeitet haben, sondern konstant abnimmt.
Dieses Modell erklärt, warum KI-Agenten Probleme haben, sehr lange Aufgaben zu bewältigen: Die Aufgaben bestehen aus vielen nacheinander folgenden Subtasks, die einzeln gemeistert werden müssen. Dabei wirkt jede weitere Unteraufgabe wie ein zusätzliches Risiko, das den Gesamtprozess gefährdet. Wenn man also eine Aufgabe, die beispielsweise acht Stunden dauert, erfolgreich erledigen kann, heißt das nicht automatisch, dass die Agenten zwei solcher Aufgaben am Stück bewältigen können, da dafür die Erfolgswahrscheinlichkeit exponentiell sinkt. Ein weiteres interessantes Ergebnis ist, dass manchmal alternative mathematische Modelle ähnlich gut als Erklärungen dienen könnten, zum Beispiel logistische Verteilungen. Doch das konstante Hazard-Rate-Modell ist durch seine Einfachheit und weniger nötigen Parameter besonders überzeugend und plausibel.
Im Vergleich dazu verhält sich menschliche Leistung über längere Zeitspannen anders. Menschen zeigen in Studien eine bessere Resistenz gegen den Zeitfaktor, das heißt, ihre Erfolgswahrscheinlichkeit fällt über längere Aufgabenzeiten weniger stark ab als bei KI-Agenten. Dies könnte etwa daran liegen, dass Menschen besser darin sind, Fehler zu erkennen und frühzeitig zu korrigieren. Auch die Variabilität in der menschlichen Leistungsfähigkeit spielt eine Rolle: Die Aggregierung der Ergebnisse von Personen mit unterschiedlichen Stärken führt dazu, dass der Leistungskurvenverlauf von Menschen glatter und langfristig stabiler wirkt. Für die KI-Forschung bedeutet der Nachweis einer Halbwertszeit eine wertvolle neue Sichtweise auf Leistungsverbesserungen.
Das Modell liefert einfache Regeln für Prognosen: zum Beispiel, dass eine Verdoppelung der Aufgabenzeit ungefähr einer Verdopplung der Halbwertszeit entspricht, oder dass der Erfolg bei deutlich höheren Zuverlässigkeitsanforderungen mit deutlich kürzeren Aufgabenlängen korreliert. Außerdem deutet der konstante Hazard-Rate-Ansatz auf eine grundlegende Schwäche aktueller KI-Modelle hin: Sie sind vermutlich nicht ausreichend gut darin, Fehler im Verlauf einer langen Sequenz von Operationen auszubügeln. Die Forschung weist auch darauf hin, dass technische Fortschritte in KI-Agenten vor allem darin bestehen, den Gefahrenfaktor, also die Hazard-Rate, über die Zeit immer weiter zu senken. Ein Halbierung der Hazard-Rate alle sieben Monate erklären die beobachtete Verdoppelung der Bewältigungsdauer für Aufgaben bei 50-prozentiger Erfolgswahrscheinlichkeit. Trotz aller Erkenntnisse sind noch wichtige Fragen offen.
Eine zentrale Herausforderung besteht darin, wie gut die Halbwertszeit-Messung und das konstante Hazard-Modell auf andere Arten von Aufgaben oder reale Anwendungsfelder übertragen werden können. Beispielsweise können KI-Agenten bei sehr schnellen, intuitiven oder stark physikalisch-raumbezogenen Aufgaben stark abweichen von menschlicher Leistung, genauso wie bei sich wiederholenden analytischen Tätigkeiten, die ihnen besser liegen als Menschen. Neue empirische Studien sind nötig, um das Modell zu validieren und mögliche Abweichungen zu identifizieren. Ebenso geht es darum herauszufinden, ob manche KI-Architekturen einen variablen Hazard-Rate-Verlauf aufweisen, möglicherweise mit Anfangsschwierigkeiten, die sich im Verlauf einer Aufgabe verringern, oder umgekehrt. Solche Erkenntnisse können wertvolle Hinweise darauf liefern, wie zukünftige KI-Systeme verbessert werden können und welche Designprinzipien für langlebige, zuverlässige Agenten wichtig sind.
Zusammenfassend eröffnet das Konzept der Halbwertszeit für die Erfolgsraten von KI-Agenten eine faszinierende Perspektive, die komplexe Leistungsdaten einfacher verständlich macht und zugleich praktische Implikationen für die Weiterentwicklung von KI-Systemen darstellt. Es zeigt die enge Verbindung zwischen mathematischen Modellen aus anderen Disziplinen und der Analyse künstlicher Intelligenz sowie die Bedeutung von robusten, vergleichbaren Leistungskennzahlen für die Prognose zukünftiger Entwicklungen. Während diese Erkenntnisse vorerst auf einem bestimmten Forschungsbereich basieren, könnten sie der Schlüssel zu einem effizienteren und sichereren Einsatz von KI im Alltag und der Forschung sein – wenn es gelingt, das Modell und seine Limitationen eingehend zu verstehen und weiterzuentwickeln.
