Die Erforschung künstlicher Intelligenz hat sich in den letzten Jahren rasant weiterentwickelt. Besonders sprachbasierte Modelle wie GPT-4 oder Claude haben enorme Fortschritte erzielt, doch die grundlegende Frage bleibt: Wie misst man eigentlich allgemeine Intelligenz bei solchen Modellen effektiv und zuverlässig? Klassische Benchmark-Tests stoßen hier oft an ihre Grenzen, weil sie begrenzte Aufgabentypen abdecken und keine dynamische Anpassung an das Modellverhalten zulassen. Eine bahnbrechende Idee ist nun, diese Herausforderung mit Hilfe generierter Spiele anzugehen. Dabei entstehen individuelle Spielumgebungen, die speziell darauf ausgelegt sind, unterschiedliche Facetten von Intelligenz und Problemlösung zu erfassen. Der Ansatz, Spiele als Bewertungsinstrument für künstliche Intelligenz zu verwenden, ist nicht neu.
Bereits in den frühen Tagen der KI wurden Spiele wie Schach, Go oder Poker als Testfelder genutzt. Der Unterschied liegt heute darin, dass die Spiele selbst automatisch durch große Sprachmodelle erzeugt werden und somit ständig neue und unbekannte Bewertungsinstanzen generiert werden können. Das Projekt gg-bench nutzt diese Methode, indem es zunächst mit Hilfe eines großen Sprachmodells neue Spielideen in natürlicher Sprache entwickelt. Diese werden anschließend in eine spielbare Form übersetzt und als Gym-Umgebungen zur Verfügung gestellt, die wiederum von selbstlernenden Agenten durch Reinforcement Learning trainiert werden. Dieser Prozess hat mehrere Vorteile.
Zum einen wird durch die Vielzahl an neu generierten Spielen ein dynamisches Testfeld geschaffen, das statischen Benchmarks überlegen ist, da es langfristig nicht durch Auswendiglernen bespielt werden kann. Zum anderen erlaubt es die Verzahnung von natürlicher Sprache und spielerischer Interaktion, so dass Modelle in komplexen, mehrschichtigen Szenarien ihre Fähigkeit zum Verstehen von Regeln, Planen von Aktionen und Anpassen an neue Situationen zeigen müssen. Das Evaluieren der Modelle erfolgt, indem sie gegen die trainierten Reinforcement-Learning-Agenten antreten. Dabei bekommen die Sprachmodelle die Spielbeschreibung, den aktuellen Spielstand sowie eine Liste der gültigen Züge präsentiert und müssen darauf basierend Entscheidungen treffen. Die Gewinnrate der Modelle spiegelt dann deren allgemeine Problemlösungs- und Anpassungsfähigkeit wider.
Auffällig ist, dass selbst modernste Modelle wie GPT-4o oder Claude 3.7 Sonnet mit einer reinen In-Context-Learning-Strategie nur sehr niedrige Erfolgsquoten von etwa sieben bis neun Prozent erreichen. Modelle, die explizit für reasoning-aufgaben konzipiert sind, zeigen dagegen deutlich bessere Ergebnisse von bis zu 36 Prozent. Diese Erkenntnisse offenbaren, dass selbst hochentwickelte allgemeine Sprachmodelle nach wie vor große Herausforderungen meistern müssen, wenn es darum geht, in neuartigen, strukturierten und dynamischen Situationen erfolgreich zu agieren. Die Komplexität der generierten Spiele verlangt vom jeweiligen Modell nicht nur reines Regelverständnis, sondern auch die Fähigkeit zu abstrakter Schlussfolgerung, langfristiger Strategieentwicklung und flexiblem Denken.
Die Offenlegung des gesamten Daten- und Evaluierungsprozesses trägt dazu bei, dass die KI-Forschungsgemeinschaft an den Fortschritten partizipieren kann. Da jedes der in gg-bench enthaltenen Spiele synthetisch generiert wird, können Forscher jederzeit neue Testspiele schaffen und so die Leistung von Modellen kontinuierlich und adaptiv bewerten. Zudem ermöglicht dies eine bessere Vergleichbarkeit zwischen verschiedenen Ansätzen und fördert eine transparentere Entwicklung von KI-Systemen. Das Prinzip der Nutzung generierter Spiele zur Intelligenzmessung spiegelt eine allgemeine Tendenz in der KI-Community wider: Der Bedarf an vielfältigen, flexiblen und anpassungsfähigen Bewertungssystemen, die über einfache Klassifikations- oder Textverarbeitungsaufgaben hinausgehen, wächst stetig. Die Kombination aus natürlichen Sprachbeschreibungen, programmatisch erzeugten Spielumgebungen und dem Wettstreit gegen lernfähige Agenten repräsentiert eine vielversprechende Zukunftsaussicht.
Langfristig könnte sich dieses Verfahren auch auf weitere Bereiche der KI-Ausbildung und -Evaluierung ausweiten, etwa indem es als Werkzeug zum Training von hybriden Systemen dient, die Sprachverstehen und Handlungskompetenz miteinander verknüpfen. Ebenso könnten spezifische Games zur Untersuchung von Teildisziplinen wie deduktivem Schließen, Gedächtnisanspruch oder kognitiver Flexibilität genutzt werden. Ein weiterer spannender Aspekt ist die potenzielle Funktion von generierten Spielen als interaktives Lernmaterial für Sprachmodelle. Durch das Spielen und Beobachten von Spielen könnten Modelle gezielt in Problemlösungskompetenzen geschult und damit ihre allgemeine Intelligenz verbessert werden. Diese Rückkopplungsschleife aus Bewertung und Training eröffnet neuartige Ansätze, die über statische Trainingsdatensätze hinausgehen.
Nicht zuletzt leistet gg-bench auch einen Beitrag zur ethischen und verantwortungsvollen Entwicklung von KI. Da die generierten Spiele neuartig und vielfältig sind, reduziert sich der Risikoeffekt von vorgefertigten Datenmustern, die Verzerrungen oder unerwünschte Modellverhalten begünstigen. Die ständige Neuerzeugung von Bewertungen ermöglicht zudem eine bessere Kontrolle über die Entwicklungsrichtung von KI-Systemen. Zusammenfassend lässt sich sagen, dass die Messung allgemeiner Intelligenz mit generierten Spielen ein innovativer und vielversprechender Ansatz ist, der die Grenzen traditioneller Benchmark-Tests sprengt. Durch die Kombination von sprachbasierter Spielgenerierung, komplexen interaktiven Umgebungen und lernfähigen Agenten entstehen vielseitige und anspruchsvolle Prüfsteine, die tiefere Einblicke in die Fähigkeiten künstlicher Intelligenz gewähren.
Die Tür zu adaptiven, nachhaltigen und robusteren Evaluierungen wird damit weit aufgestoßen – ein entscheidender Schritt auf dem Weg zu echter künstlicher allgemeiner Intelligenz.
