Im Wandel der technologischen Entwicklungen erleben wir derzeit eine der bedeutendsten Transformationen in der Softwareentwicklung seit Jahrzehnten. Andrej Karpathy, einer der führenden Denker und Praktiker im Bereich Künstliche Intelligenz (KI), hat mit seiner Vision von Software 3. 0 eine neue Ära eingeläutet, in der Software im Zeitalter der KI nicht mehr nur programmiert, sondern „gelernt“ wird. Seine Ideen liefern einen umfassenden Rahmen, wie LLMs (Large Language Models) und andere KI-Technologien die klassische Softwareentwicklung ablösen und neu gestalten. Software 3. 0 beschreibt den Übergang von traditioneller Software, die manuelle Codierung und explizite Algorithmen verwendet, hin zu Systemen, die durch maschinelles Lernen entstehen und sich adaptiv weiterentwickeln. Diese Idee baut auf Karpathys früherem Konzept von Software 2. 0 auf, in dem neuronale Netze erstmals begannen, die Rolle von Codeschnipseln einzunehmen und auf Daten basierte Modelle zu schaffen.
Karpathy hebt hervor, dass Software 3. 0 sich nicht nur als Erweiterung dieser Idee versteht, sondern eine ganz neue Stufe erreicht hat. Dabei verschmelzen traditionelle Software (Software 1. 0), maschinelles Lernen (Software 2. 0) und die neue Domäne der prompt-basierten und agentengestützten Systeme zu einem dynamischen Mosaik, wobei Software 3. 0 die anderen Ebenen in vielerlei Hinsicht „auffrisst“. Der Kern von Software 3. 0 liegt für Karpathy darin, dass Prompts – also für Menschen verständliche, meist in natürlicher Sprache formulierte Eingaben – zu eigentlichen Programmen werden. Statt stundenlang komplexen Code zu schreiben, wird nun mit Hilfe von LLMs ein Teil der Software durch das Formulieren von Anweisungen in verständlicher Sprache realisiert. Dies führt zu einer neuen Art von Programmierung, die nicht ausschließlich von spezialisierten Entwicklerteams getragen wird, sondern zunehmend von sogenannten AI Engineers, die KI-Modelle als Hauptwerkzeuge einsetzen.
Dies erklärt auch, warum AI Engineers die Welt der Prompt Engineers in den letzten Jahren klar übertroffen haben: Sie verstehen und gestalten die KI-Systeme tiefgründiger und schaffen robuste Anwendungen statt nur kreative Prompt-Kombinationen. Karpathy vergleicht LLMs oft mit fundamentalen Komponenten klassischer Computerarchitektur. Er betrachtet sie als neue Arten von Computern selbst, als Versorgungsnetzwerke („Utilities“), wie Halbleiterfertigungsanlagen („Fabs“) oder neue Betriebssysteme. Dies unterstreicht die fundamentale Bedeutung von LLMs für die gesamte Technologiebranche. Während traditionelle Computerhardware und Betriebssysteme für Jahrzehnte die Basis waren, verändern LLMs die Landschaft hin zu einem Konzept einer gemeinsamen, intelligenten Infrastruktur, auf die Anwendungen aufgebaut werden. Besonders spannend ist dabei der Trend, dass KI-Systeme aus der Cloud hinaus zu personalisierten, privaten KI-Anwendungen wandern.
Das bringt eine Evolution hervor, die analog zum Übergang von Großrechnern zu Personalcomputern in den 1980er-Jahren gesehen werden kann. Ein weiterer faszinierender Aspekt von Karpathys Arbeit ist seine Betrachtung der sogenannten „Psychologie“ der LLMs. Diese Modelle simulieren keine rein logischen Maschinen, sondern eher „Geister von Menschen“ – stochastische Nachbildungen menschlichen Verhaltens und Denkens, allerdings mit teilweise überraschend inkonsistenten Eigenschaften. Karpathy prägt den Begriff „Jagged Intelligence“, um die merkwürdige Erfahrung zu beschreiben, dass LLMs in manchen komplexen Aufgaben brillant agieren, während sie in scheinbar einfachen Problemen fatale Fehler machen können. Ein Beispiel hierfür ist die Seltenheit, dass ein Modell selbst grundlegende Vergleiche wie „Welche Zahl ist größer, 9. 11 oder 9. 9? “ falsch beantwortet.
Diese Inkonsistenzen sind für den praktischen Einsatz von KI entscheidend und zeigen, dass trotz enormer Fortschritte noch viel Entwicklungsarbeit notwendig ist. Ein Problem, das Karpathy besonders betont, ist das der „Anterograden Amnesie“ bei LLMs. Das bedeutet, dass diese Systeme aktuell nicht in der Lage sind, Wissen langfristig zu speichern oder sich kontinuierlich neues Wissen eigenständig anzueignen. Nach der Trainingsphase verfügen sie nur über einen begrenzten Kontextspeicher, das sogenannte Kontextfenster, und können kein nachhaltiges Verständnis oder Erfahrungswissen aufbauen wie Menschen. Karpathy sieht das als eine fundamentale Hürde und spricht davon, dass wir noch einen paradigmatischen Durchbruch brauchen, um LLMs mit nachhaltigem Gedächtnis oder selbstgesteuertem Lernen auszustatten. Die „Memory“-Funktion moderner KI-Systeme wie ChatGPT ist dabei nur ein erster, rudimentärer Schritt.
Eine ähnlich transformative Idee ist das Konzept des „System Prompt Learnings“, bei dem LLMs ihre eigenen Problemlösestrategien als quasi-notierbare Anweisungen entwickeln und speichern könnten, um kognitive Fähigkeiten langfristig zu verbessern. Die Vision von Software 3. 0 umfasst auch den Bereich der sogenannten „Teilautonomie“. Karpathy beschreibt KI-Systeme als erweiterte Werkzeuge, vergleichbar mit einem Iron Man-Anzug, der den Nutzer in zwei Dimensionen unterstützt: Erstens als Verstärker für Fähigkeiten, in Form von Werkzeugen, Sensoren und Information; zweitens als eigenständige Handlungsträger, die teilweise autonom agieren können. Doch echte Autonomie erfordert kontrollierte, abgestimmte Einstellungen, denn die Kluft zwischen funktionierenden Prototypen und verlässlichen Produkten ist nach wie vor groß.
Karpathy führt das anhand von Beispielen aus der selbstfahrenden Fahrzeugentwicklung an, wo Demo-Szenarien häufig funktionierten, echte Produkte aber noch viele Herausforderungen meistern müssen. Die Steuerung der Autonomie geschieht über sogenannte „Autonomie-Slider“, die je nach Kontext den Grad der Selbstständigkeit von KI-Systemen regeln. Das kann von einfacher Suchmaschinenfunktion über komplexe Recherchetools bis hin zu vollautomatisierten Agenten reichen. Ein zentraler Punkt ist der „Generation-Verifikation“-Loop, also ein dynamischer Prozess, in dem KI erzeugte Inhalte schnell überprüft und gegebenenfalls korrigiert werden. Die Effektivität dieses Loops entscheidet maßgeblich über die Akzeptanz und Zuverlässigkeit KI-basierter Anwendungen. Daraus folgt auch Karpathys Aufruf, Software gezielt für Agenten zu entwickeln. Er sieht in den modernen KI-Modellen eine neue Kategorie von digitalen Nutzern und Manipulatoren neben Menschen und herkömmlichen Computern.
Diese Agenten agieren menschenähnlich und benötigen eigene, auf ihre Funktionsweise zugeschnittene Schnittstellen. Bereits heute sind Initiativen wie Gitingest oder DeepWiki Beispiele für Tools, die komplexe Informationskontexte für KI-Agenten aufbereiten. Karpathys Ausführungen schließen mit der klaren Prognose, dass die kommende Dekade die Ära der Agenten werden wird. Anstelle leere Versprechungen hinsichtlich eines baldigen allgemeinen KI (AGI) wird der Fokus auf praktischen Teilautonomien, maßgeschneiderten Benutzeroberflächen und intelligenten Kontrollmechanismen liegen. 0 beschreibt nicht nur einen technologischen Fortschritt, sondern eine fundamentale Neuausrichtung, wie Software verstanden, genutzt und entwickelt wird. Für Entwickler, Unternehmen und Anwender bedeutet dies, dass die Zukunft der Softwareentwicklung eng mit den Fähigkeiten und Grenzen von KI-Systemen verbunden sein wird.
Wer diese Prinzipien versteht und frühzeitig in der eigenen Arbeit umsetzt, wird entscheidende Wettbewerbsvorteile erlangen. Die Software der Zukunft wird nicht mehr nur programmiert, sondern orchestriert, geleitet und von künstlicher Intelligenz geformt – eine Revolution, deren Auswirkungen wir gerade erst zu begreifen beginnen.
