Die Welt der Künstlichen Intelligenz hat in den vergangenen Jahren enorme Fortschritte gemacht. Dabei spielen sogenannte Foundation Models – große KI-Modelle, die als Basis für verschiedenste Anwendungen dienen – eine zentrale Rolle. Doch trotz zahlreicher Fortschritte ist die Open-Source-Bewegung im Bereich dieser Modelle bisher begrenzt. Marin, ein neuartiges Open Lab für den Aufbau von Foundation Models, bricht mit traditionellen Entwicklungsprozessen und ebnet den Weg zu einer offenen, kollaborativen Zukunft. Es stellt die Entwicklung von KI-Modellen auf eine transparente Grundlage und ermöglicht es Forschern und Entwicklern weltweit, gemeinsam an Innovationen zu arbeiten.
Dabei steht das Prinzip im Vordergrund, dass sämtliche Prozesse, von der Datenerhebung über die Modellarchitektur bis hin zu Training und Evaluierung, offen und nachvollziehbar gestaltet sind. Open Source und Künstliche Intelligenz – Status quo und Herausforderungen Open-Source-Software ist längst eine Erfolgsgeschichte und das Rückgrat moderner digitaler Infrastrukturen. Ihre Offenheit erlaubt es Menschen weltweit, basierend auf ihrem Können beizutragen, verändert die Art und Weise, wie Software entwickelt wird, und fördert Innovation, Sicherheit sowie gegenseitige Kontrolle. Im Bereich der KI ist die Situation jedoch noch nicht vergleichbar. Zwar existieren offene Gewichtungen bekannter Modelle wie Llama oder DeepSeek, allerdings sind die zugrundeliegenden Codes und die genutzten Datensätze häufig nicht öffentlich zugänglich.
Diese Schieflage behindert die umfassende Nachvollziehbarkeit und Weiterentwicklung von KI-Modellen, da wichtige Teile der „Rezeptur“ zum Training verborgen bleiben. In den letzten Jahren sind viele Initiativen entstanden, die sich dem Ziel verschrieben haben, neben den Modellgewichten auch den Quellcode und das dazugehörige Datenrezept offen zu legen. Organisationen und Gemeinschaften wie Eleuther AI, das Allen Institute for AI, Hugging Face, BigScience, LAION und Together AI haben hierfür bahnbrechende Arbeiten geleistet. Sie liefern nicht nur Modelle, sondern auch die vollständige Infrastruktur inklusive Datensets und Trainingsprotokollen, was es ermöglicht, auf diesen Errungenschaften aufzubauen und Innovationen in der KI voranzutreiben. Gleichzeitig offenbaren diese Schritte die Grenzen bisheriger Offenheit, denn die notwendige Infrastruktur für gemeinschaftliches Experimentieren, wie sie in der traditionellen Softwareentwicklung üblich ist, fehlt weitgehend.
Marin verfolgt einen neuen Ansatz, der Transparenz und Zusammenarbeit auf ein völlig neues Level hebt. Statt nur Ergebnisse oder Modelle zu teilen, wird jeder Entwicklungsschritt – vom Experiment bis zur Auswertung – offen dokumentiert, überprüfbar und reproduzierbar gemacht. Transparenz als Eckpfeiler des Open Labs Marin organisiert sämtliche Forschungs- und Entwicklungsarbeit in einer offenen Online-Umgebung, primär über GitHub. Jedes geplante, laufende oder abgeschlossene Experiment wird über ein GitHub-Issue dokumentiert, das gewissermaßen als Mini-Preregistration dient. Darin werden Hypothesen, Ziele, Methoden und Erfolgskriterien offen dargelegt.
Dieser Ansatz schafft eine wissenschaftlich saubere Grundlage und verhindert, dass nur positive Ergebnisse publik werden. Misserfolge und unbeabsichtigte Fehler bleiben ebenfalls transparent, was entscheidend für reproduzierbare und robuste Forschung ist. Der Prozess ist interaktiv und gemeinschaftlich. Interessierte können Experimente vorschlagen, indem sie Pull Requests (PRs) einreichen, die ihren Vorschlag in ausführbarem Code festhalten. Daraufhin können andere Forscher und Entwickler den Code prüfen, diskutieren und verbessern.
Sobald ein Experiment freigegeben ist, wird es gestartet, und der gesamte Verlauf ist in Echtzeit einsehbar. Verknüpfungen zu Tools wie Weights & Biases erlauben detaillierte Einblicke in Trainingsergebnisse und Metriken. Diese offene Infrastruktur erinnert an den OpenReview-Prozess bei wissenschaftlichen Publikationen, überträgt das Prinzip der Peer-Review jedoch direkt in die aktive Experimentierphase. So entsteht ein lebendiger Dialog, der sowohl die wissenschaftliche Qualität als auch die Anpassung an aktuelle Herausforderungen sicherstellt. Die Transparenz erlaubt tiefe Einblicke in alle Arbeitsschritte und fördert die Beteiligung unterschiedlichster Akteure – von erfahrenen Forschungsteams bis hin zu engagierten Individualentwicklern.
Forschung zwischen wissenschaftlicher Analyse und Modellentwicklung Eines der zentralen Forschungsziele bei Marin ist die Frage, wie man mit einem begrenzten Ressourcenbudget das bestmögliche Modell entwickelt. Dabei werden sowohl Rechenressourcen als auch Datenerhebung und menschliche Arbeit berücksichtigt. Diese Herausforderung wird mit einer Kombination aus kontrollierten, kleinen Experimenten und sogenannten „YOLO“-Runs (You Only Live Once) angegangen. Die kleinen, systematischen Experimente dienen dazu, einzelne Faktoren gezielt zu analysieren. Hierzu zählen Untersuchungen zu Modellarchitekturen, Optimierungsverfahren, Qualitätsklassifikatoren, Regularisierungstechniken und Datensätzen.
Dabei spielen präzise Messungen, Replikationen und Skalierungsgesetze eine wichtige Rolle, um besser zu verstehen, wie verschiedene Aspekte das Training und die Leistungsfähigkeit beeinflussen. Demgegenüber stehen größere Experimente, die direkt darauf abzielen, stärkere Modelle innerhalb der verfügbaren Mittel zu trainieren. Diese intensive Trainingsphase ist oft fehleranfällig und verlangt schnelle Anpassungen bei unerwarteten Herausforderungen. Marin hat es geschafft, solche großen Trainingsläufe transparent zu dokumentieren – etwa die Entwicklung des Marin 8B Modells. Dieses Modell basiert auf einer Llama-ähnlichen Transformer-Architektur, wurde über 12,7 Billionen Token hinweg trainiert und hat bei vielen Standard-Benchmarks überzeugt.
Insbesondere im Vergleich zu Llama 3.1 8B zeigt Marin 8B Base teils deutlich bessere Performance. Im Anschluss wurde das Modell durch Supervised Fine-Tuning (SFT) weiter verfeinert, was zu einer Instruktions-fähigen Variante führte, die in diversen Anwendungsbewertungen mit anderen offenen instruct-Modellen konkurrieren kann. Obwohl noch keine Reinforcement-Learning-Verfahren wie RLHF angewandt wurden, geben die bisherigen Resultate Anlass zur Hoffnung, dass noch weitere Optimierungen möglich sind. Offene Ressourcen für die Community Ein besonderes Merkmal von Marin ist die Möglichkeit für jedermann, sich aktiv zu beteiligen.
Modelle sind frei und der Quellcode ebenfalls offen zugänglich – etwa über Hugging Face oder spezielle Hosting-Angebote wie Together AI. Feedback und Verbesserungsvorschläge werden über GitHub oder Discord-Kanäle gesammelt, wodurch ein aktiver Diskurs und kontinuierliche Weiterentwicklung gefördert werden. Darüber hinaus existieren spezielle Angebote wie Datashop, ein Tool, das es Experten aus verschiedenen Fachgebieten ermöglicht, relevante Daten für das Training bereitzustellen oder zu kuratieren. Mit Hilfe von vortrainierten Modellen können Daten klassifiziert, gefiltert und aufbereitet werden. So lässt sich gezielt Domänenwissen einbringen, beispielsweise aus der Chemie oder Rechtsprechung, ohne dass tiefgreifende technische Infrastrukturen notwendig sind.
Die so gewonnenen Datensätze können dann für weiteres Fine-Tuning genutzt werden, um die Leistungsfähigkeit des Modells in Spezialgebieten zu steigern. Ein spannendes Format zur Förderung von Innovationen ist das Marin Speedrun-Programm. Es wird eine Art Wettbewerb organisiert, bei dem Forscher und Entwickler innerhalb bestimmter Rechenbudgets ihre Trainingsmethoden optimieren und einreichen können. So entstehen Vergleichsmaßstäbe für verschiedene Ansätze, die auch auf größeren Skalen getestet werden, um deren Übertragbarkeit zu analysieren. Dieses Format bezieht die Community aktiv ein, um algorithmische Fortschritte zu beschleunigen.
Bedeutung und Perspektiven für die KI-Forschung Marin steht für eine neue Art, KI-Modelle zu erforschen und zu entwickeln, die echtes Open-Source im ursprünglichen Sinne erlaubt. Es ist nicht nur eine Plattform, um Modelle herunterzuladen, sondern eine lebendige Forschungsumgebung, in der jeder einzelne Schritt nachvollziehbar und diskutierbar ist. Dies erhöht die wissenschaftliche Glaubwürdigkeit, fördert die Zusammenarbeit und vermeidet potenzielle Probleme durch intransparente „Black-Box“-Modelle. Die Herausforderungen sind dabei enorm, denn leistungsstarke Foundation Models benötigen erhebliche Rechenressourcen, die nicht jeder leicht zugänglich hat. Marin arbeitet aktiv mit Partnern wie Google TPU Research Cloud zusammen, um Ressourcen verfügbar zu machen, und kooperiert mit führenden KI-Teams und Organisationen, um die technische Basis ständig zu erweitern.
Die Zukunftsaussichten sind beeindruckend: Marin plant, effizientere Architekturen wie lineare Attention, Unterstützung für längere Kontexte, Multimodalität, mehrsprachige Modelle und verbesserte Domänenleistung zu erforschen. Zudem soll der Prozess durch den Einsatz von Reinforcement-Learning-basierten Post-Trainings verfeinert werden. Der offene Charakter des Projekts lädt Forscher, Praktiker und Interessierte aller Art ein, mitzuwirken und gemeinsam die nächsten großen Schritte der KI-Entwicklung zu gestalten. Dank der offenen Infrastruktur und der aktiven Community bietet Marin nicht nur eine Chance, bestehende Modelle zu verbessern, sondern auch die Art und Weise zu verändern, wie Künstliche Intelligenz erdacht und realisiert wird. Die offene Wissenschaft, angetrieben von echter Zusammenarbeit und Transparenz, könnte dadurch der Schlüssel zu nachhaltigeren und demokratischeren KI-Systemen sein, die allen zugutekommen.
