Im Dezember 2024 wurden die Ultralytics YOLO-Modelle Ziel von gleich zwei hochentwickelten Supply-Chain-Angriffen. Die enorme Popularität von YOLO als führendes Modell im Bereich Computer Vision hat dazu geführt, dass hunderte Tausende Nutzer weltweit betroffen waren. Unter ihnen befanden sich Unternehmen, Regierungsstellen, Forscher und Hobbyanwender. Diese Cyberangriffe führten dazu, dass Nutzer unwissentlich Kryptowährungs-Mining-Software ausführten, und in einem noch schwerwiegenderen Fall konnten sensible Daten kompromittiert und gestohlen werden. Solche Vorfälle zeigen eindrücklich, dass die Schwachstellen der KI- und Machine-Learning-Lieferketten nicht nur theoretisch sind, sondern akut bestehende Risiken für die gesamte Branche bedeuten.
Die Essenz dieser Angriffe liegt in den grundlegenden Problemen bestehender AI/ML-Paketierungs- und Veröffentlichungssysteme. Die Angreifer nutzten insbesondere die Unzulänglichkeiten der Continuous-Integration/Continuous-Delivery beziehungsweise der CI/CD-Prozesse und die unzureichenden Sicherheitsmechanismen, die normalerweise damit verbunden sind. Es wurde deutlich, dass die herkömmlichen Annahmen über die Vertrauenswürdigkeit von Paketen und deren Herausgeber nicht mehr haltbar sind. Der erste Angriff zielte auf den Build-Prozess innerhalb von Ultralytics' GitHub Actions Pipelines ab. Hier wurden schädliche Pull Requests mit speziell präparierten Branch-Namen eingereicht, die eingebettete Shell-Befehle enthielten.
Die GitHub Actions Workflows waren so konfiguriert, dass diese Branch-Namen ohne ausreichende Sicherheitsvorkehrungen interpretiert wurden, was es den Angreifern ermöglichte, bösartigen Code während der Build-Phase einzuschleusen. Die Folge war, dass die erzeugten Artefakte mit infizierter Software ausgestattet waren, welche bei den Anwendern einen Krypto-Miner ausführte. Problematisch war zudem, dass diese infizierten Versionen automatisch und scheinbar legitim als offizielle Releases auf PyPI veröffentlicht wurden. Nutzer, die diese Pakete herunterluden und installierten, wurden somit direkt Opfer eines Supply-Chain-Angriffs. Nachdem der erste Angriff aufgedeckt wurde und Ultralytics einen sauberen Fix in Form einer neuen Version veröffentlichte, hatten die Angreifer bereits Zugang zu den API-Schlüsseln von Ultralytics für den PyPI-Repositorium-Zugang erhalten.
Infolge dessen konnten sie selbstständig weitere bösartige Versionen hochladen, die noch gefährlicher waren als der erste Angriff. Sie wurden nicht nur mit Kryptowährungs-Minern ausgestattet, sondern enthielten auch Funktionen zur Datenexfiltration, wodurch Nutzerdaten abgegriffen werden konnten. Die Authentizität dieser Versionen wirkte überzeugend, da sie mit legitimen Zugangsdaten hochgeladen wurden und folglich von Nutzern und Systemen gleichermaßen als vertrauenswürdig eingestuft wurden. Diese Vorfälle illustrieren das gravierende Sicherheitsproblem, das sich aus mutable Packages und implizitem Vertrauen ergibt. In vielen AI/ML-Produktionsumgebungen wird standardmäßig angenommen, dass alle neuen Versionen automatisch vertrauenswürdig sind.
Außerdem haben Herausgeber systematisch volle und dauerhafte Schreibrechte auf die entsprechenden Repositories und Veröffentlichungen. Der CI/CD-Prozess erlaubt es zudem, Pakete direkt zu veröffentlichen, ohne eine strikte Kontrolle oder Unveränderbarkeit der Builds sicherzustellen. Dieses Zusammenspiel aus Annahmen erzeugt einen Angriffsspielraum, der es Angreifern erlaubt, unbemerkt Schadsoftware zu verteilen und Endnutzer zu kompromittieren. Die Komplexität von AI/ML-Lieferketten verschärft diese Problematik noch zusätzlich. Da für ein KI-Projekt oft verschiedene Pipelines, diverse Datenquellen und mehrere Stufen der Verarbeitung und Verteilung notwendig sind, steigt die Angriffsfläche exponentiell.
Kleine menschliche Fehler oder Schwachstellen in der Pipeline können verheerende Auswirkungen auf das Endprodukt und die Reputation eines Unternehmens haben. Zum Glück bieten moderne Sicherheitskonzepte und technologische Neuerungen Lösungen, um diesen Risiken wirksam zu begegnen. Ein vielversprechender Ansatz ist der Einsatz von KitOps, einer offenen, standardisierten Methode zur Paketierung und Verteilung von AI/ML-Projekten. KitOps setzt auf Prinzipien, mit denen die beschriebenen Supply-Chain-Angriffe effektiv verhindert werden können. Im Kern basiert KitOps auf dem Konzept von immutable ModelKits, die als OCI (Open Container Initiative) Artefakte verpackt werden.
Diese ModelKits werden nach dem Build durch kryptographisch eindeutige Digests (SHA256) adressiert, die jede einzelne Schicht und Komponente eindeutig identifizieren. Aufgrund dieser Unveränderlichkeit kann kein Build nachträglich modifiziert oder überschrieben werden, ohne dass ein Abgleich des Digests sofort eine Diskrepanz offenbart. Ein solcher Mechanismus hätte beispielsweise verhindert, dass bei den GitHub-Actions-Angriffen modifizierter Code unbemerkt an die Nutzer verteilt wird. Darüber hinaus trennt KitOps konsequent die Schritte Build und Publish voneinander. Das bedeutet, dass der eigentliche Build in isolierten und kontrollierten Umgebungen stattfinden kann.
Erst nach gründlicher Validierung und Prüfung wird der fertige ModelKit an ein internes Registry zur weiteren Verteilung übergeben. Mit einem solchen Prozess lassen sich Manipulationen schnell erkennen, bevor sie die Produktivumgebung erreichen oder öffentlich zugänglich werden. Ein weiterer zentraler Sicherheitsfaktor von KitOps ist der Einsatz von kryptographischen Signaturen. ModelKits können durch die Herausgeber mit private-schlüsselbasierten Signaturen versehen werden, wodurch ein unabhängiges Verifizieren von Quelle und Authentizität möglich wird. Anders als bei herkömmlichen Repositories oder Paket-Registries, die allein auf Namens- oder Zugangsrechte vertrauen, verhindert ein Signatur-Mechanismus erfolgreich, dass Angreifer mit entwendeten API-Schlüsseln als offizieller Herausgeber auftreten können.
Nutzer oder Deployments haben somit ein zuverlässiges Mittel, die Integrität und Herkunft der Artefakte zu prüfen. Der Einsatz von bestehenden OCI-Standards in Verbindung mit Policy-basierten Verteilungssystemen gibt Unternehmen zudem die Möglichkeit, automatisierte Sicherheitsrichtlinien durchzusetzen. So kann etwa festgelegt werden, dass nur signierte, vorab geprüfte und validierte Artefakte in Produktionsumgebungen gelangen dürfen. Solche Policies bieten eine zusätzliche Verteidigungsebene, da selbst ein versehentlich zugelassenes bösartiges Modell daran gehindert wird, jemals in den Produktiveinsatz zu gelangen. Diese Sicherheitsmechanismen in Kombination stellen eine deutlich robustere Verteidigung gegen Supply-Chain-Angriffe dar als die traditionalen mutable Paket- und Publishingverfahren.
Hätten Ultralytics und andere betroffene Organisationen KitOps zum Zeitpunkt der Vorfälle eingesetzt, wäre es höchstwahrscheinlich unmöglich gewesen, die Angriffe erfolgreich durchzuführen. Sobald der enthaltene Schadcode die unveränderlichen Checkpoints und Signaturen verletzte, hätte der Prozess ausgelöst, der Build gestoppt und nicht vertrauenswürdige Artefakte nicht verbreitet werden dürfen. Die Bedeutung dieser Vorfälle und die Tragweite der erforderlichen Maßnahmen spiegeln wider, wie akut das Thema Supply-Chain-Sicherheit im Bereich KI und Machine Learning geworden ist. Dies bleibt keineswegs ein Ausnahmefall. In den letzten Jahren gab es ähnliche Angriffe auf Plattformen wie Hugging Face oder Angriffe, die Schwachstellen bei Dateiserialisierungen ausnutzten, welche unter anderem zum Einbruch von Systemen führten.
Für Unternehmen und Entwickler, die KI/ML-Technologien einsetzen oder Produkte veröffentlichen, heißt dies, dass der Schutz der Lieferkette höchste Priorität haben muss. Ein Umdenken in den Entwicklungs- und Build-Prozessen ist unerlässlich. Die Einführung von unveränderlichen Artefakten, signierter Verteilung und strenger Policy-Kontrolle ist dabei keine technische Spielerei, sondern ein entscheidendes Sicherheitswerkzeug. Indem Entwickler Toolkits wie KitOps in ihre Pipelines integrieren und private Registries hinter Firewalls nutzen, können sie die Sicherheitslage ihrer Projekte massiv verbessern. Sie schützen nicht nur ihre Kunden vor direkten Schäden durch Malware und Datendiebstahl, sondern bewahren auch den Ruf und die Glaubwürdigkeit ihrer Marke vor irreparablen Schäden.
Abschließend lässt sich sagen, dass die Angriffswellen bei Ultralytics und anderen Projekten ein Weckruf für die KI-Branche sind. Die Sicherheitsbarrieren der Vergangenheit reichen nicht mehr aus, um einer immer raffinierteren Bedrohungslage zu begegnen. Ein Fundament aus transparenten, überprüfbaren, unveränderlichen und kryptographisch gesicherten Artefakten ist der Schlüssel, um Supply-Chain-Risiken effektiv zu minimieren und Vertrauen bei den Nutzern zurückzugewinnen.
