Künstliche Intelligenz hat in den letzten Jahren einen bedeutenden Einfluss auf die digitale Welt genommen, und Anwendungen wie Google Photos zeigen eindrucksvoll, wie fortschrittliche Algorithmen unser tägliches Leben bereichern. Features wie "Magic Eraser" oder moderne Bildbearbeitungstools basieren auf komplexen KI-Modellen, die jedoch nicht öffentlich zugänglich gemacht werden. Der Schutz dieser Modelle bleibt ein zentrales Anliegen, da das Know-how hinter dieser Technologie ein wertvolles Wettbewerbsasset darstellt. Dennoch offenbart eine aktuelle Untersuchung, wie genau diese Modelle aus der Google Photos Android App herausgefunden und extrahiert werden können – ein Vorgang, der als Reverse Engineering bezeichnet wird und erhebliche Sicherheitslücken offenlegt. Google Photos ist auf nahezu jedem Android-Gerät mit Google Mobile Services vorinstalliert und gilt als eine der beliebtesten Fotoverwaltungs-Apps weltweit.
Trotz der Beliebtheit gibt Google seine KI-Modelle nicht frei, um sich einen technologische Wettbewerbsvorteil zu wahren. Doch Forscher von Skyld haben bewiesen, dass es gelingt, die eingebetteten Deep-Learning-Modelle innerhalb der Anwendung zu stehlen, was die Möglichkeit eröffnet, Googles firmeneigene KI-Funktionen außerhalb der offiziellen App zu verwenden. Die Untersuchung konzentriert sich dabei auf das Verhalten der Modelle und die vorhandenen Schutzmechanismen im Android-Umfeld. Das technische Fundament der Google Photos KI-Modelle basiert auf TensorFlow Lite, einer speziell für mobile und eingebettete Geräte optimierten Version von Googles Machine Learning Framework TensorFlow. Bei der Analyse der Android-App suchten die Forscher zunächst nach beliebten Machine-Learning-Bibliotheken wie TensorFlow, PyTorch oder ONNXRuntime. Mit dem Fund von TensorFlow Lite wurde die Suchrichtung vorgegeben.
TensorFlow Lite nutzt das Flatbuffers-Datenformat, um Modelle schlank und effizient abzuspeichern, was für mobile Geräte essenziell ist. Interessant ist das sogenannte TFL3-Magisches Nummern-File-Identifier, das bei genauem Offset den Beginn eines TFLite-Modells in einer Datei anzeigt. Mithilfe dieses Markers konnten die Wissenschafter gezielt in den Bibliotheksdateien suchen und entsprechende Modelle lokalisieren. Erstaunlicherweise wurden einige Modelle unverschlüsselt in den Anwendungsassets oder direkt im nativen Module libnative. so gefunden. Dies legt nahe, dass Google einigen Teilen ihres Modells weniger Wert als schützenswerte Geheimnisse zuweist. Die großen Modelle waren jedoch durch eine starke Verschlüsselung geschützt, was aus dem Vorhandensein von Dateien mit der Endung ". tflite. enc" ersichtlich wurde.
Dieses führte die Forscher dazu, dynamische Analysetools wie Frida einzusetzen, um zur Laufzeit die Dekodierung dieser Modelle zu überwachen und die entschlüsselten Versionen direkt aus dem Speicher abzugreifen. Die Schlüsselverwaltung findet hierbei im Android Keystore statt, der durch die Trusted Execution Environment (TEE) sicherstellt, dass kryptographische Schlüssel nicht außerhalb dieser sicheren Umgebung ausgelesen werden können. Jedoch braucht die App zur Ausführung der Modelle die Entschlüsselung in Echtzeit, was einen kritischen Fenster öffnet, das von Angreifern ausgenutzt werden kann. Mithilfe von Frida, einem mächtigen Instrumentierungstool für Android-Anwendungen, konnten Forscher die Entschlüsselungsfunktion im laufenden Prozess hooken und so die komplett entschlüsselten Modelle abfangen.
Dies zeigte auf, dass selbst mit der Verwendung der Android Keystore und der TEE ein bedeutender Angriffspunkt besteht, weil der Schutz nur für ruhende Daten gilt, jedoch die Ausführung einen Moment der Verwundbarkeit darstellt, in dem der Angreifer zuschlagen kann. Durch diesen Ansatz konnten die Experten beeindruckende Mengen an sensiblen AI-Komponenten ausfindig machen und sichern. Insgesamt konnten die Studienautoren 40 KI-Modelle an vier verschiedenen Orten innerhalb der Google Photos Anwendung extrahieren. Neben den freiliegenden Modellen in der App-Ausstattung fanden sich 20 dynamisch entschlüsselte Modelle, 17 Modelle eingebettet im nativen Modul sowie einzelne Modelle im Dateisystem der App. Diese Modelle decken ein breites Spektrum von Aufgaben ab, die für fortgeschrittene Bild- und Videoverarbeitung benötigt werden. Die eingesetzten Modelle sind dabei auf Spezialgebiete ausgelegt.
Für die Gesichtserkennung und Altersabschätzung kommt ein SCNet-basierter Multi-Label-Klassifikator zum Einsatz. Für verschiedenartige Objekterkennung gibt es skalierte Modelle, unter anderem spezialisiert auf Tiergesichter. MobileNet-Architekturen werden für Portrait-Segmentierung und semantische Segmentierung verwendet, teilweise mit der neueren MobileNetV2-Variante. Weitere Modelle bearbeiten Aufgaben wie Tiefenschätzung (auf SwissNet-Basis), Vorder- und Hintergrundsegmentierung, Segmentierung des Himmels durch ResNetV2-Backbones sowie Video-spezifische Analysen wie Schatten- oder Bewegungssegmentierung. Auch Klassifikatoren für die Erkennung von unscharfen Bildern spielen eine Rolle. Diese Modelle sind alle sofort einsatzbereit und erzielen beeindruckende Ergebnisse, wie anhand der Beispiele für Tiefenschätzung und Portrait-Segmentierung erkennbar ist. Die Offenlegung dieser Modelle wirft ernste Fragen und Herausforderungen für die Sicherheit von KI-Anwendungen auf.
Zum einen könnten Konkurrenten durch das Stehlen und Wiederverwenden dieser hochentwickelten Modelle erhebliche Entwicklungszeit einsparen. Die nötige Datenbeschaffung und Trainingsphase fällt dadurch praktisch weg, was die Innovationsstrategie stark beeinträchtigen könnte. Statt selbst umfassend zu entwicklen, könnten Wettbewerber einfach Googles Technologien replikieren und dadurch den Markt verfälschen. Zum anderen könnten Angreifer durch das extrahierte Wissen gezielte Manipulationen an den Modellen vornehmen oder sogenannte adversariale Beispiele erzeugen, um die Systeme gezielt auszutricksen. Dies würde nicht nur die Zuverlässigkeit der Anwendungen gefährden, sondern auch Sicherheitslücken in Systemen provozieren, die auf Machine Learning basieren. Die Untersuchung an Google Photos illustriert eindrucksvoll die dringende Relevanz umfassender Sicherheitsmaßnahmen für KI-Modelle in mobilen Anwendungen.
Schutzmechanismen müssen nicht nur die ruhenden Daten adressieren, sondern auch den Laufzeitprozess selbst absichern. Ansätze wie verschlüsselte Modelle, Hardware-Sicherheitsmodule oder spezielle Laufzeitkomponenten gewinnen zunehmend an Bedeutung. Gleichzeitig zeigt die Forschung, dass selbst modernste Technologien wie der Android Keystore nicht immer ausreichend sind, wenn die Implementierung Schwachstellen aufweist. Die Firma Skyld, die die Studie durchgeführt hat, bietet entsprechende Schutzlösungen an, die darauf ausgelegt sind, KI-Modelle umfassend zu sichern, sowohl während sie gespeichert als auch zur Laufzeit genutzt werden. Durch solche Maßnahmen können Unternehmen ihre wertvollen Forschungsprodukte besser schützen, Wettbewerbsnachteile vermeiden und gleichzeitig die Integrität und Zuverlässigkeit ihrer KI-Anwendungen stärken. Im Hinblick auf die Zukunft von KI-Sicherheit ist das Thema Model-Diebstahl und Reverse Engineering von wachsender Bedeutung.
Mit der steigenden Verbreitung von AI-basierten Produkten und Diensten wächst auch das Risiko von Diebstahl und Manipulation. Entwickler und Unternehmen stehen somit vor der Herausforderung, innovative und zugleich robuste Sicherheitskonzepte zu implementieren, um ihre Innovationen zu schützen und Vertrauen bei ihren Nutzerinnen und Nutzern aufzubauen. Zusammenfassend zeigt die Untersuchung des Google Photos KI-Modells, dass Reverse Engineering auf modernen mobilen Plattformen realistisch und effektiv ist. Es offenbart, wie essentielle Bausteine von Hightech-Produkten exponiert und anfällig für unbefugte Zugriffe sind. Die daraus gewonnenen Erkenntnisse sind ein Weckruf für die Branche, Sicherheitsaspekte von Machine Learning nicht zu vernachlässigen und verantwortungsvolle Schutzinstanzen zu etablieren. Dabei ist es entscheidend, nicht nur statische Dateisysteme zu hardenen, sondern auch den sensiblen Ausführungsprozess eines Modells in den Fokus zu nehmen.
Nur so lassen sich die innovativen Potenziale von KI langfristig nachhaltig und sicher entfalten.
