Untether AI war ein vielversprechendes Startup im Bereich von KI-Inferenzchips, das ursprünglich mit der Vision antrat, KI stärker zu dezentralisieren und näher zum Netzwerkrand zu bringen. Gegründet im Jahr 2018, bevor der Generative AI-Boom durch die Veröffentlichung von Technologien wie ChatGPT und Stable Diffusion die Branche revolutionierte, zielte Untether AI darauf ab, künstliche Intelligenz außerhalb großer Rechenzentren effizient einzusetzen. Die Idee dahinter war, KI-Inferenz für Aufgaben wie Empfehlungssysteme nicht mehr nur in zentralisierten Datencentern zu verarbeiten, sondern direkt in verteilten Servern am Rand von Netzwerken – dem sogenannten Edge Computing – auszuführen. Dies versprach niedrigere Latenzzeiten und eine größere Zuverlässigkeit. Untether AI wandte sich dabei nicht an die üblichen Endgeräte wie Smartphones oder extrem stromsparende Sensoren, sondern konzentrierte sich auf leistungsfähigere Knoten am Rand des Netzes.
Zu Beginn schien das eine spannende Nische zu sein, die von anderen AI-Chip-Herstellern vernachlässigt wurde. Ihr erster für den Markt bestimmter Chip, runAI, konnte schon beachtliche Leistungswerte vorweisen und erreichte bis zu zwei Peta-Operationen pro Sekunde pro Beschleunigerkarte mit einer Effizienz von etwa acht TOPS pro Watt. Dies war in einer Zeit, in der die KI-Branche sich noch weit weniger komplizierten Anforderungen an Hardware zu stellen hatte, durchaus bemerkenswert. Allerdings begann sich die Marktlandschaft bald drastisch zu verändern. Mit dem Aufkommen von generativen KI-Modellen wie ChatGPT und Diffusionsmodellen veränderte sich nicht nur die Nachfrage, sondern auch die technischen Anforderungen an KI-Beschleuniger.
Große Sprachmodelle und deren Inferenz erfordern hohe Speicherbandbreiten, eine massive On- und Off-Chip-Speicherkapazität sowie schnelle Chip-zu-Chip-Kommunikation. Dies sind Eigenschaften, die Untether AI seinem zweiten Chip, speedAI, nicht überzeugend bieten konnte. SpeedAI stellte zwar mit 30 TOPS pro Watt einen deutlichen Effizienzsprung gegenüber runAI dar, doch es besaß keine High Bandwidth Memory (HBM) und litt unter mittelmäßiger Chip-zu-Chip-Verbindung. Diese Einschränkungen machten den Chip für den schnell wachsenden Markt der großen Sprachmodelle nahezu ungeeignet. Während der KI-Hype um generative Modelle immer größer wurde und die Industrie zunehmend ihre Ressourcen auf Lösungen für Sprachmodelle und dergleichen fokussierte, entschied sich Untether AI, in ein Segment zu investieren, das verhältnismäßig klein bleibt: Vision-basierte Anwendungen am Rand des Netzwerks.
Dazu zählten autonome Fahrzeuge, Überwachungskameras und Industrieautomation. Die Partnerschaften von Untether AI mit General Motors für Fahrerassistenzsysteme und mit ARM für Automotivanwendungen unterstrichen diesen Fokus. Doch trotz technischer Qualität und einem talentierten Team, das nach dem Scheitern vom Halbleiter-Riesen AMD aufgesogen wurde, konnte Untether AI nicht mit den großen Trends der Zeit Schritt halten. Die Nachfrage für AI-Chips konzentriert sich inzwischen maßgeblich auf die Anforderungen von großen Transformer-Modellen und nicht mehr auf die klassischen, konvolutionalen Netzwerke, die für reine Bildverarbeitung eingesetzt werden. Untether AI blieb in der Nische einer Vision-orientierten Inferenzlösung gefangen, während die Branche sich auf Generative AI und LLMs fokussierte.
Diese Diskrepanz zeigte sich auch in den Benchmark-Ergebnissen. 2024 präsentierte Untether AI im MLPerf-Test Ergebnisse, die sich auf ein mittlerweile veraltetes Modell (ResNet-50) konzentrierten, während Wettbewerber mit beeindruckenden Leistungswerten bei riesigen Modellen wie LLama-70B auftrumpften. Dadurch wurde die technische Überlegenheit der Konkurrenz in neuen und lukrativen Marktsegmenten besonders deutlich. Ein grundlegendes Problem von Untether AI lag darin, dass ihr Hardwaredesign von Anfang an nicht flexibel genug war, um sich an die sich schnell wandelnden Anforderungen der KI-Landschaft anzupassen. In einer Welt, die zunehmend von Großmodellen geprägt ist, müssen AI-Chips in der Lage sein, große Matrizenmultiplikationen mit hohem Datendurchsatz zu bewältigen.
Dabei bestimmen Speicherarchitektur und Verbindungsbandbreiten maßgeblich die Leistungsfähigkeit der Chips. Untether AI hatte zwar die Grundfunktionalität guter Matrixmultiplikation, fehlten aber die kritischen Eigenschaften für die nächste Generation von KI-Anwendungen. Darüber hinaus zeigt die Geschichte von Untether AI eine wichtige Lektion für Unternehmen in der Technologiebranche: Die Bedeutung, den Markt und technologische Entwicklungen ständig zu beobachten und flexibel zu bleiben. Sie haben ihre Marktstrategie auf eine Zukunft gesetzt, in der visuelle KI-Anwendungen an Netzwerkperipheriegeräten dominieren würden – eine Vision, die sich zumindest bislang nicht in großem Stil durchgesetzt hat. Stattdessen wurden große generative Modelle zum Fokus, die enorme Rechenpower erfordern.
Das Blenden auf eine bestimmte Nische ohne schnelle Adaption an den Marktwechsel ist tödlich, vor allem in einem so dynamischen Feld wie der KI-Hardwareentwicklung. Andererseits wirft der Fall Untether AI auch Fragen auf, wie Startups im Bereich KI-Chip-Design überhaupt überleben und wachsen können. Die Entwicklung von Chip-Hardware ist kostspielig und riskant. Fehlentwicklungen in der Produktstrategie können schnell zum Ende führen. Mutige Entscheidungen müssen mit sorgfältigen Analysen zukünftiger Markttrends kombiniert werden.
Die Konkurrenz ist längst nicht mehr nur andere Startups, sondern auch etablierte Giganten wie Nvidia, AMD, Intel und neue Herausforderer, die frühzeitig auf Generative AI gesetzt haben. Zum Schluss ist es durchaus möglich, dass andere Unternehmen, die sich zukünftig voll auf die Beschleunigung großer Sprachmodelle konzentrieren, ähnliche Herausforderungen erleben werden. Die Landschaft ist brutal und schnelle Innovationen sind entscheidend. Untether AI war technologisch einiges voraus, hatte ein starkes Entwicklerteam und innovative Ansätze – dennoch haben sie es versäumt, sich an die Welle generativer KI anzuschließen und konnten so weder Marktanteile gewinnen noch langfristig bestehen. Letztlich bleibt die Übernahme der Ingenieurteams durch AMD ein positives Signal – die Expertise und das Know-how von Untether AI ist wertvoll und wird sicherlich in zukünftigen Technologien weiterleben.
Das Scheitern ihres Unternehmens ist jedoch eine Mahnung daran, wie wichtig es ist, im Bereich KI flexibel, zukunftsorientiert und anpassungsfähig zu bleiben, um den rasant wechselnden Anforderungen einer Industrie gerecht zu werden, in der sich Erfolg und Misserfolg oft innerhalb kürzester Zeit entscheiden.
