Die rasante Zunahme von KI-Anwendungen und hochleistungsfähigen Rechenzentren bringt neue Herausforderungen für die interne und externe Datenkommunikation mit sich. Der Bedarf an rechenintensiven Arbeitslasten erfordert eine enge Zusammenarbeit zwischen vielen Prozessoren, Speicherbausteinen und Hardwarebeschleunigern – sogenannte Beschleuniger. Bisher fehlte ein universeller und standardisierter Ansatz, um die Kommunikation innerhalb eines Racks beziehungsweise zwischen mehreren Racks optimal zu gestalten. Die beiden neuen Protokolle UALink und Ultra Ethernet sprechen genau diese Anforderungen an und bieten innovative Lösungen für die Zukunft der Datenzentrumskommunikation im Kontext von KI und Hochleistungsrechnen (HPC). Die Grenzen von Scale-up und Scale-out in Rechenzentren Ein zentraler Bestandteil eines Rechenzentrums ist der sogenannte Compute Node, der für eine klar definierte Menge von Ressourcen wie Prozessoren, Speicher und Beschleunigern steht.
In der Vergangenheit waren einzelne Compute Nodes oft in der Lage, ihre Aufgaben eigenständig auszuführen. Mit dem Anwachsen von KI-Modellen, deren Komplexität und Datenvolumen stetig steigen, reichen einzelne Knoten jedoch nicht mehr aus. Stattdessen müssen mehrere Compute Nodes zusammenarbeiten, um eine nahtlose und hochperformante Verarbeitung sicherzustellen. Diese Zusammenarbeit lässt sich auf zwei Ebenen betrachten: Scale-up und Scale-out. Scale-up bezeichnet die Erweiterung und Verbindung von Ressourcen innerhalb eines einzelnen Racks oder Pods.
Hierbei sollen die einzelnen Prozessoren und Beschleuniger eines Racks so miteinander vernetzt werden, dass sie wie ein großes, einheitliches Rechenwerk erscheinen. Scale-out bezeichnet dagegen die Erweiterung über mehrere Racks hinweg, mit Kommunikationsprotokollen, die eine größere räumliche und netzwerkbasierte Entfernung überbrücken. Die bisherigen Technologien, wie PCIe und CXL, sind zwar in der Lage, gewisse Skalierungen umzusetzen, allerdings sind sie primär nicht für die spezifischen Anforderungen der KI-Workloads optimiert. Da die Performance und die Effizienz von KI-Workloads stark von der Kommunikationslatenz und Bandbreite abhängen, entsteht ein deutliches Defizit bei der Nutzung herkömmlicher Protokolle. UALink – die Zukunft des Scale-up UALink ist ein neu entwickeltes Scale-up-Protokoll, das speziell für die Anforderungen von KI-Beschleunigern und Hochleistungsrechnern innerhalb eines Racks konzipiert wurde.
Der Fokus liegt dabei auf der effizienten Verbindung von GPU-Einheiten oder anderen Beschleunigern, sodass diese wie ein einzelner großer Prozessor behandelt werden können. UALink schafft eine einheitliche Adressierung des Speichers und der Ressourcen, was die Programmierung erleichtert und die Leistung maximiert. Der zentrale Vorteil von UALink ist die Optimierung der Speicherkommunikation zwischen verschiedenen Acceleratoren innerhalb dieses Pods. Durch die Erhöhung der Bandbreite und die Reduzierung der Latenzen verbessert dieses Protokoll die Leistungsfähigkeit der Datenübertragung deutlich. Dabei sind die technischen Grundlagen von UALink mit bestehenden Standards kompatibel: So verwendet es eine Ethernet-basierte physikalische Schicht (PHY) für die initialen Versionen, was die Implementierung erleichtert und die Markteinführung beschleunigt.
Auf Protokollebene besteht UALink aus drei Schichten: einer Transaktionsschicht, einer Datenverbindungsschicht und der physikalischen Schicht. Diese Architektur ermöglicht es, effiziente und belastbare Datenübertragung zu gewährleisten, während gleichzeitig bestehende Hardwarekomponenten genutzt werden können. Außerdem kommen serielle Verbindungen zum Einsatz, welche die Anzahl der Leitungssignale reduzieren und somit den Aufwand bei der Beschaltung sinken lassen. Die Etablierung eines offenen und standardisierten Scale-up-Protokolls wie UALink könnte proprietäre Lösungen ersetzen, die bislang von verschiedenen Unternehmen unabhängig voneinander entwickelt werden. Dies würde nicht nur die Effizienz bei der Entwicklung steigern, sondern auch eine bessere Kompatibilität und Interoperabilität innerhalb der Branche fördern.
Ultra Ethernet – der nächste Schritt im Scale-out Während UALink den Fokus auf die interne Rack-Kommunikation legt, richtet sich Ultra Ethernet an die Skalierung über mehrere Racks hinweg, also den Bereich Scale-out. Ethernet ist seit langem etabliert in der Datenübertragung zwischen Racks, war aber bislang nicht optimal auf die speziellen Anforderungen von KI- und HPC-Workloads zugeschnitten. Ultra Ethernet erweitert den klassischen Ethernet-Standard um zusätzliche Netzwerk- und Transportschichten. Diese Erweiterungen wurden genau auf die Bedürfnisse von modernen Datenzentren abgestimmt, um sogenannte Tail Latency-Probleme zu mindern. Tail Latency bezeichnet jene seltenen, aber bedeutsamen Verzögerungen einzelner Datenpakete, welche den Gesamtprozess ausbremsen können, da in vielen KI-Workloads die Synchronisation aller Knoten essenziell ist.
Ein großer Fortschritt des Ultra Ethernet Protokolls ist der stärkere Fokus auf die Transportschicht, in der über Steuerungsmechanismen entschieden wird, ob eine Übertragung sicher, zuverlässig und sequenziell verlaufen muss. Dies ermöglicht eine höhere Flexibilität bei der Datenübertragung und unterstützt Szenarien, in denen nicht zwingend eine strikte Reihenfolge der Pakete eingehalten werden muss, was die Effizienz steigert. Zudem beinhaltet Ultra Ethernet Mechanismen wie Link-Level-Wiederholungen, Flusskontrolle auf Layer-2-Ebene und Paket-Spraying. Paket-Spraying erlaubt es, einzelne Datenpakete über verschiedene Pfade im Netzwerk zu senden, was die Last gleichmäßiger verteilt und Engpässe verringert. Durch Link-Level-Wiederholungen können Fehler schneller lokal korrigiert werden, ohne dass das gesamte Protokoll gestört wird.
Diese Features wirken zusammen, um die Latenzspitzen erheblich zu reduzieren, was besonders bei den stark synchronisierten und iterativen Kommunikationsmustern in KI-Anwendungen entscheidend ist. Ultra Ethernet ist dabei so gestaltet, dass es mit bestehenden Standard-Ethernet-Switches kompatibel bleibt, was die Einführung im bestehenden Datenzentrumsnetzwerk erleichtert. Integration und Zukunftsaussichten Beide Protokolle, UALink und Ultra Ethernet, werden voraussichtlich ab Mitte bis Ende 2025 in ihren Spezifikationen veröffentlicht und danach Schritt für Schritt in die Produktentwicklung einfließen. Es ist zu erwarten, dass die ersten Silizium-Implementierungen und deren Integration in Rechenzentren bis etwa 2026 zu sehen sein werden. Ein bemerkenswertes Merkmal ist, dass die beiden Protokolle unabhängig voneinander entstanden sind, sich jedoch ideal ergänzen.
UALink übernimmt die Optimierung innerhalb der Racks, während Ultra Ethernet die Kommunikation über mehrere Racks hinweg effizient gestaltet. Gemeinsam adressieren sie also das gesamte Spektrum der Skalierung von KI-Workloads in großen Datenzentren. In der langfristigen Planung ist auch die Kooperation mit etablierten Standardisierungsgremien wie IEEE vorgesehen. Ziel ist es, eine harmonisierte Entwicklung sicherzustellen, die Fragmentierung zu vermeiden und die Interoperabilität in der schnell wachsenden Datenzentrumslandschaft zu fördern. Die enge Zusammenarbeit verschiedener Konsortien gewährleistet, dass zukünftige Weiterentwicklungen wie schnellere PHYs mit 400 Gbps konsistent umgesetzt werden können.
Neben der reinen Hardwareebene bringt diese Entwicklung auch Softwareseitig Vorteile. Die einheitliche Adressierung und das konsequente Ressourcen-Sharing – vor allem für gemeinsam genutzten Speicher – vereinfachen die Programmierung und erhöhen die Effizienz von Frameworks für maschinelles Lernen und KI-Anwendungen. Dies kann in insgesamt besseren Trainings- und Inferenzzeiten münden und die Betriebskosten für große KI-Systeme reduzieren. Die Rolle von KI im Datenzentrum wächst stetig und bietet einen starken wirtschaftlichen Anreiz für die Weiterentwicklung spezieller Protokolle und Hardwarelösungen. Hochleistungsrechnen profitiert dabei als zusätzlicher Bereich; auch wenn die Anforderungen dort teilweise abweichen, können viele Komponenten gemeinsam genutzt werden.
Diese Dynamik begründet die Entwicklung unterschiedlicher Protokolloptionen und bestärkt die Branche darin, flexible, modulare Architekturen zu etablieren. Schlussfolgerung Die Innovationen im Bereich der Datenzentrumsprotokolle sind ein entscheidender Schritt, um dem exponentiellen Wachstum von KI-Workloads und Hochleistungsrechnen gerecht zu werden. UALink und Ultra Ethernet bieten mit ihren spezifischen Ansätzen für Scale-up und Scale-out zukunftssichere und leistungsfähige Lösungen, die die Kommunikation zwischen Prozessoren und Beschleunigern effektiver denn je gestalten. Die Kombination von reduzierten Latenzen, erhöhter Bandbreite und verbesserter Netzwerkintelligenz erlaubt es Rechenzentren, KI-Modelle schneller zu trainieren, genauer zu inferieren und effizienter zu skalieren. Entwickler und Unternehmer in der Datenzentrumsbranche sollten diese neuen Protokolle genau beobachten und in ihre Planungen einbeziehen, um wettbewerbsfähig zu bleiben und von der technologischen Weiterentwicklung zu profitieren.
Durch die Standardisierung ist die Industrie in der Lage, schnell tragfähige Lösungen bereitzustellen, die die Fragmentierung bisheriger proprietärer Ansätze überwinden. Die Zukunft der KI-Beschleunigung im großen Maßstab wird maßgeblich von der erfolgreichen Einführung und Integration von UALink und Ultra Ethernet abhängen.
