Die zunehmende Verbreitung von großen Sprachmodellen (Large Language Models, LLMs) prägt die künstliche Intelligenz (KI) und öffentliche Anwendungen wie nie zuvor. Mit den steigenden Anforderungen an Parameterumfang, komplexe Architekturformen wie Mixture-of-Experts (MoE) und verlängerte Kontextlängen wachsen auch die Herausforderungen an die zugrundeliegende Hardware und Infrastruktur. In diesem Zusammenhang steht Huawei CloudMatrix384 als bahnbrechende Lösung im Fokus, die speziell für diese anspruchsvollen KI-Workloads entwickelt wurde und die Zukunft des KI-Compute revolutionieren könnte. Große Sprachmodelle zeichnen sich durch riesige Anzahl an Parametern und damit verbundenen enormen Rechen- und Speicheranforderungen aus. Klassische KI-Cluster stoßen an ihre Grenzen, wenn es um die effiziente Verarbeitung dieser Modelle geht.
Insbesondere Engpässe bei der Speicherbandbreite, Rechenleistung, Inter-Chip-Kommunikation sowie bei der Latenz begünstigen Probleme wie Verlangsamungen oder Instabilitäten im Echtzeitbetrieb. Die stetig variierenden Auslastungen und Service Level Objectives (SLOs) machen die Anforderungen zusätzlich komplexer. Hier setzt Huawei CloudMatrix384 gezielt an, indem es Hardware und Software nahtlos integriert und dadurch neue Maßstäbe in Performance und Skalierbarkeit setzt. CloudMatrix384 ist eine hochmoderne Supernode-Architektur, die in Rechenzentren implementiert wird. Sie kombiniert 384 Ascend 910 NPUs (Neural Processing Units) mit 192 Kunpeng CPUs und vernetzt diese über ein ultraschnelles Unified Bus (UB) Netzwerk.
Dieses Netzwerk ermöglicht eine direkte All-to-All-Kommunikation, die klassische Engpässe bei der Datenübertragung zwischen Chips drastisch reduziert. Besonders bei kommunikationintensiven Anforderungen wie bei MoE-Modellen und verteiltem Key-Value-Cache-Zugriff sorgt diese Architektur für herausragende Effizienz und Durchsatz. Ein entscheidender Faktor bei der Nutzung von CloudMatrix384 ist die innovative Serving-Software CloudMatrix-Infer. Diese Lösung wurde speziell entwickelt, um das volle Potenzial der Hardware auszuschöpfen. Sie basiert auf einem Peer-to-Peer-Serving-Ansatz, welcher die Skalierung der wesentlichen Komponenten wie Prefill-Prozess, Dekodierung und Caching voneinander entkoppelt.
Das bringt eine hohe Flexibilität und ermöglicht optimale Ressourcenallokation. Zudem verfolgt CloudMatrix-Infer eine groß angelegte Expert-Parallelismus-Strategie, die bei MoE-Architekturen für eine effiziente Verteilung von Token an Experten sorgt – realisiert durch eine intelligente UB-basierte Token-Dispatch-Methode. Die enge Abstimmung von Software und Hardware spiegelt sich auch in der Implementierung spezifischer Optimierungen wider. Dazu zählen spezialiserte Operatoren, die für die NPUs maßgeschneidert wurden, sowie Microbatch-basiertes Pipelining, das für erhöhte Effizienz bei der Parallelbearbeitung sorgt. Ein weiteres Highlight ist die INT8-Quantisierung, die ohne signifikanten Verlust der Modellgenauigkeit eine erhebliche Reduktion des Speicherbedarfs und eine Steigerung der Verarbeitungsgeschwindigkeit ermöglicht.
Die Kombination dieser Optimierungen führt zu Messwerten, die branchenweit Maßstäbe setzen. Die Leistungsfähigkeit von CloudMatrix-Infer auf dem CloudMatrix384-System wurde anhand des DeepSeek-R1-Modells umfassend evaluiert. Die Ergebnisse zeigen Spitzenwerte bei der Prefill-Phase mit beeindruckenden 6.688 Tokens pro Sekunde und NPU. Auch während der Dekodierungsphase erreicht die Architektur mit 1.
943 Tokens pro Sekunde herausragende Durchsatzraten bei einer sehr niedrigen Token-Processing-On-Time (TPOT) von unter 50 Millisekunden. Besonders bemerkenswert ist die Fähigkeit, auch unter strengen Latenzvorgaben von 15 Millisekunden eine hohe Leistung von 538 Tokens pro Sekunde pro NPU aufrechtzuerhalten. Die INT8-Quantisierung hält dabei die Modellqualität auf Benchmark-Niveau, was für praktische Einsatzszenarien essenziell ist. Diese Kombination aus innovativer Hardware-Architektur und intelligenter Serving-Software erlaubt es Huawei CloudMatrix384, nicht nur die traditionellen Beschränkungen von KI-Clusters zu überwinden, sondern auch einen effizienten und skalierbaren Betrieb großer Sprachmodelle sicherzustellen. Die nahtlose Integration der NPUs und CPUs sowie das hocheffiziente UB-Netzwerk sorgen für eine balancierte Auslastung der Ressourcen und verbessern die Gesamtperformance deutlich.
Darüber hinaus hat CloudMatrix384 das Potenzial, in verschiedensten Bereichen der künstlichen Intelligenz eingesetzt zu werden. Anwendungen reichen von Sprachverarbeitung, maschineller Übersetzung und Textgenerierung bis hin zu komplexen multimodalen Anwendungen, die sowohl Text als auch Bild- oder Audiodaten analysieren. Die Skalierbarkeit und Flexibilität des Systems eignen sich zudem für variable Workloads in Forschung und Industrie. Neben der reinen Rechenleistung profitieren Nutzer von CloudMatrix384 auch durch einen optimierten Energieverbrauch und reduzierte Betriebskosten, die durch die effiziente Hardware-Architektur und die intelligente Softwarerealisation ermöglicht werden. Dies ist ein wichtiger Aspekt in Zeiten steigender Datenmengen und wachsender Ansprüche an Nachhaltigkeit bei Cloud-Diensten.
Die Entwicklung und Produktion der CloudMatrix384-Supernode verdeutlicht den Anspruch von Huawei, modernste KI-Technologie mit industrieller Reife zu verbinden und in großem Maßstab bereitzustellen. Die enge Zusammenarbeit von Hardware- und Software-Entwicklungsteams hat eine Plattform geschaffen, die den Anforderungen moderner KI-Anwendungen gerecht wird und auch zukünftigen Herausforderungen gewachsen ist. Zusammenfassend steht Huawei CloudMatrix384 für einen bahnbrechenden Fortschritt beim zuverlässigen und effizienten Betrieb großer Sprachmodelle. Die innovative Architektur, gepaart mit der speziell entwickelten Serving-Lösung CloudMatrix-Infer, erlaubt herausragende Durchsatzraten, niedrige Latenzen und eine ausgewogene Verteilung der Ressourcen. Damit setzt Huawei neue Standards in der KI-Infrastruktur und ebnet den Weg für den großflächigen Einsatz von LLMs in unterschiedlichsten Anwendungsfeldern.
Die Zukunft der KI-Entwicklung wird maßgeblich von solchen technologischen Innovationen geprägt. Huawei CloudMatrix384 bildet dabei eine solide Basis, um die exponentiell wachsenden Anforderungen großer Sprachmodelle zu bewältigen und gleichzeitig eine effiziente, skalierbare und nachhaltige Infrastruktur bereitzustellen. Unternehmen und Forschungseinrichtungen profitieren gleichermaßen von dieser leistungsstarken Plattform, die das Potenzial hat, die KI-Landschaft nachhaltig zu verändern und weiter zu verbessern.
