Die visuelle Darstellung von realistischen drei-dimensionalen Städten ist seit jeher ein zentrales Thema in der Computergrafik. Besonders die fotorealistische Wiedergabe von Stadtlandschaften in Echtzeit stellt Entwickler vor immense Herausforderungen. Dank der jüngsten Fortschritte in der 3D-Gaussian-Splatting-Technologie steht nun eine bahnbrechende Lösung namens Voyager zur Verfügung, die es ermöglicht, detailreiche, großmaßstäbliche 3D-Szenen direkt auf mobilen Geräten zu visualisieren – und das nahezu ohne Kompromisse bei der Qualität oder der Performance. 3D Gaussian Splatting, kurz 3DGS, hat sich als vielversprechendes Verfahren etabliert, um fotorealistische 3D-Darstellungen zu erzeugen. Dabei werden Szenen durch eine Vielzahl von dreidimensionalen Gaußschen Verteilungen modelliert, die als sogenannte "Splats" fungieren.
Diese Methode erlaubt eine flexible und effiziente Repräsentation komplexer Geometrien und Oberflächen, da anstelle von traditionellen dreiecksbasierten Polygonnetzen mit Volumenelementen gearbeitet wird, die sich nahtlos an verschiedenste Details anpassen lassen. Trotz der hohen visuellen Qualität ist 3DGS mit erheblichen Rechenanforderungen verbunden – insbesondere bei stadtweiten Szenarien, in denen Millionen von Gaußschen Elementen berücksichtigt werden müssen. Für leistungsstarke Desktop-Rechner oder professionelle Workstations stellt das keine unüberwindbare Hürde dar. Auf Smartphones und anderen mobilen Endgeräten hingegen waren solche Darstellungen bislang kaum praktikabel. Die begrenzte Rechenleistung, der eingeschränkte Speicher und vor allem die Herausforderungen bei der Datenübertragung sorgen häufig für merkliche Verzögerungen und mangelhafte Bildqualität.
Hier setzt Voyager an: Das System verfolgt einen innovativen Ansatz, um die siebenstellige Anzahl an Gaußschen Elementen effizient zu verwalten und nur die wirklich relevanten Daten an das mobile Endgerät zu übertragen. Die entscheidende Erkenntnis von Voyager liegt darin, dass sich die Anzahl der neu sichtbaren 3D-Gaussian-Splatts selbst bei schnellem Nutzerwechsel im Raum konstant hält. Das bedeutet, dass nicht die gesamte Szene in jedem Frame neu berechnet und übertragen werden muss, sondern lediglich die neu sichtbaren Gaussians, die für die aktuelle Blickrichtung notwendig sind. Die Umsetzung erfolgt zweistufig. Auf der Cloud-Seite kommt eine asynchrone Level-of-Detail-Suchstrategie (LOD) zum Einsatz.
Diese identifiziert automatisch und in Echtzeit, welche Gaußschen Elemente für die Ansicht relevant sind und somit gestreamt werden müssen. Eine solche Suche gewährleistet, dass nur wirklich wichtige Datenpakete zur Übertragung freigegeben werden und reduziert damit die Bandbreitenlast dramatisch. Auf der Client-Seite wird das Rendering durch ein lookup-table-basiertes Rasterisierungsverfahren beschleunigt. Anstatt jede Gaussche Verteilung neu zu berechnen, werden vorberechnete Datenstrukturen genutzt, um die Darstellung schnell und ressourcenschonend zu ermöglichen. Zudem sorgen umfassende Laufzeitoptimierungen dafür, dass das System auch auf Smartphones flüssig und mit niedriger Latenz arbeitet.
Der kombinierte Ansatz von Voyager liefert beeindruckende Ergebnisse: Im Vergleich zu traditionellen Cloud-Rendering-Methoden wurde der Datenverkehr um über das hundertfache reduziert, die Verarbeitungsgeschwindigkeit auf dem Endgerät erhöhte sich um bis zu 8,9-fach. Beeindruckend dabei ist, dass die visuelle Qualität der 3D-Szenen auf hohem Niveau bleibt und die Nutzer eine nahtlose, ruckelfreie Erfahrung genießen können. Voyager öffnet somit neue Türen für interaktive Anwendungen, Webseiten und mobile Erlebnisse, die bisher aufgrund technischer Limitierungen nicht realisierbar waren. Denkbar sind vielfältige Einsatzszenarien wie digitale Stadtführungen, urbane Planungen, Spiele mit großen offenen Welten oder Augmented Reality Experiences, die unterschiedliche Perspektiven auf reale Stadtumgebungen erlauben. Die technische Herausforderung, die Voyager souverän meistert, liegt auch in der Kombination einer intelligenten Server-Client-Architektur mit einer adaptiven Datenkompression und effizienten Rendering-Algorithmen.
Durch die asynchrone Verarbeitung auf der Cloud-Seite werden Engpässe bei der Datenbereitstellung minimiert, während die clientseitigen Methoden die begrenzten Ressourcen der Smartphones bestmöglich ausnutzen. Dabei setzt die Forschung nicht nur auf theoretische Erkenntnisse, sondern berücksichtigt auch reale Nutzerszenarien und Bewegungsmuster, um den Datenstrom optimal anzupassen. Die konstante Anzahl an neu sichtbaren Gaussians pro Sekunde wurde auf Grundlage empirischer Studien und Nutzeranalysen ermittelt, was die Praktikabilität und Skalierbarkeit des Systems belegt. Im Kontext der modernen Mobilfunknetze ist Voyager besonders relevant, da herkömmliches Streaming von gerenderten Frames enorme Anforderungen an die Bandbreite stellt, welche aktuelle Netzwerke oft nicht erfüllen können. Durch die selektive Übertragung der Datenpakete reduziert Voyager die Netzwerkanforderungen drastisch und macht fotorealistisches 3D-Rendering mobil tauglich.
