Die Entwicklung moderner Technologien zur Darstellung und Rekonstruktion von dreidimensionalen Szenen hat in den letzten Jahren enorme Fortschritte gemacht. Insbesondere die Methoden Neural Radiance Fields (NeRF) und 3D Gaussian Splatting (3DGS) sind in der Forschung und Anwendung sehr beliebt geworden, da sie Probleme der klassischen 3D-Rekonstruktion mit innovativen Ansätzen lösen. Beide Technologien verfolgen das Ziel, aus nur wenigen Bildern einer Szene neue, noch nicht vorhandene Perspektiven zu generieren – ein spannendes und vielseitig einsetzbares Konzept, das die Art und Weise, wie virtuelle Räume erstellt und erlebt werden, revolutioniert. Die folgende Darstellung liefert eine fundierte und dennoch zugängliche Gegenüberstellung dieser beiden Verfahren, ihre Grundlagen, Unterschiede und die jeweiligen Einsatzgebiete, ohne sich in zu technischen Details zu verlieren, aber dennoch tiefergehend genug für ein technikinteressiertes Publikum.
Das Hauptproblem, das sowohl NeRF als auch 3DGS adressieren, ist die sogenannte "Novel View Synthesis" – also die Fähigkeit, aus einigen wenigen 2D-Aufnahmen einer dreidimensionalen Szene realistische Bilder aus neuen, bislang nicht aufgenommenen Blickwinkeln zu generieren. Ob es sich um eine Szene in der realen Welt handelt, wie beispielsweise ein Lego-Bulldozer, der aus verschiedenen Perspektiven fotografiert wurde, oder um komplexere Umgebungen, mit diesen Methoden kann man digitale Begehungen und Betrachtungen aus neuen Positionen ermöglichen, die zuvor nicht möglich waren. Das Potenzial reicht von der filmischen Darstellung neuer Kamerawinkel, die finanziell oder physisch nicht umsetzbar sind, bis hin zur digitalen Nachbildung von Räumen für virtuelle Realitäten oder 3D-Telepräsenz.
Traditionell wurde dieses Problem mit Verfahren wie der Photogrammetrie angegangen, bei der Hunderte von hochauflösenden Bildern verwendet werden, um eine 3D-Struktur zu erstellen, die dann für neue Ansichten gedreht und skaliert werden kann. Diese Methode ist allerdings datenintensiv und wenig skalierbar. Dagegen haben sich NeRFs und 3DGS als wesentlich effizientere Alternativen herauskristallisiert, die bereits mit wenigen Dutzend Bildern beeindruckend realistische Darstellungen erzeugen können. Auf einem sehr grundlegenden Niveau arbeitet NeRF, indem es für jeden Pixel eines Bildes die passende Farbe durch maschinelles Lernen simuliert. Diese Methode nutzt ein neuronales Netzwerk, das lernt, Farben für Positionen und Blickrichtungen zuzuordnen. Um das vereinfacht zu veranschaulichen, kann man sagen, NeRF „misst“ aus einem Blickwinkel, wie Licht, Farbe und Sichtbarkeit sich in der Szene verhalten, und generiert so die neue Ansicht pixelgenau.
Im Gegensatz dazu funktioniert 3DGS visuell, als würde man farbige, halbtransparente Punkte oder „Splatts“ auf eine virtuelle Leinwand werfen, die übereinandergelegt ein Bild ergeben. Hier werden 3D-Ellipsoide oder mathematisch präziser 3D-Gauss‘schen Verteilungen erzeugt und aus verschiedenen Blickwinkeln per Rasterverfahren gerendert. Technisch gesehen basieren NeRFs auf dem Prinzip des Ray Tracing. Dabei wird für jeden Bildpixel ein Strahl von virtualem Licht verfolgt, der an unterschiedlichen Punkten in der 3D-Szene Farbe und Dichte erfasst, um schlussendlich einen realistischen Farbeindruck zu erzeugen. Dieses Verfahren ist jedoch rechenintensiv, da für jeden Pixel mehrfach das neuronale Netzwerk ausgeführt werden muss, was vor allem bei hochauflösenden Bildern viel Zeit beansprucht. Im Gegensatz dazu setzt 3D Gaussian Splatting auf die Rasterisierung.
Das bedeutet, dass eine große Menge kleiner 3D-Objekte (Splatts) einzeln auf das zweidimensionale Bild projiziert wird, wo sie transparent und farblich überlappend visualisiert werden. GPUs sind speziell für solche Rasterverfahren optimiert, was 3DGS extrem schnelle Renderzeiten ermöglicht – oft nahezu zehnmal schneller als die besten NeRF-Technologien. Der Preis dafür ist allerdings ein höherer Speicherverbrauch, da Millionen dieser Gauss‘schen Ellipsoide gespeichert und verwaltet werden müssen. Auf einer tieferen technischen Ebene fungiert ein NeRF als ein sogenanntes implizites 3D-Szenenmodell. Es handelt sich dabei um ein trainiertes neuronales Netzwerk, das Positionen und Blickrichtungsinformationen als Eingabe erhält und daraus für beliebig viele Bildpunkte eine realistische Farbdarstellung berechnen kann. Das Modell speichert die Szenerie als abstrakte Gewichte im Netzwerk – also als Daten, die für Menschen nicht direkt interpretierbar sind.
Ein Beispielablauf zur Trainingsdurchführung zeigt, dass das Netzwerk fortwährend daran arbeitet, den Unterschied (Fehler) zwischen erzeugten Bildern und den Ausgangsfotos zu minimieren, bis eine hohe Übereinstimmung erreicht wird. 3DGS verfolgt hingegen einen expliziten Ansatz. Hier werden die einzelnen Splatts durch das System als physikalisch interpretierbare Parameter wie Position im Raum, Form, Größe, Farbe und Transparenz definiert und in einer Datei abgelegt, die Menschen leicht verstehen können. Das Training besteht darin, die Parameter der Gauss‘schen Ellipsoide derart zu modifizieren, zu teilen oder zu vervielfältigen, dass sie die Trainingsbilder bestmöglich rekonstruieren. Das Ergebnis ist eine hochdetaillierte Punktwolke aus Splatts, die schnell und flexibel gerendert werden kann. Zusammenfassend bieten beide Methoden beeindruckende Qualität in der Darstellung fotorealistischer Bilder neuer Blickwinkel basierend auf vergleichsweise wenigen Eingabebildern.
NeRF punktet durch seine speichereffiziente Speicherung als kleines neuronales Netzwerk und besticht durch seine Fähigkeit, komplexe Licht- und Schatteneffekte direkt auf physikalisch basierten mathematischen Modellen zu lernen. 3DGS hingegen besticht durch extrem schnelles Rendering durch diese explizite Struktur, ist jedoch im Speicherverbrauch deutlich umfangreicher. Für komplexe Szenen können NeRF-Modelle einige Dutzend Megabyte groß sein, 3DGS-Modelle bewegen sich im Bereich von mehreren Hundert Megabyte bis hin zu fast einem Gigabyte. Für Anwender stellt sich je nach Einsatzzweck die Frage, welches Verfahren sinnvoller ist. Wenn es auf hohe Rendergeschwindigkeit und Echtzeit-Performance ankommt, etwa für dynamische Virtual-Reality-Anwendungen oder Computerspiele, bietet sich 3DGS an. Soll dagegen die Speichergröße möglichst gering bleiben und dennoch eine sehr präzise Lichtsimulation erfolgen, ist NeRF eine hervorragende Wahl.
Beide Verfahren fordern den Speicher und die Rechenleistung zwar auf unterschiedliche Weise, gemeinsam eint sie die Möglichkeit, dreidimensionales Bildmaterial mit deutlich geringerem Eingabeaufwand als vorher möglich zu rekonstruieren. Trotz der Unterschiede ist es bisher nicht möglich, NeRF-Modelle ohne größeren Aufwand in 3DGS-Modelle umzuwandeln oder umgekehrt. Lediglich als Zwischenschritt können beide Ansätze in ein Mesh-Format überführt werden, was allerdings mit Verlusten und Aufwand verbunden ist und derzeit eher experimenteller Natur ist. Die Forschung arbeitet jedoch intensiv an Verbesserungen bei beiden Verfahren, um sie noch schneller, effizienter und universeller verwendbar zu machen. Für die Zukunft versprechen beide Technologien eine Vielzahl von Anwendungen und Revolutionen im Bereich der Computergrafik, der virtuellen Realität und dem neuartigen digitalen Erlebnis.
Mit ständig steigender Rechenleistung und ausgefeilteren Algorithmen wird die synthetische Darstellung der Welt immer realistischer, einfacher und zugänglicher für jedermann. Das Verständnis der Grundprinzipien hinter NeRF und 3D Gaussian Splatting hilft dabei, die Möglichkeiten der heutigen 3D-Welt besser einzuschätzen und künftige Innovationen mit Spannung zu verfolgen. Abschließend lässt sich festhalten, dass NeRF und 3DGS zwei unterschiedliche Wege sind, dieselbe Brücke zwischen realen Bildern und virtuellen 3D-Erlebnissen zu schlagen. Während NeRF eher eine tief im neuronalen Netz versteckte, implizite Repräsentation bietet, fokussiert sich 3DGS auf eine äußerlich explizite, physikalisch greifbare Modellierung der Szene. Beide Methoden ermöglichen beeindruckende, fotorealistische Szenendarstellungen mit geringem Dateneingang und stehen für den neuesten Stand der 3D-Technik heute und morgen.
