Die stetige Nachfrage nach höher aufgelösten und qualitativ besseren Bildern in Echtzeitgrafik und Videospielen stellt Entwickler vor immer neue Herausforderungen. Besonders im Bereich des Upsamplings, also der Vergrößerung von Bildern oder Frames, um Details zu verbessern und schärfere Kanten darzustellen, sind innovative Lösungen gefragt. Eine solche Methode ist das Upsampling via Multisampling (MSAA), das sich als vielversprechender Ansatz etabliert, um native Kantenglättung mit einer effizienten Skalierung auf höhere Auflösungen zu verbinden. Traditionell wird im Bereich der Antialiasing-Verfahren Multisample Anti-Aliasing verwendet, um Kantenverläufe zu glätten, indem innerhalb eines Pixels mehrere Proben (Samples) genommen werden, die zusammen ein weicheres Bild ergeben. Beim Standard-Resolve wird dabei einfach der Durchschnitt der Samples berechnet, der dann auf die Zielauflösung heruntergebrochen wird.
Papierisiert betrachtet könnte man aber genau diese per Multisample gewonnenen Farbwerte auch gezielt für eine Vergrößerung der Bildfläche verwenden, indem man sie intelligent auf eine größere Anzahl von Pixeln aufsplittert. Dieses Prinzip nutzt die Technik des Upsamplings via Multisampling, welche mit dem Ziel arbeitet, durch Auflösungserhöhung die Anti-Aliasing-Qualität sichtbar zu verbessern. Bei der Untersuchung dieses Prinzips fällt zunächst auf, dass das Upsampling mit 2x MSAA verhältnismäßig einfach umgesetzt werden kann. Hierbei teilt man ein Pixel in vier Bereiche, wobei zwei diagonal angeordnete Samples tatsächlich Farbwerte besitzen. Um die fehlenden Zwischenpixel zu füllen und somit die Vergrößerung zu ermöglichen, kommt eine sogenannte kleinste absolute Differenz Methode zum Einsatz. Diese vergleicht benachbarte Pixel auf Farb- oder Helligkeitsdifferenzen und entscheidet sich für jene Richtung, in der der Farbgradient am geringsten ausfällt.
So werden störende Artefakte wie das sogenannte „Zipper-Effekt“-Muster an Kanten deutlich reduziert, was zu einem saubereren und harmonischeren Bildresultat führt. Die Ursprungsidee für diese Methodik liegt unter anderem im Bereich des Debayerings mit Variablen Gradienten, bekannt als VNG. Dort werden aus rohen Sensordaten mit begrenzten Farbwerten differenzierte Bilddaten rekonstruiert, was strukturell ähnlich zur Interpolation bei Multisample-Upsampling ist. Die Verwendung der kleinsten absoluten Differenz ist zudem in verschiedenen Render-Techniken etabliert, sei es bei Checkerboard-Rendering oder in der Implementierung von SMAA (Subpixel Morphological Anti-Aliasing) im 2x Szenario. Die Komplexität steigt jedoch mit höheren MSAA-Stufen erheblich an. Bei der 4x MSAA Variante erweitert sich das Raster zu einer 4x4 Matrix mit vier bekannten Samples innerhalb der Pixelstruktur.
Auf Basis der bekannten Farbwerte müssen die unbestimmten Zwischenpunkte mit Interpolationsmethoden gefüllt werden, die ebenfalls die kleinste absolute Differenz zur Kantenerkennung verwenden. Die Herausforderung besteht darin, die nötigen Nachbarschaftswerte effizient zu laden und auszuwerten, da für das vollständige 4x Upsampling auch Werte von umliegenden Pixeln erforderlich sind. Die resultierende Bildqualität verbessert sich signifikant, da jeder einzelne hochaufgelöste Pixel nun eine differenziertere Kantenglättung aufweist, die etwa der 2x MSAA Qualität entspricht. Dieses Verfahren schafft somit einen Kompromiss zwischen Komplexität und visueller Qualität, der gerade bei 4K-Upscaling von 1080p Quellmaterial sehr attraktiv ist. Noch anspruchsvoller gestaltet sich die Umsetzung von 8x MSAA Upsampling. Hier liegen acht Proben pro Pixel vor, welche bei der Vergrößerung auf eine vierfache Fläche äußerst komplex verteilt werden müssen.
Die Herausforderung entsteht durch die Tatsache, dass in den aufgesplitteten Ausgabepixels nur eine minimale Anzahl an Proben existieren, während der Großteil der Werte rekonstruiert werden muss. Wieder wird die kleinste absolute Differenz genutzt, aber die Anzahl der notwendigen Berechnungen und Neuberechnung statischer Muster wächst sprunghaft an. Trotz dessen zeigen Vergleichsbilder, dass die Methode eine ausgezeichnete Kantenglättung erzeugt, die über eine naive Mittelwertbildung weit hinausgeht und sich spürbar näher an nativen höheren Multisample-Stufen bewegt. Eine interessante Alternative im 8x Szenario besteht darin, nicht alle 16 Zwischenpunkte für jeden Ausgabepixel zu berechnen, sondern stattdessen eine sogenannte N-Rooks-Lösung anzuwenden. Diese Technik wählt vier Positionen so aus, dass sie sich weder horizontal noch vertikal überschneiden, was im Ergebnis einer reduzierten Samplinganzahl bei ähnlicher Bildqualität entspricht.
Dies führt zu einer deutlichen Performancesteigerung bei marginalem Qualitätsverlust, was gerade für zeitkritische Anwendungen im Gaming-Bereich von großer Bedeutung sein kann. Die Bildqualität des Upsamplings via Multisampling ist beeindruckend, was insbesondere bei Kanten und feinen Details erkennbar wird. Während innerhalb homogener Flächen keine wesentlichen Verbesserungen auftreten, zeigt sich ein deutlich reduziertes Flimmern an Kanten sowie eine feinere Kantenglättung, die vergleichbar mit nativen MSAA-Renderings auf höherer Auflösung ist. Dies gilt besonders für lange Kanten und diagonale Strukturen, bei denen klassische Upsampling-Verfahren häufig Artefakte produzieren. Die Methode zeigt sich zudem vorteilhaft bei dünnen Linien, die sonst in vielen Temporal Anti-Aliasing Verfahren wie TAA problematisch dargestellt werden. Allerdings existieren auch Schwachstellen.
So lässt die Methode teilweise Kanten mit leichten Zipper-Artefakten oder minimalen Farbsprüngen zurück, die sich durch zusätzliche Kantenfilter oder Tiefeninformationen noch verbessern ließen. Ebenso sind Anwendungsfälle mit komplexen Post-Processing Effekten, wie Tiefenunschärfe, Motion Blur oder Bloom nach der MSAA-Phase problematisch, da sie nicht ohne Weiteres mit der reinen Multisample-Datenbasis kompatibel sind. Dadurch können sich Artefakte einschleichen oder Upsampling-Schritte aufwendig in Pipelines integriert werden müssen. Die Performance des Verfahrens hängt stark vom MSAA-Level und der zugrundeliegenden Hardware ab. Bei aktuellen GPUs wie der RTX 3070 liegen die grundlegenden Implementierungen für 2x MSAA Upsampling bei ungefähr 118 Mikrosekunden pro Frame in 1080p, während 8x Auflösungen durchaus 700 Mikrosekunden erreichen können.
Diese Werte sind zwar noch nicht optimiert, lassen aber erahnen, dass ein dedizierter Ansatz für Upsampling via Multisampling in Echtzeit-Applikationen durchaus machbar ist, vor allem wenn Plattform-spezifische Optimierungen und differenzierte Filter eingebaut werden. Im Vergleich zu anderen Upsampling- und Anti-Aliasing-Techniken, wie komplexen Temporal Aliasing Methoden oder KI-basierten Ansätzen wie DLSS, FSR oder XeSS, bietet Multisample-Upsampling einige Vorteile. Insbesondere ist keine temporale Reprojektion oder zusätzliche Vernetzung nötig und es kann in einem einzigen Pass mit vorliegender MSAA-Datenbasis arbeiten, ohne komplexe Lerndaten oder mehrere Frames. Allerdings ist es allein auf native MSAA-Renderings beschränkt und kann nicht in jedem Rendering-Workflow direkt angewendet werden.
Für Entwickler, die eine bestehende MSAA-Ausgabe vorliegen haben und eine native Hochskalierung mit Quasi-AA-Qualität erzielen wollen, ist das Upsampling via Multisampling definitiv einen Blick wert. Mit der richtigen Implementierung und Optimierung kann eine qualitativ hochwertige 4k Darstellung aus 1080p Quellen erzeugt werden, die an klassische MSAA-Qualitäten heranreicht, ohne aufwendig temporale Algorithmen oder Deep-Learning-Modelle einsetzen zu müssen. Zusammenfassend lässt sich sagen, dass das Upsampling via Multisampling eine bislang wenig genutzte, aber elegante und vielversprechende Möglichkeit darstellt, die Qualität von Anti-Aliasing in höher aufgelösten Zielbildern deutlich zu verbessern. Insbesondere die Nutzung der kleinsten absoluten Differenz als Kernalgorithmus zur Kantenerkennung und Interpolation sorgt für verbesserte visuelle Ergebnisse bei minimalem Mehraufwand.
Während die Komplexität mit zunehmender Sampleanzahl stark ansteigt, bietet die Methode durch clevere Samplingstrategien auch Lösungen für Effizienzgewinne. Für die Zukunft kann man erwarten, dass durch weitere Forschung in der Optimierung, Ergänzungen mit temporalen Methoden und Einbindung von Tiefeninformationen das Upsampling via Multisampling noch bedeutender in der Echtzeitgrafik wird.
