Die Welt der lokalen Large Language Model (LLM) Inferenz unterliegt einem rasanten Wandel. Für Enthusiasten, die ihre eigenen Rechner für anspruchsvolle KI-Anwendungen optimieren, steht die Suche nach einem idealen Gleichgewicht zwischen Arbeitsspeicher (VRAM), Rechenleistung und Kosten im Mittelpunkt. Im Jahr 2025 bietet der Vergleich zweier populärer GPU-Lösungen, der Dual RTX 5060 Ti 16GB Konfiguration gegen die bewährte RTX 3090, spannende Einsichten. Beide Varianten unterscheiden sich nicht nur technisch, sondern auch durch Preis und verfügbares VRAM, was maßgeblich die Eignung für unterschiedliche LLM-Typen und Nutzungsszenarien beeinflusst. Ausgangslage und technische Eckdaten Das Herzstück lokaler LLM-Einsatzsysteme bildet die Grafikkarte. Während die RTX 3090 bereits als etabliertes Arbeitstier mit 24 Gigabyte GDDR6X Speicher aufwartet, setzt die Dual RTX 5060 Ti 16GB Lösung auf zwei neue, mit GDDR7-Speicher ausgestattete Karten, die kumulativ 32 Gigabyte VRAM bieten.
Damit stellt die Dual-Konfiguration deutlich mehr Speicher zur Verfügung, was sich vor allem bei sehr langen Kontexten und großen Modellen bezahlt macht. Die RTX 3090 beeindruckt hingegen mit fast der doppelten Speicherbandbreite von 936 GB/s gegenüber 448 GB/s bei den 5060 Ti Modellen. Ebenfalls in der Anzahl der CUDA-Kerne liegt sie mit 10. 496 gegenüber den 4608 der doppelten 5060 Ti GPUs weit vorn. Trotz des Mehrverbrauchs bei der Dual-Lösung (~360 Watt gegenüber ~350 Watt bei der 3090) hält sich der Strombedarf in einem ähnlichen Rahmen. Die Schnittstellen differieren ebenfalls: PCIe 5. 0 x8 für die neuen 5060 Ti Karten versus PCIe 4. 0 x16 bei der RTX 3090. Preislich steht eine Paarung der 5060 Ti bei etwa 950 US-Dollar, ein gebrauchter RTX 3090 ist aktuell für rund 850 bis 900 US-Dollar erhältlich. Modelltypen und ihre Anforderungen Nicht alle LLMs fordern GPUs gleichermaßen.
Es lassen sich prinzipiell zwei Typen unterscheiden: dichte Modelle und Mixture-of-Experts (MoE) Modelle. Dichte Modelle, wie der Qwen3 32B mit 32 Milliarden Parametern, benötigen durch ihre kompakte Datenstruktur vor allem hohe Speicherbandbreite, um Token schnell generieren zu können. Die RTX 3090 dominiert in diesem Szenario dank ihrer hohen Bandbreite deutlich. MoE-Modelle wie der Qwen3 30B A3B hingegen aktivieren nicht alle Expertenparameter gleichzeitig und sind damit weniger bandbreitenintensiv. Dafür profitieren sie stärker von hohem VRAM, da größere Kontextlängen verarbeitet werden können. Hier spielt die Dual 5060 Ti mit ihrem größeren Speicher klar ihre Stärken aus, besonders bei langen Prompts mit bis zu 44. 000 Tokens. Benchmarkergebnisse im Praxisvergleich In Tests mit der bekannten Inferenz-Software llama. cpp auf einem Linux-Setup mit Nvidia Treiber 575. 57. 08 zeigen sich klare Leistungsschwerpunkte. Bei kurzen Contexts um 1.
600 Tokens lag die RTX 3090 mit 104 Token/s bei der Ausgabe vor der Dual 5060 Ti Konfiguration mit circa 81 Token/s beim MoE-Modell. Bei längeren Kontexten verringert sich das Leistungsgefälle, und bei sehr großen Kontexten (32. 000 bis 44. 000 Tokens) nähert sich die Dual-Konfiguration der 3090 sogar stark an, obwohl sie theoretisch nur eine halbe Speicherbandbreite pro Karte aufweist. Für das dichte Modell war die RTX 3090 durchgehend rund 70-85 Prozent schneller in der Token-Generierung. Eine weitere interessante Entwicklung ergab sich mit der neuen Software-Optimierung ExLlamaV3 in Kombination mit TabbyAPI. Diese bringt allgemein einen Erfahrungsschub bei der Geschwindigkeit: Die RTX 3090 behält zwar die Führung bei der Pre-Fill- und Token-Generierungsgeschwindigkeit, die Differenz zu Dual 5060 Ti schrumpft jedoch merklich. Vor allem bei hohen Kontextlängen von 44. 000 Tokens bleibt der Abstand überschaubar.
Vorteile des Dual-GPU-Setups und praktische Aspekte Der wohl größte Vorteil der Dual 5060 Ti Konfiguration liegt im VRAM von 32 GB, das sie als kritische Ressource für komplexe und lange Aufgaben positioniert. Anwendungen, die mit langen Dokumenten, komplexen Analysen oder mehreren Kontexten operieren, profitieren von dieser Kapazität. Zudem erlaubt die VRAM-Verteilung größere Flexibilität bei der Wahl höherer Quantisierungspräzision (zum Beispiel 6-Bit statt 5-Bit), was die Modellqualität positiv beeinflussen kann. Andererseits erfordert ein Dual-GPU-Setup entsprechende Hardware-Anforderungen: Ein Mainboard mit mindestens zwei PCIe x8/x16 Slots sowie ausreichende Kühlung und ein leistungsstarkes Netzteil (ideal sind 800 Watt oder mehr) sind notwendig, um optimale Stabilität zu gewährleisten. Auch die Software muss Multi-GPU-konform arbeiten, was bei llama. cpp zwar gegeben ist, aber gelegentlich Treiberupdates und Konfigurationsarbeit erfordert.
Für den Nutzer bedeutet das, neben der höheren VRAM-Kapazität auch eine gewisse Komplexität in Aufbau und Betrieb in Kauf zu nehmen – im Vergleich zum unkomplizierten Single-GPU-Betrieb mit der RTX 3090. Preis-Leistungs-Verhältnis und Zukunftsperspektiven Mit Preisen von rund 950 USD für die neuen Dual 5060 Ti Karten gegenüber circa 850 bis 900 USD für gebrauchte RTX 3090 zeigt sich, dass der Preisdruck auf traditionelle High-End-Karten weiterhin besteht. Doch der Mehrwert liegt eindeutig im deutlich größeren VRAM der neuen Lösung – ein wertvolles Asset bei der AI-Inferenz großer Modelle und extremer Kontextlängen. Wer also langfristig denkt und viel Speicher benötigt, ist mit der Dual 5060 Ti Lösung gut beraten. Ein weiterer Pluspunkt der neueren 5060 Ti Karten ist die Möglichkeit zu einem gestaffelten Aufbau. Nutzer können zunächst eine einzelne Karte erwerben und später eine zweite hinzufügen, um die VRAM-Kapazität zu verdoppeln – ein flexibles und budgetfreundliches Vorgehen.
Die RTX 3090 dagegen bleibt in puncto Rohleistung und Geschwindigkeit der Token-Generierung bei traditionellen dichten Modellen die erste Wahl. Sollte der Preis weiter sinken, bleibt sie für viele Nutzer interessant, vor allem wenn der VRAM von 24 GB ausreichend ist. Der Blick in die Zukunft offenbart, dass noch höhere GPU-Generationen wie die RTX 5090 oder weitere Karten der 5000er-Serie die Möglichkeiten für lokale LLMs erweitern werden. Doch die Gegenwart zeigt klar: Mit kreativ zusammengesetzten Setups wie Dual RTX 5060 Ti 16GB lassen sich heute bereits beeindruckende Leistungen erzielen, ohne das Budget über Gebühr zu beanspruchen. Fazit und Empfehlung Die Wahl zwischen Dual RTX 5060 Ti 16GB und RTX 3090 für lokale LLM-Anwendungen im Jahr 2025 ist weder trivial noch eindimensional. Sie hängt maßgeblich vom Anwendungsfall ab.
Wer vor allem dichte Modelle mit hohen Anforderungen an Speicherbandbreite betreiben möchte und auf Geschwindigkeit bei moderaten Kontextlängen Wert legt, für den ist die RTX 3090 aufgrund ihrer Rohleistung weiterhin die bessere Lösung. Wer jedoch extrem lange Kontexte, hohe VRAM-Anforderungen und eine gewisse Flexibilität bei quantisierten Modellen benötigt, wird mit der Dual RTX 5060 Ti 16GB Konfiguration bestens bedient. Trotz der Komplexität eines Dual-GPU-Systems überzeugt sie mit einer starken Leistung, die im MoE-Bereich sowie bei sehr großen Kontexten kaum mit der 3090 mithalten kann. Somit eröffnen sich für lokale KI-Enthusiasten zwei sinnvolle Wege, die jeweils eigene Vorteile bieten. Die Entscheidung sollte sich vor allem an den individuellen Anforderungen an Kontextlänge, Modelltyp und Budget orientieren.
Aktuell zeigt sich, dass Kreativität in der Konfiguration sowie Optimierungen auf Softwareseite das volle Potenzial lokaler LLM-Inferenz ausschöpfen können – ein spannendes Feld für Technikbegeisterte in einer Zeit stetiger Innovation.
