In der heutigen Welt, in der Künstliche Intelligenz und maschinelles Lernen eine immer größere Rolle spielen, ist die Verfügbarkeit von leistungsfähiger Hardware wie Grafikkarten (GPUs) für viele Entwickler und Forscher entscheidend. GPUs ermöglichen durch ihre ausgeprägte Parallelität enorme Rechenleistungen, insbesondere bei Matrixmultiplikationen, die das Fundament vieler neuronaler Netze bilden. Doch nicht jeder hat Zugang zu teurer Hardware oder Clouddiensten. Daher suchen unabhängige Forscher und Entwickler nach alternativen Rechenparadigmen, mit denen sich parallele Berechnungen effizient auf herkömmlichen CPUs durchführen lassen, ohne dabei auf spezialisierte Hardware angewiesen zu sein. In diesem Zusammenhang gewinnen Residue-Zahlsysteme (Residue Number Systems, RNS) als potenzielle Methode zur Parallelisierung von arithmetischen Operationen wieder an Aufmerksamkeit.
Residue-Zahlsysteme sind kein neues Konzept. Bereits in den 1960er Jahren wurden sie als Alternative zum binären Zahlensystem entwickelt, um Rechenoperationen gleichzeitig und entkoppelt ausführen zu können. Das Basiskonzept dabei basiert auf der Zerlegung großer Zahlen in Reste (Residuen) bezüglich verschiedener Module, meist Primzahlen, und der parallelen Durchführung von Operationen auf den einzelnen Restklassen. Dies erlaubt grundsätzlich eine massive Parallelisierung und könnte, zumindest theoretisch, zu erheblichen Geschwindigkeitsvorteilen besonders bei Additionen und Multiplikationen führen, den zentralen Operationen in vielen Algorithmen des maschinellen Lernens. Ein signifikanter Hemmschuh für RNS-Systeme ist aber die mangelnde Unterstützung von Divisionen und Vergleichen, da das zugrunde liegende mathematische Fundament, die endlichen Körper bzw.
endlichen Felder, solche Operationen nicht direkt abbilden können. Während Addition und Multiplikation straightforward durchzuführen sind, macht der fehlende Zugriff auf Divisionen oder einfache Vergleichsoperationen die Implementierung von komplexeren Algorithmen, wie dem Softmax oder dem Backpropagationsalgorithmus, äußerst schwierig bis unmöglich. Aus diesem Grund gerieten RNS-Systeme im Laufe der Zeit bei der praktischen Anwendung und insbesondere bei der Hardwareentwicklung abseits spezialisierter Forschungsprojekte immer mehr in Vergessenheit. Die Suche nach einer Lösung für diese fundamentalen Probleme führt zu spannenden neuen Ansätzen und Denkmodellen. Zu den Hoffnungen zählt etwa, RNS so zu erweitern oder zu modifizieren, dass auch Divisionen indirekt oder mit speziellen Umgehungsstrategien möglich werden.
Ein innovativer Versuch ist zum Beispiel die Implementierung von Zahlensystemen, die mit Bruchzahlen arbeiten, um die explizite Division zu umgehen. So arbeitet die sogenannte Mediant 32-Architektur mit einem Bruchzahl-Ansatz, bei dem ein Zähler und ein Nenner als Ganzzahlen getrennt gehalten werden. Diese Methode vermeidet die oft schwierige direkte Division im RNS, stößt allerdings auf Limitierungen bei der Behandlung von Überläufen und der Komplexität des Systems bei der Vereinfachung von Brüchen. Auch die Erforschung von diskreten Logarithmen in neuronalen Netzen auf Basis großer Ganzzahlen stellt einen bemerkenswerten Schritt dar. Dabei werden wiederum die inhärenten mathematischen Eigenschaften der Zahlen und deren Zerlegung beziehungsweise Repräsentation genutzt, um Modelle zu trainieren.
Während erste Experimente, beispielsweise mit Datensätzen wie Iris, erstaunliche Erfolge bei der Klassifikation erzielt haben, ist der Trainingsprozess durch die Notwendigkeit der diskreten Logarithmussuche bisher stark limitiert. Da das Backpropagieren über diskrete Logarithmen kaum effizient lösbar ist und heute als ein kryptografisch schweres Problem gilt, liegt hier eine fundamentale Barriere für praktische Trainingsverfahren, die jedoch gleichzeitig eine faszinierende Schnittstelle zwischen Zahlen- bzw. Kryptografietheorie und maschinellem Lernen darstellt. Ein weiterer mögliche Ansatzpunkt ist das Faktorial-Zahlensystem, das auf der Permutationsstruktur von Zahlen basiert und damit einen anderen Blickwinkel auf modulare Arithmetik und Divisionserleichterung ermöglicht. Die Verknüpfung mit enumerativer Kombinatorik bietet einen eher theoretischen, jedoch potenziell wegweisenden Beitrag zur Lösung der RNS-Problematik.
Indem man das Modul einer solchen Faktorialzahlensystems geschickt definiert, könnten sich grundsätzlich neue Wege eröffnen, die Probleme von Division und Vergleich in RNS-Strukturen zu umgehen oder zu lösen, was die Effizienz und Anwendbarkeit massiv steigern würde. Unabhängige Forscher, sogenannte Indie-Forscher, stehen bei solch komplexen und multidisziplinären Themen vor besonderen Herausforderungen. Ohne Zugriff auf große Ressourcen, finanzielle Mittel oder die Infrastruktur von etablierten Forschungseinrichtungen müssen sie innovative Lösungen mit begrenzten Mitteln erarbeiten. Ihr Vorteil liegt darin, außerhalb der traditionellen akademischen und industriellen Zwänge neue Perspektiven einzubringen und kreative Wege jenseits konventioneller Herangehensweisen zu beschreiten. Die Enthusiasmus und Hartnäckigkeit solcher Individuen tragen maßgeblich zur Erforschung neuer und bisher unbeachteter Lösungsansätze bei.
Gleichzeitig verdeutlicht die Diskussion rund um RNS und GPU-Ersatzstrategien auch, wie eng moderne mathematische Forschungsbereiche, Informationstheorie und Hardwarenahe Programmierung miteinander verwoben sind. Während in der zweiten Hälfte des 20. Jahrhunderts klassische Zahlensysteme und Alternativen wie RNS entwickelt wurden, verlangt die heutige Hochleistungsrechenwelt nach einer Kombination aus bewährten mathematischen Grundlagen und fortschrittlichen Konzepten aus der 21. Jahrhundert Mathematik und Informatik. Die Zukunft der GPU-Arithmetik könnte daher in hybriden Modellen liegen, die konventionelle Rechenparadigmen mit solchen innovativen Zahlensystemen verschmelzen.
