In den letzten Jahren hat die Maschine Learning Community einen tiefgreifenden Wandel erlebt, der maßgeblich durch den Aufstieg großer Sprachmodelle (Large Language Models, kurz LLMs) geprägt wurde. Diese Technologie, die auf riesigen Datensätzen und komplexen neuronalen Netzen basiert, hat in Bereichen wie natürlicher Sprachverarbeitung, Textgenerierung und KI-gestützter Kommunikation bemerkenswerte Fortschritte erzielt. Trotz dieser Faszination für LLMs gibt es jedoch zahlreiche Forscher und Praktiker, die sich weiterhin auf traditionelle Bereiche des maschinellen Lernens und der Statistik konzentrieren, da diese nach wie vor von großer Bedeutung sind und Herausforderungen bieten, die LLMs nicht lösen können. Diese Perspektive sowie die Vielfalt an Anwendungen und Forschungsfeldern sollen im Folgenden beleuchtet werden. Zunächst ist es wichtig zu verstehen, was unter traditionellem maschinellem Lernen und Statistikforschung zu verstehen ist.
Klassisches maschinelles Lernen umfasst häufig strukturierte, tabellarische Daten, zeitliche Verläufe und domänenspezifische Modelle. Die Methoden reichen von Entscheidungsbäumen, Random Forests oder Support Vector Machines bis hin zu statistischen Modellansätzen wie lineare oder nichtlineare Regressionen, Zeitreihenanalysen oder Bayesschen Modellen. Die Statistik hingegen fokussiert sich auf die Analyse von Datenmengen mit Methoden zur Inferenz, Schätzung und Hypothesentests, indessen oft auch auf Versuchsplanung und robuste Modellierung Wert gelegt wird. In diesen Bereichen dominieren nicht selten andere Programmiersprachen und Software als in der LLM-Forschung, beispielsweise die Programmiersprache R, die in der Statistik weit verbreitet ist. Einer der Hauptgründe, warum Forscher und Unternehmen sich noch intensiv mit traditionellem maschinellen Lernen und Statistik beschäftigen, liegt in der praktischen Anwendbarkeit in vielen Industriezweigen.
So berichtet ein Praktiker aus der Hedge-Fund-Branche beispielsweise von seiner Arbeit mit alternativen Datenquellen wie aggregierten Klickdaten, Verkaufszahlen und Zahlungsströmen, um die Leistung einzelner Unternehmen zu prognostizieren. Hierbei spielen klassische Verfahren im Umgang mit Zeitreihen und tabellarischen Daten eine entscheidende Rolle. LLMs können unterstützend eingesetzt werden, beispielsweise bei der Bereinigung von Unternehmensnamen oder der Zuordnung von Entitäten, doch die Kernmodelle zur tatsächlichen Prognose basieren gerade auf den altbewährten Methoden. Dieses Beispiel verdeutlicht, dass traditionelle ML-Techniken in vielen wirtschaftlichen Anwendungen eine dominierende Rolle spielen und dass die Einfachheit und Interpretierbarkeit dieser Methoden Vorteile in kritischen Entscheidungen bieten. Der Bereich der differenziellen Privatsphäre und synthetischen Datengenerierung stellt ein weiteres lebendiges Forschungsfeld traditioneller ML-Methoden dar.
Hierbei liegt der Fokus auf dem Schutz personenbezogener Daten und der Herstellung künstlicher, dennoch realistischer Datensätze, die sich sicher austauschen und weiterverarbeiten lassen. Fortschritte in diesem Bereich sind für viele Branchen essenziell, von Gesundheitswesen über Finanzmärkte bis hin zu sozialwissenschaftlicher Forschung. Die Kombination aus Datenschutz und statistischer Modellierung ist hier zentral und weitgehend losgelöst von LLM-Themen. Ein weiterer bedeutsamer Aspekt ist die Herausforderung der Kausalität und Robustheit in maschinellen Lernmodellen. Während LLMs beeindruckende Leistungen bei der Mustererkennung und Texterzeugung zeigen, bleiben viele zentrale Fragen im Bereich der Kausal- und Effektinferenz ungelöst.
Forscher arbeiten an Modellen, die nicht nur Korrelationen erkennen, sondern auch Ursache-Wirkungs-Beziehungen verstehen können. Ebenso sind Robustheit gegenüber Verteilungsänderungen in Daten eine offene Problematik: Wie kann ein Modell sicherstellen, dass es auch unter veränderten Bedingungen verlässliche Vorhersagen trifft? Gerade in sicherheitskritischen und medizinischen Anwendungen spielen diese Aspekte eine übergeordnete Rolle. Hier bieten traditionelle ML-Methoden und statistische Ansätze noch viel Raum für Innovationen. Kontinuierliches und Online-Lernen stellt ein weiteres Forschungsthema dar, das in traditionellen ML-Kreisen große Beachtung findet. Modelle, die sich fortlaufend an neue Daten anpassen und dabei vermeiden, zuvor erlerntes Wissen zu vergessen, sind für viele reale Anwendungsfälle unerlässlich.
Besonders bei Zeitreihendaten, industrieller Überwachung oder Sensorkomponenten in der Technik wird diese Fähigkeit gefordert. Hier werden teils kompakte Modelle direkt auf Mikrocontrollern eingesetzt, die in Echtzeit Schlüsse aus den Messwerten ziehen. Diese Ansätze finden sich in unterschiedlichsten Branchen wie der Gebäudetechnik, Fertigung oder dem Umweltschutz. Auch das Thema Multi-Modale Datenverarbeitung jenseits von Textorientierung stellt einen wichtigen Forschungsbereich dar. Viele reale Entscheidungsprozesse beruhen auf einer Kombination von Bilddaten, Zeitreihen, strukturierten tabellarischen Daten und anderen Sensorinformationen.
Die Fusion und Analyse dieser heterogenen Datenquellen ist komplex und erfordert oftmals technisch andere Herangehensweisen als bei reinen Textmodellen. In Bereichen der industriellen Fertigung, Medizintechnik oder autonomem Fahren beschäftigen sich Forscher mit Methoden zur besseren Nutzung dieser vielfältigen Daten. Die Interpretierbarkeit von Modellen bleibt ein zentrales Anliegen in traditionellen ML- und Statistik-Anwendungen. Während LLMs oftmals als Black-Box betrachtet werden, benötigen viele Industriezweige transparente Modelle. Gerade in der Medizin, im Finanzwesen oder bei regulatorisch sensiblen Themen ist es essenziell, Vorhersagen nachvollziehbar und erklärbar zu machen.
Die klassischen statistischen Methoden und erklärbare ML-Ansätze gewinnen hier besonderen Stellenwert. Die Berufswelt im traditionellen Bereich des maschinellen Lernens und der Statistik unterscheidet sich teilweise deutlich von der Szene rund um große Sprachmodelle. Experten sind häufig in Bereichen wie Statistik, Datenanalyse, experimenteller Forschung sowie spezialisierten technischen Anwendungen tätig. Die Nachfrage nach Fachkräften mit fundiertem Wissen in Statistik-Software wie R oder in klassischen Machine-Learning-Algorithmen ist nach wie vor hoch, insbesondere in den Bereichen Aktuarwesen, Marktforschung, Gesundheitswesen und produzierender Industrie. In der Industrie wird beispielsweise mit sensordatenbasierten Modellen gearbeitet, die direkt auf Embedded-Systemen laufen und zur frühzeitigen Fehlererkennung in Maschinen eingesetzt werden.
Ein spannendes Beispiel ist die Analyse von HVAC-Systemen in Gebäuden, wo Zeitreihen und Machine-Learning-basierte Zustandsüberwachung die Energieeffizienz erhöhen und Wartungskosten senken können. Open-Source-Projekte unterstützen dabei die Entwicklung von kompakten Modellen, die in ressourcenbeschränkten Umgebungen eingesetzt werden können. Zusammenfassend lässt sich festhalten, dass traditionelle ML- und Statistikforschung nach wie vor einen unverzichtbaren Beitrag zu zahlreichen Anwendungsbereichen leistet. Obwohl große Sprachmodelle derzeit große mediale Aufmerksamkeit und Forschungsressourcen bekommen, gibt es viele offene Herausforderungen und spannende Projekte im klassischen Bereich. Von Datenschutz über Kausalitätsforschung bis hin zur Echtzeitanalyse technischer Systeme werden Kenntnisse in traditionellen Methoden benötigt und weiterentwickelt.
