Die rasante Entwicklung großer Sprachmodelle (Large Language Models, LLMs) hat die wissenschaftlichen Disziplinen, einschließlich der Chemie, in den letzten Jahren erheblich beeinflusst. Im Gegensatz zu traditionellen computergestützten Systemen zeichnen sich LLMs durch die Verarbeitung und Interpretation natürlicher Sprache aus, was ihnen eine bemerkenswerte Flexibilität verleiht. Zugleich rückt die Frage immer stärker in den Mittelpunkt, inwiefern diese Modelle chemisches Wissen nicht nur speichern, sondern auch verstehen und anwenden können – insbesondere im Vergleich zu menschlichen Chemikern mit jahrelanger Fachexpertise. Große Sprachmodelle basieren auf maschinellem Lernen und neuronalen Netzwerken, die auf gigantischen Textkorpora trainiert werden. Dabei „lesen“ sie gewissermaßen alle frei verfügbaren chemischen Publikationen, Lehrbücher sowie Onlinequellen.
Doch die wesentliche Herausforderung liegt darin, dass sie nicht explizit mit der Chemie trainiert wurden, sondern vielmehr die sprachlichen Muster erkennen. Trotzdem zeigen aktuelle Untersuchungen, dass sie in vielen Teilbereichen der Chemie beeindruckende Leistungen erzielen können – von der Beantwortung komplexer Fragen über die Interpretation chemischer Formeln bis hin zur Planung von Synthesewegen. Eine innovative und breit angelegte Evaluationsstudie mit dem Namen ChemBench hat erstmals systematisch die Fähigkeiten aktueller LLMs mit der chemischen Expertise von Fachleuten verglichen. Dabei wurden über 2700 Fragen aus unterschiedlichen Themengebieten der Chemie erstellt, die sowohl Wissen, Rechnung, logisches Denken als auch chemische Intuition abdecken. Das gilt für vielfältige Unterdisziplinen wie anorganische, organische, physikalische, analytische und technische Chemie.
Das Ergebnis war verblüffend: Einige der führenden LLMs übertrafen im Durchschnitt die besten menschlichen Chemiker in der Beantwortung dieser Fragen – und das trotz der Komplexität und Spezialisierung der Fragestellungen. Besonders bei Wissensfragen und allgemeineren Themen zeigten die KI-Modelle hervorragende Resultate. Diese Erkenntnis lässt darauf schließen, dass die Modelle einen großen Umfang an chemischem Wissen internalisiert haben und durchaus als intelligenter Wissensspeicher fungieren können. Dennoch gibt es auch klare Schwächen. Insbesondere bei Aufgaben, die eine tiefere chemische Vernunft oder strukturelles Vorstellungsvermögen erfordern, wie etwa die korrekte Anzahl von Signalen in einem NMR-Spektrum oder die Abschätzung von Toxizitäten und Sicherheitsaspekten, schneiden die Modelle deutlich schlechter ab.
Dies liegt zum Teil daran, dass viele LLMs molekulare Strukturen lediglich in Form von Textstrings wie SMILES interpretieren, ohne die räumliche Struktur oder Symmetrien wirklich zu verstehen, wie es ein erfahrenes menschliches Auge könnte. Interessanterweise offenbarten die Untersuchungen zudem, dass nicht alle Modelle gleichermaßen gut abschneiden und die Seriengröße der Modelle ein positives Korrelationsmerkmal ist – größere Modelle erzielen meist bessere Ergebnisse. Auch Open-Source-Modelle können mit den proprietären Systemen mithalten, was den Trend zu freiem Zugang und gemeinschaftlicher Weiterentwicklung bestärkt. Ein weiterer besonders relevanter Befund betrifft die Eigen- und Fremdwahrnehmung der KI-Modelle bezüglich ihres Wissens: Die meisten Modelle können nicht zuverlässig einschätzen, ob ihre Antworten richtig oder falsch sind.
In manchen Fällen geben sie eine hohe Vertrauensbewertung für falsche Antworten ab, was das Risiko von Fehlinformationen und damit verbundenen Sicherheitsproblemen erhöht. Gerade bei sicherheitsrelevanten Fragen, beispielsweise zum Umgang von Gefahrstoffen, ist diese mangelnde Selbsterkenntnis problematisch. Die Studienautoren schlagen daher ausdrücklich vor, dass das Vertrauen in die Ergebnisse von LLMs immer kritisch hinterfragt werden muss, insbesondere wenn diese Systeme außerhalb enger fachlicher Kreise zum Einsatz kommen. Denn der Nutzerkreis ist durch Studierende, interessierte Laien bis hin zu professionellen Forschern äußerst breit gefächert. Eine unkritische Übernahme von KI-Antworten könnte hier schnell zu Fehlanwendungen oder sogar Gefahren führen. Maßgeblich wird auch diskutiert, welche Rolle diese Erkenntnisse für die Chemieausbildung spielen.
Die Tatsache, dass LLMs Lernstoff auswendig kennen und blitzschnell abrufen können, während sie bei komplexer Vernunft oder interdisziplinären Verknüpfungen oft versagen, zeigt, dass menschliche Lernmethoden überdacht werden müssen. Ein stärkerer Fokus auf kritisches Denken, Problemlösekompetenzen und praktische Anwendungen scheinen essenziell, um Studierende auf eine Zusammenarbeit mit KI-gestützten Copilot-Systemen vorzubereiten. ChemBench stellt in dieser Hinsicht eine wichtige Benchmark dar, da sie nicht nur die Fähigkeiten der Maschinen testet, sondern auch einen objektiven Maßstab zum Vergleich von Mensch und Maschine liefert. Zudem ist das System so angelegt, dass es problemlos neue Modelle und externe Hilfsmittel wie Websuche oder spezialisiertes Software-Tooling integrieren kann, was besonders bei angegliederten Systemen von großer Bedeutung ist.
Als bereits etabliert gilt zudem, dass KI-Systeme im Bereich der Chemie nicht nur bei der einfachen Wissensabfrage helfen, sondern zunehmend auch praktische Forschungsprozesse unterstützen können. Dazu zählen etwa die automatisierte Planung von Synthesen, die Optimierung von Reaktionsbedingungen oder sogar die autonome Steuerung experimenteller Abläufe mithilfe sprachbasierter Befehle. Solche Anwendungen reduzieren die enormen Datenmengen und Komplexität, denen Forscher sonst manuell gegenüberstehen und ermöglichen somit eine deutliche Effizienzsteigerung. Auf der anderen Seite zeigt sich in den Untersuchungen auch, wie wichtig die Integration spezialiserter Datenbanken und Fachwissen ist. So schaffen es Modelle mit Zugriff auf spezifische Chemiedatenbanken besser, sicherheitsrelevante oder toxikologische Fragestellungen zu klären als solche, die nur auf wissenschaftlichen Publikationen basieren.
Eine Kombination aus Training auf Texten und direktem Datenbankzugriff könnte daher der nächste Evolutionsschritt für chemische KI-Systeme sein. Unterm Strich weisen die aktuellen Erfolge von LLMs in der Chemie hin auf das potenzielle Versprechen, dass diese Modelle langfristig als wertvolle Partner von Chemikern angesehen werden können, die den kreativen und den Faktenabgleich-Part der Arbeit unterstützen. Ein vollständiger Ersatz der menschlichen Expertise – insbesondere bei komplexen, innovativen Fragestellungen oder in der Bewertung und Verantwortung für Sicherheit – erscheint dennoch aktuell und auf absehbare Zeit nicht realistisch. Zusammenfassend lässt sich sagen, dass die Kombination aus der schier unglaublichen Datenverarbeitungs- und Abrufkapazität von großen Sprachmodellen mit der kreativen, kritischen und reflektierten Denkweise von menschlichen Chemikern ein enormes Potenzial für die Zukunft genießt.
Die Herausforderungen liegen vor allem darin, Modelle weiter zu verbessern, deren Grenzen besser zu verstehen und eine sichere, transparente Anwendung für vielfältige Nutzergruppen zu gewährleisten. Die etablierte Benchmark ChemBench wird im Rahmen dieses Prozesses eine unverzichtbare Rolle spielen, indem sie regelmäßig den Fortschritt misst und hilft, technische und ethische Fragestellungen besser zu bewältigen. Schließlich bedeutet der Fortschritt in der Chemie mit KI nicht nur eine technologische Revolution, sondern auch einen Kulturwandel in Wissenschaft, Ausbildung und Anwendung, der sorgfältig begleitet werden muss.
