Die rasante Entwicklung großer Sprachmodelle (Large Language Models, LLMs) hat in den letzten Jahren zahlreiche Wissenschaftsdisziplinen revolutioniert, so auch die Chemie. Diese Modelle, trainiert auf umfangreichen Textkorpora, werden zunehmend eingesetzt, um komplexe Fragestellungen zu beantworten und chemisches Wissen zu verarbeiten. Doch wie gut schneiden LLMs bei chemischen Aufgaben im Vergleich zu erfahrenen Chemikern ab? Und welche Chancen sowie Risiken ergeben sich daraus für Forschung und Lehre? Die Analyse eines umfassenden Benchmarks namens ChemBench sowie Erhebungen unter Chemieexpertinnen und -experten wirft ein neues Licht auf diese Fragen und zeigt die Fortschritte, aber auch die Limitationen moderner KI-Systeme auf. Große Sprachmodelle, wie GPT-4 und vergleichbare Systeme, sind heute in der Lage, vielfältige Aufgaben in natürlicher Sprache zu bewältigen, auch solche, für die sie explizit nicht trainiert wurden.
Insbesondere in den chemischen Wissenschaften beginnt man, sie als Werkzeuge für die Informationsbeschaffung, Reaktionsdesign sowie Materialentwicklung zu nutzen. Die verbreitete Auffassung, dass Chemie vor allem „Sprache“ sei, verdeutlicht dabei den zentralen Aspekt, dass die meisten Erkenntnisse und Forschungsergebnisse als Text in Publikationen, Patenten oder Datenbanken vorliegen. Somit eröffnet die Fähigkeit von LLMs, diese komplexen und heterogenen Informationen zu interpretieren und zu verarbeiten, einen neuen Zugang zur Wissensgenerierung in der Chemie. Das ChemBench-Projekt liefert durch die Zusammenstellung von über 2700 Fragen aus diversen chemischen Bereichen eine solide Grundlage, um die Leistungsfähigkeit von LLMs systematisch zu prüfen. Dabei wurden Fragen mit unterschiedlichem Schwierigkeitsgrad und erforderlichen Kompetenzen – von einfachem Faktenwissen über komplexes Schlussfolgern bis hin zur chemischen Intuition – berücksichtigt.
Im Gegensatz zu vielen bestehenden Benchmarks, die oft auf Multiple-Choice-Fragen fokussieren, setzt ChemBench auch auf offene Fragen und komplexe Problemstellungen, wie sie im Alltag von Forschern und Studierenden häufiger vorkommen. Die Auswertung zeigte, dass führende LLMs in der Lage sind, viele Chemiefragen besser zu beantworten als durchschnittliche Experten, wenn auch mit einigen Einschränkungen. Besonders bei Aufgaben, die simples Faktenwissen abfragen, konnten Modelle wie o1-preview oder Llama-3. 1-405B-Instruct Spitzenleistungen erzielen. Dies verdeutlicht den großen Fortschritt in der Fähigkeit dieser Systeme, imchemisches Wissen zu speichern und abzurufen. Dabei ist bemerkenswert, dass einige Open-Source-Modelle mittlerweile mit proprietären Angeboten konkurrieren können. Dennoch offenbaren die Untersuchungen auch Bereiche, in denen LLMs noch deutlich hinter menschlicher Expertise zurückbleiben.
Das gilt insbesondere für Fragestellungen, bei denen tiefgehendes chemisches Verständnis und strukturelles Nachdenken entscheidend sind, etwa bei der Interpretation von NMR-Spektren oder der Voraussage von Molekülverhalten, die weit über das reine Auswendiglernen von Fakten hinausgehen. Dort zeigen die Modelle ein gewisses Maß an Unsicherheit oder liefern falsche Antworten, was deren Verlässlichkeit im praktischen Einsatz einschränkt. Ein kritischer Punkt ist die Überschätzung der eigenen Kenntnisse durch die KI-Systeme. Mehrere Tests zur Vertrauenswürdigkeit der Antworten ergaben, dass LLMs oft übermäßig selbstsicher auftreten, auch wenn die gelieferten Antworten inkorrekt sind. Diese mangelnde Kalibrierung der Sicherheit ist besonders im chemischen Kontext relevant, da fehlerhafte Informationen über Molekültoxizität oder Sicherheitshandhabung gravierende Konsequenzen haben können. Ohne ein Bewusstsein für die Grenzen ihrer Kompetenz können solche Modelle leicht irreführend wirken.
Die Studie unterstreicht zudem die Bedeutung spezialisierter Datenbanken und Wissensquellen für eine effektive chemische Informationsverarbeitung. Während einige Entwickler versuchen, LLMs über externe Suchwerkzeuge oder Literaturzugriffe zu erweitern, zeigte sich, dass der Zugriff auf wissenschaftliche Publikationen allein nicht ausreicht. Interaktionen mit fachlich kuratierten Datenbanken wie PubChem oder Gestis sind notwendig, um qualitativ hochwertige und spezifische Antworten zu bekommen. Das bedeutet, dass die Integration von LLMs in praxisnahe Anwendungen oft technologische Erweiterungen in Form von Tool-Augmentation erfordert. Neben der reinen Leistung im Wissenserwerb ist auch das Urteil über chemische Präferenzen und Intuition von großer Bedeutung, vor allem in der Wirkstoffentwicklung und Materialoptimierung. Hier scheitern aktuelle LLMs jedoch meist daran, menschliche Entscheidungen sinnvoll zu replizieren oder vorherzusagen.
Die ChemBench-Auswertung zeigte, dass Präferenzfragen von Experten zwar mit einiger Übereinstimmung beantwortet werden, LLMs hingegen eher zufällig entscheiden. Die Entwicklung von Mechanismen zur Einbeziehung von Präferenzwissen stellt daher eine potenzielle Richtung für zukünftige Forschung dar. Ein weiteres spannendes Ergebnis ist die unterschiedliche Leistung der Modelle in verschiedenen chemischen Teilgebieten. Während allgemeine und technische Chemie relativ gut abgedeckt werden, zeigen sich bei Sicherheitsthemen, Toxikologie oder analytischer Chemie teils große Defizite. Dies deutet darauf hin, dass Trainingsdaten und Modellarchitektur noch besser auf die speziellen Anforderungen einzelner Gebiete abgestimmt werden müssen, um eine wirklich breite und tiefe Kompetenz sicherzustellen. Die Studie regt auch zum Nachdenken über die Chemieausbildung an.
Die Tatsache, dass LLMs selbst Ausbildungstests überdurchschnittlich gut bestehen, aber bei komplexeren Aufgaben ihre Schwächen zeigen, fordert eine Verschiebung in der Lehrmethodik hin zu mehr kritischem Denken und Problemlösen. Wenn Software beim Abrufen und Memorieren von Fakten überlegen ist, sollte der Mensch umso stärker Fähigkeiten entwickeln, die Kreativität und tiefere Analysen erfordern. Aus ethischer Perspektive muss die Verwendung von LLMs in der Chemie zudem sorgsam betrachtet werden. Die Möglichkeit, dass solche Modelle sowohl für legale als auch für schädliche Zwecke missbraucht werden können, erfordert klare Richtlinien und Verantwortungsbewusstsein in der wissenschaftlichen Community. Insbesondere in sicherheitsrelevanten Bereichen wie Chemikaliensicherheit oder Chemiewaffenentwicklung ist die Überwachung und Steuerung der KI-Nutzung unabdingbar.
Zusammenfassend zeigt die Gegenüberstellung von großen Sprachmodellen und menschlicher Expertise im Bereich Chemie, dass LLMs beeindruckende Fortschritte gemacht haben und in vielen Bereichen menschliche Leistungen erreichen oder sogar übertreffen können. Gleichzeitig sind sie aber noch weit davon entfernt, den ganzheitlichen Ansatz eines erfahrenen Chemikers vollständig zu ersetzen. Die Kombination von menschlichem Urteilsvermögen, kritischem Denken und maschineller Datenverarbeitung eröffnet jedoch neue Wege für Forschung und Lehre. Künftig wird es entscheidend sein, die Stärken beider Seiten zu verbinden und LLMs mit spezifischem Fachwissen, geprüften Daten und transparenten Unsicherheitsindikatoren auszustatten. Nur so können sie als zuverlässige Werkzeuge im wissenschaftlichen Alltag dienen und den Weg zu einer effektiven Zusammenarbeit zwischen Mensch und Maschine ebnen.
Die fortlaufende Entwicklung von Benchmark-Frameworks wie ChemBench wird dabei helfen, Fortschritte messbar zu machen und Potenziale identifizieren. Für Chemiker eröffnet diese neue Ära nicht nur Herausforderungen, sondern vor allem Chancen, das eigene Fachgebiet durch intelligente Assistenzsysteme zu bereichern und zu transformieren.
