Die rasante Entwicklung großer Sprachmodelle (LLMs) wie GPT-4, Claude oder spezialisierter Systeme hat mittlerweile auch die chemische Forschung und Ausbildung erreicht. Diese Modelle, die auf enormen Textmengen trainiert werden, zeigen beeindruckende Fähigkeiten darin, komplexe chemische Zusammenhänge zu verstehen, Fragen zu beantworten und sogar kreative Vorschläge für Experimente oder Synthesen zu unterbreiten. Doch wie gut sind sie wirklich im Vergleich zu erfahrenen Chemikern? Diese Frage beschäftigt Wissenschaftler, Pädagogen und Industrieexperten gleichermaßen. Im Mai 2025 erschien eine richtungsweisende Studie in Nature Chemistry, die mit dem ChemBench genannten Benchmarking-Framework eine umfassende Bewertung der chemischen Fähigkeiten führender LLMs vornahm. Das Besondere an ChemBench ist die Kombination aus einem umfangreichen Fragenkorpus, der mehr als 2.
700 Frage-Antwort-Paare auf verschiedenen Schwierigkeitsgraden und Themengebieten der Chemie umfasst, sowie der Gegenüberstellung der Leistungen der Modelle mit einer Gruppe von Experten. Diese Herangehensweise ermöglicht erstmals eine systematische und breit gefächerte Evaluation, die weit über typische Multiple-Choice-Tests hinausgeht und offene Fragen, komplexe Berechnungen, chemisches Urteilsvermögen und Intuition einbezieht. Die Ergebnisse sind einerseits beeindruckend: Das beste unter den getesteten Modellen, das als o1-preview bezeichnet wird, übertraf im Durchschnitt sogar die besten menschlichen Chemiker bei der korrekten Beantwortung der Fragen. Auch weitere, zum Teil offene, Modelle wie Llama-3.1-405B-Instruct erreichten Leistungen, die nahe an die der führenden proprietären Systeme heranreichen.
Das zeigt die enorme Leistungsfähigkeit moderner KI-Systeme und lässt vermuten, dass sie in bestimmten Anwendungen bereits als wertvolle Co-Piloten für Chemiker dienen können. Auf der anderen Seite zeigen die Studienergebnisse auch gravierende Schwächen der Modelle. Bei grundlegenden Aufgaben, die vielfach Wissen über spezifische Fakten oder elementare chemische Sicherheitsaspekte verlangen, schneiden sie schlechter ab oder geben falsche, teils sogar widersprüchliche Antworten. Besonders kritisch ist, dass die Modelle häufig übermäßiges Vertrauen in ihre eigenen Antworten zeigen, obwohl sie diese nicht korrekt einschätzen können. So waren etwa wichtige Sicherheitsfragen zu Chemikalienpiktogrammen oder Toxizitätsthemen für LLMs schwieriger zu lösen – selbst wenn die menschlichen Experten dabei auf Online-Datenbanken zugreifen durften.
Dies unterstreicht, wie wichtig ein verantwortungsvoller Umgang mit KI-Antworten in sicherheitsrelevanten Bereichen ist. Ein zusätzlicher interessanter Aspekt ist die Art der Fragen selbst. Modelle zeigten bessere Leistungen bei traditionellen, eher schulbuchartigen oder Prüfungsfragen, während offene Fragestellungen, die komplexe Struktur-Erkennung oder tiefgehende chemische Intuition erforderten, herausfordernd blieben. Beispielsweise gelang es den Modellen nur selten, die Anzahl der in einem Kernspinresonanz-Spektrum (NMR) zu erwartenden Signale korrekt zu bestimmen. Dies verlangt, dass das Modell molekulare Symmetrien und stereochemische Eigenschaften korrekt interpretiert – eine Fähigkeit, die nur begrenzt durch das reine Texttraining ausgebildet wird und die wohl bisherige Trainingsdaten wenig abdecken.
Solche Beobachtungen werfen auch ein Licht auf die künftige Ausgestaltung der Chemieausbildung. Da LLMs bereits heute Faktenwissen zuverlässig liefern können, müssen Lehrende ihren Fokus stärker auf kritisches Denken und tiefgründige Analyse legen, um Studierende auf eine Zukunft vorzubereiten, in der Routinewissen immer stärker automatisiert wird. Die Fähigkeit, die Grenzen von Automatismen zu erkennen und falsche Antworten plausibel zu hinterfragen, wird entscheidend sein. Ein besonderes Kapitel ist die sogenannte „Präferenzbewertung“ oder chemische Intuition, die gerade in Bereichen wie der Arzneimittelforschung sehr wichtig ist. Hierbei bewerten Chemiker, welche von zwei Molekülen für eine Weiterentwicklung eher geeignet sein könnte, basierend auf Erfahrung, unbestimmten Faktoren und komplexen Überlegungen.
Die Studie zeigt, dass die Modelle bei solchen offenen Urteilsfragen kaum besser als Zufall liegen. Das bedeutet, dass Intuition und Erfahrung bisher kaum von Sprachmodellen erfasst werden und dass in dieser Hinsicht noch viel Raum für Verbesserungen besteht. Um besser einschätzen zu können, ob und wie LLMs in der Chemie eingesetzt werden sollten, ist es wichtig, systematisch und kontinuierlich ihre Fähigkeiten in einem breiten Spektrum von Aufgaben zu messen. Zwar gibt es bereits Benchmarks, die Modelle etwa auf ihre Fähigkeit zur Vorhersage chemischer Eigenschaften trainieren. Diese messen aber zumeist nur die Reproduktion von Daten aus Tabellen oder Laborergebnissen und erfassen keine umfassende Wissensbasis oder komplexe Schlussfolgerungen.
ChemBench hingegen ist dafür konzipiert, genau diese Lücke zu schließen. Die Studie weist zudem darauf hin, dass die Größe der Modelle mit ihrer Leistungsfähigkeit korreliert – größere Modelle erzielen meist bessere Resultate. Dies ist konsistent mit Trends in anderen wissenschaftlichen Gebieten. Allerdings ist auch klar geworden, dass Größe allein keine Garantie für Fehlerfreiheit ist und dass abgestimmtes Training mit spezialisierten Datenbanken, etwa für Chemikaliensicherheit oder molekulare Eigenschaften, notwendig bleibt. Ein interessantes Detail im ChemBench-Ansatz ist die Einbettung von semantischen Markierungen für chemiespezifische Ausdrücke wie SMILES-Codes, physikalische Einheiten oder Gleichungen.
Dadurch können die Modelle bei der Textverarbeitung chemische Entitäten gezielt erkennen und anders behandeln als simplen Fließtext. Diese technische Innovation erleichtert es, wissenschaftliche Sprachmodelle noch präziser anzupassen. Wie können Unternehmen, Forschungseinrichtungen und Bildungseinrichtungen von diesen Erkenntnissen profitieren? Im industriellen Umfeld bieten LLMs schon heute Potenzial für die einfache Recherche, Dokumentationserstellung oder erste Einschätzungen komplexer Fragestellungen. Für die Forschung könnten sie als Werkzeuge zur Hypothesengenerierung oder zum schnellen Auffinden relevanter Literatur dienen. Jedoch müssen Nutzer sich immer der Limitationen bewusst sein und menschliche Fachkompetenz im Prozess behalten.
In der Ausbildung könnten LLMs vielseitig zur individuellen Förderung genutzt werden – zum Beispiel als Tutorienassistenten, die Lerninhalte adaptiv vermitteln. Gleichzeitig sollten Prüfungen und Lehrmethoden weiterentwickelt werden, um das Lernen kreativer Problemlösungsansätze und kritischer Analyse zu fördern. Doch nicht nur Chancen, sondern auch Risiken sind zu bedenken. Die Studie erwähnt die potenzielle duale Nutzbarkeit der Technologie: Werkzeuge, die etwa für die Entwicklung neuer Medikamente dienen, könnten auch zur Planung gefährlicher Stoffe missbraucht werden. Daher sind ethische Richtlinien, Zugangsbeschränkungen und Sicherheitsvorkehrungen essenziell.
Ein weiterer Punkt ist die Vertrauenswürdigkeit von KI-Antworten. Modelle neigen zu Überkonfidenz, etwa wenn sie ihre Antworten als sehr sicher einstufen, obwohl diese falsch sind. Das kann gerade bei sicherheitsrelevanten Inhalten gefährlich werden. Entsprechend setzt die Forschung am Design besser kalibrierter Ausgabesysteme an, die Unsicherheiten transparent machen. Eine Kombination aus automatischen Bewertungen und menschlicher Kontrolle ist derzeit der beste Ansatz.
Zusammenfassend lässt sich sagen, dass große Sprachmodelle heute über ein bemerkenswertes chemisches Fachwissen verfügen und in vielen Bereichen die Leistung menschlicher Experten erreichen oder übertreffen können. Allerdings sind sie keineswegs fehlerfrei – komplexe chemische Deduplikationen, Intuition und sichere Anwendung sind weiterhin Domänen, die menschliches Urteilsvermögen erfordern. Die neue Benchmark ChemBench bietet ein wertvolles Werkzeug, um die Entwicklung dieser Technologien gezielt zu steuern und ihren Einfluss auf Wissenschaft, Industrie und Bildung transparent zu machen. Die Zukunft der Chemie ist also wohl keine Frage von „Mensch versus Maschine“, sondern vielmehr von einer kooperativen Partnerschaft, in der LLMs die Fähigkeiten von Chemikern erweitern, aber nicht ersetzen. Die richtigen ethischen, pädagogischen und technischen Rahmenbedingungen werden entscheiden, wie nachhaltig und sicher diese Entwicklung sein wird.
Innovationen wie ChemBench helfen dabei, das Potenzial und die Risiken realistisch zu bewerten, damit die Chemie im digitalen Zeitalter erfolgreich bleibt.
