In den letzten Jahren hat die rasante Entwicklung von Künstlicher Intelligenz (KI) und insbesondere von großen Sprachmodellen die Forschunglandschaft grundlegend verändert. Während KI-Technologien Forschenden enorme Möglichkeiten bieten, Daten schneller zu analysieren und neue Einsichten zu gewinnen, offenbart sich zunehmend eine Schattenseite: sogenannte AI-Paper-Mills – automatisierte Institutionen, die massenhaft wissenschaftliche Arbeiten generieren, um quantitativ zu punkten, ohne dabei der Qualität gerecht zu werden. Besonders im Bereich der Gesundheitsforschung, wo nationale Datensätze wie die US-amerikanische National Health and Nutrition Examination Survey (NHANES) immer häufiger von solchen AI-getriebenen Studien genutzt werden, zeigt sich, wie die Wissenschaft von minderwertigen, oft irreführenden Publikationen überschwemmt wird. Die Folge ist eine Gefährdung der wissenschaftlichen Glaubwürdigkeit und eine Verzerrung des Erkenntnisfortschritts.
Ein Bericht eines Forschungsteams der University of Surrey hat diese Entwicklung kritisch untersucht und die alarmierende Zunahme von oberflächlichen, einseitigen Untersuchungen offengelegt, die oft nur einen einzelnen Faktor im Zusammenhang mit komplexen Erkrankungen betrachten. Erkrankungen wie Depressionen, Herz-Kreislauf-Leiden oder kognitive Einschränkungen, bei denen eine Vielzahl von Ursachen und Wechselwirkungen eine Rolle spielen, werden in vielen Fällen auf simple, eindimensionale Zusammenhänge reduziert. Diese Herangehensweise ignoriert die multifaktoriellen Realitäten der Medizin und fördert Fehlinformationen. Die Verfügbarkeit großer, leicht zugänglicher Datensätze kombiniert mit leistungsstarken Sprachmodellen hat den Anreiz für sogenannte Paper-Mills verstärkt.
Diese Dienstleister produzieren häufig standardisierte Forschungsberichte, die sich auf passformelartige Auswertungen stützen, um bestimmte Hypothesen zu bestätigen oder gewissermaßen wissenschaftliche Ergebnisse rätselhaft erscheinen zu lassen. Solche massenhaft produzierten Papiere überfordern wissenschaftliche Zeitschriften und Gutachter, die oftmals keine Zeit oder das nötige Fachwissen haben, um die Qualität der Forschung adäquat zu prüfen. Dies führt zu einem Verwässern der wissenschaftlichen Standards und einer potenziellen Verbreitung von „Wissenschafts-Fiktion“ – Papiere, die zwar formal wissenschaftlich erscheinen, den kritischen Überprüfungen aber nicht standhalten. Die Datenanalyse der Surrey-Forscher verdeutlicht, dass die Anzahl solcher Studien rasant zugenommen hat.
Im Zeitraum von 2014 bis 2021 wurden nur wenige Studien veröffentlicht, die auf eine einschränkende Betrachtung einzelner Variablen setzen, während sich die Zahl zwischen 2022 und den ersten Monaten 2024 dramatisch erhöhte. Gleichzeitig verändert sich auch der Ursprung der Autoren signifikant – ein großer Anteil stammt inzwischen aus China, was neue Dimensionen für den wissenschaftlichen Wettbewerb und Qualitätskontrolle mit sich bringt. Diese Ergebnisse werfen wichtige Fragen auf: Wie kann die Wissenschaftsgemeinschaft gegen die negative Auswirkung dieser AI-gesteuerten Massenproduktion von minderwertiger Forschung vorgehen? Und wie kann gleichzeitig sichergestellt werden, dass KI weiterhin eine positive Rolle als Werkzeug und nicht als Quelle von Desinformation spielen kann? Ein Vorschlag aus dem Bericht ist, dass Journal-Redaktionen und Peer-Reviewer verstärkt auf sogenannte Red Flags achten sollten.
Studien, die komplexe Krankheitsbilder nur unter einer einzigen Variablen betrachten, sollten skeptisch geprüft werden. Die Qualitätssicherung könnte durch verpflichtende Offenlegung von Zugriffsnummern auf Datensätze verbessert werden, um Datenmanipulation und unkontrolliertes Daten-Dredging zu vermeiden. Dabei sollten Datensatz-Anbieter APIs mit Schlüsselvergabe und Anwendungen unterstützen, um eine transparentere Nutzung zu gewährleisten – ein Verfahren, das etwa die UK Biobank bereits verfolgt. Ebenso wird empfohlen, dass bei der Forschung möglichst der gesamte Datensatz analysiert werden sollte, es sei denn es gibt spezifische, gut begründete Gründe für die Nutzung von Teildaten. Dabei ist wichtig zu betonen, dass es nicht darum geht, den Zugang zu Daten oder KI-Tools einzuschränken oder den Einsatz von technischen Hilfsmitteln in der Forschung zu verhindern. Vielmehr sind es gesunde Skepsis, Transparenz und Qualitätsstandards, die den verantwortlichen Umgang fördern.
Eine klare Kennzeichnung von Studien, die nur Teilaspekte beleuchten, kann helfen, Fehlschlüsse und eine falsche Gewichtung von Erkenntnissen zu vermeiden. Ebenso sollten Experten-Reviewer hinzugezogen werden, die den jeweiligen Fachbereich kompetent bewerten können. Die Herausforderungen durch AI-Paper-Mills sind Teil eines größeren Problems der digitalen Informationsflut und der Schwierigkeit, zwischen verlässlicher und irreführender Information zu unterscheiden. Neben wissenschaftlichen Publikationen tummeln sich im Internet zahlreiche KI-generierte Inhalte, die nicht selten Fakten verzerren oder historische Realitäten verfälschen. Im wissenschaftlichen Kontext aber ist die Verlässlichkeit von Daten und deren korrekte Interpretation entscheidend für Fortschritt und Vertrauenswürdigkeit.
Ein weiterer relevanter Aspekt ist die Verantwortung der akademischen und wissenschaftlichen Institutionen, eine angemessene Infrastruktur für den Umgang mit KI und großen Datenmengen bereitzustellen. Investitionen in bessere Peer-Review-Systeme, automatisierte Qualitätschecks ergänzt durch menschliche Expertise und striktere Zugangsregelungen könnten ein erster Schritt sein, um die negativen Auswirkungen zu minimieren. Die Diskussion um AI-generierte Forschungspanikmache bietet zugleich auch eine Chance zur Neuausrichtung wissenschaftlicher Praxis. So könnte der vermehrte Einsatz von KI-basierter Forschung, wenn richtig kontrolliert und eingesetzt, neue Formen der multidisziplinären Zusammenarbeit, verbesserte Datenanalyse und dadurch letztlich bessere klinische Erkenntnisse fördern. Im Endeffekt muss der wissenschaftliche Diskurs in einer Ära beschleunigten digitalen Wandels verantwortungsvoll geführt werden. Qualität darf nicht der Quantität weichen.
Die Wissenschaftsgemeinschaft ist aufgerufen, Mechanismen zu entwickeln, die die Integrität der Forschung wahren und gleichzeitig Innovationen durch KI-Technologien ermöglichen. Ohne eine klare Strategie droht ein Verlust von Vertrauen und eine Verwässerung des Wissensfundaments, auf dem entscheidende gesellschaftliche und medizinische Entscheidungen beruhen. Die Flut an AI-Paper-Mills ist zweifellos eine Herausforderung, doch sie kann durch gemeinsames Handeln von Forschenden, Institutionen, Datenanbietern und Verlagen gezähmt werden. Nur so kann gewährleistet werden, dass wissenschaftliche Erkenntnisse belastbar bleiben und KI ihren Platz als nützliches Werkzeug erfüllt, ohne zur Quelle von wissenschaftlicher Desinformation zu werden.
