Eine bahnbrechende Studie der IU Internationale Hochschule hat das Potenzial von künstlicher Intelligenz (KI) für gerechtere Bewertungen aufgedeckt. Ein Team von Forschern an der IU hat ein neues KI-Modell trainiert, das eine Vielzahl von Prüfungsdatensätzen aus verschiedenen Fächern an der IU verwendet. Die mehrschichtige Analyse der Daten zeigt, dass KI-gestützte Bewertungen in der Lage sind, menschliche Subjektivität und Ungenauigkeiten zu reduzieren. Aus rechtlichen und akademischen Gründen empfiehlt das Forschungsteam, dass KI zunächst nur zur Unterstützung menschlicher Beurteilung verwendet werden sollte. Die Automatisierung der Bewertung von Klausuren mit offenen Fragen erleichtert die Arbeit der Lehrkräfte erheblich und kann zu besseren Ergebnissen für die Studierenden führen, indem menschliche Ungenauigkeiten und Fehler vermieden werden.
Mit ihrem Forschungspapier "Jenseits von menschlicher Subjektivität und Fehlern: Ein neues KI-Bewertungssystem (2024)" zeigt ein Team der IU Internationale Hochschule erstmals in großem Maßstab, wie künstliche Intelligenz Lehrkräfte bei automatisierten Bewertungen unterstützen kann. Das IU-Forschungsteam hat ein neuartiges Bewertungssystem namens Automatic Short Answer Grading (ASAG) entwickelt, das Antworten auf offene Fragen automatisch benoten kann. Das von dem IU-Forschungsteam entwickelte ASAG-System basiert auf einem großen Sprachmodell, das zusätzlich mit einem sehr großen Datensatz von Prüfungsdaten trainiert wurde. Die Daten stammen aus einer Vielzahl von Studiengängen an der IU Internationale Hochschule für angewandte Wissenschaften und umfassen eine Vielzahl von Disziplinen - von Geisteswissenschaften bis zu MINT-Fächern. Laut der Studie sollte dieses breite Spektrum sicherstellen, dass das ASAG-Modell der IU in verschiedenen Disziplinen anwendbar und anpassbar ist.
In einer mehrstufigen Datenanalyse verwendete das Forschungsteam zunächst ihr ASAG-Modell, um zu zeigen, dass KI auch Antworten aus zuvor unbekannten Fachgebieten analysieren kann. Ein anschließender Vergleich mit Fachexperten zeigte, dass die Bewertung der Studentenantworten durch ASAG durchschnittlich näher an der offiziellen Referenznote lag als die Bewertung durch Fachexperten. Die größere Übereinstimmung bei der Bewertung legt nahe, dass die KI-gestützte Bewertung die menschliche Subjektivität in der Bewertung reduzieren und die Fairness verbessern kann. "Unsere Forschung liefert weitere Beweise dafür, wie KI in Zukunft das Bildungssystem verändern wird. Mit diesem Modell wollen wir die Idee vorantreiben, KI zusätzlich zur menschlichen Bewertung einzusetzen, um Konsistenz und Fairness für die Studierenden zu erhöhen und negative Auswirkungen zu minimieren.
Dieser völlig neue Ansatz verspricht nicht nur genauere Bewertungsergebnisse, sondern eröffnet auch ungeahnte Möglichkeiten für die Weiterentwicklung von Bewertungssystemen", sagt Dr. Sven Schütt, CEO der IU Internationale Hochschule für angewandte Wissenschaften. "Die Integration von KI-unterstützten Modellen in die Bewertungsprozesse bietet beträchtliche Vorteile: Erstens bietet sie Prüfern einen externen Benchmark zur Vergleich ihrer eigenen Bewertungen. Dadurch wird die Varianz reduziert und die Fairness erhöht, was den Studierenden zugutekommt. Zweitens entlastet sie Professoren und Tutoren von mühsamen und wiederholenden Aufgaben, sodass sie sich stärker auf Lehren und Mentoring von Studierenden konzentrieren können", sagt Prof. Dr. Thomas Zöller, Professor für Data Science und Künstliche Intelligenz an der IU Internationale Hochschule für angewandte Wissenschaften. Laut dem IU-Forschungsteam könnte das ASAG-Modell bereits als Bewertungssystem verwendet werden.
Allerdings sind laut IU-Experten die rechtlichen und wissenschaftlichen Voraussetzungen noch nicht gegeben, da die KI-Technologie noch neu ist und es an Rahmenbedingungen mangelt, und aufgrund der raschen technologischen Entwicklung im Bereich KI entstehen ständig neue Vorschriften. IU-Experten und Prüfer empfehlen daher, sich zunächst auf ein Modell zu konzentrieren, bei dem menschliche Prüfer durch KI-basierte Automatisierung unterstützt werden, beispielsweise bei Abstimmung und Fehlerprävention.
