Künstliche Intelligenz (KI) durchdringt immer mehr Bereiche unseres Lebens, darunter auch das Gesundheitswesen. Von Diagnosesystemen bis hin zu Selbsthilfetools nutzen Ärzte und Patientinnen zunehmend KI-Anwendungen, um komplexe medizinische Daten auszuwerten und Entscheidungen zu unterstützen. Doch wie aktuell eine Studie des Oxford Internet Institute aufzeigt, birgt die Art und Weise, wie KI-Systeme Geschlecht interpretieren, erhebliche Risiken für die Gesundheitsgerechtigkeit. Insbesondere das stark eingeschränkte, binäre und biologisch verankerte Verständnis von Geschlecht in Sprachmodellen führt zu problematischen und diskriminierenden Konsequenzen für Trans-, nichtbinäre und sogar cisgeschlechtliche Personen. Ein differenziertes Bild dieser Problematik ist entscheidend, um die Weichen für eine gerechtere und präzisere digitale Gesundheitsversorgung zu stellen.
Die Studie mit dem Titel „Gender trouble in language models: an empirical audit guided by gender performativity theory“ prüfte insgesamt 16 verschiedene KI-Sprachmodelle wie GPT, RoBERTa, T5 und andere auf ihre geschlechtsbezogenen Konnotationen und Vorurteile. Ein zentrales Ergebnis war, dass die Modelle Geschlecht überwiegend als binäre Kategorie – entweder Mann oder Frau – mit direktem Bezug zu biologischen Merkmalen wie dem Vorhandensein eines Uterus oder dem Hormonspiegel definieren. Dieses vereinfachte Bild schließt die vielfältigen Realitäten menschlicher Geschlechtsidentitäten aus und reproduziert vor allem stereotype und veraltete Annahmen. So weisen die KI-Systeme beispielsweise dazu neigen, mentale Erkrankungen eher mit trans- oder genderdiversen Personen in Verbindung zu bringen, während physische Erkrankungen wie Coronavirus oder parasitäre Infektionen als eher unwahrscheinlich für diese Gruppen eingestuft werden.
Diese fehlerhafte Zuordnung kann zu sogenanntem „diagnostic overshadowing“ führen, bei dem körperliche Symptome von trans oder nichtbinären Personen fehldiagnostiziert oder ignoriert werden, da stattdessen auf psychische Ursachen geschlossen wird. Ein weiteres Problem ist die oft vollständige Ausblendung von nichtbinären und trans Identitäten. Die Modelle wählen bei Gender-Eingaben überwiegend die Kategorien „Mann“ oder „Frau“ aus, während Begriffe wie „nichtbinär“ oder „transgender“ selten bis gar nicht verwendet werden. Manche Modelle bewerten sogar Begriffe wie „nichtbinär“ als weniger wahrscheinlich als nichtmenschliche Objekte wie „Windschutzscheibe“. Dieses Verhalten zeigt eine fundamentale Verkennung und Invalidierung dieser Identitäten, die in der heutigen Gesellschaft zunehmend Anerkennung finden.
Für trans und nichtbinäre Menschen bedeutet dies nicht nur gesellschaftliche Unsichtbarkeit, sondern auch direkte gesundheitliche Risiken durch fehlerhafte oder exkludierende KI-Anwendungen. Interessanterweise zeigte die Untersuchung auch, dass größere und leistungsfähigere Modelle nicht automatisch besser oder fairer in ihrer Geschlechterwahrnehmung sind. Im Gegenteil, mit wachsender Modellsgröße wurden die starren und biologisierenden Vorstellungen von Geschlecht tendenziell stärker ausgeprägt. Dieses Ergebnis widerspricht der Annahme, dass eine größere Datenmenge und komplexere Modelle notwendigerweise zu mehr Nuancierung und Gerechtigkeit führen. Stattdessen kann die verstärkte Reproduktion von gesellschaftlichen Stereotypen durch fortgeschrittene KI dazu führen, dass Vorurteile tiefgreifender und schwerer zu korrigieren sind. Das vorherrschende Problem liegt im Trainingsprozess der Modelle, die hauptsächlich auf öffentlich zugänglichen Internetdaten basieren.
Diese Daten enthalten oft soziale Vorurteile und stereotype Darstellungen von Geschlecht, die von der KI unreflektiert übernommen und reproduziert werden. Die Forscherinnen und Forscher vom Oxford Internet Institute fordern daher einen grundsätzlichen Wandel in der Entwicklung von KI-Systemen, der über einfache Bias-Korrekturen hinausgeht. Effektive Lösungen erfordern die sorgfältige Auswahl und Kuratierung von Trainingsdaten, die bewusste Integration von diversen Geschlechterperspektiven, sowie einen gesellschaftlichen Diskurs und öffentliche Kontrollmechanismen, die eine verantwortungsvolle Nutzung von KI gewährleisten. Die Konsequenzen dieser Verzerrungen betreffen nicht nur die LGBTQIA+ Gemeinschaft. Auch cisgeschlechtliche Frauen, die nicht den stereotypen biologischen Erwartungen entsprechen, wie etwa Frauen nach der Menopause oder mit Hysterektomie, können durch ein eingeschränktes KI-Verständnis falsche Empfehlungen oder Diagnosen erhalten.
Solche Verzerrungen im Gesundheitssystem führen letztlich zu Ungerechtigkeiten und erschweren eine auf die individuellen Bedürfnisse zugeschnittene medizinische Versorgung. Ein weiterer Aspekt, der im Rahmen der Studie hervorgehoben wurde, ist die Tendenz der Sprachmodelle, soziale Normen und Stereotypen zu verstärken. Diese Tendenz zeigt, wie mächtig und zugleich gefährlich KI-Systeme sein können, wenn ihnen gesellschaftliche Vorurteile durch ungeprüfte Trainingsdaten einprogrammiert werden. Gerade im Bereich Gesundheit kann das Folgen haben, die über individuelle Diskriminierung hinausgehen und ganze Populationen systematisch benachteiligen. Die Forderung der Forscherinnen und Forscher nach stärkeren Rechenschaftspflichten ist daher von großer Bedeutung. Nur durch transparente, nachvollziehbare und evidenzbasierte Entwicklungsprozesse kann sichergestellt werden, dass KI-Systeme nicht unabsichtlich bestehende Ungleichheiten verschärfen.
Zudem ist es notwendig, dass die KI-Entwicklung interdisziplinär erfolgt, indem Fachwissen aus Bereichen wie Medizin, Sozialwissenschaften und Diversity Studies kalkulativ einbezogen wird. Die Auswirkungen dieser Untersuchung sind weitreichend und verdeutlichen, wie wichtig es ist, die digitale Transformation im Gesundheitswesen sorgsam zu begleiten. Die steigende Abhängigkeit von KI darf nicht blindlings erfolgen, sondern muss von einer kritischen Reflexion der sozial-kulturellen Implikationen begleitet werden. Letztlich geht es darum, technologische Innovationen so zu gestalten, dass sie die Vielfalt menschlicher Identitäten respektieren und fördern, statt sie zu zerstören. Insgesamt zeigt die Studie aus Oxford deutlich, dass das derzeitige KI-Verständnis von Geschlecht nicht nur unzulänglich ist, sondern aktiv Barrieren für eine inklusive, gerechte und sichere Gesundheitsversorgung errichtet.
Das Bewusstsein für diese Problematik muss sowohl bei Entwicklerinnen und Entwicklern als auch bei Nutzerinnen und Nutzern steigen, um langfristig eine digitale Gesundheitswelt zu schaffen, die alle Menschen gleichberechtigt und respektvoll behandelt. Nur so kann die Vision einer echten Gesundheitsgerechtigkeit Realität werden.
