In der heutigen Ära der Künstlichen Intelligenz spielen große Sprachmodelle, sogenannte Large Language Models (LLMs), eine immer bedeutendere Rolle bei der Erstellung und Verarbeitung natürlicher Sprache. Diese Modelle sind in der Lage, basierend auf umfangreichen Datenquellen komplexe Texte zu generieren, die vielfältige Themen abdecken. Dennoch besteht eine wesentliche Herausforderung in der Verlässlichkeit und Genauigkeit dieser generierten Inhalte. Trotz der beeindruckenden Fähigkeiten von LLMs passieren immer wieder Ungenauigkeiten, Missinterpretationen oder sogar die Erzeugung von unbelegten Behauptungen. Dies stellt insbesondere in professionellen und wissenschaftlichen Kontexten ein Risiko dar, wenn Texte ungeprüft übernommen werden.
Eine erfolgversprechende Methode zur Validierung dieser KI-generierten Inhalte ist die sogenannte Claim-Extraktion. Dabei werden umfangreiche, häufig komplexe Textausgaben in überprüfbare, klare und einfache Faktenaussagen oder Behauptungen zerlegt. Statt den gesamten Text im Detail zu prüfen, lassen sich auf diese Weise einzelne Fakten unabhängig verifizieren, was die Qualitätssicherung wesentlich effizienter gestaltet. Allerdings hängt der Nutzen und die Genauigkeit dieses Verfahrens entscheidend davon ab, wie zuverlässig und vollständig die behobenen Behauptungen aus dem Text extrahiert werden.In diesem Zusammenhang wurde Claimify entwickelt – ein neuartiges System für die Faktenerkennung und -extraktion, das die Präzision und Verlässlichkeit von Claim-Extraktionen maßgeblich verbessert.
Claimify basiert auf den neuesten Fortschritten im Bereich der Sprachmodell-Nutzung und adressiert zentrale Probleme, die bei traditionellen Methoden und einfachen Prompt-basierten Ansätzen zum Vorschein kommen.Eines der Hauptproblemfelder bei der klassischen Claim-Extraktion liegt darin, dass viele extrahierte Behauptungen entweder nicht korrekt faktisch überprüfbar sind oder unvollständig bleiben. Häufig werden subjektive Meinungen oder Empfehlungen fälschlicherweise als Fakten behandelt, was zur Verwirrung und zu fehlerhaften Bewertungen führen kann. Zudem übersieht man oft wichtige Kontextinformationen, die für das Verständnis der Behauptung unabdingbar sind. Dies kann dazu führen, dass die Wahrheitsfindung verzerrt wird und folglich falsche Schlussfolgerungen gezogen werden.
Claimify legt großen Wert darauf, diese Schwächen zu überwinden. Das System arbeitet nach fünf wesentlichen Prinzipien, die sicherstellen, dass nur verifizierbare Fakten extrahiert werden und die Identifikation von Behauptungen mit vollständigem Kontext erfolgt. Dies ermöglicht nicht nur eine qualitativ hochwertige Darstellung der Fakten, sondern verhindert auch, dass Fehlinformationen oder irreführende Vereinfachungen entstehen. Im Praxisbetrieb erkennt Claimify zudem Fälle, in denen der Ursprungstext mehrdeutig ist und keine eindeutige Interpretation möglich ist. In solchen Situationen kennzeichnet das System den Text explizit als „nicht auflösbar“.
Dies verhindert, dass spekulative oder potenziell falsche Fakten generiert werden.Die Funktionsweise von Claimify gliedert sich in vier abgestimmte Stufen. Zu Beginn wird der Text in einzelne Sätze zerlegt und jeder Satz mit relevantem Kontext angereichert. Anschließend erfolgt eine Auswahl, bei der überprüft wird, ob der Satz relevante Fakten enthält oder lediglich unverifizierbare Meinungen und Interpretationen. Unbrauchbare Sätze werden aussortiert oder so umformuliert, dass sie nur die nachprüfbaren Informationselemente enthalten.
Im dritten Schritt analysiert das System Mehrdeutigkeiten und prüft, ob diese durch den Kontext geklärt werden können. Für Sätze, die nicht disambiguierbar sind, wird eine entsprechende Markierung vergeben. Im letzten Schritt schließlich werden aus dem bereinigten und eindeutig verständlichen Text einzelne, eigenständige und prüfbare Behauptungen gebildet, die im weiteren Verlauf als Grundlage für Faktenchecks dienen.Die Effizienz und Genauigkeit von Claimify wurde unter anderem anhand einer Fallstudie zur Darstellung von Herausforderungen in Schwellenländern untersucht. Es zeigte sich, dass herkömmliche Methoden oftmals wichtige Fakten wegließen, ungenaue Behauptungen erzeugten oder wesentliche Zusammenhänge unberücksichtigt ließen.
Claimify hingegen extrahierte deutlich präzisere und verständlichere Fakten, die zudem sämtlichen notwendigen Kontext enthielten. So konnte beispielsweise eine differenzierte Analyse der wirtschaftlichen Instabilität in Argentinien erfolgen, welche auch komplexere Prognosen und deren Unsicherheiten abdeckte, ohne diese zu verzerren.Darüber hinaus ist Claimify in der Lage, komplexe politische, ökologische und soziale Themen zu durchdringen und sie in einzelne überprüfbare Aussagen zu zerlegen, die unabhängig bewertet werden können. Selbst bei der Erkennung von problematisch mehrdeutigen Passagen agiert es vorsichtig, um spekulative Interpretationen zu vermeiden. Diese Fähigkeit ist insbesondere bei der Verarbeitung umfangreicher, facettenreicher KI-Antworten von zentraler Bedeutung.
Neben der Verbesserung der Extraktionsergebnisse trägt Claimify langfristig dazu bei, den gesamten Prozess der Qualitätsbewertung von KI-generierten Texten zu optimieren. Hochwertige Faktenextraktionen dienen nicht nur der reinen Verifikation, sondern können auch dazu eingesetzt werden, die Vollständigkeit, Kohärenz und thematische Breite von KI-Antworten zu messen. In aufkommenden Feldern, in denen Goldstandard-Referenzen erst aufgebaut werden müssen oder Meinungsunterschiede bestehen, ist dieser Ansatz besonders wertvoll.Microsoft Research, das Entwicklungsteam hinter Claimify, verfolgt darüber hinaus die weitere Verfeinerung des Systems und die Integration in erweiterte KI-Anwendungen. Die Nutzung solcher Technologien unterstützt beispielsweise die verbesserte Bewertung von KI-Antworten im Bereich der Wissensdatenbanken, bei der semantischen Suche oder bei wissenschaftlichen Assistenztools.
Auch im Kontext von Fact-Checking-Organisationen, die mit der zunehmenden Erstellung von Online-Content durch KI konfrontiert sind, bietet Claimify erheblichen Mehrwert.Abschließend lässt sich feststellen, dass Claimify einen wichtigen Schritt in Richtung vertrauenswürdiger und nachvollziehbarer KI-Kommunikation darstellt. Die zuverlässige Gewinnung von sauber extrahierten Fakten aus komplexen Texten ist essentiell, um die Verbreitung von Fehlinformationen einzudämmen und die Akzeptanz von KI-Anwendungen weiter zu erhöhen. Mit seinem innovativen Ansatz zur Erkennung von Mehrdeutigkeiten, zur kontextbewussten Extraktion und zur konsequenten Vermeidung unbelegter Behauptungen setzt Claimify neue Maßstäbe im Feld der automatisierten Faktenanalyse.Für Unternehmen, Forschungseinrichtungen und Entwickler, die auf die Generierung und Bewertung von KI-Inhalten angewiesen sind, eröffnen sich durch Claimify neue Möglichkeiten, Qualität und Verlässlichkeit ihrer Systeme nachhaltig zu steigern.
Dies ist ein bedeutender Fortschritt hin zu verantwortungsvoller und transparenter KI, die Nutzerinnen und Nutzer bestmöglich unterstützt und schützt.
