Die Popularität von TikTok wächst unaufhaltsam, und besonders Finanz- und Investmentthemen erfreuen sich großer Beliebtheit. Doch gerade in diesen Kanälen häufen sich oft betrügerische Kommentare, die ahnungslose Nutzer zu Fake-Investments, Betrugsmaschen oder dubiosen Angeboten verleiten wollen. Der Umgang mit dieser Herausforderung ist komplex, da die Plattformen auf automatisierte Moderation setzen, die jedoch häufig nicht ausreicht. Eine spannende Möglichkeit, die Grenzen der typischen Moderationsmechanismen zu überwinden, bietet der Einsatz moderner Large Language Models (LLMs) wie GPT-4o-mini in Kombination mit Batch-APIs, die automatisierte und effiziente Großverarbeitungen ermöglichen.Ein Beispiel, das eindrucksvoll zeigt, wie diese Technologien greifen können, ist die Analyse von über 44.
000 Kommentaren aus dem Umfeld von Dave Ramsey – einem bekannten amerikanischen Finanzcoach, der sich mit Schuldenabbau und Geldmanagement beschäftigt. Seine stark frequentierten TikTok-Kanäle sind ein Magnet für Betrüger, da sie ein Publikum mit erhöhtem Such- und Informationsbedarf anziehen. Mittels eines spezialisierten RapidAPI-Dienstes wurden die Kommentare aus 140 Videos gesammelt, um diese einer tiefgehenden KI-basierten Analyse zu unterziehen.Der Kern der Untersuchungsmethode war ein maßgeschneiderter One-Shot-Prompt, der vom KI-Modell dazu angeleitet wurde, jeden Kommentar hinsichtlich seiner potenziell betrügerischen Inhalte zu klassifizieren. Dabei achtete das System nicht nur auf offensichtliche Hinweise wie Aufforderungen zu Investitionsbetrügereien, Fake-Gewinnspielen oder Phishing-Versuchen, sondern auch auf subtilere Elemente wie die Verwendung von Tarnzeichen und uneindeutigen Formulierungen.
Die KI wurde angewiesen, nicht nur eine binäre Entscheidung zu treffen, sondern auch eine kurze Begründung für die Einstufung zu liefern, was Transparenz und Nachvollziehbarkeit der Ergebnisse erhöhte.Der Einsatz der Batch-API ermöglichte es, diese Klassifikationen in großem Umfang durchzuführen, ohne dass eine lang andauernde oder hochkomplexe Skriptumgebung implementiert werden musste. Das Verfahren erwies sich als äußerst kosteneffizient und zeitsparend – innerhalb von nur drei Stunden und zu moderaten Kosten von etwa zweieinhalb Dollar war die komplette Analyse abgeschlossen. Das Ergebnis: von den mehr als 44.000 untersuchten Kommentaren wurden rund 7.
700, also etwa 17 Prozent, als mögliche Betrugsversuche identifiziert. Diese Kommentare stammten von über 1.600 verschiedenen Nutzern, was das Ausmaß und die Vielfalt der Scam-Aktivitäten aufzeigen dürfte.Die Beispiele für erkannte Scam-Kommentare verdeutlichen die Bandbreite: Die Versprechungen passiver Gewinne durch Kryptowährungen, angebliche Wundermittel zur Schuldenbefreiung mit prominenten Namen oder verschleierte, unangenehme Aufforderungen mit eigenwilliger Interpunktion zur Umgehung von Filtersystemen. Trotz der hohen Trefferquote gab es auch einige Limitierungen der Methode.
Bei einer manuellen Nachprüfung von hundert Nutzerprofilen zeigte sich, dass etwa jeder fünfte Treffer ein Fehlalarm war. Gerade das Fehlen des konkreten Kontextes, also der Kenntnis über das jeweilige TikTok-Video oder den Gesamtzusammenhang, erschwerte die präzise Einschätzung durch die KI.Die sogenannten False Positives, also falsch positiv bewertete Kommentare, lagen oft daran, dass scheinbar verdächtige Phrasen in einem harmlosen Kontext (beispielsweise Steuerstrategien in legitimen Videos) genutzt wurden oder relativ belanglose Kommentare im falschen Licht erschienen. Ebenso schwierig erwies sich das Erkennen von False Negatives, also betrügerischen Kommentaren, die die KI übersehen hatte. Hier zeigte sich beispielsweise das Problem, wenn ein harmlos anmutender Kompliment-Kommentar auf ein Nutzerprofil mit betrügerischem Hintergrund verlinkte, was ohne zusätzliche Analyse und Kontextinformationen nicht als Scam erkannt werden konnte.
Eine weitere Herausforderung liegt in der praktischen Umsetzung des Erkenntnisgewinns: Ein Versuch, die ermittelten Scam-Kommentare direkt über das TikTok-Formular zu melden, scheiterte scheinbar an den internen Bewertungsrichtlinien der Plattform. Alle eingereichten Meldungen wurden automationsgestützt nach lediglich 30 Minuten mit „kein Verstoß“ bewertet, was Fragen bezüglich der Effektivität und Sorgfalt der Moderation aufwirft. Das Beispiel zeigt, dass trotz moderner KI-gestützter Erkennungsmethoden der menschlich gesteuerte bzw. automatisierte Review-Prozess von Plattformen noch erhebliche Schwächen aufweist.Der Einsatz von mittels GPT-4o-mini und Batch-API ermöglichter automatisierter Scam-Erkennung unterstreicht jedoch das enorme Potenzial von KI-Lösungen im Kampf gegen Online-Betrug.
Sie können große Datenmengen effizient filtern, Muster erkennen und Hinweise auf verdächtige Aktivitäten liefern. Nicht zuletzt liefert eine derartige Methode wertvolle Einsichten in das Ausmaß und die Verfahren von Social-Media-Scams, was für Entwickler, Plattformbetreiber und Regulierungsbehörden eine wichtige Grundlage bildet.Gleichzeitig verdeutlicht die Analyse, dass für eine zuverlässigere Betrugserkennung auf Plattformen eine Kombination aus KI, kontextbezogenen Informationen und verbesserten Meldeprozessen erforderlich ist. Die Weiterentwicklung von Modellen, bessere Prompt-Gestaltung, Integration zusätzlicher Datenquellen und die enge Verzahnung mit einer qualifizierten menschlichen Überprüfung könnten die Fehlerrate deutlich senken und die Effektivität steigern.Neben der finanziellen Dimension von Betrugsmaschen auf TikTok wächst auch die Verantwortung der Nutzer, Warnzeichen zu erkennen und kritisch zu hinterfragen.
