Fake News auf der Spur – Mit Maschinellem Lernen vertrauenswürdige Informationen bereitstellen

Autor*in:
Katharina
Beckh

„Im Supermarkt gibt es ab heute viereckige Tomaten.“
„Schweden beendet das Angebot von PCR Tests.“
Sind diese Nachrichten wahr?
Was auf den ersten Blick unscheinbar wirkt, kann in manchen Fällen schwerwiegende Konsequenzen haben. Zu Beginn der COVID-19 Pandemie verbreitete sich in den sozialen Medien die Nachricht, dass das Trinken von Bleichmittel eine Corona-Infektion heilen könnte. Infolgedessen mussten mehrere Personen aufgrund der Schädlichkeit von Bleiche medizinisch notfallmäßig behandelt werden.

Fake News werden aufgrund ihrer schnellen Verbreitung und potenziell negativen Folgen als eine der größten Herausforderungen unserer Zeit eingestuft. Ein wichtiges Forschungsfeld ist die Entwicklung von Künstlicher Intelligenz, die Fake News entgegenwirken kann. Wir zeigen in diesem Artikel auf, was Fake News sind, was es für maschinelle Lernansätze gegen Fake News gibt, welche Grenzen diese Verfahren haben und was es weiter für uns zu tun gibt.

Was wir unter Fake News verstehen

Wenn uns einzig ein Text vorliegt, können wir in vielen Fällen nicht beurteilen, ob eine manipulative Intention hinter einer Aussage steht. In diesem Beitrag verstehen wir unter dem Begriff „Fake News“ daher allgemein Falschinformationen. Die Erkennung von Falschinformationen wird durch zwei Punkte erschwert: notwendiges Wissen und Kontext. Betrachten wir zur Erklärung folgende Beispiele:

  • (A): Gestern gab es 3000 neue COVID-19 Fälle in Deutschland.
  • (B): Heute ist Freitag.

Um die Aussage von (A) verifizieren zu können, bedarf es notwendigem Wissen. Dafür müssen zum Beispiel Informationen des Robert-Koch-Instituts abgerufen werden. Die zweite Aussage (B) wirkt auf den ersten Blick unscheinbar. Aber an allen Tagen außer Freitag ist sie falsch und damit stark kontextabhängig. Im Verlauf des Blog-Beitrags werden wir sehen, weshalb beide Aussagen eine Herausforderung für maschinelle Lernverfahren darstellen.

Manuelle Ansätze

Mit der Fülle von Informationen, die wir jeden Tag konsumieren, ist es anstrengend und schlicht unmöglich jede Aussage zu recherchieren und zu überprüfen. Unterstützung erhalten wir von Faktenchecker*innen, die sich dieser Aufgabe angenommen haben. Dazu gehören sowohl Organisationen wie CORRECTIV, MedWatch und Medien-Doktor, als auch Nachrichtendienste wie ARD, WRD, die Tagesschau und dpa. Darüber hinaus gibt es Produkte, wie zum Beispiel von NewsGuard, die ein Browser-Plugin anbieten, das die Bewertung von Nachrichtenquellen anzeigt. Diese Bewertungen durchlaufen einen manuellen Überprüfungsprozess und brauchen deshalb Zeit. Daher ist es nicht möglich, jede Aussage sofort zu prüfen. Aus diesem Grund haben wir Möglichkeiten gesucht, wie man das Erkennen von Fake News technisch mit Hilfe von Maschinellem Lernen unterstützen kann. Ansätze dazu werden wir im Folgenden näher erklären.

Wie können wir Fake News Erkennung mit Maschinellem Lernen angehen?

Der erste mögliche Ansatz zielt darauf ab, bestimmte Webseiten anhand gewählter Merkmale als vertrauenswürdig oder als nicht vertrauenswürdig zu klassifizieren. Dabei können bestimmte Merkmale, zum Beispiel Web-Traffic, das Vorhandensein eines verifizierten Twitter Accounts oder textuelle Informationen, für die Entscheidung einfließen. Jedoch kann eine Website vertrauenswürdig sein und trotzdem Artikel veröffentlichen, die falsche Informationen enthalten. Quellen geben ein erstes Indiz, reichen aber für eine klare Einschätzung nicht aus.

Der zweite Ansatz nutzt im Gegensatz dazu den tatsächlichen Inhalt eines News Artikels. Am häufigsten wird dabei das Problem ebenfalls als Klassifikation umgesetzt mit einer binären Zuordnung in „fake“ oder „nicht fake“. Für diese Aufgabenstellung stehen einige Datensätze zur Verfügung.

Herausforderungen: Daten und Kontext

Die Klassifikation erfolgt, indem der Text zunächst in ein maschinenlesbares Format verwandelt wird und dann in der Trainingsphase ein Mapping von Text zu Klasse gelernt wird (siehe auch den Beitrag „Welche Arten von Maschinellem Lernen gibt es?“). Auf einem Testdatensatz kann dann eine Klassifikationsgenauigkeit in Prozent ausgegeben werden. So bedeutet eine exemplarische Genauigkeit von 90%, dass das ML-Verfahren bei einem kuratierten Datensatz auf den Testdaten in 90% der Fälle „fake“ von „nicht fake“ unterscheiden kann. Solche Zahlen verzerren jedoch die Herausforderung im eigentlichen Einsatz. Denn häufig kann ein so trainiertes Modell nicht generalisieren. Haben wir beispielweise ein Modell auf politischen Texten trainiert, ist es schwierig auf die Medizin anzuwenden. Insgesamt kann das Modell nur so gut werden, wie die zugrunde liegenden Daten es hergeben. Das wird noch einmal deutlich, wenn wir uns die oben genannten Beispiele ansehen. Wenn dem Modell als Grundlage nicht die Daten des Robert-Koch-Institut vorliegen, wird es nicht in der Lage sein, eine korrekte Einschätzung von (A) vorzunehmen. Und selbst wenn das Modell Zugriff zu dieser Information hat, kann es nicht notwendigerweise eine korrekte Einschätzung vornehmen, da der Begriff „gestern“ im Zusammenhang mit dem Datum der Nachricht steht. Das bringt uns zu Beispiel (B). Hier wird deutlich, dass bei Falschnachrichten der Kontext eine Herausforderung darstellt. Wird dem Modell das Datum nicht als Merkmal hinzugefügt, hat es keine Grundlage für eine passende Entscheidung.

Doch eine weitere Herausforderung bleibt: Wenn wir skalieren und ein Modell auf verschiedene Domänen und Textarten anwenden wollen, wie können wir sicherstellen, dass wir unserem Modell ausreichend Kontext und Wissen bereitstellen? Das ist mit unserem jetzigen Forschungsstand nicht möglich.


Eine Klassifikation kann dann Sinn ergeben, wenn wir unser Modell mit weiterem Wissen anreichern („Informed Machine Learning“), die Anwendungsdomäne klar abgesteckt ist und wir erwarten, dass aus rein textuellen Informationen eine Klassifikation möglich ist. Das ist beispielsweise der Fall, wenn man das Problem auf kleinere Aufgaben wie die Erkennung von Hassrede herunterbricht. In unseren Ansätzen betrachten wir das Problem stattdessen aus zwei weiteren Perspektiven: (1) Informationen bereitstellen und (2) Qualitätsbewertung.

Mit Maschinellem Lernen vertrauenswürdige Informationen bereitstellen

Die Idee des „Fake News Detectors“ ist es, Leser*innen weiterführende Informationen zur Verfügung zu stellen, damit sie den Informationsgehalt eines Artikels besser verifizieren oder falsifizieren können. Anstatt die Aufgabe als binäre Klassifikation zu modellieren, betrachten wir es als Abruf von Informationen. Dies wird als unüberwachtes Verfahren formuliert.

© ML2R
Die Nutzer*innen können die URL eines News Artikels in die Maske eingeben, vertrauenswürdige Quellen auswählen und das System gibt daraufhin zurück, ob es ähnliche Artikel finden kann.

Technisch funktioniert das System wie folgt: Im ersten Schritt werden Informationen wie Schlüsselbegriffe aus dem News Artikel extrahiert und anhand dieser Informationen nach ähnlichen News Artikeln über eine Search API gesucht. Die Kandidatenliste, die sich aus der Suche ergibt, wird weiter auf relevante Artikel hin reduziert, indem die semantische Distanz des Artikels zu den einzelnen Kandidatentexten berechnet wird. ML2R-Wissenschaftlerin Vishwani Gupta beschäftigt sich in ihrer Doktorarbeit damit das System anhand unterschiedlicher Distanzmaße und Datensätze zu evaluieren. Der Vorteil des Systems ist, dass Nutzer*innen die Recherche nach ähnlichen Artikeln abgenommen wird und gleichzeitig die Entscheidung, ob ein Beitrag vertrauenswürdig ist, bei ihnen verbleibt.

Unterstützung bei der Qualitätsbewertung von Nachrichten

Wir können zudem die Problemstellung ins Positive drehen: Was macht einen guten Newsartikel aus? Der Medien-Doktor hat einen Kriterienkatalog entwickelt, mit dem Nachrichtenartikel bewertet werden. Der Katalog besteht aus insgesamt 15 Kriterien, darunter sind zum Beispiel Kriterien wie „Risiken und Nebenwirkungen sind beleuchtet“, „Es gibt Anzeichen für Krankheitsübertreibung“ und „Es liegt ein Interessenkonflikt vor“. Jedes Kriterium wird als „erfüllt“, „nicht erfüllt“ oder „nichtzutreffend“ bewertet und textuell begründet. Anhand bereits bewerteter Artikel können wir Methoden des Natural Language Processing (NLP) nutzen, um eine Erleichterung im Bewertungsprozess zu liefern.

In unserer Forschung haben wir für alle Kriterien beurteilt, inwieweit sie mit maschinellem Lernen modellierbar sind und sie möglichen NLP Verfahren zugeordnet. Die Modellierungsaufgabe ist nicht trivial, denn nur das Vorkommen von Wörtern im Text reicht nicht aus, um eine Bewertung zu geben. In vielen Fällen ist wie oben beschrieben Hintergrundwissen nötig. In unserer Forschung beschäftigen wir uns aktuell mit dem Kriterium „Verständlichkeit“ und insbesondere damit, wie man die Lesbarkeit eines Dokuments bewerten kann.

Maschinelles Lernen ist keine Patentlösung gegen Fake News, weil die meisten Lernmodelle nicht über ausreichend Wissen oder Kontext verfügen, um Falschmeldungen zu erkennen. Trotzdem können wir mithilfe von Maschinellem Lernen einen Beitrag leisten, indem wir Informationen zur Verfügung stellen und Klassifikation von Teilproblemen durchführen. Dadurch stellen wir sicher, dass die entwickelten Lösungen auf unterschiedliche News Themen anwendbar sind. Maschinelles Lernen hilft uns also dabei Fake News zu einem gewissen Grad einzudämmen. Am Ende sind wir diejenigen, die Nachrichten konsumieren. Wann hast du das letzte Mal eine Nachricht hinterfragt?

Mehr Informationen in der zugehörigen Publikation und dem zugehörigem Video:

Supporting verification of news articles with automated search for semantically similar articles Vishwani Gupta, Katharina Beckh, Sven Giesselbach, Dennis Wegener, Tim Wirtz, Proceedings of the Workshop Reducing Online Misinformation through Credible Information Retrieval (ROMCIR), 2021, Link

IFLA Talk: Fake News & Its Impact on Society, Lecture 3 Recording

YouTube

Durch das Laden des Videos erklären Sie sich mit den Datenschutzbestimmungen von YouTube einverstanden.
Learn more

Video laden

Autor*in

Katharina
Beckh

Katharina Beckh ist wissenschaftliche Mitarbeiterin am Lamarr-Standort des Fraunhofer IAIS. Ihr Forschungsschwerpunkt liegt auf dem menschenorientierten Maschinellen Lernen. Sie beschäftigt sich mit interaktiven Lernalgorithmen und erklärbaren Sprachmodellen.