Wenn uns einzig ein Text vorliegt, k\u00f6nnen wir in vielen F\u00e4llen nicht beurteilen, ob eine manipulative Intention hinter einer Aussage steht. In diesem Beitrag verstehen wir unter dem Begriff \u201eFake News\u201c daher allgemein Falschinformationen. Die Erkennung von Falschinformationen wird durch zwei Punkte erschwert: notwendiges Wissen und Kontext. Betrachten wir zur Erkl\u00e4rung folgende Beispiele:<\/p>\n\n\n\n
- \n
- (A): Gestern gab es 3000 neue COVID-19 F\u00e4lle in Deutschland.<\/li>\n\n\n\n
- (B): Heute ist Freitag.<\/li>\n<\/ul>\n\n\n\n
Um die Aussage von (A) verifizieren zu k\u00f6nnen, bedarf es notwendigem Wissen<\/strong>. Daf\u00fcr m\u00fcssen zum Beispiel Informationen des Robert-Koch-Instituts abgerufen werden. Die zweite Aussage (B) wirkt auf den ersten Blick unscheinbar. Aber an allen Tagen au\u00dfer Freitag ist sie falsch und damit stark kontextabh\u00e4ngig<\/strong>. Im Verlauf des Blog-Beitrags werden wir sehen, weshalb beide Aussagen eine Herausforderung f\u00fcr maschinelle Lernverfahren darstellen.<\/p>\n\n\n\n
Manuelle Ans\u00e4tze<\/span><\/h2>\n\n\n\n
Mit der F\u00fclle von Informationen, die wir jeden Tag konsumieren, ist es anstrengend und schlicht unm\u00f6glich jede Aussage zu recherchieren und zu \u00fcberpr\u00fcfen. Unterst\u00fctzung erhalten wir von Faktenchecker*innen, die sich dieser Aufgabe angenommen haben. Dazu geh\u00f6ren sowohl Organisationen wie CORRECTIV<\/a>, MedWatch<\/a> und Medien-Doktor<\/a>, als auch Nachrichtendienste wie ARD, WRD, die Tagesschau und dpa. Dar\u00fcber hinaus gibt es Produkte, wie zum Beispiel von NewsGuard<\/a>, die ein Browser-Plugin anbieten, das die Bewertung von Nachrichtenquellen anzeigt. Diese Bewertungen durchlaufen einen manuellen \u00dcberpr\u00fcfungsprozess und brauchen deshalb Zeit. Daher ist es nicht m\u00f6glich, jede Aussage sofort zu pr\u00fcfen. Aus diesem Grund haben wir M\u00f6glichkeiten gesucht, wie man das Erkennen von Fake News technisch mit Hilfe von Maschinellem Lernen unterst\u00fctzen kann. Ans\u00e4tze dazu werden wir im Folgenden n\u00e4her erkl\u00e4ren.<\/p>\n\n\n\n
Wie k\u00f6nnen wir Fake News Erkennung mit Maschinellem Lernen angehen?<\/span><\/h2>\n\n\n\n
Der erste m\u00f6gliche Ansatz zielt darauf ab, bestimmte Webseiten anhand gew\u00e4hlter Merkmale als vertrauensw\u00fcrdig oder als nicht vertrauensw\u00fcrdig zu klassifizieren. Dabei k\u00f6nnen bestimmte Merkmale, zum Beispiel Web-Traffic, das Vorhandensein eines verifizierten Twitter Accounts oder textuelle Informationen, f\u00fcr die Entscheidung einflie\u00dfen. Jedoch kann eine Website vertrauensw\u00fcrdig sein und trotzdem Artikel ver\u00f6ffentlichen, die falsche Informationen enthalten. Quellen geben ein erstes Indiz, reichen aber f\u00fcr eine klare Einsch\u00e4tzung nicht aus.<\/p>\n\n\n\n
Der zweite Ansatz nutzt im Gegensatz dazu den tats\u00e4chlichen Inhalt eines News Artikels. Am h\u00e4ufigsten wird dabei das Problem ebenfalls als Klassifikation umgesetzt mit einer bin\u00e4ren Zuordnung in \u201efake\u201c oder \u201enicht fake\u201c. F\u00fcr diese Aufgabenstellung stehen einige Datens\u00e4tze<\/a> zur Verf\u00fcgung.<\/p>\n\n\n\n
Herausforderungen: Daten und Kontext<\/span><\/h2>\n\n\n\n
Die Klassifikation erfolgt, indem der Text zun\u00e4chst in ein maschinenlesbares Format verwandelt wird und dann in der Trainingsphase ein Mapping von Text zu Klasse gelernt wird (siehe auch den Beitrag \u201eWelche Arten von Maschinellem Lernen gibt es?<\/a>\u201c). Auf einem Testdatensatz kann dann eine Klassifikationsgenauigkeit in Prozent ausgegeben werden. So bedeutet eine exemplarische Genauigkeit von 90%, dass das ML-Verfahren bei einem kuratierten Datensatz auf den Testdaten in 90% der F\u00e4lle \u201efake\u201c von \u201enicht fake\u201c unterscheiden kann. Solche Zahlen verzerren jedoch die Herausforderung im eigentlichen Einsatz. Denn h\u00e4ufig kann ein so trainiertes Modell nicht generalisieren. Haben wir beispielweise ein Modell auf politischen Texten trainiert, ist es schwierig auf die Medizin anzuwenden. Insgesamt kann das Modell nur so gut werden, wie die zugrunde liegenden Daten es hergeben. Das wird noch einmal deutlich, wenn wir uns die oben genannten Beispiele ansehen. Wenn dem Modell als Grundlage nicht die Daten des Robert-Koch-Institut vorliegen, wird es nicht in der Lage sein, eine korrekte Einsch\u00e4tzung von (A) vorzunehmen. Und selbst wenn das Modell Zugriff zu dieser Information hat, kann es nicht notwendigerweise eine korrekte Einsch\u00e4tzung vornehmen, da der Begriff \u201egestern\u201c im Zusammenhang mit dem Datum der Nachricht steht. Das bringt uns zu Beispiel (B). Hier wird deutlich, dass bei Falschnachrichten der Kontext eine Herausforderung darstellt. Wird dem Modell das Datum nicht als Merkmal hinzugef\u00fcgt, hat es keine Grundlage f\u00fcr eine passende Entscheidung.<\/p>\n\n\n\n
Doch eine weitere Herausforderung bleibt: Wenn wir skalieren und ein Modell auf verschiedene Dom\u00e4nen und Textarten anwenden wollen, wie k\u00f6nnen wir sicherstellen, dass wir unserem Modell ausreichend Kontext und Wissen bereitstellen? Das ist mit unserem jetzigen Forschungsstand nicht m\u00f6glich.<\/p>\n\n\n\n
Eine Klassifikation kann dann Sinn ergeben, wenn wir unser Modell mit weiterem Wissen anreichern (\u201eInformed Machine Learning<\/a>\u201c), die Anwendungsdom\u00e4ne klar abgesteckt ist und wir erwarten, dass aus rein textuellen Informationen eine Klassifikation m\u00f6glich ist. Das ist beispielsweise der Fall, wenn man das Problem auf kleinere Aufgaben wie die Erkennung von Hassrede herunterbricht. In unseren Ans\u00e4tzen betrachten wir das Problem stattdessen aus zwei weiteren Perspektiven: (1) Informationen bereitstellen und (2) Qualit\u00e4tsbewertung.<\/p>\n\n\n\nMit Maschinellem Lernen vertrauensw\u00fcrdige Informationen bereitstellen<\/span><\/h2>\n\n\n\n
Die Idee des \u201eFake News Detectors\u201c ist es, Leser*innen weiterf\u00fchrende Informationen zur Verf\u00fcgung zu stellen, damit sie den Informationsgehalt eines Artikels besser verifizieren oder falsifizieren k\u00f6nnen. Anstatt die Aufgabe als bin\u00e4re Klassifikation zu modellieren, betrachten wir es als Abruf von Informationen. Dies wird als un\u00fcberwachtes Verfahren formuliert.<\/p>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/fnd_image_dark-1-1024x795.png\" "\\"\\"")
\u00a9 ML2R
Die Nutzer*innen k\u00f6nnen die URL eines News Artikels in die Maske eingeben, vertrauensw\u00fcrdige Quellen ausw\u00e4hlen und das System gibt daraufhin zur\u00fcck, ob es \u00e4hnliche Artikel finden kann. <\/figcaption><\/figure>\n\n\n\nTechnisch funktioniert das System wie folgt: Im ersten Schritt werden Informationen wie Schl\u00fcsselbegriffe aus dem News Artikel extrahiert und anhand dieser Informationen nach \u00e4hnlichen News Artikeln \u00fcber eine Search API gesucht. Die Kandidatenliste, die sich aus der Suche ergibt, wird weiter auf relevante Artikel hin reduziert, indem die semantische Distanz des Artikels zu den einzelnen Kandidatentexten berechnet wird. ML2R-Wissenschaftlerin Vishwani Gupta besch\u00e4ftigt sich in ihrer Doktorarbeit damit das System anhand unterschiedlicher Distanzma\u00dfe und Datens\u00e4tze zu evaluieren. Der Vorteil des Systems ist, dass Nutzer*innen die Recherche nach \u00e4hnlichen Artikeln abgenommen wird und gleichzeitig die Entscheidung, ob ein Beitrag vertrauensw\u00fcrdig ist, bei ihnen verbleibt.<\/p>\n\n\n\n
Unterst\u00fctzung bei der Qualit\u00e4tsbewertung von Nachrichten<\/h2>\n\n\n\n
Wir k\u00f6nnen zudem die Problemstellung ins Positive drehen: Was macht einen guten Newsartikel aus? Der Medien-Doktor hat einen Kriterienkatalog<\/a> entwickelt, mit dem Nachrichtenartikel bewertet werden. Der Katalog besteht aus insgesamt 15 Kriterien, darunter sind zum Beispiel Kriterien wie \u201eRisiken und Nebenwirkungen sind beleuchtet\u201c, \u201eEs gibt Anzeichen f\u00fcr Krankheits\u00fcbertreibung\u201c und \u201eEs liegt ein Interessenkonflikt vor\u201c. Jedes Kriterium wird als \u201eerf\u00fcllt\u201c, \u201enicht erf\u00fcllt\u201c oder \u201enichtzutreffend\u201c bewertet und textuell begr\u00fcndet. Anhand bereits bewerteter Artikel k\u00f6nnen wir Methoden des Natural Language Processing (NLP) nutzen, um eine Erleichterung im Bewertungsprozess zu liefern.<\/p>\n\n\n\n
In unserer Forschung haben wir f\u00fcr alle Kriterien beurteilt, inwieweit sie mit maschinellem Lernen modellierbar sind und sie m\u00f6glichen NLP Verfahren zugeordnet. Die Modellierungsaufgabe ist nicht trivial, denn nur das Vorkommen von W\u00f6rtern im Text reicht nicht aus, um eine Bewertung zu geben. In vielen F\u00e4llen ist wie oben beschrieben Hintergrundwissen n\u00f6tig. In unserer Forschung besch\u00e4ftigen wir uns aktuell mit dem Kriterium \u201eVerst\u00e4ndlichkeit\u201c und insbesondere damit, wie man die Lesbarkeit eines Dokuments bewerten kann.<\/p>\n\n\n\n
Maschinelles Lernen ist keine Patentl\u00f6sung gegen Fake News, weil die meisten Lernmodelle nicht \u00fcber ausreichend Wissen oder Kontext verf\u00fcgen, um Falschmeldungen zu erkennen. Trotzdem k\u00f6nnen wir mithilfe von Maschinellem Lernen einen Beitrag leisten, indem wir Informationen zur Verf\u00fcgung stellen und Klassifikation von Teilproblemen durchf\u00fchren. Dadurch stellen wir sicher, dass die entwickelten L\u00f6sungen auf unterschiedliche News Themen anwendbar sind. Maschinelles Lernen hilft uns also dabei Fake News zu einem gewissen Grad einzud\u00e4mmen. Am Ende sind wir diejenigen, die Nachrichten konsumieren. Wann hast du das letzte Mal eine Nachricht hinterfragt?<\/p>\n\n\n\n
Mehr Informationen in der zugeh\u00f6rigen Publikation und dem zugeh\u00f6rigem Video:<\/p>\n\n\n\n
Supporting verification of news articles with automated search for semantically similar articles <\/strong>Vishwani Gupta, Katharina Beckh, Sven Giesselbach, Dennis Wegener, Tim Wirtz, Proceedings of the Workshop Reducing Online Misinformation through Credible Information Retrieval (ROMCIR), 2021, Link<\/a><\/p>\n\n\n\n
IFLA Talk: Fake News & Its Impact on Society, Lecture 3 Recording<\/strong><\/p>\n\n\n\n