Hate Speech und digitale Gewalt: Wie Künstliche Intelligenz helfen kann Hass im Netz zu bekämpfen 

Blogbeitrag hate Speech - Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)
© Golden Sikorka - stock.adobe.com

Hate Speech, oder „Hassrede“, umfasst menschenverachtende und diskriminierende Äußerungen, die sich gegen bestimmte Personengruppen richten. Solche Angriffe zielen oft auf Merkmale wie Hautfarbe, Herkunft, Sexualität, Geschlecht, Alter, Behinderung oder Religion von Menschen ab. Betroffene Gruppen sind häufig Frauen, Menschen mit Migrationshintergrund und die LGBTQ+-Community. Die Studie „Lauter Hass – leiser Rückzug“ des Kompetenznetzwerks gegen Hass im Netz zeigt, dass Menschen, auf die mehrere dieser Merkmale zutreffen, stärker von Hassrede betroffen sind.

Hass im Netz: Mehr als nur beleidigende Kommentare

Der Begriff „Hass im Netz“ geht über Hate Speech hinaus und umfasst eine Vielzahl von schädlichen digitalen Verhaltensweisen wie rassistische Memes, ungewollte Dickpics oder online veröffentlichte Adressen. Auch die Verbreitung von (Nackt-)Fotos ohne Zustimmung, Stalking, Belästigungen, die Androhung von Gewalt sowie Deepfakes zählen zu Hass im Netz. Künstliche Intelligenz spielt hier sowohl bei der Erzeugung als auch bei der Bekämpfung dieser Phänomene eine Rolle. Deepfake-Technologien, die durch KI generiert werden, ermöglichen das Erstellen gefälschter Videos und Bilder, die gezielt zur Manipulation und Diffamierung eingesetzt werden.

Ein Beispiel für den Einsatz von Deepfake-Technologien ist die Verbreitung gefälschter Videos politischer Persönlichkeiten. 2019 tauchte ein Deepfake-Video auf, in dem Nancy Pelosi, die Sprecherin des US-Repräsentantenhauses, scheinbar betrunken und unzusammenhängend sprach. Das Video wurde so bearbeitet, dass Pelosis Stimme und Mimik verzerrt wurden, um sie in einem negativen Licht darzustellen. Die Verbreitung solcher Videos kann das öffentliche Vertrauen in politische Akteure untergraben und politische Prozesse manipulieren.

YouTube entfernte das Video nach einiger Zeit, während Facebook es herabstufte, wodurch es weniger sichtbar wurde. Auf X (ehem. Twitter) jedoch blieb das Video weiterhin zugänglich, da die Plattform keine Richtlinien zur Entfernung von manipulierten Inhalten hat. Dieses Beispiel verdeutlicht, wie gefährlich Deepfakes im Kontext von Hate Speech und Desinformation sein können.

Meinungsfreiheit vs. Hassrede: Wo ziehen wir die Grenze?

In Deutschland garantiert Artikel 5 des Grundgesetztes die Meinungsfreiheit. Doch diese endet dort, wo die Würde eines anderen Menschen verletzt oder die freie Entfaltung der Persönlichkeit eines anderen Menschen eingeschränkt wird. Kritiker*innen befürchten, dass die Bekämpfung von Hate Speech die Meinungsfreiheit einschränken könnte. Künstliche Intelligenz könnte helfen, zwischen legitimer Meinungsäußerung und Hassrede zu unterscheiden. KI-Algorithmen können große Mengen an Inhalten (Daten) auf Social-Media-Plattformen analysieren und potenziell schädliche Aussagen kennzeichnen. So ließe sich eine Balance finden, die einerseits die Meinungsfreiheit wahrt, andererseits jedoch schädliche Inhalte eindämmt.

KI zur Erkennung und Bekämpfung von Hate Speech

Künstliche Intelligenz spielt eine zentrale Rolle bei der Bekämpfung von Hate Speech auf Online-Plattformen. KI-Systeme, die auf Natural Language Processing (kurz: NLP) basieren, können automatisch beleidigende oder menschenverachtende Inhalte erkennen und entsprechende Maßnahmen einleiten. Eine besondere Herausforderung besteht jedoch darin, die feinen Nuancen zwischen freier Meinungsäußerung und Hassrede zu erkennen und korrekt einzuordnen.

Ein konkretes Beispiel für den Einsatz von NLP-Algorithmen zur Erkennung von Hate Speech ist das Tool „Perspective“, das von der Alphabet-Tochter Jigsaw in Zusammenarbeit mit Google entwickelt wurde. „Perspective“ nutzt maschinelles Lernen und NLP, um die „toxische“ Natur von Kommentaren in Online-Diskussionen zu analysieren. Es bewertet den Grad der Beleidigung oder Schädlichkeit eines Textes und gibt den Plattformen die Möglichkeit, potenziell schädliche Kommentare zu moderieren.

Bots und KI-gestützte Desinformation

KI-gesteuerte Bots spielen eine große Rolle bei der Verbreitung von Hass im Netz. Sie können automatisiert große Mengen an Hassbotschaften verbreiten und Debatten beeinflussen. Gleichzeitig werden fortschrittliche Algorithmen entwickelt, um diese automatisierten Accounts zu identifizieren und zu stoppen. Ein prominentes Beispiel ist der Einsatz von Bots in den sozialen Medien während der US-Wahlen 2016, als diese auf Plattformen wie X und Facebook gezielt Desinformationen und Hassbotschaften verbreitet haben. Diese Bots verwendeten automatisierte Programme, um Fake News, polarisierende Inhalte und Hasskommentare zu verbreiten. Forschende haben herausgefunden, dass viele dieser Bots darauf abzielten, die öffentliche Meinung zu beeinflussen und gesellschaftliche Spaltungen zu vertiefen.

Zum Bekämpfen solcher Hassbots haben Unternehmen wie Facebook damit begonnen, KI-gestützte Algorithmen zu entwickeln, die in der Lage sind, Bot-Aktivitäten zu erkennen. Diese Algorithmen analysieren verdächtige Verhaltensmuster, wie etwa die Frequenz von Beiträgen, die Interaktionsmuster und die Herkunft der Accounts.

Auswirkungen von Hate Speech auf Individuen und Gesellschaft

Hate Speech hat tiefgreifende Auswirkungen auf die Betroffenen und die Gesellschaft insgesamt. Individuell können die Folgen von Stress und sozialem Rückzug bis hin zu psychischen Problemen reichen. Gesellschaftlich führt digitale Gewalt zu einer Verschiebung es öffentlichen Diskurses. Besonders problematisch ist die Rolle von Bots, die durch automatisierte KI-Algorithmen Hassbotschaften massenhaft verbreiten und damit ein verzerrtes Bild der öffentlichen Meinung erzeugen.

Silencing-Effekt und die Gefahr für die Demokratie

Der sogenannte Silencing-Effekt beschreibt, wie Opfer von Hate Speech sowie Außenstehende sich zunehmend aus dem öffentlichen Diskurs zurückziehen. Künstliche Intelligenz kann hier helfen, indem sie Hassrede proaktiv identifiziert und entfernt, bevor sie breitere gesellschaftliche Auswirkungen hat. Dies ist besonders wichtig, da rechtsextreme Gruppen diese Dynamik oft ausnutzen, um politische und gesellschaftliche Meinungsvielfalt zu untergraben.

Studien des Southern Poverty Law Center (SPLC) zeigen, dass rechtsextreme Gruppen versuchen, durch gezielte Online-Kampagnen und Desinformation demokratische Institutionen zu destabilisieren. Diese Gruppen nutzen soziale Medien, um ihre Anhänger zu mobilisieren, Verschwörungstheorien zu verbreiten und Minderheiten sowie marginalisierte Gruppen anzugreifen. Ähnlich zeigen Berichte des Center for Strategic and International Studies (CSIS), dass rechtsextreme Gruppen weltweit soziale Medien als Plattform nutzen, um extremistische Rhetorik zu verbreiten und politische sowie religiöse Minderheiten anzugreifen. Diese Gruppen agieren oft weniger auffällig, um einer Überwachung zu entgehen, während sie gleichzeitig Gewalt gegen Minderheiten und andere politische Gegner anstacheln​.

Von Worten zu Taten: Die Radikalisierung durch das Netz

Hass im Netz kann reale Gewalt nach sich ziehen, wie die Morde an Walter Lübcke oder die Anschläge in Halle und Hanau zeigen. Hierbei spielt das Internet eine zentrale Rolle, da es als Radikalisierungsplattform fungiert.

Am 2. Juni 2019 wurde der Kasseler Regierungspräsident Walter Lübcke auf der Terrasse seines Hauses durch einen Kopfschuss ermordet. Vorausgegangen waren der Tat rechtsextreme Hasskampagnen, nachdem sich der CDU-Politiker klar für demokratische Werte, die Aufnahmen von Geflüchteten und gegen Rechtsextremismus eingesetzt hatte. Der Hass ging so weit, dass in einem einschlägigen rechtsextremen Blog seine Privatadresse mit der Aufforderung, jemand „solle sich kümmern“, veröffentlicht wurde. Bei dem Täter handelte es sich um einen Rechtsextremisten.

Am 9. Oktober 2019 versuchte ein Rechtsextremist in Halle an der Saale schwer bewaffnet in eine Synagoge einzudringen. Nachdem dies scheiterte, tötete er zwei Menschen. Am 19. Februar 2020 erschoss ein Rassist in Hanau neun Menschen – offensichtlich gezielt Frauen und Männer mit Migrationshintergrund. Radikalisiert hatten sich alle Täter im Internet.  

Künstliche Intelligenz kann hier eine wichtige Rolle dabei spielen, solche Entwicklungen zu verhindern, indem sie frühzeitig gefährliche Muster in Online-Diskussionen und Kommunikationsströmen erkennt.

Ein erfolgreiches Beispiel für den präventiven Einsatz von KI ist die Betrugserkennung (Fraud Detection) im Finanzwesen. Banken und Finanzinstitute setzen seit vielen Jahren KI ein, um verdächtige Transaktionen zu erkennen und potenziellen Betrug oder Geldwäsche zu verhindern. Diese Technologien haben sich als hochwirksam erwiesen, da sie in der Lage sind, große Mengen an Daten in Echtzeit zu analysieren und sofortige Maßnahmen zu ergreifen. Insbesondere Machine Learning Modelle, die zur Erkennung von Kreditkartenbetrug verwendet werden, haben eine hohe Präzision erreicht und sorgen für mehr Sicherheit im Finanzsektor.

Diese Erfolge im Finanzwesen zeigen, dass KI auch im Kampf gegen die Verbreitung von Hass und die Radikalisierung im Internet eine entscheidende Rolle spielen kann. Durch die frühzeitige Identifizierung von bedrohlichen Verhaltensmustern können Maßnahmen ergriffen werden, bevor aus hasserfüllter Rhetorik Taten werden. KI-Systeme können so dazu beitragen, digitale Räume sicherer zu machen und die Verbreitung von Hassbotschaften zu unterbinden.

Wie Technologie und Initiativen helfen können: Unterstützung im Kampf gegen Hate Speech

Weder als betroffene noch als außenstehende Person muss Hate Speech einfach hingenommen und ertragen werden. Es gibt verschiedene Strategien, mit Hate Speech umzugehen oder darauf zu reagieren. Jede dieser Gegenstrategien hat Vor- und Nachteile, und jede Person sollte für sich entscheiden, welche Strategie entlastend und hilfreich ist. Neben den Möglichkeiten, Hasskommentare in den sozialen Medien zu ignorieren, zu löschen und bei der Plattform zu melden, sachlich zu kontern oder Hater*innen zu blockieren, ist eine wichtige Strategie, auf Unterstützungsangebote zurückzugreifen.

Ein prominentes Beispiel hierfür ist HateAid, eine gemeinnützige Organisation, die sich gegen Hass im Netz und digitale Gewalt engagiert. Neben rechtlicher Unterstützung bietet HateAid auch Aufklärung zu digitaler Gewalt an und stellt Werkzeuge zur Verfügung, die Betroffenen helfen, sich gegen Hasskommentare zu wehren. Besonders im digitalen Raum, in dem hasserfüllte Inhalte oft dauerhaft zugänglich bleiben, ist es entscheidend, auf solche Hilfsangebote zurückzugreifen.

Auch Technologien können einen wichtigen Beitrag zur Eindämmung von Hate Speech leisten. Künstliche Intelligenz wird in sozialen Netzwerken bereits erfolgreich eingesetzt, um schädliche Inhalte zu erkennen und präventive Maßnahmen zu ergreifen. KI-basierte Systeme zur Erkennung von Hasskommentaren sind seit langem im Einsatz und haben in anderen Bereichen, wie der Betrugserkennung im Finanzwesen, bereits hohe Erfolgsraten erzielt. Diese Technologien helfen nicht nur, potenziell schädliche Inhalte zu identifizieren, sondern bieten auch die Möglichkeit, präventiv einzugreifen, bevor aus Worten Taten werden.

Einen weiteren Beitrag zur Sensibilisierung leistet das Projekt X-Fem unserer Lamarr-Partnerorganisation Fraunhofer IAIS. Das Projekt richtet sich speziell an weibliche Auszubildende und will deren digitale Kompetenzen stärken. Im bald erscheinenden E-Learning werden unter anderem die Themen Fake News, Hate Speech und der verantwortungsvolle Umgang mit Künstlicher Intelligenz behandelt. Dies hilft, das Bewusstsein für die Problematik zu schärfen und gibt den Teilnehmer*innen die Werkzeuge an die Hand, um aktiv gegen digitale Gewalt vorzugehen.

Melde dich jetzt zum X-Fem-Newsletter an und erfahre mehr über das bald erscheinende E-Learning zu Fake News, Hate Speech und dem Umgang mit KI.

Dr. Anna Lena Emonds

Dr. Anna Lena Emonds ist Wissenschaftliche Mitarbeiterin am Fraunhofer IAIS. Sie hat in Bonn und Heidelberg Physik studiert und im Anschluss in Heidelberg in Informatik promoviert. Am Fraunhofer IAIS ist sie Projektleiterin für das Projekt X-Fem, welches weibliche Auszubildende in ihren digitalen Kompetenzen stärken und für die Beschäftigung mit Künstlicher Intelligenz begeistern möchte.

Julia Kaballo

Julia Kaballo ist Politikwissenschaftlerin und als PR-Referentin am Fraunhofer IAIS tätig. Dort betreut sie die Initiative „Roberta© – Lernen mit Robotern“ und beschäftigt sich im Projekt X-Fem mit den Themen Desinformation sowie Hate Speech und welche Auswirkungen KI darauf hat.

Weitere Blogartikel