Im letzten Blogbeitrag ging es darum, wie man Bias im Zusammenhang mit Trainingsdaten vermeiden kann. Im Blogbeitrag dieser Woche befassen sich unsere Autor*innen mit demselben Thema, aber aus einer anderen Perspektive: Wie können wir, die Nutzer*innen von großen Sprachmodellen (LLMs) wie Chat GPT uns der Bias in deren Training bewusst sein?
Was ist ein Bias?
Als Unconscious Bias (auf deutsch: „unbewusste Voreingenommenheit“) werden die tief verwurzelten Annahmen bezeichnet, die unsere Wahrnehmung und unser Verhalten beeinflussen, ohne dass wir es merken. Dass jeder Mensch ein Unconscious Bias hat, ist einfach zu erklären und tatsächlich eine sinnvolle Methode des Gehirns: Um die ständige Flut an Informationen, die unser Gehirn erreichen, schnell verarbeiten und Entscheidungen treffen zu können, ist es notwendig, die Informationen zu kategorisieren und zu bewerten. Diese Automatismen werden jedoch problematisch, wenn sie zu voreingenommenen und unfairen Urteilen führen.
Bias in unseren Köpfen sind Bias in unseren LLMs
Beim Erscheinen dieses Blogartikels ist es drei Tage her, dass das Finale der EM 2024 stattgefunden hat. Europameister ist die spanische Mannschaft, die das Finale mit 2:1 gewonnen hat. Neben sportlichen Höchstleistungen, packenden Spielen und fröhlich feiernden Fans hat die EM noch etwas geliefert: Daten. Unmengen an Daten.
Jedes Spiel der EM liefert über drei Millionen Datenpunkte. Das Spielfeld wird durch Kameras erfasst, die die Bewegungen der Spieler und des Balls erfassen und so die Positions- und Aktionsdaten zugänglich machen. Daneben gibt es Datenlogger, welche manuell Daten erfassen, z.B. die Anzahl der Pässe, der Torschüsse und Zweikämpfe. Im Inneren des Spielballs befindet sich außerdem ein Sensor, der Positions- und Bewegungsdaten liefert – und tatsächlich bei der EM auch in strittigen Handspiel-Situationen Daten als Entscheidungsgrundlage geliefert hat. Teilweise tragen auch die Spieler selbst unter ihren Trikots Kleidungsstücke, die mittels GPS-Trackern und anderen Sensoren Bewegungs- und Leistungsdaten der Spieler aufzeichnen.
Lesen Sie jetzt noch einmal diesen Satz: “Beim Erscheinen dieses Blogartikels ist es drei Tage her, dass das Finale der EM 2024 stattgefunden hat”. Welches Bild erscheint vor Ihrem inneren Auge? Ganz klar, es geht um die Fußball-Europameisterschaft der Männer. In diesem konkreten Fall liegt das sicherlich daran, dass das Finale erst wenige Tage her ist. Aber wie ist das, wenn der Satz weder so spezifisch noch so frisch im Gedächtnis ist? Welches Bild entsteht jeweils in Ihrem Kopf bei den folgenden Sätzen?
- Der amtierende Weltmeister ist Deutschland.
- Der Friedensnobelpreis wurde 2023 an eine Person verliehen.
- Eine Familie sitzt in einem Restaurant in Rom und isst.
Jede*r von uns hat bei diesen Sätzen eine Vorstellung, die sich ganz individuell unterscheidet. Einfluss darauf haben u.a. unsere persönlichen Erfahrungen und Interessen, unser Vorwissen, unser kultureller Hintergrund. Diese Vorstellungen und Assoziationen sind häufig nicht neutral, sondern werden durch bewusste und unbewusste Voreingenommenheit geprägt, das sogenannte Bias. Beim ersten Satz „Der amtierende Weltmeister ist Deutschland“ entsteht in den Köpfen vieler Menschen ein Bild einer erfolgreichen Männerfußballmannschaft. Ebenso gut könnte es sich aber um eine Frauenfußballmannschaft oder eine ganz andere Sportart handeln. Tatsächlich trifft die Aussage zum jetzigen Zeitpunkt auch auf die Herrenmannschaften im Basketball und Hockey zu.
Beim zweiten Satz stellen sich viele Menschen wahrscheinlich ältere, weiße, männliche Personen aus reichen Ländern vor, obwohl der Preis ebenso an junge Menschen mit unterschiedlichen ethnischen Hintergründen verliehen worden sein könnte. Oder weiblich gelesene Personen. Der Friedensnobelpreis wurde 2023 etwa an Narges Mohammadi verliehen – eine iranische Aktivistin für Menschenrechte.
Der dritte Satz könnte das Bild einer traditionellen, italienischen Essensszene mit einer Familie bestehend aus Mutter, Vater und Kindern hervorrufen. In der Realität sehen Familien in ihrer Zusammensetzung sehr unterschiedlich aus und haben zudem diverse Essensgewohnheiten. Wenn es heißt, dass eine Familie in Rom isst, bedeutet das nicht unbedingt, dass die Familie italienischer Herkunft ist oder dass sie italienisches Essen isst.
Unconcious Bias wirkt sich auf viele Lebensbereiche aus, z. B. auf Arbeitsplatzentscheidungen, Bildungswege, Gesundheitsversorgung und persönliche Interaktionen und beeinflusst damit, wie wir Menschen einschätzen, wie wir mit ihnen interagieren und welche Chancen wir ihnen geben.
Wenn dies bereits zu problematischen Situationen und Diskriminierung in der Gesellschaft führt, kann dies mit dem Fortschritt von KI noch gravierender werden. Für das Schreiben dieses Blogartikels haben wir ChatGPT (basierend auf dem GPT-4o-Modell) Bilder zu den obigen drei Sätzen erstellen lassen. Dabei war der Prompt jeweils simpel gehalten: „Erstelle ein Bild zu diesem Satz: [SATZ]. Die Ergebnisse zeigen die Abbildungen 1-3 (Anmerkung: Die Bilder der deutschen und englischen Version dieses Blogposts unterscheiden sich leicht, da sie in der jeweiligen Sprache mit ChatGPT erstellt wurden. Die Aussage bleibt in beiden Versionen gleich).
Mit dem Wissen zu Unconcious Bias, Stereotypen und Vorurteilen wird schnell ersichtlich, dass die Ergebnisse von ChatGPT auf ähnlichen Annahmen basieren, wie wir sie haben. Doch wie kommt es dazu?
Daten und Künstliche Intelligenz
Die meisten Anwendungen mit Künstlicher Intelligenz (KI), die wir heute kennen und nutzen, basieren auf Maschinellen Lernen (ML), einem Teilgebiet von KI. Wer tiefer in die Details von Maschinellem Lernen einsteigen möchte, erfährt in der Reihe ML Basics viele spannende Einblicke in die Grundlagen von ML. Für diesen Artikel reicht uns jedoch ein Grundverständnis von Maschinellem Lernen aus: Das System lernt Muster und Zusammenhänge in Daten und erstellt daraus ein Wahrscheinlichkeitsmodell. Dieses Modell kann dann genutzt werden, um Vorhersagen zu treffen oder neue Inhalte zu generieren. Für den Lernprozess benötigt das System also eins: Daten. Und zwar Unmengen davon.
Da sind wir also wieder bei der EM…Große Datenmengen werden aber nicht nur während eines großen Fußballturniers gesammelt, sondern jeden Tag in ganz verschiedenen Situationen – online und offline, im privaten Rahmen und auch in größeren Kontexten. Wenn wir Webseiten besuchen, Fotos auf Instagram hochladen, bei Amazon einkaufen, an Gewinnspielen teilnehmen, in einem Verein Mitglied werden, im Supermarkt mit Karte bezahlen, in der Bibliothek ein Buch ausleihen oder einen Termin beim Arzt wahrnehmen. Die Infografik „Data never sleeps 11.0“ von Domo zeigt eindrucksvoll, welche Datenmengen in jeder einzelnen Minute anfallen.
Erst durch die Verfügbarkeit von großen Mengen an Daten wurde Maschinelles Lernen und damit die Entwicklung mächtiger (generativer) KI-Systeme in diesem Ausmaß möglich. Die verwendeten Daten bilden die Grundlage für den Trainingsprozess und ein KI-System kennt nach dem Lernprozess genau das, was es aus den Trainingsdaten lernt und ableitet. Die Qualität der Ausgabe eines KI-Systems hängt also direkt von der Qualität der Datengrundlage ab: Sind Daten unvollständig oder fehlerhaft, können auch unvollständige und fehlerhafte Ergebnisse entstehen.
Problematisch wird es insbesondere dann, wenn Daten von Menschen betroffen sind oder die Ergebnisse des KI-Systems eine direkte Auswirkung auf Menschen haben. Ist in den Trainingsdaten ein Bias, eine Verzerrung, enthalten, lernt das KI-System diese Vorurteile, Stereotype oder verzerrte Sicht und reproduziert potenziell gesellschaftliche Diskriminierungsstrukturen, Sexismus, Rassismus, Klassismus, Ableismus, Vorurteile und Machtstrukturen. ChatGPT als Beispiel textgenerierender KI wurde beispielsweise auf Basis existierender Texte aus unterschiedlichen Quellen des Internets wie Wikipedia-Artikeln, Büchern und öffentlichen Webseiten trainiert. Diese Texte aus dem Internet spiegeln den gesellschaftlichen Status Quo und die Vergangenheit wider, inklusive aller Stereotype und Vorurteile. Gibt es dadurch in den Trainingsdaten beispielsweise deutlich mehr Texte über männliche Nobelpreisträger, wird das gelernte Wahrscheinlichkeitsmodell annehmen, dass ein generischer Nobelpreisträger männlich ist.
Wie können wir Bias verhindern – zwei Lösungsansätze
Bei der Verwendung von Datensätzen für Maschinelles Lernen gibt es also Hürden, die es zu beachten gibt, um Bias und damit eine Benachteiligung bestimmter Gruppen zu verhindern. Wir können das Problem in LLMs dabei auf zwei Arten verringern:
- Als Entwickler*in von Large Language Models muss man dafür sorgen, dass es eine ausgewogene und diverse Datengrundlage gibt, um Diversität in den Ausgaben von KI-Systemen abzubilden und zu erreichen. Insbesondere muss die Datengrundlage vollständig, genau, konsistent, eindeutig, aktuell und frei von Stereotypen, Vorurteilen und „-ismen“ sein.
Dass bei der Erstellung einer solchen Datengrundlage viele Fallstricke lauern, zeigt dieses Beispiel: Eine Firma möchte den Bewerbungsprozess automatisieren und ein KI-System trainieren, dass die Bewerbungen vorsortiert. Für das Unternehmen arbeiten bisher vor allem Männer. Als Trainingsgrundlage werden die erfolgreichen Bewerbungsunterlagen der vergangenen Jahre genutzt. Um keinen Gender Bias in die Datengrundlage einzubringen, werden die Namen und Geschlechtsidentität aus dem Trainingsdatensatz entfernt. Trotzdem werden im Ergebnis Männer bevorzugt als geeignete Kandidaten vorgeschlagen. Woran liegt das? Auch wenn explizite Merkmale vor dem Training ausgeschlossen wurden, ist das Geschlecht implizit enthalten, z.B. durch den Besuch einer Mädchenschule oder die Mitgliedschaft im Männer-Handball-Team. In unserem letzten Blogbeitrag erfahren Sie noch mehr darüber, wie man Bias in Trainingsdaten vermeiden kann. - Als LLM-Nutzer*in, muss jede*r von uns in Hinblick auf diskriminierende Muster, Stereotype und Vorurteile sensibilisiert sein. So kann jede*r aktiv dazu beitragen, dass die Trainingsdaten diverser werden und die Vielfalt der Menschen angemessen repräsentieren. Im Falle von ChatGPT ist es zudem möglich, auf Inhalte mit einer „schlechten Reaktion“ zu reagieren und diese zu begründen. Tatsächlich zeigen Tests, dass mit der Weiterentwicklung der Modelle auch Bias in den Antworten weniger werden. In diversen Teams fallen unvollständige Datengrundlagen oder diskriminierende Ausgaben früher auf.
Einen Beitrag zur Sensibilisierung leistet das Projekt X-Fem unserer Lamarr-Partnerorganisation Fraunhofer IAIS. Das Projekt richtet sich speziell an weibliche Auszubildende und will deren digitale Kompetenzen stärken. Im bald erscheinenden E-Learning werden unter anderem die Bereiche Fake News/Desinformation, Hate Speech oder Künstliche Intelligenz behandelt.
Du willst deine eigene Medienkompetenz stärken? Dann melde dich jetzt zum Newsletter an und erfahre als erstes vom Start des E-Learnings von X-Fem.