{"id":13079,"date":"2024-07-17T06:44:55","date_gmt":"2024-07-17T06:44:55","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&#038;p=13079"},"modified":"2025-11-12T14:51:11","modified_gmt":"2025-11-12T14:51:11","slug":"large-language-models-llm-vermeiden-bias","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/large-language-models-llm-vermeiden-bias\/","title":{"rendered":"Bewusste Nutzung von Large Language Models: Wie lassen sich Bias vermeiden?\u00a0"},"content":{"rendered":"\n<p>Im letzten <a href=\"https:\/\/lamarr-institute.org\/de\/blog\/ki-trainingsdaten-bias\/\" target=\"_blank\" rel=\"noreferrer noopener\">Blogbeitrag<\/a> ging es darum, wie man Bias im Zusammenhang mit Trainingsdaten vermeiden kann. Im Blogbeitrag dieser Woche befassen sich unsere Autor*innen&nbsp;mit demselben Thema, aber aus einer anderen Perspektive: Wie k\u00f6nnen wir, die Nutzer*innen von gro\u00dfen Sprachmodellen (LLMs) wie Chat GPT uns der Bias in deren Training bewusst sein?&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Was ist ein Bias?&nbsp;&nbsp;<\/h2>\n\n\n\n<p>Als Unconscious Bias (auf deutsch: \u201eunbewusste Voreingenommenheit\u201c) werden die tief verwurzelten Annahmen bezeichnet, die unsere Wahrnehmung und unser Verhalten beeinflussen, ohne dass wir es merken. Dass jeder Mensch ein Unconscious Bias hat, ist einfach zu erkl\u00e4ren und tats\u00e4chlich eine sinnvolle Methode des Gehirns: Um die st\u00e4ndige Flut an Informationen, die unser Gehirn erreichen, schnell verarbeiten und Entscheidungen treffen zu k\u00f6nnen, ist es notwendig, die Informationen zu kategorisieren und zu bewerten. Diese Automatismen werden jedoch problematisch, wenn sie zu voreingenommenen und unfairen Urteilen f\u00fchren.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Bias in unseren K\u00f6pfen sind Bias in unseren LLMs<\/h2>\n\n\n\n<p>Beim Erscheinen dieses Blogartikels ist es drei Tage her, dass das Finale der EM 2024 stattgefunden hat. Europameister ist die spanische Mannschaft, die das Finale mit 2:1 gewonnen hat. Neben sportlichen H\u00f6chstleistungen, packenden Spielen und fr\u00f6hlich feiernden Fans hat die EM noch etwas geliefert: Daten. Unmengen an Daten.&nbsp;<\/p>\n\n\n\n<p>Jedes Spiel der EM liefert \u00fcber drei Millionen Datenpunkte. Das Spielfeld wird durch Kameras erfasst, die die Bewegungen der Spieler und des Balls erfassen und so die Positions- und Aktionsdaten zug\u00e4nglich machen. Daneben gibt es&nbsp;Datenlogger, welche manuell Daten erfassen, z.B. die Anzahl der P\u00e4sse, der Torsch\u00fcsse und Zweik\u00e4mpfe. Im Inneren des Spielballs befindet sich au\u00dferdem ein Sensor, der Positions- und Bewegungsdaten liefert \u2013 und <a href=\"https:\/\/www.zdf.de\/nachrichten\/sport\/fussball-em-2024-belgien-handspiel-tor-slowakei-chip-ball-100.html\" target=\"_blank\" rel=\"noreferrer noopener\">tats\u00e4chlich bei der EM auch in strittigen Handspiel-Situationen Daten als Entscheidungsgrundlage geliefert hat<\/a>. Teilweise tragen auch die Spieler selbst unter ihren Trikots&nbsp;Kleidungsst\u00fccke, die mittels GPS-Trackern und anderen Sensoren Bewegungs- und Leistungsdaten der Spieler aufzeichnen.&nbsp;&nbsp;<\/p>\n\n\n\n<p>Lesen Sie jetzt noch einmal diesen Satz:&nbsp; \u201cBeim Erscheinen dieses Blogartikels ist es drei Tage her, dass das Finale der EM 2024 stattgefunden hat\u201d. Welches Bild erscheint vor Ihrem inneren Auge? Ganz klar, es geht um die Fu\u00dfball-Europameisterschaft der M\u00e4nner. In diesem konkreten Fall liegt das&nbsp;sicherlich daran, dass das Finale erst wenige Tage her ist. Aber wie ist das, wenn der Satz weder so spezifisch noch so frisch im Ged\u00e4chtnis ist?&nbsp; Welches Bild entsteht jeweils in Ihrem Kopf bei den folgenden S\u00e4tzen?&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Der amtierende Weltmeister ist Deutschland.&nbsp;<\/li>\n\n\n\n<li>Der Friedensnobelpreis wurde 2023 an eine Person verliehen.&nbsp;<\/li>\n\n\n\n<li>Eine Familie sitzt in einem Restaurant in Rom und isst.&nbsp;<\/li>\n<\/ul>\n\n\n\n<p>Jede*r von uns hat bei diesen S\u00e4tzen eine Vorstellung, die sich ganz individuell unterscheidet. Einfluss darauf haben u.a. unsere pers\u00f6nlichen Erfahrungen und Interessen, unser Vorwissen, unser kultureller Hintergrund. Diese Vorstellungen und Assoziationen sind h\u00e4ufig nicht neutral, sondern werden durch bewusste und unbewusste Voreingenommenheit gepr\u00e4gt, das sogenannte Bias. Beim ersten Satz \u201eDer amtierende Weltmeister ist Deutschland\u201c entsteht in den K\u00f6pfen vieler Menschen ein Bild einer erfolgreichen M\u00e4nnerfu\u00dfballmannschaft. Ebenso gut k\u00f6nnte es sich aber um eine Frauenfu\u00dfballmannschaft oder eine ganz andere Sportart handeln. Tats\u00e4chlich trifft die Aussage zum jetzigen Zeitpunkt auch auf die Herrenmannschaften im Basketball und Hockey zu.&nbsp;&nbsp;<\/p>\n\n\n\n<p>Beim zweiten Satz stellen sich viele Menschen wahrscheinlich \u00e4ltere, wei\u00dfe, m\u00e4nnliche Personen aus reichen L\u00e4ndern vor, obwohl der Preis ebenso an junge Menschen mit unterschiedlichen ethnischen Hintergr\u00fcnden verliehen worden sein k\u00f6nnte. Oder weiblich gelesene Personen. Der Friedensnobelpreis wurde 2023 etwa an Narges Mohammadi verliehen \u2013 eine iranische Aktivistin f\u00fcr Menschenrechte. &nbsp;<\/p>\n\n\n\n<p>Der dritte Satz k\u00f6nnte das Bild einer traditionellen, italienischen Essensszene mit einer Familie bestehend aus Mutter, Vater und Kindern hervorrufen. In der Realit\u00e4t sehen Familien in ihrer Zusammensetzung sehr unterschiedlich aus und haben zudem diverse Essensgewohnheiten. Wenn es hei\u00dft, dass eine Familie in Rom isst, bedeutet das nicht unbedingt, dass die Familie italienischer Herkunft ist oder dass sie italienisches Essen isst.&nbsp;<\/p>\n\n\n\n<p>Unconcious Bias wirkt sich auf viele Lebensbereiche aus, z. B. auf Arbeitsplatzentscheidungen, Bildungswege, Gesundheitsversorgung und pers\u00f6nliche Interaktionen und beeinflusst damit, wie wir Menschen einsch\u00e4tzen, wie wir mit ihnen interagieren und welche Chancen wir ihnen geben.&nbsp;&nbsp;<\/p>\n\n\n\n<p>Wenn dies bereits zu problematischen Situationen und Diskriminierung in der Gesellschaft f\u00fchrt, kann dies&nbsp;mit dem Fortschritt von KI noch gravierender&nbsp;werden.&nbsp; F\u00fcr das Schreiben dieses Blogartikels haben wir ChatGPT (basierend auf dem GPT-4o-Modell) Bilder zu den obigen drei S\u00e4tzen erstellen lassen. Dabei war der Prompt jeweils simpel gehalten: \u201eErstelle ein Bild zu diesem Satz: [SATZ]. Die Ergebnisse zeigen die Abbildungen 1-3 (Anmerkung: Die Bilder der deutschen und englischen Version dieses Blogposts unterscheiden sich leicht, da sie in der jeweiligen Sprache mit ChatGPT erstellt wurden. Die Aussage bleibt in beiden Versionen gleich).&nbsp;<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"454\" height=\"283\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild1-3.png\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-13080\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild1-3.png 454w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild1-3-300x187.png 300w\" sizes=\"auto, (max-width: 454px) 100vw, 454px\" \/><figcaption class=\"wp-element-caption\"><em>Abbildung 1: Bild generiert mit ChatGPT (GPT-4o) mit dem Prompt &#8222;Erstelle ein Bild zu diesem Satz: \u2018Der amtierende Weltmeister ist Deutschland.\u2019 &#8220;&nbsp;<\/em>&nbsp;<\/figcaption><\/figure>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"605\" height=\"406\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild2-2.png\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-13082\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild2-2.png 605w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild2-2-300x201.png 300w\" sizes=\"auto, (max-width: 605px) 100vw, 605px\" \/><figcaption class=\"wp-element-caption\"><em><em>Abbildung <em>2<\/em>: Bild generiert mit ChatGPT (GPT-4o) mit dem Prompt: &#8222;Erstelle ein Bild zu diesem Satz: \u2018Der Nobelpreis wurde 2023 an eine Person verliehen.\u2019 &#8220;&nbsp;<\/em>&nbsp;<\/em><\/figcaption><\/figure>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"454\" height=\"269\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild3.png\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-13084\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild3.png 454w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bild3-300x178.png 300w\" sizes=\"auto, (max-width: 454px) 100vw, 454px\" \/><figcaption class=\"wp-element-caption\"><em>Abbildung <em>3<\/em>: Bild generiert mit ChatGPT (GPT-4o) mit dem Prompt: \u201eErstelle ein Bild zu diesem Satz: \u2018Eine Familie sitzt in einem Restaurant in Rom und isst.\u2019 \u201c&nbsp;<\/em><\/figcaption><\/figure>\n\n\n\n<p>Mit dem Wissen zu Unconcious Bias, Stereotypen und Vorurteilen wird schnell ersichtlich, dass die Ergebnisse von ChatGPT auf \u00e4hnlichen Annahmen basieren, wie wir sie haben. Doch wie kommt es dazu?&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Daten und K\u00fcnstliche Intelligenz&nbsp;<\/h2>\n\n\n\n<p>Die meisten Anwendungen mit K\u00fcnstlicher Intelligenz (KI), die wir heute kennen und nutzen, basieren auf Maschinellen Lernen (ML), einem Teilgebiet von KI. Wer tiefer in die Details von Maschinellem Lernen einsteigen m\u00f6chte, erf\u00e4hrt\u00a0in den <a href=\"https:\/\/lamarr-institute.org\/de\/blog-kategorie\/grundlagen\/\">Grundlagen Blogbeitr\u00e4ge<\/a> viele spannende Einblicke in die Grundlagen von ML. F\u00fcr diesen Artikel reicht uns jedoch ein Grundverst\u00e4ndnis von Maschinellem Lernen aus: Das System lernt Muster und Zusammenh\u00e4nge in Daten und erstellt daraus ein <em>Wahrscheinlichkeitsmodell<\/em>. Dieses Modell kann dann genutzt werden, um Vorhersagen zu treffen oder neue Inhalte zu generieren. F\u00fcr den Lernprozess ben\u00f6tigt das System also eins: Daten. Und zwar Unmengen davon.\u00a0\u00a0<\/p>\n\n\n\n<p>Da sind wir also wieder bei der EM&#8230;Gro\u00dfe Datenmengen werden aber nicht nur w\u00e4hrend eines gro\u00dfen Fu\u00dfballturniers gesammelt, sondern jeden Tag in ganz verschiedenen Situationen \u2013 online und offline, im privaten Rahmen und auch in gr\u00f6\u00dferen Kontexten. Wenn wir Webseiten besuchen, Fotos auf Instagram hochladen, bei Amazon einkaufen, an Gewinnspielen teilnehmen, in einem Verein Mitglied werden, im Supermarkt mit Karte bezahlen, in der Bibliothek ein Buch ausleihen oder einen Termin beim Arzt wahrnehmen. Die <a href=\"https:\/\/www.domo.com\/learn\/infographic\/data-never-sleeps-11\" target=\"_blank\" rel=\"noreferrer noopener\">Infografik \u201eData never&nbsp; sleeps 11.0\u201c von Domo<\/a> zeigt eindrucksvoll, welche Datenmengen in jeder einzelnen Minute anfallen.&nbsp;&nbsp;&nbsp;&nbsp;<\/p>\n\n\n\n<p>Erst durch die Verf\u00fcgbarkeit von gro\u00dfen Mengen an Daten wurde Maschinelles Lernen und damit die Entwicklung m\u00e4chtiger (generativer) KI-Systeme in diesem Ausma\u00df m\u00f6glich. Die verwendeten Daten bilden die Grundlage f\u00fcr den Trainingsprozess und ein KI-System kennt nach dem Lernprozess genau das, was es aus den Trainingsdaten lernt und ableitet. Die Qualit\u00e4t der Ausgabe eines KI-Systems h\u00e4ngt also direkt von der Qualit\u00e4t der Datengrundlage ab: Sind Daten unvollst\u00e4ndig oder fehlerhaft, k\u00f6nnen auch unvollst\u00e4ndige und fehlerhafte Ergebnisse entstehen.&nbsp;<\/p>\n\n\n\n<p>Problematisch wird es insbesondere dann, wenn Daten von Menschen betroffen sind oder die Ergebnisse des KI-Systems eine direkte Auswirkung auf Menschen haben. Ist in den Trainingsdaten ein Bias, eine Verzerrung, enthalten, lernt das KI-System diese Vorurteile, Stereotype oder verzerrte Sicht und reproduziert potenziell gesellschaftliche Diskriminierungsstrukturen, Sexismus, Rassismus, Klassismus, Ableismus, Vorurteile und Machtstrukturen. ChatGPT als Beispiel textgenerierender KI wurde beispielsweise auf Basis existierender Texte aus unterschiedlichen Quellen des Internets wie Wikipedia-Artikeln, B\u00fcchern und \u00f6ffentlichen Webseiten trainiert. Diese Texte aus dem Internet spiegeln den gesellschaftlichen Status Quo und die Vergangenheit wider, inklusive aller Stereotype und Vorurteile. Gibt es dadurch in den Trainingsdaten beispielsweise deutlich mehr Texte \u00fcber m\u00e4nnliche Nobelpreistr\u00e4ger, wird das gelernte Wahrscheinlichkeitsmodell annehmen, dass ein generischer Nobelpreistr\u00e4ger m\u00e4nnlich ist.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Wie k\u00f6nnen wir Bias verhindern \u2013 zwei L\u00f6sungsans\u00e4tze&nbsp;&nbsp;<\/h2>\n\n\n\n<p>Bei der Verwendung von Datens\u00e4tzen f\u00fcr Maschinelles Lernen gibt es also H\u00fcrden, die es zu beachten gibt, um Bias und damit eine Benachteiligung bestimmter Gruppen zu verhindern. Wir k\u00f6nnen das Problem in&nbsp;LLMs dabei auf zwei Arten verringern:&nbsp;&nbsp; &nbsp;<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li>Als Entwickler*in von Large Language Models muss man daf\u00fcr sorgen, dass es eine ausgewogene und diverse Datengrundlage gibt, um Diversit\u00e4t in den Ausgaben von KI-Systemen abzubilden und zu erreichen. Insbesondere muss die Datengrundlage <em>vollst\u00e4ndig, genau, konsistent, eindeutig, aktuell und frei von Stereotypen, Vorurteilen und \u201e-ismen\u201c sein<\/em>. &nbsp;<br>Dass bei der Erstellung einer solchen Datengrundlage viele Fallstricke lauern, zeigt dieses Beispiel: Eine Firma m\u00f6chte den Bewerbungsprozess automatisieren und ein KI-System trainieren, dass die Bewerbungen vorsortiert. F\u00fcr das Unternehmen arbeiten bisher vor allem M\u00e4nner. Als Trainingsgrundlage werden die erfolgreichen Bewerbungsunterlagen der vergangenen Jahre genutzt. Um keinen Gender Bias in die Datengrundlage einzubringen, werden die Namen und Geschlechtsidentit\u00e4t aus dem Trainingsdatensatz entfernt. Trotzdem werden im Ergebnis M\u00e4nner bevorzugt als geeignete Kandidaten vorgeschlagen. Woran liegt das? Auch wenn explizite Merkmale vor dem Training ausgeschlossen wurden, ist das Geschlecht implizit enthalten, z.B. durch den Besuch einer M\u00e4dchenschule oder die Mitgliedschaft im M\u00e4nner-Handball-Team. In unserem letzten <a href=\"https:\/\/lamarr-institute.org\/de\/blog\/ki-trainingsdaten-bias\/\" target=\"_blank\" rel=\"noreferrer noopener\">Blogbeitrag<\/a> erfahren Sie noch mehr dar\u00fcber, wie man Bias in Trainingsdaten vermeiden kann.&nbsp;&nbsp;<\/li>\n\n\n\n<li>Als LLM-Nutzer*in, muss jede*r von uns in Hinblick auf diskriminierende Muster, Stereotype und Vorurteile sensibilisiert sein. So kann jede*r aktiv dazu beitragen, dass die Trainingsdaten diverser werden und die Vielfalt der Menschen angemessen repr\u00e4sentieren. Im Falle von ChatGPT ist es zudem m\u00f6glich, auf Inhalte mit einer \u201eschlechten Reaktion\u201c zu reagieren und diese zu begr\u00fcnden. Tats\u00e4chlich zeigen Tests, dass mit der Weiterentwicklung der Modelle auch Bias in den Antworten weniger werden. In diversen Teams fallen unvollst\u00e4ndige Datengrundlagen oder diskriminierende Ausgaben fr\u00fcher auf.&nbsp;&nbsp;<\/li>\n<\/ol>\n\n\n\n<p>Einen Beitrag zur Sensibilisierung leistet das Projekt X-Fem unserer Lamarr-Partnerorganisation Fraunhofer IAIS. Das Projekt richtet sich speziell an weibliche Auszubildende und will deren digitale Kompetenzen st\u00e4rken. Im bald erscheinenden E-Learning werden unter anderem die Bereiche <a href=\"https:\/\/lamarr-institute.org\/de\/blog\/2024-wahlen-deepfakes\/\" target=\"_blank\" rel=\"noreferrer noopener\">Fake News\/Desinformation<\/a>, Hate Speech oder K\u00fcnstliche Intelligenz behandelt.&nbsp;<\/p>\n\n\n\n<p>Du willst deine eigene Medienkompetenz st\u00e4rken? Dann melde dich <a href=\"https:\/\/x-fem.de\/\" target=\"_blank\" rel=\"noreferrer noopener\">jetzt zum Newsletter<\/a> an und erfahre als erstes vom Start des E-Learnings von X-Fem.&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Bias in Trainingsdaten von Large Language Models sind ein Problem. Lernen Sie, die Auswirkungen unbewusster Voreingenommenheiten zu erkennen und zu minimieren, um fairere und vielf\u00e4ltigere Ergebnisse zu erzielen. <\/p>\n","protected":false},"author":22,"featured_media":13078,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1478,1531,1551,1593,1598,1613,1454],"class_list":["post-13079","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-datensatz","blog-tag-ki-ethik","blog-tag-large-language-models-llms-de","blog-tag-sichere-ki","blog-tag-sprachmodelle","blog-tag-trainingsdaten","blog-tag-verzerrung-bias"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/13079","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/22"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/13079\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/13078"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=13079"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=13079"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=13079"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}