Wenn wir künstliche Intelligenz (KI) für wichtige Aufgaben einsetzen, wollen wir, dass diese KI alle Menschen fair behandelt. Leider ist dies jedoch häufig nicht der Fall: Zum Beispiel musste Amazon 2018 ein System zur Vorauswahl von Bewerber innen aus dem Verkehr ziehen, weil dieses System systematisch Bewerbungen aussortierte, in denen das Wort „Frauen“ vorkam (zum Beispiel Kapitänin der Frauenfußballmannschaft). Daher gibt es eine rege Debatte darüber, wie KI-Systeme gestaltet werden können, damit sie faire Entscheidungen unterstützen. Diese stößt jedoch auf die elementare Frage, die weder mathematisch noch ethisch leicht zu beantworten ist: Wann genau ist ein System fair?
Warum sind KI-Systeme überhaupt unfair?
Im ersten Moment könnte man erwarten, dass KI-Systeme, die keine Vorurteile, individuellen Vorlieben oder eigene Agenda haben, automatisch faire Entscheidungen treffen. Doch künstliche Intelligenz braucht Daten und sie braucht Vorgaben, nach welchen Zusammenhängen sie in diesen Daten suchen soll. Eine KI zur Personalauswahl, die auf maschinellem Lernen beruht, kann zum Beispiel mithilfe von Daten aus früheren Bewerbungen darauf trainiert werden, in diesen Daten gute Bewerber*innen zu erkennen. Dazu müssen die Daten jedoch mit Labels versehen werden, bei wem es sich um eine*n gute*n Bewerber*in handelt. Sowohl der Datensatz als auch diese Labels können unsere unfaire Gesellschaft widerspiegeln – denn beides wird von menschlichen Entscheidungen beeinflusst. Menschliche Vorurteile können Teil des Datensatzes sein, wenn zum Beispiel ein Programm zur Personalauswahl Empfehlungsschreiben analysiert. Sie können das Aussehen des Datensatzes beeinflussen, wenn ein solches Programm fast nur mit Daten weißer Bewerber*innen trainiert wird. Oder sie können sich in den Entscheidungen der KI widerspiegeln, wenn diese darauf trainiert wird, menschliche Entscheidungen zu imitieren.
Welche Lösungen werden vorgeschlagen?
Eine erste gängige Reaktion auf dieses Problem ist, Informationen über die sogenannten geschützten Eigenschaften (zum Beispiel Geschlecht, Ethnie, Alter) zurückhalten zu wollen. Ähnliches wird auch oft bei menschlichen Entscheider*innen gemacht: Wenn etwa die Personalerin nicht weiß, dass ein Bewerber aus der Türkei stammt, kann sie ihn deswegen auch nicht benachteiligen. Im Fall von KI hat dieses Vorgehen jedoch ein Problem: Es ist die große Stärke von KI-Systemen, dass sie komplexe Zusammenhänge in großen Datensätzen entdecken. Die Zugehörigkeit zu einer geschützten Gruppe hinterlässt meist auch Spuren in den weiteren erhobenen Daten und KI-Systeme können diese Spuren nutzen. So kann es sein, dass ein Algorithmus, der keine direkten Informationen über das Geschlecht der Bewerber*innen erhält, dennoch Männer besser behandelt als Menschen anderen Geschlechts zum Beispiel, weil er Menschen aussortiert, die auf Schwangerschaften hindeutende Abwesenheitszeiten haben, Mitglied in bestimmten Vereinen sind oder einem Hobby nachgehen, das statistisch gesehen bei Männern eher unbeliebt ist.
Ein zweiter möglicher Ansatz ist, statistisch zu analysieren, ob das System verschiedene Gruppen (zum Beispiel verschiedene Geschlechter) ähnlich behandelt. Es ist dabei allgemein akzeptiert, dass ein solches KI-System nicht jede*n Bewerber*in korrekt klassifizieren würde. Manchmal werden also sehr fähige Bewerber*innen schlecht und manchmal weniger fähige Bewerber*innen sehr gut eingestuft. In einem fairen System sollten diese Fehler nicht zu Lasten einer bestimmten Gruppe gehen, es sollten also zum Beispiel nicht ständig qualifizierte Frauen oder nicht-binäre Personen abgelehnt und dafür weniger qualifizierte Männer eingeladen werden. Auf den ersten Blick könnte man erwarten, dass sich Fairness in diesem Sinne leicht mathematisch überprüfen lässt. Dabei gibt es jedoch ein Problem: Es gibt verschiedene plausible Kriterien dafür, wann ein System statistisch gesehen fair ist. In Bezug auf diese Kriterien kann mathematisch gezeigt werden, dass sie nicht gleichzeitig erfüllt werden können, wenn der Anteil an Qualifizierten innerhalb der verschiedenen Gruppen unterschiedlich groß ist.
Ein fairer Algorithmus? Szenario 1
Schauen wir uns hierzu einmal ein Beispiel mit Zahlen an (siehe Tabelle 1). Stellen wir uns vor, dass eine Personalerin ein KI-System nutzt, um Bewerbungen auszusortieren, die sie sich nicht anzuschauen braucht. Nehmen wir der Einfachheit halber an, wir haben ein Bewerberfeld aus 100 Frauen und 100 Männern. Von den Frauen sind 60 für die Aufgabe qualifiziert, von den Männern nur 20. Nehmen wir weiterhin an, wir haben einen Algorithmus, der von den 60 qualifizierten Frauen 48 an die Personalerin weiterleitet und von den 20 qualifizierten Männern 16. Außerdem würde er von den 30 nicht qualifizierten Frauen drei und von den 80 nicht qualifizierten Männern acht durchwinken. Analysieren wir diesen Algorithmus statistisch, würden wir feststellen, dass er unabhängig vom Geschlecht 80% der qualifizierten Personen korrekt erkennt und fälschlicherweise 10% der unqualifizierten Personen als qualifiziert markiert. In dieser Hinsicht ist der Algorithmus also fair. Schaut man sich dann allerdings die Bewerbungen auf dem Tisch der Personalerin an, wären unter den Männern 33% nicht qualifiziert (8 von 24), von den Frauen hingegen nur ca. 8% (4 von 52). Es bekommen also wesentlich mehr unqualifizierte Männer die Chance auf den Job als unqualifizierte Frauen, sowohl prozentual als auch in absoluten Zahlen.
Ein fairer Algorithmus? Szenario 2
Hält man dies für inakzeptabel, könnte man stattdessen ein System trainieren, in dem die Fehlerquote unter den ausgewählten Männern und Frauen jeweils ähnlich ist (siehe Tabelle 2). Eine Möglichkeit wäre hier, ein System zu finden, das bei ansonsten gleichen Zahlen nur einen einzigen unqualifizierten Mann auswählt. Damit würde sich aber zwangsweise auch eine andere Kenngröße verändern: Während auch hier 10% (4 von 40) der unqualifizierten Frauen eingeladen werden, ist es bei den unqualifizierten Männern nur noch etwa 1% (1 von 80). In diesem Szenario wäre also die Chance einer unqualifizierten Frau, dass ihre Bewerbung vom System akzeptiert wird, zehnmal so hoch wie die eines unqualifizierten Mannes. Auch dies kann man für unfair halten. Aufgrund der mathematischen Abhängigkeiten gibt es jedoch keine Möglichkeiten, ein System zu trainieren, das in all diesen Hinsichten ausgeglichen ist.
Welches dieser möglichen Szenarien nun den fairen (oder zumindest faireren) Ansatz darstellt, ist keine mathematische Frage, sondern hängt vom Kontext und von ethischen Überlegungen ab. In unserem Fall kann man es zum Beispiel für wichtig halten, dass die Wahrscheinlichkeit, dass eine unqualifizierte Bewerbung auf dem Tisch der Personalerin landet, für beide Gruppen gleich groß ist. Dann müsste man sich für Szenario 1 entscheiden. Alternativ könnte man aber auch den existierenden Ungleichheiten in unserer Gesellschaft entgegenwirken und daher die Wahrscheinlichkeit minimieren wollen, dass Stellen an nicht qualifizierte Männer gehen. Dies spräche für Szenario 2.
Was lernen wir daraus?
KI-Entscheidungen sind, wie wir feststellen konnten, keinesfalls automatisch fair und es gibt keinen einfachen mathematischen Weg, die Fairness einer KI-Entscheidung sicherzustellen. Stattdessen muss die Suche nach einem fairen KI-System auf bewussten, ethisch informierten Designentscheidungen beruhen, die die Zusammenhänge zwischen den benutzen Daten und bestehenden gesellschaftlichen Ungerechtigkeiten beachten. Sich diese Herausforderungen bewusst zu machen, ist der erste und notwendige Schritt hin zu faireren KI-Systemen.
