![\"The](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/energy_label_Abbildung-194x300.jpg\" "\\"\\"")
\u00a9 Raphael Fischer<\/figcaption><\/figure>\n\n\n\n
Qualitative Studie zur Praktischen Evaluation<\/h2>\n\n\n\n
Um den praktischen Nutzen von KI-Labeling zu evaluieren, wurde eine qualitative Nutzer*innenstudie durchgef\u00fchrt. Mithilfe von Interviews wurden daf\u00fcr die vorgeschlagenen KI-Labels hinsichtlich zentraler Forschungsfragen untersucht: <\/p>\n\n\n\n
- \n
- Wer ist an KI-Labels interessiert und welche Herausforderungen erleben sie beim Einsatz oder der Entwicklung von KI? <\/li>\n<\/ol>\n\n\n\n
- \n
- Welche praktischen Vorteile und Grenzen hat die Kennzeichnung des Verhaltens von KI-Modellen? <\/li>\n<\/ol>\n\n\n\n
- \n
- Wie werden KI-Labels im Vergleich zu anderen Informationsformaten wahrgenommen? <\/li>\n<\/ol>\n\n\n\n
- \n
- Wie wirken sich KI-Labels und dazugeh\u00f6rige Zertifizierungsstellen auf das Vertrauen in KI-Systeme aus? <\/li>\n<\/ol>\n\n\n\n
Entlang der Forschungsfragen wurde ein Interviewleitfaden erstellt und ein Aufruf zur Studie ver\u00f6ffentlicht. Insgesamt wurden 16 Teilnehmende, darunter Entwickler*innen, Anwender*innen und Interessierte ohne Fachwissen, in halbstrukturierten Interviews zu ihren Erfahrungen und Einsch\u00e4tzungen befragt. Basierend auf dem Leitfaden wurden die Interviewten zun\u00e4chst gebeten, sich selbst und ihr Verh\u00e4ltnis zu KI vorzustellen sowie ihre allt\u00e4glichen Herausforderungen zu beschreiben. Anschlie\u00dfend wurde ihnen ein Prototyp eines KI-Labels pr\u00e4sentiert, welchen sie beschreiben und m\u00f6gliche Vor- und Nachteile nennen sollten. Anschlie\u00dfend wurde ein zweites KI-Label pr\u00e4sentiert, woraufhin die Befragten die M\u00f6glichkeit hatten, diese miteinander zu vergleichen und weitere Punkte zu nennen, die sie hilfreich oder verwirrend fanden. Im dritten Teil des Interviewleitfadens stellten die Interviewer*innen den Teilnehmer*innen verschiedene Berichts- und Darstellungsweisen vor, welche die Befragten mit der Darstellungsform des KI-Labels vergleichen sollten. Zuletzt ging es um die Vertrauensw\u00fcrdigkeit, Zertifizierung und Regulierung der KI-Labels. Die Teilnehmenden wurden gefragt, wer KI-Labels erstellen und herausgeben k\u00f6nnte, sowie welcher Instanz sie am ehesten Vertrauen schenken w\u00fcrden. Die Interviews wurden aufgezeichnet, transkribiert<\/a>, codiert und qualitativ ausgewertet. Dabei wurde ein induktiver Ansatz<\/a> gew\u00e4hlt, das Codesystem iterativ angepasst und die Intercoder-Reliabilit\u00e4t<\/a> gepr\u00fcft. <\/p>\n\n\n\n
Von der Theorie zur Praxis: Was KI-Labels leisten m\u00fcssen<\/h2>\n\n\n\n
Um herauszufinden, was bei der Entwicklung von KI-Labels ber\u00fccksichtigt werden muss, wurden zun\u00e4chst die diversen Gruppen von Nutzenden sowie deren Bed\u00fcrfnisse und Anforderungen erfasst. In der Analyse zeigte sich, dass KI-Labeling sowohl f\u00fcr Nutzer*innen, Manager*innen, Kund*innen, Expert*innen und Entwickler*innen von KI n\u00fctzlich sein kann. Die Vorkenntnisse und Anforderungen dieser unterschiedlichen Gruppen sind ebenso divers wie die daraus resultierenden Herausforderungen im Umgang mit KI. <\/p>\n\n\n\n
Die meisten Teilnehmenden betonten die Vorhersagegenauigkeit und die Leistungsf\u00e4higkeit als zentrale Anforderungen an K\u00fcnstliche Intelligenz. Auch die Verf\u00fcgbarkeit der Daten sowie der Schutz pers\u00f6nlicher und sensibler Informationen war den Befragten besonders wichtig. Die Kommunikation \u00fcber die Modelle wurde von vielen als besonders herausfordernd empfunden, wof\u00fcr oft Probleme hinsichtlich Verst\u00e4ndlichkeit und Transparenz als Ursache benannt wurden. Wissensl\u00fccken zwischen Beteiligten sowie fehlende Aufkl\u00e4rung in Unternehmen behindern au\u00dferdem anscheinend zudem die Mitarbeitendeneinbindung und verst\u00e4rken Unsicherheiten im Umgang mit neuen KI-Tools. <\/p>\n\n\n\n
Hervorgehoben wurden durch die Befragten vor allem die Kommunikationsl\u00fccken sowie die Verst\u00e4ndlichkeit und Transparenz bei KI-Modellen. Das KI-Label, das den Teilnehmenden pr\u00e4sentiert wurde, wurde als hilfreiches Mittel zur F\u00f6rderung von Kommunikation und Wissensvermittlung wahrgenommen. Als besonders hilfreich galt die \u00fcbersichtliche Darstellung, da diese die Vergleichbarkeit der Modelle erleichtern w\u00fcrde sowie Entscheidungsprozesse unterst\u00fctzen k\u00f6nne. Auch das Design und die Farbcodierung wurden gelobt. Unter anderem f\u00f6rdere die Darstellungsweise das Bewusstsein f\u00fcr den Zusammenhang zwischen Nachhaltigkeit und Effizienz. KI-Labels k\u00f6nnen also nicht nur informativ sein, sondern auch als Entscheidungshelfer in Sachen Nachhaltigkeit fungieren, indem sie die Aufmerksamkeit auf nachhaltigkeitsrelevante Merkmale wie den Energieverbrauch lenken. <\/p>\n\n\n\n
Obwohl die vereinfachte Darstellung der KI-Labels als ein Vorteil genannt wurde, erkennen einige der Befragten auch eine Gefahr, denn der Verlust von Tiefe k\u00f6nne zu Missverst\u00e4ndnissen f\u00fchren. Besonders der Begriff \u201eRobustness\u201c, die Gewichtung der Metriken und der Gesamtscore f\u00fchrten bei den Teilnehmenden zu Missinterpretationen. Auch die Farbcodierung wurde teilweise kritisiert, da sie f\u00fcr farbenblinde Personen nicht barrierefrei sei. Als L\u00f6sungen schlugen die Teilnehmenden zus\u00e4tzliche Buchstabenbewertungen, R\u00fcckseiten mit Erkl\u00e4rungen und interaktive KI-Labels vor, die je nach Zielgruppe unterschiedliche Informationen enthalten. <\/p>\n\n\n\n
Im Vergleich mit anderen Kommunikationsformen kann die bereits erw\u00e4hnte fehlende Tiefe der KI-Label ein Nachteil sein. Jedoch sei keine der Berichtsformen so einfach und zeiteffizient wie das Label. Zus\u00e4tzlich sehe man bei dem Label die wichtigsten Punkte auf einen Blick. Viele der Beteiligten gaben an, dass sie das KI-Label als eine Art Zwischenl\u00f6sung sehen w\u00fcrden und es als Erg\u00e4nzung zu den anderen Berichtsformen verwenden w\u00fcrden, welche alle Beteiligten zusammenbringen k\u00f6nne. <\/p>\n\n\n\n
Bei der Frage, ob KI-Labels daf\u00fcr geeignet sind, Vertrauen herzustellen, gab es unterschiedliche Sichtweisen. Einige sahen in den von Fachleuten gepr\u00fcften KI-Labels ein hilfreiches Tool, w\u00e4hrend andere daran zweifelten, ob Kennzahlen daf\u00fcr ausreichen, Vertrauen zu schaffen. Zentral war in diesem Zusammenhang auch die Frage nach der Glaubw\u00fcrdigkeit der m\u00f6glichen ausstellenden Institution. Einige sind der Meinung, dass sie die Modelle lieber selbst testen w\u00fcrden, w\u00e4hrend andere die Verl\u00e4sslichkeit der verantwortlichen Autorit\u00e4ten mit in Betracht ziehen. Die H\u00e4lfte der Interviewten \u00e4u\u00dfert Zweifel an der Objektivit\u00e4t m\u00f6glicher ausstellender Institutionen, da sie bestochen werden k\u00f6nnten oder das System austricksen k\u00f6nnten, wie es bei anderen Siegeln schon vorgekommen sei. Wer genau diese Aufgabe \u00fcbernehmen soll, blieb offen, denn eine klare Zust\u00e4ndigkeit konnte niemand benennen. Deutlich wurde jedoch: Ob Labels Vertrauen schaffen k\u00f6nnen, h\u00e4ngt stark vom Vorwissen der jeweiligen Zielgruppe ab. Je nach Kenntnisstand unterscheiden sich die Erwartungen an Glaubw\u00fcrdigkeit teils erheblich.<\/p>\n\n\n\n
Fazit: Warum KI-Labels wichtig, relevant und wertvoll sind<\/h2>\n\n\n\n
Die zunehmende Verbreitung von K\u00fcnstlicher Intelligenz stellt Organisationen vor neue Herausforderungen, insbesondere in der Kommunikation \u00fcber komplexe Systeme. Unterschiedliche Wissensst\u00e4nde, fehlende Transparenz und Unsicherheit im Umgang mit KI erschweren fundierte Entscheidungen. Genau hier setzen KI-Labels an. Sie sollen zentrale Informationen \u00fcber KI-Modelle verst\u00e4ndlich, vergleichbar und zug\u00e4nglich machen, sowohl f\u00fcr Expert*innen als auch f\u00fcr Personen ohne KI-Hintergrund. <\/p>\n\n\n\n
Die Nutzer*innenstudie zeigt, dass ein realer Bedarf an solchen vereinfachten Darstellungsformen besteht. KI-Labels k\u00f6nnen als Br\u00fccke zwischen Expert*innen und Anwender*innen dienen, Missverst\u00e4ndnisse reduzieren und die Einbindung von Mitarbeitenden erleichtern. Besonders f\u00fcr Gruppen von Nutzenden ohne technisches Hintergrundwissen bieten sie einen schnellen Zugang zu relevanten Informationen und unterst\u00fctzen damit eine verantwortungsvolle und reflektierte Nutzung von KI. Die zentrale Herausforderung ist hier, dass die Informationen zwar verst\u00e4ndlich pr\u00e4sentiert werden m\u00fcssen, jedoch d\u00fcrfen tiefergehende Details nicht verloren gehen. Da je nach Nutzer*innengruppe unterschiedliche Informationen gefragt sind, ist ein \u201eone-size-fits-all\u201c-KI-Label nicht ausreichend. Daher sollten KI-Labels interaktiv gestaltet sein, sodass jede Zielgruppe passende Informationen erh\u00e4lt. Des Weiteren sollte die Verkn\u00fcpfung von KI-Labels mit anderen Berichtsformen ber\u00fccksichtigt werden, damit interessierte Nutzer*innen tiefer ins Detail eintauchen k\u00f6nnen, was die Wirksamkeit und Vertrauensw\u00fcrdigkeit der KI-Labels steigern k\u00f6nnte. Zudem wirken KI-Labels nicht nur informativ, sondern k\u00f6nnen auch als Entscheidungshelfer f\u00fcr verantwortungsvolle KI-Nutzung dienen, indem sie bestimmte Leistungsaspekte von Modellen hervorheben. In Bezug auf Nachhaltigkeit k\u00f6nnten KI-Labels also den Fokus weg von blo\u00dfer Performance hin zu Umweltaspekten lenken. Zusammenfassend l\u00e4sst sich sagen, dass die KI-Labels bei den Teilnehmenden sehr gut ankamen und viel Lob erhielten. Trotzdem m\u00fcssen sie hinsichtlich der genannten Aspekte verbessert und \u00fcberarbeitet werden, sodass ihr volles Potenzial von jeder Nutzer*innengruppe genutzt werden kann.<\/p>\n\n\n\n
Grenzen der Studie und Ausblick auf weitere Forschung<\/h2>\n\n\n\n
So aufschlussreich die Studie auch ist, ganz ohne Einschr\u00e4nkungen kommt sie nicht aus. Die Rekrutierung der Teilnehmenden k\u00f6nnte zu einer Verzerrung der Stichprobe gef\u00fchrt haben, was die \u00dcbertragbarkeit der Ergebnisse einschr\u00e4nkt. Auch bei der Pr\u00e4sentation der KI-Labels ist Vorsicht geboten: Da diese von den Forschenden selbst entwickelt wurden, ist eine unbewusste Beeinflussung der Teilnehmenden nicht auszuschlie\u00dfen. <\/p>\n\n\n\n
Die Ergebnisse der Studie werden im Rahmen der diesj\u00e4hrigen „Conference on AI, Ethics and Society“ (AIES) pr\u00e4sentiert und publiziert. Um die Aussagen weiter abzusichern, bietet sich eine anschlie\u00dfende quantitative Studie mit einer gr\u00f6\u00dferen Teilnehmerzahl an. So lie\u00dfen sich die Ergebnisse statistisch st\u00e4rker untermauern. Gleichzeitig k\u00f6nnten in einer solchen Folgestudie verschiedene Gestaltungsvarianten der KI-Labels in realit\u00e4tsn\u00e4heren Anwendungsszenarien getestet werden um herauszufinden, welche Aspekte tats\u00e4chlich Vertrauen schaffen. <\/p>\n\n\n\n
Weiterf\u00fchrende Informationen<\/h2>\n\n\n\n
Paper: https:\/\/doi.org\/10.1609\/aies.v8i1.36601<\/a><\/p>\n\n\n\n
- Wie wirken sich KI-Labels und dazugeh\u00f6rige Zertifizierungsstellen auf das Vertrauen in KI-Systeme aus? <\/li>\n<\/ol>\n\n\n\n
- Wie werden KI-Labels im Vergleich zu anderen Informationsformaten wahrgenommen? <\/li>\n<\/ol>\n\n\n\n
- Welche praktischen Vorteile und Grenzen hat die Kennzeichnung des Verhaltens von KI-Modellen? <\/li>\n<\/ol>\n\n\n\n