Wie viele andere Untersuchungen stellt auch unsere Studie die oft der algorithmischen Systeme zugeschriebene rechnerische Neutralit\u00e4t in Frage, indem sie den Fokus auf die Menschen hinter der Maschine<\/em> legt. W\u00e4hrend sich jedoch fr\u00fchere Forschungen weitgehend auf die Analyse und Minderung von Voreingenommenheiten der Arbeitskr\u00e4fte konzentrieren, zeigen unsere Ergebnisse, dass Annotator*innen in ihren Interpretationen nicht v\u00f6llig frei sind und daher Voreingenommenheiten nicht eigenst\u00e4ndig in die Daten einbringen k\u00f6nnen.<\/p>\n\n\n\n Mehrere als Voreingenommenheit gerahmte Probleme sind tats\u00e4chlich Manifestationen von Machtgef\u00e4llen, die die Daten grundlegend pr\u00e4gen. Solche Machtgef\u00e4lle sind so trivial wie der Kunde, der die Annotationen anfordert und bezahlt, oder der Annotator, dessen Job auf dem Spiel steht, wenn er den Anweisungen nicht folgt. In diesen Kontexten folgen die Annotator*innen den genauen Anweisungen der Kunden, annotieren Daten gem\u00e4\u00df vordefinierten Labels und vertrauen auf das Urteil der Manager, wenn Unklarheiten auftreten. Kunden haben die Macht, ihre bevorzugten Interpretationen durchzusetzen und zu definieren, welche Labels jedes Bild am besten beschreiben, weil sie diejenigen sind, die f\u00fcr die Annotationen bezahlen. Daher ist die Interpretation von Daten, die Annotator*innen vornehmen, tiefgehend durch die Interessen, Werte und Priorit\u00e4ten derjenigen Stakeholder eingeschr\u00e4nkt, die mehr (finanzielle) Macht haben.<\/strong><\/p>\n\n\n\n Kurz gesagt, Machtgef\u00e4lle pr\u00e4gen Computer-Vision-Datens\u00e4tze viel mehr als die Subjektivit\u00e4t der Annotator*innen. Daten werden durch hierarchische Strukturen und nach vordefinierten Erwartungen und Interessen annotiert. Briefings, Richtlinien, Managementaufsicht und Qualit\u00e4tskontrolle zielen darauf ab, die Anforderungen der Kunden zu erf\u00fcllen. Interpretationen und Labels werden vertikal den Annotator*innen und durch sie den Daten auferlegt.<\/strong><\/p>\n\n\n\n Diese Vorgabe wird meist als selbstverst\u00e4ndlich hingenommen, da es als gesunder Menschenverstand erscheint, dass Annotationen gem\u00e4\u00df den Pr\u00e4ferenzen zahlender Kunden durchgef\u00fchrt werden. Allerdings verschleiert die Verinnerlichung solcher hierarchischen Prozesse die Tatsache, dass Computer-Vision-Systeme lernen, die Realit\u00e4t gem\u00e4\u00df den Interessen derjenigen zu \u201esehen\u201c und zu beurteilen, die \u00fcber die finanziellen Mittel verf\u00fcgen, ihre Weltanschauungen den Daten aufzuzwingen.<\/p>\n\n\n\n Die Datenannotation wird oft als technische Angelegenheit dargestellt. Diese Untersuchung zeigt jedoch, dass es sich in der Tat um eine Machtaus\u00fcbung mit vielf\u00e4ltigen Implikationen f\u00fcr Systeme und Gesellschaft handelt. Was bedeuten unsere Ergebnisse also f\u00fcr Industrie und Forschung?<\/p>\n\n\n\n Erstens zeigen diese Ergebnisse, dass Computer-Vision-Systeme durch menschliche Arbeit geschaffen und von kommerziellen Interessen gepr\u00e4gt werden. Leider wird diese Tatsache oft durch den Enthusiasmus der Technolog*innen unsichtbar gemacht. Bevor das intelligenteste System \u201esehen\u201c kann, m\u00fcssen Menschen zuerst die Daten, die es speist, verstehen. Die Industrie sollte die menschliche Arbeit anerkennen, die in die Erstellung von Computer-Vision-Systemen einflie\u00dft, und die Forschung sollte tiefer in die Arbeitsbedingungen und die Machtverh\u00e4ltnisse eintauchen, die Datens\u00e4tze, Kennzeichnungsprozesse und Systeme tiefgehend pr\u00e4gen.<\/p>\n\n\n\n Zweitens argumentieren wir, dass Techniken und Methoden zur Minderung der Voreingenommenheit von Annotator*innen nur teilweise wirksam bleiben, solange Produktionskontexte und Machtdynamiken unber\u00fccksichtigt bleiben. Von der Annahme auszugehen, dass Machtungleichgewichte das Problem sind und nicht individuelle Voreingenommenheiten, f\u00fchrt zu grundlegend anderen Forschungsfragen und Untersuchungsmethoden. Ein Perspektivwechsel in der Forschung ist notwendig, um \u00fcber Ans\u00e4tze hinauszugehen, die tendenziell die Verantwortung f\u00fcr datenbezogene Probleme ausschlie\u00dflich den Datenannotator*innen zuweisen.<\/p>\n\n\n\n Schlie\u00dflich pl\u00e4dieren wir f\u00fcr die systematische Dokumentation von Computer-Vision-Datens\u00e4tzen<\/a>. Die Dokumentation sollte nat\u00fcrlich die technischen Merkmale der Datens\u00e4tze widerspiegeln, aber auch die Akteure, Hierarchien und Rationalit\u00e4ten hinter den vergebenen Labels explizit machen. Denn wenn der Kontext, in dem Daten annotiert wurden, undurchsichtig bleibt, werden wir nicht in der Lage sein, die Annahmen und Vorgaben zu verstehen, die in Datens\u00e4tzen kodiert und von Computer-Vision-Systemen reproduziert werden.<\/p>\n\n\n\n Weitere Informationen zur Studie finden Sie in den entsprechenden Ver\u00f6ffentlichungen:<\/p>\n\n\n\n Between Subjectivity and Imposition: Power Dynamics in Data Annotation for Computer Vision<\/strong>. Documenting Computer Vision Datasets: An Invitation to Reflexive Data Practices. ![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Weizenbaum-1-14.gif\" "\\"\\"")
Implikationen f\u00fcr Industrie und Forschung<\/h2>\n\n\n\n
Milagros Miceli, Martin Schuessler, and Tianling Yang. Proc. ACM Hum.-Comput. Interact.<\/em> 4, CSCW2, Article 115 (October 2020), 25 pages. PDF<\/a><\/p>\n\n\n\n
<\/strong>Milagros Miceli, Tianling Yang, Laurens Naudts, Martin Schuessler, Diana Serbanescu, Alex Hanna. FAccT \u201921: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency<\/em>, 2021. PDF<\/a><\/p>\n\n\n\n