{"id":4490,"date":"2022-01-19T04:46:17","date_gmt":"2022-01-19T04:46:17","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/komplexe-suchmodalitaeten\/"},"modified":"2025-11-12T14:53:40","modified_gmt":"2025-11-12T14:53:40","slug":"komplexe-suchmodalitaeten","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/komplexe-suchmodalitaeten\/","title":{"rendered":"Welche M\u00f6glichkeiten und Herausforderung treten bei der Analyse von Zeitzeugeninterviews auf?"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">In der heutigen Zeit sind audiovisuelle Daten aus dem Alltag vieler Berufsgruppen kaum wegzudenken. F\u00fcr Journalist*innen, Redakteur*innen, Forscher*innen unterschiedlicher Disziplinen, Content-Creator, Museumsmitarbeiter*innen und Archivar*innen stellen diese Daten einen wesentlichen Kern der allt\u00e4gigen Arbeit dar. Ein rasantes Wachstum \u00f6ffentlicher, aber auch hauseigener, zugriffsbeschr\u00e4nkter audiovisueller Datenbest\u00e4nde stellt diese Personengruppen in den letzten Jahren vor immer gr\u00f6\u00dfere Herausforderungen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Erschlie\u00dfung solcher Daten mit Methoden der K\u00fcnstlichen Intelligenz vereinfachen bereits seit mehreren Jahren die Arbeit einiger dieser Berufsgruppen \u2013 beispielsweise durch Textsuche in Videos mittels automatischer Spracherkennung. Jedoch ist hiermit das Potential f\u00fcr audiovisuelle Suche noch lange nicht ausgesch\u00f6pft.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Suche in audiovisuellen Datenbest\u00e4nden&nbsp;<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Audiovisuelle Analysen mittels KI-getriebener Ans\u00e4tze haben durch ihre enorme Leistungsf\u00e4higkeit in den letzten Jahren die Erschlie\u00dfung und Durchsuchbarkeit umfangreicher Datenbest\u00e4nde erm\u00f6glicht. Ein Beispiel hierf\u00fcr ist das <a href=\"https:\/\/www.iais.fraunhofer.de\/de\/geschaeftsfelder\/speech-technologies\/audio-mining.html\" target=\"_blank\" rel=\"noopener\">Audio Mining System des Fraunhofer IAIS<\/a>, das bereits seit mehreren Jahren zur <a href=\"https:\/\/www.iais.fraunhofer.de\/de\/geschaeftsfelder\/speech-technologies\/referenzprojekte\/audio-mining-ard.html\" target=\"_blank\" rel=\"noopener\">Erschlie\u00dfung der Datenbest\u00e4nde in der ARD<\/a> oder von Zeitzeugeninterviews im Archiv \u201e<a href=\"https:\/\/www.fernuni-hagen.de\/geschichteundbiographie\/deutschesgedaechtnis\/\" target=\"_blank\" rel=\"noopener\">Deutsches Ged\u00e4chtnis<\/a>\u201c der Fernuniversit\u00e4t in Hagen angewendet wird.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Trotz der enormen Leistungsf\u00e4higkeit von Werkzeugen, wie Audio Mining, dr\u00e4ngen sich von Nutzer*innenseite neue Anforderungen und W\u00fcnsche an Suchmodalit\u00e4ten auf. So muss beispielsweise aktuell, um ein Zitat zu finden, der genaue Wortlaut weitestgehend bekannt sein, damit in den Transkripten der automatischen Spracherkennung gesucht und direkt zu der Zeitmarke in einem Video navigiert werden kann. Ist die Suchanfrage jedoch weniger pr\u00e4zise, wie zum Beispiel \u201eFinde positive \/ negative Aussagen zum Thema Y\u201c, sind komplexere Suchmodalit\u00e4ten notwendig. Noch gr\u00f6\u00dfer ist die Herausforderung, wenn die Suchanfragen Aspekte beinhalten, die nicht allein auf Basis des Transkripts beantwortet werden k\u00f6nnen. Dies k\u00f6nnen etwa Emotionen sein, die sich eher durch Gesichtsausdr\u00fccke oder eine bestimmte Stimmlage \u00e4u\u00dfern. Eine Suchanfrage der Art \u201eAussagen von Person X zum Thema Y bei denen X ver\u00e4rgert oder traurig war\u201c sind bisher nur durch aufw\u00e4ndige manuelle Recherche in den Datenbest\u00e4nden mit Sichtung vieler einzelner Videos m\u00f6glich.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Zeitzeugeninterviews zur Erschlie\u00dfung von audiovisuellem Kulturgut&nbsp;<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In dem Projekt <a href=\"https:\/\/www.iais.fraunhofer.de\/de\/geschaeftsfelder\/speech-technologies\/referenzprojekte\/emotionserkennung.html\" target=\"_blank\" rel=\"noopener\">Multimodales Mining von Zeitzeugeninterviews zur Erschlie\u00dfung von audiovisuellem Kulturgut<\/a> werden in Kooperation des Fraunhofer IAIS mit der Stiftung <a href=\"https:\/\/www.hdg.de\/stiftung\/projekte\" target=\"_blank\" rel=\"noopener\">Haus der Geschichte in Bonn<\/a> solche komplexeren Suchmodalit\u00e4ten f\u00fcr einen konkreten Anwendungsfall untersucht: die Erschlie\u00dfung von Zeitzeugeninterviews.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Durch die Erz\u00e4hlungen von Zeitzeuginnen und Zeitzeugen werden kleine und gro\u00dfe Ereignisse in der Geschichte lebendig und nahbar. Das Medium der audiovisuellen Zeitzeugeninterviews erm\u00f6glicht, diese individuellen und multiperspektivischen Erz\u00e4hlungen immer wieder erlebbar zu machen und f\u00fcr jede*n zur Verf\u00fcgung zu stellen. Auf <a href=\"http:\/\/www.zeitzeugen-portal.de\" target=\"_blank\" rel=\"noopener\">www.zeitzeugen-portal.de<\/a> sind bereits \u00fcber 8.000 Clips aus etwa 1.000 Zeitzeugeninterviews zur deutschen Geschichte zu finden \u2013 ein gro\u00dfer Datenbestand, der nicht nur spannende Inhalte bietet, sondern auch durch emotional behaftete Geschichten die Betrachterin und den Betrachter Erlebtes mitf\u00fchlen lassen. Ein Beispiel ist unser Zeitzeuge Volker Schr\u00f6der, der im Jahr 1968 an Studentenprotesten in West-Berlin teilnahm. Im Zeitzeugeninterview berichtet er ergriffen von einer Situation, in der er von einem Wasserwerfer der Polizei erfasst wurde.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n <div class=\"brlbs-cmpnt-container brlbs-cmpnt-content-blocker brlbs-cmpnt-with-individual-styles\" data-borlabs-cookie-content-blocker-id=\"youtube-content-blocker\" data-borlabs-cookie-content=\"PGlmcmFtZSB0aXRsZT0iVm9sa2VyIFNjaHLDtmRlcjogQmVpIGRlbiBTdHVkZW50ZW5wcm90ZXN0ZW4gMTk2OCIgd2lkdGg9IjY0MCIgaGVpZ2h0PSIzNjAiIHNyYz0iaHR0cHM6Ly93d3cueW91dHViZS1ub2Nvb2tpZS5jb20vZW1iZWQvUmt5cTlTVzZYTGs\/ZmVhdHVyZT1vZW1iZWQiIGZyYW1lYm9yZGVyPSIwIiBhbGxvdz0iYWNjZWxlcm9tZXRlcjsgYXV0b3BsYXk7IGNsaXBib2FyZC13cml0ZTsgZW5jcnlwdGVkLW1lZGlhOyBneXJvc2NvcGU7IHBpY3R1cmUtaW4tcGljdHVyZTsgd2ViLXNoYXJlIiByZWZlcnJlcnBvbGljeT0ic3RyaWN0LW9yaWdpbi13aGVuLWNyb3NzLW9yaWdpbiIgYWxsb3dmdWxsc2NyZWVuPjwvaWZyYW1lPg==\"><div class=\"brlbs-cmpnt-cb-preset-c brlbs-cmpnt-cb-youtube\"> <div class=\"brlbs-cmpnt-cb-thumbnail\" style=\"background-image: url('https:\/\/lamarr-institute.org\/wp-content\/uploads\/borlabs-cookie\/1\/yt_Rkyq9SW6XLk_hqdefault.jpg')\"><\/div> <div class=\"brlbs-cmpnt-cb-main\"> <div class=\"brlbs-cmpnt-cb-play-button\"><\/div> <div class=\"brlbs-cmpnt-cb-content\"> <p class=\"brlbs-cmpnt-cb-description\">Sie sehen gerade einen Platzhalterinhalt von <strong>YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> <a class=\"brlbs-cmpnt-cb-provider-toggle\" href=\"#\" data-borlabs-cookie-show-provider-information role=\"button\">Mehr Informationen<\/a> <\/div> <div class=\"brlbs-cmpnt-cb-buttons\"> <a class=\"brlbs-cmpnt-cb-btn\" href=\"#\" data-borlabs-cookie-unblock role=\"button\">Inhalt entsperren<\/a> <a class=\"brlbs-cmpnt-cb-btn\" href=\"#\" data-borlabs-cookie-accept-service role=\"button\" style=\"display: inherit\">Erforderlichen Service akzeptieren und Inhalte entsperren<\/a> <\/div> <\/div> <\/div><\/div>\n<\/div><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die automatisierte Erkennung soll uns dabei unterst\u00fctzen, nicht nur in den Blick zu nehmen, <em>was <\/em>erz\u00e4hlt wird, sondern auch <em>wie<\/em> es erz\u00e4hlt wird. Emotionen stellen einen wichtigen Faktor im Erinnerungsprozess dar, sodass die automatisierte Analyse gro\u00dfer Datenmengen uns dabei helfen kann, besser zu verstehen, welche Rolle Emotionen beim historischen Erinnern spielen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Multimodales Mining&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Das Ziel des Projekts ist die Entwicklung von Prototypen f\u00fcr die multimodale Erkennung wahrgenommener Emotionen und f\u00fcr Sentiment-Analysen, die mittelfristig als Erweiterung der Suchmodalit\u00e4ten f\u00fcr Audio Mining dienen und mit den bestehenden Analyse-Algorithmen in komplexen Suchanfragen kombiniert werden sollen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Formulierung \u201eErkennung wahrgenommener Emotionen\u201c soll hierbei hervorheben, wie das System trainiert wird und was das System wirklich leisten kann. Anders als der Begriff \u201eEmotionserkennung\u201c suggeriert, zielt unser System nicht darauf ab, wirklich zu erkennen, was eine Person gef\u00fchlt hat, sondern was andere Menschen an Emotionen erkennen, wenn sie sich das Video der Person anschauen (<a href=\"https:\/\/katalog.ub.uni-heidelberg.de\/cgi-bin\/titel.cgi?katkey=65669063\" target=\"_blank\" rel=\"noreferrer noopener\">menschliche Dekodierungskompetenz<\/a>). Das System kann Menschen somit nicht \u201ein den Kopf schauen\u201c, sondern versucht lediglich die Dekodierungskompetenz von Menschen zu reproduzieren. Diese feine Unterscheidung ist aus unserer Sicht wichtig, um essenzielle ethische und rechtliche Fragen pr\u00e4zise und sachkundig ausf\u00fchren zu k\u00f6nnen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die multimodale Erkennung soll hierbei gleichzeitig den Video-Stream (Folge von Bildern), den Audio-Stream und das Transkript (basierend auf der automatischen Spracherkennung) kombinieren, um eine m\u00f6glichst pr\u00e4zise Erkennung zu erm\u00f6glichen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Herausforderungen in der angewandten Forschung&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sentiment-Analyse und multimodale Emotionserkennung sind in der Forschung seit vielen Jahren ein aktives Forschungsfeld mit stetig wachsendem Forschungsinteresse. Bei dem Transfer von Forschungsergebnissen in die Anwendung f\u00fcr Daten aus der realen Welt treten jedoch diverse Herausforderungen auf.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wie bei vielen KI-basierten Ans\u00e4tzen sind geeignete repr\u00e4sentative Trainingsdaten in ad\u00e4quatem Umfang eine der wesentlichen Herausforderungen. Viele, insbesondere \u00e4ltere Datens\u00e4tze aus der Forschung, beinhalten geschauspielerte, oft stark \u00fcberzeichnete Emotionen, die nicht ann\u00e4hernd die subtil ge\u00e4u\u00dferten Emotionen in Zeitzeugeninterviews widerspiegeln. Datens\u00e4tze mit realen Aufzeichnungen hingegen zeigen oft ein sehr starkes Ungleichgewicht f\u00fcr bestimmte Emotionsklassen, die oft infolgedessen nur schlecht erlernt werden k\u00f6nnen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dar\u00fcber hinaus sind die meisten Datens\u00e4tze in englischer Sprache. F\u00fcr gesichtsbasierte Emotionserkennung ist dies weitestgehend unerheblich \u2013 jedoch nicht f\u00fcr die Modalit\u00e4ten Audio und Text. Als vielversprechende L\u00f6sungsans\u00e4tze in der angewandten Forschung haben sich hier der Einsatz von vortrainierten Modellen und die anschlie\u00dfende Adaption auf repr\u00e4sentativen Daten als vielversprechend erwiesen. Auch die Kombination unterschiedlicher Datens\u00e4tze scheint f\u00fcr eine robuste Anwendbarkeit in realen Anwendungen vielversprechend zu sein.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Eine weitere wesentliche Herausforderung stellt die menschliche Wahrnehmung von Emotionen und Sentiments selbst dar. F\u00fcr unsere Analysen haben wir von 147 Zeitzeugen insgesamt zehn Stunden an Interviews zusammengestellt und anhand von Sprechpausen segmentiert. Insgesamt wurden die resultierenden 2700 Segmente jeweils von drei unterschiedlichen Personen hinsichtlich Sentiments und Emotionsklassen nach den, in der automatischen Emotionserkennung typischen sechs Emotionsklassen nach Paul Ekman annotiert: Freude, Trauer, \u00c4rger, \u00dcberraschung, Verachtung\/Ekel, Angst. Die Annotierenden konnten hierbei f\u00fcr jede Emotionsklasse einen Score von 0 (neutral) bis 3 (stark) vergeben und f\u00fcr Sentiments von -3 (sehr negativ) bis 3 (sehr positiv). Eine Spearman-Korrelationsanalyse zwischen den Annotierenden f\u00fcr jede der Klassen zeichnet ein ern\u00fcchterndes Bild. F\u00fcr Sentiments liegt die Korrelation bei ca. 0,63. F\u00fcr die Emotionsklasse liegt der Wert bei 0,55, f\u00fcr Trauer sogar nur noch bei 0,47. F\u00fcr diese Klassen liegt somit offensichtlich bei den Annotierenden recht h\u00e4ufig ein heterogenes Verst\u00e4ndnis des Meinungspolarit\u00e4t beziehungsweise Wahrnehmung der Emotionen vor.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die (verbleibenden) Annotationen der verbleibenden Emotionsklassen haben alle eine Korrelation von unter 0,4, wobei die Emotionsklasse \u201e\u00dcberraschung\u201c mit einer Korrelation von lediglich 0,2 die geringste Korrelation hat. Bei diesen Klassen hatten die Annotierenden sehr h\u00e4ufig eine unterschiedliche Wahrnehmung der gezeigten Emotionen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn sich selbst bei Menschen die Wahrnehmung beziehungsweise Interpretation von Emotionen und des Sentiments derart stark unterscheiden, ist davon auszugehen, dass ein KI-basiertes System f\u00fcr solche Daten kaum in der Lage sein wird, eine pr\u00e4zise Erkennung durchzuf\u00fchren. Die weiteren Arbeiten im laufenden Forschungsprojekt sollen zeigen, ob und wie diese Limitationen bew\u00e4ltigt werden k\u00f6nnen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Fazit&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">KI-basierte Analysen f\u00fcr audiovisuelle Daten k\u00f6nnen gro\u00dfe Datenbest\u00e4nde und Archive f\u00fcr Nutzer*innen unterschiedlichster Fachrichtungen durchsuchbar machen. Der Einsatz von KI-basierter Audioverarbeitung erlaubt bereits die Suche nach Zitaten und Stellen in Videos mit bestimmten Schl\u00fcsselworten. F\u00fcr detailliertere Suchanfragen, die \u00fcber den gesprochenen Text hinausgehen, sind komplexere, multimodale Analysealgorithmen notwendig. Diese unterliegen in der anwendungsorientierten Forschung oft wesentlichen Herausforderungen und Limitationen und bleiben somit ein offenes, spannende Gebiet der anwendungsorientierten Forschung.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>KI-basierte Analysen audiovisueller Daten erm\u00f6glichen bereits heute Recherchen in gro\u00dfen Videobest\u00e4nden. Immer komplexer werdende Suchanfragen erfordern jedoch anspruchsvollere, multimodale Analysemethoden, die in der Praxis oft mit diversen Herausforderungen verbunden sind.<\/p>\n","protected":false},"author":9,"featured_media":4492,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546,1418],"blog-tag":[1523,1556],"class_list":["post-4490","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-category-sprachtechnologien","blog-tag-ki-und-recht","blog-tag-multimodales-mining"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4490","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4490\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4492"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4490"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4490"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4490"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}