Diese Technologien bieten insbesondere Journalist*innen, die schnell Archive durchsuchen m\u00fcssen, um Zitate aus fr\u00fcheren Sendungen zu finden. Diese Technologien bieten insbesondere Journalist*innen gro\u00dfe Vorteile, die schnell Archive durchsuchen m\u00fcssen, um Zitate aus vergangenen Sendungen zu finden. Zum Beispiel kann ein Journalist gezielt nach dem genauen Moment suchen, in dem ein*e Politiker*in zu einem bestimmten Thema gesprochen hat, ohne stundenlanges Videomaterial manuell durchsuchen zu m\u00fcssen. Allerdings sto\u00dfen schl\u00fcsselwortbasierte Suchmethoden an ihre Grenzen, wenn es darum geht, allgemeine Themen oder semantisch verwandte Inhalte zu finden.<\/p>\n\n\n\n
Die Archivsuche mit Generativer KI revolutionieren<\/h2>\n\n\n\n
Der Aufstieg der Generativen KI, insbesondere durch Tools wie ChatGPT, hat unsere Interaktion mit Technologie grundlegend ver\u00e4ndert. Diese gro\u00dfen Sprachmodelle (LLMs) erm\u00f6glichen nat\u00fcrliche Sprachabfragen und bieten eine intuitive Benutzeroberfl\u00e4che, um durch gro\u00dfe Datenmengen zu suchen. Das Fraunhofer IAIS hat dies erkannt und einen Prototyp entwickelt, der generative KI mit seinem Medienarchiv-Suchsystem integriert. Dadurch entstand ein fortschrittliches Tool, das \u00fcber einfache Stichwortsuchen hinausgeht.<\/p>\n\n\n\n Der Audio Mining LLM-Prototyp kombiniert die KI-generierten Metadaten des Fraunhofer IAIS Audio Mining Systems (einschlie\u00dflich automatischer Segmentierung von Mediendateien, Sprechererkennung und ASR-Transkription) mit einer semantischen Suchfunktion, die auf Retrieval-Augmented Generation (RAG) basiert. Das System k\u00f6nnen Nutzende detaillierte Fragen stellen, wie zum Beispiel \u201eGibt es Neuigkeiten im D\u00f6nerstreit?\u201c. Das System ruft dann die relevantesten Segmente basierend auf semantischer \u00c4hnlichkeit ab und ordnet diese mithilfe von Sentence Embeddings nach der besten \u00dcbereinstimmung absteigend an (f\u00fcr einen detaillierten Einblick, wie Embeddings funktionieren, empfiehlt sich der Blogbeitrag \u201eDie Bedeutung von Worten durch Vektoren<\/a>\u201c).<\/p>\n\n\n\n Das System nutzt ein gro\u00dfes Sprachmodell (LLM), um Antworten auf Basis relevanter Inhalte aus dem Archiv zu formulieren. Es minimiert das Risiko von \u201eHalluzinationen\u201c \u2013 Situationen, in denen bei dem gro\u00dfe Sprachmodelle falsche Informationen erzeugen \u2013, indem es sicherstellt, dass alle Antworten auf verifizierbaren Daten beruhen. Dies macht es zu einer idealen L\u00f6sung f\u00fcr zuverl\u00e4ssige, faktenbasierte Medienarchiv-Suchen.<\/p>\n\n\n\n Traditionell ist es relativ einfach, \u00fcber Stichwortsuchen herauszufinden, ob jemand ein bestimmtes Thema erw\u00e4hnt hat, wie zum Beispiel alle F\u00e4lle zu finden, in denen Kamala Harris negative Kommentare \u00fcber Elektroautos abgegeben hat. Der Audio Mining LLM-Prototyp bietet jedoch ein erhebliches Potenzial f\u00fcr verschiedene Anwendungen, insbesondere in der Medienbranche. So k\u00f6nnen investigative Journalist*innen das System nutzen, um schnell spezifischen Aussagen oder Meinungen \u00f6ffentlicher Personen zu finden, etwa wann Kamala Harris negativ \u00fcber Elektroautos gesprochen hat \u2013 etwas, das \u00fcber eine einfache Stichwortsuche hinausgeht.<\/p>\n\n\n\n Das System des Audio Mining LLM-Prototyp transkribiert jedes gesprochene Wort, sodass selbst subtile Meinungen und Details erfasst werden k\u00f6nnen, ohne sich auf manuell annotierte Metadaten verlassen zu m\u00fcssen. Der RAG-Ansatz stellt sicher, dass relevante Segmente aus dem Archiv abgerufen werden, wodurch Einblicke gewonnen werden, die traditionelle Suchmethoden m\u00f6glicherweise \u00fcbersehen w\u00fcrden.<\/p>\n\n\n\n Eine weitere Anwendung liegt in \u00f6ffentlichen Video-on-Demand-Plattformen, auf denen Nutzer*innen von einem System profitieren k\u00f6nnten, das nicht nur nach Titeln oder Genres sucht, sondern auch personalisierte Empfehlungen basierend auf individuellen Vorlieben oder spezifischen Fragen bietet. Dies k\u00f6nnte das Benutzererlebnis erheblich verbessern und neue M\u00f6glichkeiten er\u00f6ffnen, mit Medienarchiven zu interagieren.<\/p>\n\n\n\n![\"Fraunhofer](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/Audiomining-screenshot_de_en-1024x627.png\" "\\"\\"")
Abb. 1: Das Fraunhofer IAIS Audio Mining System mit Sprechererkennung und Transkription.<\/figcaption><\/figure>\n\n\n\nWie der Audio Mining LLM-Prototyp funktioniert: ASR-, LLM- und RAG-Technologien<\/h2>\n\n\n\n
![\"Der](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/Doenerstreit-1024x578.png\" "\\"\\"")
Abb. 2: Der Audio Mining LLM-Prototyp beantwortet die Frage \u201eGibt es Neuigkeiten im D\u00f6nerstreit?\u201c. Er gibt eine textuelle Antwort und listet die f\u00fcnf relevantesten Segmente basierend auf semantischer \u00c4hnlichkeit auf.<\/figcaption><\/figure>\n\n\n\nAnwendungen des Audio Mining LLM-Prototyps in der Medienbranche<\/h2>\n\n\n\n
Herausforderungen und Grenzen des aktuellen Prototyps<\/h2>\n\n\n\n
![\"Der](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/Lamarr_DE_1-1024x620.png\" "\\"\\"")