{"id":4385,"date":"2021-01-13T04:06:38","date_gmt":"2021-01-13T04:06:38","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/automatisierte-stichwortvergabe-fuer-kurze-texte\/"},"modified":"2025-11-12T14:53:42","modified_gmt":"2025-11-12T14:53:42","slug":"automatisierte-stichwortvergabe-fuer-kurze-texte","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/automatisierte-stichwortvergabe-fuer-kurze-texte\/","title":{"rendered":"Automatisierte Stichwortvergabe f\u00fcr kurze Texte"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Datenbanken mit umfangreichen Textsammlungen, wie beispielsweise Nachrichten, Publikationen oder Patente, sind oft schon aufgrund der Anzahl der enthaltenen Dokumente un\u00fcbersichtlich. Daher ist es schon seit langem \u00fcblich, abgespeicherte Texte mit Stichworten zu versehen, die eine schnelle und zielgerichtete Suche erm\u00f6glichen. Fr\u00fcher geschah dies durch eine manuelle Vergabe der Stichworte. Dies ist jedoch ein aufw\u00e4ndiger und kostspieliger Prozess, denn die mit der Stichwortvergabe betrauten Mitarbeitenden (Annotatoren) m\u00fcssen sich mit den behandelten Themen gut auskennen. Auch wenn solche Experten zur Verf\u00fcgung stehen, ist das Ergebnis in manchen F\u00e4llen nicht optimal: Experten k\u00f6nnen f\u00fcr die Benennung desselben Themas unterschiedliche Bezeichnungen benutzen. Wenn man aus Gr\u00fcnden der Uniformit\u00e4t dagegen mit einer kontrollierten Liste von Stichworten arbeitet, muss diese aufw\u00e4ndig gepflegt werden, um neuen Themen gerecht zu werden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben uns daher mit der Frage besch\u00e4ftigt, wie man kurze Texte \u2013 zum Beispiel Meldungen einer Nachrichtenagentur oder Zusammenfassungen von Publikationen und Patenten \u2013 vollautomatisch mit inhaltsbezogenen Stichworten versehen kann. Eine solche Bearbeitung wird in der Fachsprache \u201eTagging\u201c genannt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Um diese Aufgabe besser zu verstehen, ist es angebracht, sich denkbare Ziele des Taggings klar zu machen: Stichworte (Tags) sollten auf einen Blick die wesentlichen Themen des Textes abbilden. Wichtig ist dabei, dass die Stichworte in einem gr\u00f6\u00dferen Zusammenhang stehen. Das bedeutet, dass ausgew\u00e4hlte Stichworte auch in anderen Texten zu \u00e4hnlichen Themen vorkommen sollten. Daher ist es eher nicht zweckm\u00e4\u00dfig, einen Begriff auszuw\u00e4hlen, der sehr speziell oder zu allgemein ist. Die in den n\u00e4chsten beiden Abschnitten als Beispiele vorgestellten Ans\u00e4tze \u201eWord Cloud\u201c und \u201eTopic Modelle\u201c erf\u00fcllen diese Bedingungen mehr oder weniger gut und haben spezifische Vor- und Nachteile.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Word Clouds<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In der ersten Millenniumsdekade waren Word Clouds im Web 2.0 sehr popul\u00e4r. Die Auswahl der Worte wurde durch einfache Z\u00e4hlstatistiken erreicht. Word Clouds basieren auf einer gro\u00dfen Anzahl von Texten (Fachterm: das Corpus). Man kann dann Worte aus der Cloud, die in einem der Texte tats\u00e4chlich vorkommen, als Tags dieses Textes verwenden. Der Vorteil besteht in der sehr einfachen Algorithmik. Ein Nachteil ist der fehlende Bezug zu Kontext und Zweck der Texte und die oft fragliche Sinnhaftigkeit der ermittelten Worte. Daher ist eine nachtr\u00e4gliche Bereinigung der Word Cloud angeraten, um Funktionsw\u00f6rter oder andere h\u00e4ufig vorkommende nicht sinntragende Terme zu entfernen. Ein oft genanntes Beispiel ist die Dominanz des Terms \u201ehttp\u201c in einem Corpus, das aus HTML-codierten Dateien besteht. Ein weiterer Nachteil entsteht durch das Problem, dass einem Text, der zuf\u00e4llig keines der Worte aus der Word Cloud enth\u00e4lt, keine Tags zugeordnet werden k\u00f6nnen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Topic Modelle<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Auf eine wesentlich komplexere theoretische Basis setzten einige Jahre sp\u00e4ter die Topic Modelle. Topics werden hier als \u201eThemen\u201c verstanden, die in Texten behandelt werden. Besonders h\u00e4ufig als Topic Modell verwendet wurde der LDA Algorithmus (<a href=\"https:\/\/towardsdatascience.com\/light-on-math-machine-learning-intuitive-guide-to-latent-dirichlet-allocation-437c81220158\" target=\"_blank\" rel=\"noopener noreferrer\">Latent Dirichlet Allocation<\/a>). Bei diesem Text-Clusterverfahren wird auf der Basis einer Wahrscheinlichkeitsverteilung eine Beziehung zwischen Texten eines Corpus, den in den Texten enthaltenen Worten und \u201eunsichtbaren\u201c (latent) Topics hergestellt. Die latenten Topics werden durch Worte charakterisiert, die mit hoher Wahrscheinlichkeit in Texten auftauchen werden, die dieses Topic-Thema behandeln. Ebenso werden auch die Texte selbst mit Wahrscheinlichkeiten den Topics zugeordnet. Dies ist sinnvoll, denn ein Text kann ja eine Beziehung zu mehreren Topic-Themen haben. F\u00fcr das Tagging eines Textes k\u00f6nnen nun die Worte der Topics verwendet werden, die mit hoher Wahrscheinlichkeit die Themen des Textes repr\u00e4sentieren. Ein Vorteil gegen\u00fcber der Word Cloud ist die M\u00f6glichkeit, jedem Text themenzentrierte Stichworte aus seinen Topics zuordnen zu k\u00f6nnen. Das Problem inhaltsloser Terme, wie beispielsweise \u201ehttp\u201c besteht allerdings auch hier.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Semantisches Tagging<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben ausgehend von dieser Situation eine mehrstufige Verarbeitungskette (Workflow) entwickelt, um Nachteile der bisherigen Ans\u00e4tze zu umgehen oder auszugleichen. Wir bauen dabei auf den in den letzten Jahren sprunghaft weiterentwickelten Ansatz der Worteinbettungsvektoren auf. Der bekannteste Algorithmus zur Berechnung von Einbettungsvektoren ist <a href=\"http:\/\/jalammar.github.io\/illustrated-word2vec\/\" target=\"_blank\" rel=\"noopener noreferrer\">Word2Vec<\/a>. \u00dcber Worteinbettungsvektoren k\u00f6nnen semantische \u00c4hnlichkeiten von Begriffen ohne menschliche Interpretation erschlossen werden. Diese Eigenschaft ist schon seit einigen Jahren, beginnend mit den Publikationen \u00fcber den Word2Vec Algorithmus, bekannt. Darauf aufbauend wurde das Programm \u201eStarSpace\u201c (<a href=\"https:\/\/github.com\/facebookresearch\/StarSpace\" target=\"_blank\" rel=\"noopener noreferrer\">Erl\u00e4uterung und Programmcode<\/a>) entwickelt. StarSpace berechnet Einbettungen f\u00fcr Entit\u00e4ten. Das Verfahren funktioniert f\u00fcr Worte und Texte und dar\u00fcber hinaus auch f\u00fcr Metadaten, die Texte beschreiben \u2013 zum Beispiel Textkategorien, Stichworte, Autorennamen usw.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Unser Ansatz besteht darin, zun\u00e4chst aus den einzelnen Texten eines Corpus Kandidaten f\u00fcr Stichworte zu sammeln. Dazu verwenden wir einen einfachen vollautomatisch arbeitenden Algorithmus. Wir fassen hier den Begriff Stichwort etwas weiter und sammeln auch Phrasen, die aus mehreren Worten bestehen k\u00f6nnen und die wir als Schl\u00fcsselbegriffe bezeichnen. F\u00fcr ein gro\u00dfes Corpus kommen hier mehrere tausend oder auch zehntausend Schl\u00fcsselbegriffe zusammen, die dann in zwei Schritten weiter gefiltert werden. Zun\u00e4chst bestimmen wir durch eine z\u00e4hlbasierte Statistik aus der Informationstheorie f\u00fcr jeden Teil eines Schl\u00fcsselbegriffes, also jedes einzelne Wort, den Informationsgehalt in Bezug auf das Corpus. Dies erm\u00f6glicht es uns, alle Phrasen wieder zu streichen, die kein Wort mit hohem Informationsgehalt enthalten. Die \u00fcbrig gebliebenen Phrasen werden dann nach H\u00e4ufigkeit ihres Vorkommens in den Texten sortiert und die am h\u00e4ufigsten gez\u00e4hlten Phrasen werden beibehalten. StarSpace erlaubt es, bei gro\u00dfen Corpora mehrere tausend Schl\u00fcsselbegriffe zu lernen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Lernen bedeutet hier, dass die Schl\u00fcsselbegriffe wie Kategorien eines Klassifikationssystems vom StarSpace Modell den Texten zugeordnet werden, in denen sie tats\u00e4chlich vorkommen. Der Effekt, den wir f\u00fcr das Tagging ausnutzen, besteht darin, dass die gelernten Schl\u00fcsselbegriffe auch neuen Texten zugeordnet werden, in denen sie nicht w\u00f6rtlich vorkommen, die jedoch inhaltlich (semantisch) \u00e4hnlich zu Texten im Lern-Corpus sind. StarSpace nutzt die vom Word2Vec Algorithmus bekannte Eigenschaft, semantische \u00c4hnlichkeit in Worteinbettungsvektoren zu codieren, auch f\u00fcr die Vektoren der Schl\u00fcsselbegriffe.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Tagging von Patent Abstracts<\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben uns eingehend mit dem Beispiel des Taggings der Zusammenfassung von Patentschriften (Patent Abstracts) besch\u00e4ftigt. Ein Teilergebnis zeigt die Abbildung 1. Die Schl\u00fcsselbegriffe wurden aus einem sehr gro\u00dfen Corpus von Patent Abstracts extrahiert.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/patentMap_all-1024x886.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24443\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 Fraunhofer IAIS<br>Abbildung 1: Semantische \u00c4hnlichkeiten von automatisch extrahierten Schl\u00fcsselbegriffen aus Patent Abstracts zum Themengebiet Lasertechnik<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Hier werden Begriffe aus dem Bereich Lasertechnik gezeigt. Die Verbindungslinie zwischen zwei Begriffen bedeutet technisch, dass die Worteinbettungsvektoren dieser Begriffe sich sehr \u00e4hnlich sind. Inhaltlich bedeutet es, dass die Begriffe im Corpus in \u00e4hnlichen Kontexten (in Bezug auf andere Begriffe und allgemein Worte) verwendet werden. Man kann daher eine semantische \u00c4hnlichkeit der Begriffe annehmen. Unser Vorgehen liefert zwei wesentliche Ergebnisse: Die aus dem Corpus extrahierten Schl\u00fcsselbegriffe stehen in einer semantischen \u00c4hnlichkeitsrelation, die visualisiert werden kann und einen schnellen \u00dcberblick \u00fcber die Themen einer Textkollektion liefert. Mit den erlernten StarSpace Modellparametern k\u00f6nnen au\u00dferdem thematisch verwandten neuen Texten geeignete Schl\u00fcsselworte zugeordnet werden, auch dann, wenn diese so nicht in den Texten vorkommen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Um in umfangreichen Textsammlungen eine zielgerichtete Suche zu erm\u00f6glichen, ist eine Vergabe von Stichworten \u00fcblich. Wir beschreiben Methoden, wie man kurze Texte vollautomatisch mit inhaltsbezogenen Stichworten versehen kann.<\/p>\n","protected":false},"author":9,"featured_media":3899,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546,1418],"blog-tag":[1482,1533,1559],"class_list":["post-4385","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-category-sprachtechnologien","blog-tag-einbettungsvektoren","blog-tag-klassifikation","blog-tag-nlp-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4385","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4385\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3899"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4385"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4385"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4385"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}