{"id":4715,"date":"2021-12-15T03:38:16","date_gmt":"2021-12-15T03:38:16","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/widerspruchserkennung\/"},"modified":"2025-11-12T14:54:47","modified_gmt":"2025-11-12T14:54:47","slug":"widerspruchserkennung","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/widerspruchserkennung\/","title":{"rendered":"Widerspruchserkennung in der deutschen Sprache – Mit maschineller \u00dcbersetzung und rekurrenten neuronalen Netzen"},"content":{"rendered":"\n

Automatisches Erkennen von Widerspr\u00fcchen in Texten stellt eine sehr anspruchsvolle Aufgabe dar – vor allem in anderen Sprachen als Englisch. Damit ein System f\u00fcr maschinelles Lernen (ML) widerspr\u00fcchliche Aussagen erkennen kann, erfordert es eine gro\u00dfe Menge an menschen\u00e4hnlichem Textverst\u00e4ndnis. Dennoch sollte es dem System, wenn es diese Aufgabe erfolgreich gel\u00f6st hat, nicht allzu schwerfallen, auch andere Aspekte der Sprache zu verstehen (wie bspw. Kausalit\u00e4t und semantische \u00c4hnlichkeit von S\u00e4tzen). Wir schauen uns das Problem, welches auch \u201eNatural Language Inference\u201c genannt wird, anhand der deutschen Sprache an.<\/p>\n\n\n\n

Ein ML-System, das Widerspr\u00fcche erkennt  <\/span><\/h2>\n\n\n\n

Es gibt bereits eine Vielzahl an Anwendungsm\u00f6glichkeiten f\u00fcr das Erkennen von Widerspr\u00fcchen. Zum einen k\u00f6nnte man beispielsweise Fake News erkennen, indem man Online-Posts mit den zuverl\u00e4ssigen Nachrichtenquellen abgleicht. Zum anderen k\u00f6nnte im Finanzbereich und bei der Rechnungspr\u00fcfung ein solches Modell genutzt werden, um Unstimmigkeiten innerhalb eines Jahresberichts oder zwischen mehreren Finanzdokumenten zu ermitteln (siehe auch \u201eTowards Automated Auditing with Machine Learning\u201c<\/a>). Ebenfalls k\u00f6nnte man es als automatische Evaluation f\u00fcr den Output anderer ML-Systeme nutzen, zum Beispiel um die Leistung eines Chatbots oder einer Sprachassistenten-Anwendung zu bewerten.<\/p>\n\n\n\n

Ziel unserer Forschung<\/a> ist es, ein ML-System zu entwickeln, welches voraussagen kann, ob zwei vorgegebene deutsche S\u00e4tze oder Abs\u00e4tze widerspr\u00fcchlich sind oder nicht. Wir wollen herausfinden, welches Lernparadigma die beste Leistung f\u00fcr diese Aufgabe erreicht und ob die Modelle mit verschiedenen Arten von Daten umgehen k\u00f6nnen. Diese beiden Textschnipsel werden \u00fcblicherweise als \u201ePr\u00e4misse\u201c und \u201eHypothese\u201c bezeichnet. Da wir nicht viele Trainingsdaten in deutscher Sprache vorliegen hatten, haben wir einen gro\u00dfen Teil englischer Datens\u00e4tze (SNLI) maschinell \u00fcbersetzt. In diesen Daten geh\u00f6ren Pr\u00e4misse und Hypothese zu einem Bild. Dabei ist die Pr\u00e4misse eine genaue Beschreibung des Bilds, die Hypothese hingegen wurde von einem Kommentator geschrieben. Es wurden etwa 1\/3 der Beispiele als widerspr\u00fcchlich erkannt, w\u00e4hrend bei 2\/3 kein Widerspruch gefunden werden konnte.<\/p>\n\n\n\n

\"-
\u00a9 ML2R
Beispiel zweier Pr\u00e4missen und Hypothesen<\/figcaption><\/figure>\n\n\n\n

Vektordarstellungen f\u00fcr Pr\u00e4missen und Hypothesen <\/h2>\n\n\n\n

Ein Schl\u00fcsselproblem zur L\u00f6sung dieser Aufgabe ist es, gute Vektordarstellungen f\u00fcr Pr\u00e4misse und Hypothese zu finden, welche all die Informationen, die ein Modell zur Vorhersage eines Widerspruchs braucht, codiert. In jedem Fall wird die finale Repr\u00e4sentation dem Klassifizierungsmodell \u00fcbergeben, welches eine Voraussage zur Klasse ausgibt (\u201eWiderspruch\u201c oder \u201eKein Widerspruch\u201c). Zu diesem Zweck haben wir zwei verschiedene Paradigmen verglichen:<\/p>\n\n\n\n

Modell 1: Rekurrente neurale Netze (RNNs) ohne Attention: <\/strong><\/p>\n\n\n\n

In diesem Beispiel wurde ein rekurrentes neuronales Netz darauf trainiert, Vektordarstellungen f\u00fcr Pr\u00e4misse und Hypothese zu erstellen. Das RNN liest den Absatz als eine Liste von Token (W\u00f6rter) und aktualisiert seinen Hidden State (inneren Status) mit jedem Wort, das es sieht. Die finale Ausgabe ist der letzte Hidden State, nachdem die ganze Sequenz gelesen wurde. Der Output kann dann als Repr\u00e4sentation f\u00fcr den Absatz interpretiert werden. In diesem ersten Ansatz werden die Repr\u00e4sentationen f\u00fcr Pr\u00e4misse und Hypothese separat berechnet und dann in einem langen Vektor verbunden. Diese Ausgabe wird von einem Multilayer Perzeptron<\/a> (MLP), einem einfachen neuronalen Netz ohne rekurrente Verbindungen, verarbeitet.<\/p>\n\n\n\n

\"-
\u00a9 ML2R
Vereinfachte Darstellung des Workflows f\u00fcr Modell 1 (ohne Attention)<\/figcaption><\/figure>\n\n\n\n

Modell 2: Rekurrente neurale Netze (RNNs) mit Attention: <\/strong><\/p>\n\n\n\n

Die zweite M\u00f6glichkeit besteht darin, eine Pipeline aus zwei RNNs zu bilden. W\u00e4hrend das erste RNN die Pr\u00e4misse liest und seinen letzten Hidden State an das zweite RNN weitergibt, macht dieses mit dem Lesen der Hypothese weiter. Es berechnet sogenannte \u201eAttention\u201c-Values zwischen jedem Wort in der Pr\u00e4misse und jedem Wort in der Hypothese. Diese Werte sollen anzeigen, welche W\u00f6rter sich auf dieselben Einheiten in den beiden S\u00e4tzen beziehen, und es den folgenden Berechnungsschritten erm\u00f6glichen, den Schwerpunkt auf diese zu legen. Der Output des zweiten RNNs ist eine gemeinsame Repr\u00e4sentation f\u00fcr Pr\u00e4misse und Hypothese.<\/p>\n\n\n\n

\"-
\u00a9 ML2R
Vereinfachte Darstellung des Workflows f\u00fcr Modell 2 (mit Attention) <\/figcaption><\/figure>\n\n\n\n

RNN-basierte Modelle sind anderen Herangehensweisen \u00fcberlegen <\/h2>\n\n\n\n

Eines unserer Hauptergebnisse ist, dass die RNN-basierten Modelle alle anderen Methoden der Datencodierung \u00fcbertreffen. Ebenfalls zeigen die Ergebnisse, dass die maschinell \u00fcbersetzten Datens\u00e4tzen \u00e4hnlich zu den Originaldaten sind, was nahelegt, dass die Datenqualit\u00e4t nicht unter der \u00dcbersetzung gelitten hat. Es gibt noch Raum f\u00fcr Verbesserungen, wie ein Blick auf zwei Beispiele f\u00fcr Vorhersagen der beiden Modelle zeigt: Beide Modelle sind konkurrenzf\u00e4hig, so gibt es keinen klaren \u201eGewinner\u201c dieses Wettkampfs. Das Aufmerksamkeit-basierte Modell kann Widerspr\u00fcche erkennen, welche an bestimmte W\u00f6rter gekn\u00fcpft sind (Beispiel 1), aber es macht auch falsche Vorhersagen, zum Beispiel wenn die Zuordnung von W\u00f6rtern zwischen den S\u00e4tzen nicht hilfreich oder irref\u00fchrend ist (Beispiel 2). Wenn ein tieferes Weltverst\u00e4ndnis n\u00f6tig ist, k\u00f6nnen beide Paradigmen mit diesen F\u00e4llen nicht umgehen. In einem empirischen Anwendungsfall muss man also vor der Wahl eines Modells dar\u00fcber nachdenken, welche Art von Widerspruch am typischsten f\u00fcr den zu analysierenden Text ist.<\/p>\n\n\n\n

\"-<\/figure>\n\n\n\n

Fazit <\/h2>\n\n\n\n

Wir k\u00f6nnen zusammenfassen, dass wir ein gut funktionierendes erstes Benchmark-System f\u00fcr die Erkennung von Widerspr\u00fcchen in der deutschen Sprache erstellt haben. Es ist nur noch zu kl\u00e4ren, ob die Modelle auf einen breiteren Bereich verallgemeinert werden k\u00f6nnen. In unserer weiteren Arbeit planen wir, verschiedene Herangehensweisen und Datens\u00e4tze, sowie einige Aspekte des Informed Machine Learning zu untersuchen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Damit ein ML-System Widerspr\u00fcche in Texten erkennen kann, bedarf es eine gro\u00dfe Menge an menschen\u00e4hnlichem Textverst\u00e4ndnis. In diesem Beitrag stellen wir Modelle unserer Forschung vor, die dazu in der Lage sind.<\/p>\n","protected":false},"author":9,"featured_media":4724,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,1418],"blog-tag":[1558,1559],"class_list":["post-4715","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-sprachtechnologien","blog-tag-neuronale-netze","blog-tag-nlp-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4715","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4715\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4724"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4715"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4715"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4715"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}