Mit \u00fcber 1,4 Millionen Urteilen ist das Fachinformations- und Softwareunternehmen Wolters Kluwer einer der wichtigsten juristischen Datenbankanbieter in Deutschland. Seit 2021 arbeiten wir gemeinsam mit Wolters Kluwer an Methoden, mit denen Urteils-Dokumente analysiert, wichtige Fakten extrahiert und insbesondere Argumente, die die Urteilsentscheidung begr\u00fcnden, gefunden werden k\u00f6nnen. Wir fokussieren uns hierbei in einem ersten Schritt auf Urteile im Bereich Mietrecht, die sich mit der Mietminderung wegen M\u00e4ngeln an der Mietsache besch\u00e4ftigen. Relevant sind dabei die folgenden drei Kerninformationen:<\/p>\n\n\n\n
- \n
- Eckdaten, die das Auffinden \u00e4hnlicher F\u00e4lle erm\u00f6glichen: hier der Mietmangel<\/strong> (zum Beispiel Schimmel, L\u00e4rm oder eine defekte Infrastruktur). Ist dieser bekannt, k\u00f6nnen Jurist*innen sp\u00e4ter anhand der Eckdaten schnell \u00e4hnliche F\u00e4lle finden.<\/li>\n\n\n\n
- Entscheidung des Gerichts:<\/strong> Hat das Gericht die Mietminderung bewilligt und falls ja, wie hoch ist die zugesprochene Minderung? Nimmt der Mieter im Prozess die Rolle des Kl\u00e4gers oder des Beklagten ein?<\/li>\n\n\n\n
- Welche Gr\u00fcnde<\/strong> haben das Gericht dazu bewogen, der Mietminderung stattzugeben oder diese abzulehnen? Wenn die Gr\u00fcnde sauber extrahiert sind, k\u00f6nnen Jurist*innen Urteile schneller sichten und Argumente f\u00fcr den aktuellen Fall sammeln.<\/li>\n<\/ol>\n\n\n\n
W\u00e4hrend die in (1) und (2) beschriebenen Informationen durch eine Klassifikation der Dokumente oder einzelnen W\u00f6rter, \u00e4hnlich zum beschriebenen Vorgehen in folgendem Blogbeitrag<\/a>, identifiziert werden k\u00f6nnen, stellt die Extraktion von Argumenten eine besondere Herausforderung dar.<\/p>\n\n\n\n
Argumentation Mining mit Question-Answering-Modellen<\/span><\/h2>\n\n\n\n
Die in (3) benannte Extraktion von Argumenten wird unter dem Begriff Argumentation Mining<\/a> (seltener: Argument Mining) zusammengefasst.<\/p>\n\n\n\n
Die Extraktion der Argumente ist aus mehreren Gr\u00fcnden herausfordernd: Argumente k\u00f6nnen sich \u00fcber einen oder mehrere S\u00e4tze erstrecken, weswegen eine Klassifikation auf Satzebene oft keine guten Resultate liefert. Zudem beziehen sich viele Urteile und damit auch die angebrachten Entscheidungsgr\u00fcnde auf mehrere Sachverhalte. Relevant f\u00fcr unsere Anwender*innen sind allerdings nur jene Argumente, die sich mit dem vorliegenden Verhandlungsobjekt, in unserem Fall die Mietminderung, besch\u00e4ftigen. Zum Auffinden der richtigen Argumente ist es also entscheidend, ihren Kontext einzubeziehen, der sich f\u00fcr jedes Urteil daraus ergibt, welcher Mietmangel vorliegt.<\/p>\n\n\n\n
Um diesen Herausforderungen zu begegnen, verwenden wir ein Verfahren aus dem Bereich des Question Answering. Ein solches Modell lernt auf Basis von Frage-Antwort-Paaren, die richtigen Antworten auf eine beliebige Frage in einem Dokument zu finden. Genauer handelt es sich hierbei um eine Klassifikationsaufgabe, bei der das Lernziel ist, zwei W\u00f6rter im Dokument als Start- und Endwort einer Antwort zu klassifizieren.<\/p>\n\n\n\n
W\u00e4hrend des Trainings wird ein solches Modell dabei mit Urteilstexten, den gestellten Fragen und Start-\/Endw\u00f6rter der richtigen Antworten als Input angelernt.<\/p>\n\n\n\n
Wir k\u00f6nnen dabei auf einem Sprachmodell aufbauen, welches bereits auf generischen Frage-Antwort-Paaren nachtrainiert wurde. Dieses ist bereits out-of-the-box dazu in der Lage, Antwortstrukturen in Texten zu erkennen. Um auch Fragen in unserem juristischen Kontext zuverl\u00e4ssig beantworten zu k\u00f6nnen, lernen wir das Modell auf unseren Daten weiter.<\/p>\n\n\n\n
Stelle die richtigen Fragen: Argumente mit Fragetemplates extrahieren<\/span><\/h2>\n\n\n\n
F\u00fcr jedes Urteil erstellen wir ein Fragetemplate, welches ad-hoc mit den, in (1) und (2) extrahierten Informationen bef\u00fcllt wird:<\/p>\n\n\n\n
Template<\/strong>: \u201eWas sind Argumente f\u00fcr oder gegen eine Minderung der Miete durch den Mieter als [Rolle] aufgrund von [Mietmangel]?\u201c<\/p>\n\n\n\n
Konkretes Beispiel<\/strong>: \u201eWas sind Argumente f\u00fcr oder gegen eine Minderung der Miete durch den Mieter als Beklagtem aufgrund von Verschmutzung des Balkons?\u201c<\/p>\n\n\n\n
Zur Anwendungszeit sieht der Prozess dabei, wie in Abbildung 1 dargestellt, aus: Im ersten Schritt werden aus dem Urteil die Informationen \u00fcber Mietmangel und Rolle des Mieters automatisch extrahiert, im zweiten Schritt wird das Fragetemplate mit den extrahierten Informationen bef\u00fcllt. Die Frage wird zusammen mit dem Urteilstext als Input f\u00fcr das Question-Answering-Modell verwendet. Das Modell liefert anschlie\u00dfend Start- und Endw\u00f6rter aller, zur Frage passenden Antworten zur\u00fcck.<\/p>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Abbildung-Question-Answering-Modell_de-1024x557.png\" "\\"\\"")
\u00a9 Lamarr-Institut\n<\/figcaption><\/figure>\n\n\n\n Praktische Herausforderungen – Trainingsdatenerzeugung und Evaluierung<\/h2>\n\n\n\n
Nicht nur aus Machine-Learning-Sicht ergeben sich im Projekt einige Schwierigkeiten, auch die Umsetzung ist aus den folgenden genannten Gr\u00fcnden herausfordernd:<\/p>\n\n\n\n
- \n
- zum Anlernen der Modelle werden gelabelte Trainingsdaten ben\u00f6tigt<\/strong>, sprich: Urteilstexte, in denen die in (1), (2) und (3) beschriebenen Informationen annotiert sind. Anhand dieser Beispiele lernt das Modell, die von Menschen getroffene Entscheidung m\u00f6glichst gut zu reproduzieren und dabei auf ungesehene Urteile zu generalisieren. Gemeinsam erarbeiten wir ein Schema zur Annotation der Daten. Mit dessen Hilfe bereiten die Fachexperten von Wolters Kluwer die Daten auf und evaluieren sie. Zur Annotation verwenden wir die, von Fraunhofer IAIS entwickelte Annotationssoftware AnEx<\/a>. Diese Annotationsarbeit erstreckt sich \u00fcber einen Gro\u00dfteil der Projektlaufzeit und ist ein, f\u00fcr den Projekterfolg ma\u00dfgeblicher Arbeitsschritt. Die sp\u00e4tere Modellperformanz steht und f\u00e4llt mit der Qualit\u00e4t der manuell erzeugten Urteilsbeispiele.<\/li>\n\n\n\n
- Qualitative Evaluierung der Extraktionsergebnisse: <\/strong>F\u00fcr einige der extrahierten Informationen k\u00f6nnen wir die G\u00fcte des Modells quantitativ mithilfe von Metriken, wie Precision, Recall und F1-Score, auf einem annotierten Test-Set ermitteln. So zum Beispiel bei der Vorhersage der Prozessentscheidung. Andere Informationen, wie die Argumente, sind schwieriger zu bewerten. Oft entscheidet sich ein Modell bei der Argumentsuche f\u00fcr andere Passagen als ein\/eine Fachexpert*in, der die Textstellen annotiert. Die gefundenen Passagen sind dabei semantisch \u00e4hnlich zu den manuell annotierten und beide k\u00f6nnen, obwohl unterschiedlich, als korrekt bewertet werden. Die ermittelten Metriken sind in solchen F\u00e4llen nicht aussagekr\u00e4ftig.<\/li>\n<\/ul>\n\n\n\n
Aus diesem Grund werden unsere Extraktionsmodelle direkt durch die Dom\u00e4nenexpert*innen bei Wolters Kluwer bewertet. Dazu stellen wir sie in einem Webservice zur Verf\u00fcgung. Dieser nimmt Urteile entgegen, analysiert sie und liefert das Ergebnis zur\u00fcck. Eine grafische Benutzeroberfl\u00e4che erm\u00f6glicht das Hochladen von Urteilen und Anzeigen der gefundenen Informationen. Wir verwenden dazu das Framework Streamlit<\/a>, mit dem ohne viel Aufwand einsatzf\u00e4hige Web-Applikationen erstellt werden k\u00f6nnen.<\/p>\n\n\n\n
Um die Anwendung an Wolters Kluwer auszuliefern, wird sie in einem sogenannten Docker-Image verpackt. Docker erm\u00f6glicht das schnelle Erzeugen von nutzbaren Anwendungen. Ein Image beinhaltet die komplette Anwendung, die selbstst\u00e4ndig ausgef\u00fchrt werden kann. Der Service kann so unkompliziert in die Infrastruktur von Wolters Kluwer integriert und dort getestet werden.<\/p>\n\n\n\n
Zusammenfassung und Fazit<\/h2>\n\n\n\n
Ein Gro\u00dfteil der Arbeitszeit von Juristen und Juristinnen flie\u00dft in die Recherche zur Fallbearbeitung, welche mit m\u00fchseligen Suchen und Aufbereiten von Informationen verbunden ist. Durch den Einsatz von Methoden des Maschinellen Lernens kann dieser Aufwand reduziert werden.<\/p>\n\n\n\n
Die Aufgabe l\u00e4sst sich in verschiedene Probleme des Maschinellen Lernens \u00fcbersetzen, darunter die Klassifikation von Dokumenten und W\u00f6rtern, sowie Question Answering. Dabei profitieren wir in allen Bereichen vom Einsatz bereits vortrainierter Sprachmodelle, welche in der Lage sind, semantische \u00c4hnlichkeiten zu erkennen. Question-Answering-Modelle erm\u00f6gliche uns au\u00dferdem, gezielt den Kontext eines bestimmten Urteils mit einflie\u00dfen zu lassen, um die richtigen Informationen zu finden.<\/p>\n\n\n\n
Aktuell beschr\u00e4nken wir uns bei der Analyse auf ausgew\u00e4hlte Urteilstypen im Bereich Mietrecht. Das langfristige Ziel ist es, eine rechtsbereichs\u00fcbergreifende L\u00f6sung zu entwickeln und dabei den Aufwand zur Generierung von Trainingsdaten gering zu halten.<\/p>\n\n\n\n
Das partnerschaftlich umgesetzte Projekt bildet hiermit einen ersten Schritt in Richtung der automatisieren Urteilszusammenfassung- und Aufbereitung.<\/p>\n","protected":false},"excerpt":{"rendered":"
Die Recherche zur Fallbearbeitung nimmt einen Gro\u00dfteil der Arbeitszeit von Jurist*innen in Anspruch. Durch den Einsatz von speziellen Machine-Learning-Methoden, wie dem Question Answering, kann dieser Aufwand reduziert werden.<\/p>\n","protected":false},"author":9,"featured_media":4572,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546],"blog-tag":[1523,1533,1559,1598],"class_list":["post-4569","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-tag-ki-und-recht","blog-tag-klassifikation","blog-tag-nlp-de","blog-tag-sprachmodelle"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4569","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4569\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4572"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4569"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4569"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4569"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Qualitative Evaluierung der Extraktionsergebnisse: <\/strong>F\u00fcr einige der extrahierten Informationen k\u00f6nnen wir die G\u00fcte des Modells quantitativ mithilfe von Metriken, wie Precision, Recall und F1-Score, auf einem annotierten Test-Set ermitteln. So zum Beispiel bei der Vorhersage der Prozessentscheidung. Andere Informationen, wie die Argumente, sind schwieriger zu bewerten. Oft entscheidet sich ein Modell bei der Argumentsuche f\u00fcr andere Passagen als ein\/eine Fachexpert*in, der die Textstellen annotiert. Die gefundenen Passagen sind dabei semantisch \u00e4hnlich zu den manuell annotierten und beide k\u00f6nnen, obwohl unterschiedlich, als korrekt bewertet werden. Die ermittelten Metriken sind in solchen F\u00e4llen nicht aussagekr\u00e4ftig.<\/li>\n<\/ul>\n\n\n\n
- Entscheidung des Gerichts:<\/strong> Hat das Gericht die Mietminderung bewilligt und falls ja, wie hoch ist die zugesprochene Minderung? Nimmt der Mieter im Prozess die Rolle des Kl\u00e4gers oder des Beklagten ein?<\/li>\n\n\n\n