{"id":4745,"date":"2022-02-23T04:38:39","date_gmt":"2022-02-23T04:38:39","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/evaluierung-von-smalltalk\/"},"modified":"2025-11-12T14:54:47","modified_gmt":"2025-11-12T14:54:47","slug":"evaluierung-von-smalltalk","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/evaluierung-von-smalltalk\/","title":{"rendered":"Evaluierung von Smalltalk anhand von Sprachmodellen: Sprachmodelltransformatoren als Evaluatoren f\u00fcr Open-Domain-Dialoge"},"content":{"rendered":"\n

Dialogsysteme, die heutzutage als Chatbots bezeichnet werden, gibt es seit den 1960er Jahren. Eines der ersten bekannten Beispiele f\u00fcr ein solches System ist <\/span>ELIZA von Joseph Weizenbaum<\/span><\/a>. Das System verwendete Schl\u00fcsselwort-Matching und Regeln zur Nachahmung der<\/span> einfachen Rogerianischen Psychotherapie<\/span><\/a>. Seitdem hat sich das Forschungsgebiet massiv weiterentwickelt und Dialogsysteme sind heute im Alltag pr\u00e4sent. So sind sie in Sprachassistenten wie Siri oder Alexa oder in Chatbots auf Social-Media-Plattformen, die uns helfen, einen Tisch im Restaurant zu reservieren oder uns bei Problemen unterst\u00fctzen, weit verbreitet. Sie spielen auch eine immer wichtigere Rolle in industriellen Dialogumgebungen. Aber woher wei\u00df man, dass der eigens entwickelte Chatbot tats\u00e4chlich funktioniert? <\/span> <\/span><\/p>\n\n\n\n

Aufgabenorientierte Chatbots (wie bei der Unterst\u00fctzung von Flugbuchungen) sind in der Regel komponentenbasiert. Ihre Aufgabe ist in Teilaufgaben unterteilt, wodurch eine automatisierte Auswertung m\u00f6glich ist. Bis heute beinhaltet die Entwicklung solcher Systeme als letzte Stufe noch immer strenge Tests, die von realen Personen durchgef\u00fchrt werden. Auch gibt es Chatbots, die nicht aufgabenorientiert sind (wie beispielsweise in Bezug auf Smalltalk) und evaluiert werden m\u00fcssen. Bis jetzt ist der beste Weg, den wir haben, ihre Antwort anhand einer Referenz zu \u00fcberpr\u00fcfen. Wir alle wissen jedoch, dass es in einem informellen Gespr\u00e4ch, mehr als eine m\u00f6gliche Antwort geben kann. Bisher ist es noch niemandem gelungen,<\/span> ein Werkzeug, eine Methode oder einen Algorithmus zu entwickeln, mit dem sich messen l\u00e4sst, wie gut sich diese Programme unterhalten.<\/span> <\/span><\/p>\n\n\n\n

F\u00fcr viele mag dies wie ein automatisierter Turing-Test klingen (von Alan Turing selbst auch „Imitationsspiel“ genannt). Eine solche Auswertung erfordert jedoch zwei wesentliche F\u00e4higkeiten: <\/span> <\/span><\/p>\n\n\n\n

    \n
  1. Man muss <\/span>verstehen<\/span><\/b> k\u00f6nnen, ob ein Dialog bestimmte Qualit\u00e4tskriterien erf\u00fcllt, zum Beispiel ob die Konversation fl\u00fcssig (korrekter Sprachgebrauch) oder koh\u00e4rent (kontextrelevante Antwort) ist. <\/span> <\/span><\/li>\n\n\n\n
  2. Man sollte in der Lage sein, <\/span>ein Gespr\u00e4ch zu f\u00fchren<\/span><\/b>, das hei\u00dft eine Antwort zu geben, die den oben erw\u00e4hnten Kriterien entspricht. Da wir \u00fcber kein System verf\u00fcgen, das letzteres korrekt (zumindest noch nicht) durchf\u00fchren kann, k\u00f6nnen wir den Turing-Test nicht automatisieren. Stattdessen konzentrieren wir uns darauf, die Fl\u00fcssigkeit und Koh\u00e4renz eines Dialogs zu messen.<\/span> <\/span><\/li>\n<\/ol>\n\n\n\n

     <\/span> <\/span><\/p>\n\n\n\n

    Warum haben Sprachmodelle ein „Gef\u00fchl“ f\u00fcr flie\u00dfende und koh\u00e4rente Dialoge?<\/span><\/b> <\/span><\/p>\n\n\n\n

    Schnell stellt sich folgende Frage: Um zu wissen, was ein flie\u00dfender und koh\u00e4renter Dialog ist, muss man doch wissen, wie man sich gut unterhalten kann? <\/span> <\/span><\/p>\n\n\n\n

    \"-
    \u00a9 Irina\/stock.adobe.com & ML2R<\/figcaption><\/figure>\n\n\n\n

    In unserer Arbeit „Language Model Transformers as Evaluators for Open-domain Dialogues<\/a>“ zeigen wir, dass Sprachmodelle „ein Gef\u00fchl“ daf\u00fcr haben, was ein koh\u00e4renter und fl\u00fcssiger Dialog sein k\u00f6nnte. Dieses „Gef\u00fchl“ haben sie sich allein durch das „Lesen von B\u00fcchern“ angeeignet. Einfach ausgedr\u00fcckt: Sprachmodelle haben gelernt, das wahrscheinlichste Wort oder die wahrscheinlichsten W\u00f6rter in einem bestimmten Kontext zu erraten. Jeder der drei oben genannten Ans\u00e4tze tut dies auf seine eigene Weise. Wir wollten herausfinden, ob ihre „F\u00e4higkeit“ ein guter Indikator f\u00fcr die Qualit\u00e4t eines Gespr\u00e4chs sein kann. <\/p>\n\n\n\n

    Somit fragten wir Sprachmodelle, wie „wahrscheinlich“ Antworten in Dialogen sind. F\u00fcr unsere Tests verwendeten wir die teilnehmenden Systeme in den Herausforderungen ConvAI1 und ConvAI2. Dann pr\u00fcften wir, ob es eine Korrelation zwischen dem „likeliness score“ der Sprachmodelle und den Bewertungen der menschlichen Annotatoren gibt. Es stellte sich heraus, dass es (einige) gibt!<\/strong> Je nach verwendetem Sprachmodell- und Dialogdatensatz, entdeckten wir positive Korrelationskoeffizienten (Pearson’s und Spearman’s) zwischen 0,13 und 0,49 mit hoher statistischer Signifikanz. BERT’s Next Sentence Prediction (NSP) schneidet am besten ab, da es auf der Ebene der \u00c4u\u00dferungen und nicht auf der Ebene der Tokens funktioniert. Sie wird gefolgt von XLNet, welches Positionsinformationen f\u00fcr jedes Zielwort verwendet. Schlie\u00dflich kommt GPT2 hinzu, eine standardm\u00e4\u00dfige Wort-f\u00fcr-Wort-Prognose von links nach rechts. <\/p>\n\n\n\n

    \"-
    \u00a9 Uni Bonn \/ Fraunhofer IAIS\n<\/figcaption><\/figure>\n\n\n\n

    Das ist erstaunlich! Wenn also Sprachmodelle „eine eigene Meinung haben“, dann haben wir sie nicht nur gebeten, den Dialog zu bewerten, sondern wir haben sie auch gefragt, was aus ihrer Sicht eine gute Antwort ist? <\/p>\n\n\n\n

    Ja, das haben wir! Zwei von ihnen, GPT2 und XLNet, sind in der Lage, ganze S\u00e4tze zu generieren. Also baten wir die beiden, die Gespr\u00e4che von ConvAI1 und ConvAI2 weiterzuf\u00fchren. Ihre Antworten waren zwar nicht ganz fl\u00fcssig, aber sie waren verst\u00e4ndlich und machten im Kontext Sinn. Wenn man sie dar\u00fcber hinaus mit dem zuvor erw\u00e4hnten Wahrscheinlichkeitswert vergleicht, hatten die Wahrscheinlichkeitswerte dieser hypothetischen Antworten eine noch h\u00f6here Korrelation mit den Werten des menschlichen Annotators. Abh\u00e4ngig von dem Sprachmodell und dem Datensatz gab es eine durchschnittliche Zunahme der Korrelation um etwa 0,05. Hei\u00dft das also, dass die Sprachmodelle besser sind als die Systeme ConvAI1 und ConvAI2? M\u00f6glicherweise! Beide Wettbewerbe fanden vor den Anf\u00e4ngen der Transformator-LMs statt, und daher ist ein solcher Vergleich unfair. <\/p>\n\n\n\n

    \"-
    \u00a9 Uni Bonn \/ Fraunhofer IAIS
    Auf den ersten Blick erscheinen die abgetasteten generierten Antworten alles andere als gut. Entfernt man jedoch den ersten und letzten Spielstein, erhalten wir eine perfekte Antwort.<\/figcaption><\/figure>\n\n\n\n

    Fazit  <\/h2>\n\n\n\n

    Gegenw\u00e4rtig funktioniert der Ansatz nur bei \u00c4u\u00dferungspaaren. Er muss verbessert werden, um den gesamten Kontext und nicht nur die letzte \u00c4u\u00dferung zu ber\u00fccksichtigen. Wir haben gesehen, dass ein umfassenderer Ansatz wie der NSP des BERT von Vorteil ist. Wir w\u00fcrden also untersuchen, wie man eine Dialogbewertung erhalten kann, ohne dass ein Aggregationsschritt erforderlich ist.  <\/p>\n\n\n\n

    Mehr Informationen zu der zugeh\u00f6rigen Publikation: <\/p>\n\n\n\n

    Language Model Transformers as Evaluators for Open-domain Dialogues<\/strong>
    Nedelchev, Rostislav, Jens Lehmann, and Ricardo Usbeck, Proceedings of the 28th International Conference on Computational Linguistics, 2020,     PDF<\/a> <\/p>\n\n\n\n

    Link zum Code: https:\/\/github.com\/SmartDataAnalytics\/transformers_dialogue_evaluators<\/a> <\/p>\n\n\n\n

    Dies war ein Gastbeitrag des SDA Blogs<\/a>. Hier geht es zur englischen Version des Blogbeitrags: Link<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

    Dialogsysteme sind in Sprachassistenten wie Siri oder Alexa oder in Chatbots auf Social-Media-Plattformen weit verbreitet. Aber woher wei\u00df man, dass der eigens entwickelte Chatbot tats\u00e4chlich funktioniert?<\/p>\n","protected":false},"author":9,"featured_media":4019,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,437,1418],"blog-tag":[1452,1516,1559,1598,1614],"class_list":["post-4745","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-gastbeitrag","blog-category-sprachtechnologien","blog-tag-bert-de","blog-tag-gpt-de","blog-tag-nlp-de","blog-tag-sprachmodelle","blog-tag-transformer-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4745","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4745\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4019"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4745"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4745"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4745"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}

    Nicht ganz! Es ist f\u00fcr jeden nachvollziehbar, dass das Lesen von B\u00fcchern dabei helfen kann, eine Sprache als Muttersprachler oder als Nicht-Muttersprachler zu beherrschen. Im Wesentlichen ist dies das, was Sprachmodelle wie <\/span>BERT<\/span><\/a> (Devlin et al., 2018)<\/span><\/a>, GPT2 <\/span>(Radford et al., 2019)<\/span><\/a> oder XLNet <\/span>(Yang et al., 2019)<\/span><\/a> mehr oder weniger leisten. Sie „lesen“ viele Artikel aus online Nachrichten oder Wikipedia und „eignen sich dadurch Kenntnisse“ \u00fcber die konsumierte Sprache an. Allerdings hat keiner von ihnen gelernt, sich an einem Dialog zu beteiligen (Mehr Informationen zu „<\/span>F\u00e4higkeiten und Limitationen von Sprachmodellen<\/span><\/a>„). <\/span><\/p>\n\n\n\n