Das GPT-2 geh\u00f6rt zu der Reihe der Generative Pre-trained Transformer, entwickelt von Forschenden bei OpenAI. Wie der Name schon andeutet, liegt bei den GPTs neben einem grunds\u00e4tzlichen Sprachverstehen vor allem die Generierung von Text im Fokus. In seiner Architektur \u00e4hnelt GPT-2 anderen Transformer-Modellen wie BERT oder ELMo, nutzt anstatt von Encoder- jedoch nur Decoder-Bl\u00f6cke und arbeitet auto-regressiv (Mehr Informationen zu der Funktionsweise von BERT im Blogbeitrag \u201cBERT: Wie beschreiben Vektoren treffend den Sinngehalt von W\u00f6rtern?<\/a>\u201d). Eine weitere Besonderheit liegt in der Gr\u00f6\u00dfe des Modells. Die einzelnen Modellvarianten umfassen bis zu Billionen an Parametern, also ein Vielfaches mehr als andere Transformer-Architekturen, wie zum Beispiel BERT Large mit 340 Millionen Parametern.<\/p>\n\n\n\n Im Training wurde f\u00fcr das GPT-2 ein un\u00fcberwachtes Verfahren mit generalisierter Optimierungsfunktion gew\u00e4hlt. Das hei\u00dft, es gab kein explizites Trainingsproblem, sondern das Modell sollte einfach die Verteilung von W\u00f6rtern innerhalb eines gegebenen Kontexts lernen und somit ein generelles Sprachverst\u00e4ndnis erlangen. Als Datensatz wurde dazu eine Sammlung von Text-Korpora aus diversen Dom\u00e4nen, beziehungsweise Genres, genutzt, um mehr Vielfalt in das Modell zu bringen. So sollte das menschliche Lernverhalten nachgeahmt und GPT-2 zu einem \u201cmulti-task learner\u201d entwickelt werden, welcher allgemeine Muster im sprachlichen Input lernen und sp\u00e4ter auf unterschiedlichste Aufgaben \u00fcbertragen kann. Im Gegensatz dazu wird f\u00fcr viele NLP-Probleme derzeit ein Ansatz mit Task-spezifischem Lernen oder Fine-tuning verfolgt. W\u00e4hrend der GPT-Vorreiter auch noch davon profitiere, soll der Trend aber nun von sogenannten \u201cnarrow experts\u201d weg und hin zu \u201ccompetent generalists\u201d und anpassungsf\u00e4higeren Modellen gesetzt werden.<\/p>\n\n\n\n Mit dieser noch neuartigen Perspektive auf maschinelles Lernen konnte das GPT-2 im Vergleich mit spezialisierten Modellen mithalten und auf einigen der Benchmark Datens\u00e4tze sogar state-of-the-art Ergebnisse erzielen. Dabei ist es wichtig im Hinterkopf zu behalten, dass das GPT-2 diese Test-Datens\u00e4tze vorher nicht gesehen hatte und die geforderten Aufgaben rein durch nat\u00fcrlichsprachliche Anweisungen l\u00f6sen sollte. Verbl\u00fcffende Ergebnisse zeigten sich au\u00dferdem bei den Textgenerierungsaufgaben: Auf Eingabebeispiele hin, generiert das GPT-2 beliebig lange Fortf\u00fchrungen, kongruent zum inhaltlichen Thema. Dabei verh\u00e4lt sich das Modell \u201cCham\u00e4leon-\u00e4hnlich\u201d und passt sich auch in Stil und Ton dem vorgegebenen Input an. Damit zeigt es ein vorher unbeobachtetes Ma\u00df an Sprachverstehen und Expressivit\u00e4t.<\/p>\n\n\n\n Genau diese F\u00e4higkeiten waren allerdings auch das, was zu der Besorgnis in der \u00d6ffentlichkeit und unter den Entwicklern f\u00fchrte. Das wohl bekannteste von GPT-2 generierte St\u00fcck ist der Entdeckung einer Einh\u00f6rner-Herde in den Anden gewidmet. Dabei gleicht der generierte Text in Form und Schreibweise einem Zeitungsartikel und zeigt eine bis dahin unerreichte Qualit\u00e4t des Outputs, insbesondere in den Aspekten Kreativit\u00e4t, Koh\u00e4renz und Argumentationslinie. Er ist auf den ersten Blick nicht als automatisiert verfasst zu erkennen und von dem Schriftwerk eines Menschen zu unterscheiden. Andere Beispiele umfassen einen Bericht \u00fcber gestohlenes Nuklearmaterial und ein Testament zu den vermeintlichen Gefahren des Recyclings. Die Sorge ist also damit begr\u00fcndet, dass das Sprachmodell von Dritten zur Generation genau dieser Art von Beitr\u00e4gen, ihrer Verbreitung \u00fcber soziale Medien und Beeinflussung der Massen genutzt werden k\u00f6nnte. Um dem entgegenzuwirken, entschied sich OpenAI schlie\u00dflich vorerst nur kleinere Modellvarianten mit minderer Performanz zu ver\u00f6ffentlichen.<\/p>\n\n\n\n Doch wie gut ist das Modell wirklich? Wie nah ist es an den F\u00e4higkeiten eines Menschen? Einsch\u00e4tzungen des Open AI – Teams zufolge, begrenzt sich die Zahl der tats\u00e4chlich schl\u00fcssigen und nat\u00fcrlich-wirkenden Texte auf nur ca. 50% der w\u00e4hrend initialer Tests generierten Outputs. Die zuvor erw\u00e4hnten Beitr\u00e4ge geh\u00f6ren zu einer Auswahl an sorgf\u00e4ltig zusammengestellten Beispielen, deren Repr\u00e4sentativit\u00e4t f\u00fcr die Gesamtheit der generierten Texte fraglich ist. Die Autoren selbst merken an, dass es ein paar Versuche dauert, bis man solch einen \u00fcberzeugenden Beitrag erh\u00e4lt. Oft k\u00e4me es zu Unstimmigkeiten wie Wiederholungen, pl\u00f6tzlichem Themenwechsel oder Problemen bei der Modellierung der realen Welt. Bei genauem Hinschauen lassen sich auch bei den Vorzeige-Exemplaren kleinere Inkongruenzen finden: Im Beispiel der Einh\u00f6rner werden diese erst als aus der Evolution hervorgegangene Art bezeichnet, sp\u00e4ter allerdings als Alien-Rasse referenziert. Auch was r\u00e4umliche Beziehungen angeht, gibt es Diskrepanzen. <\/p>\n\n\n\n Ein weiterer Faktor bei der Qualit\u00e4t der Outputs ist die \u201cFamiliarit\u00e4t\u201d des Modells <\/strong>mit dem Thema des zu generierenden Beitrags, oder in anderen Worten: der Distribution der Trainingsdaten. So ist es wie bei anderen Netzwerken einfacher Outputs zu generieren, die sehr \u00e4hnlich zu den Trainingsdaten sind und oft im Datensatz vorkommen. F\u00fcr Textgenerierungsmodelle sind das oftmals Forumsbeitr\u00e4ge, Wikipedia- und Nachrichten-Artikel, da diese als Quelle f\u00fcr neue Webcrawl Datens\u00e4tze einfach verf\u00fcgbar sind. Andere Themengebiete wie zum Beispiel Technik und Esoterik kommen dagegen seltener vor und sind damit auch schwieriger zu reproduzieren. Was Kreativit\u00e4t und Textverst\u00e4ndnis angeht, wird hier deutlich, dass das GPT-2 in erster Linie immer noch ein simples Sprachmodell ist, dessen Hauptaufgabe nur darin besteht, die Wahrscheinlichkeiten aufeinanderfolgender W\u00f6rter zu berechnen. <\/p>\n\n\n\n Als letzter Punkt scheint die Gr\u00f6\u00dfe der Modelle<\/strong> ausschlaggebend f\u00fcr ihre Adaptivit\u00e4t zu sein und Parameterzahl und Performanz scheinen stark zu korrelieren. So sind vor allem die von den gr\u00f6\u00dften Modellen generierten Texte sehr schwierig von denen einer echten Person zu differenzieren. Entgegen der urspr\u00fcnglichen Bedenken hat OpenAI inzwischen allerdings auch diese Modellvarianten ver\u00f6ffentlicht und die Modelle sogar f\u00fcr kommerzielle Zwecke freigegeben. Auch einen Nachfolger gibt es bereits, das GPT-3. Bei ihm liegt der Fokus auf der Generierung Twitter Post-\u00e4hnlicher Texte. F\u00fcr Untersuchungen zu diesem Modell nahmen sich die Entwickler allerdings etwas mehr Zeit und f\u00fchrten Studien mit menschlichen Partizipanten durch. Bei Beurteilungsstudien zum Verfasser eines vorliegenden Textes \u2013, Mensch oder Maschine \u2013, lag die Erkennungsquote der Teilnehmer bei ca. 52%. Im Gegensatz zum GPT-2 sind die von GPT-3 generierten Twitter-Posts aber nat\u00fcrlich viel k\u00fcrzer und freier in ihrer Struktur, also auch wesentlich einfacher zu generieren. Im Kontext sind die von GPT-2 generierten Texte damit potenziell einfacher zu identifizieren und wahrscheinlich weniger gef\u00e4hrlich als zuerst angenommen. Eine abschlie\u00dfende Frage w\u00e4re damit, ob die Modelle vorerst nur aus Publicity<\/em>-Gr\u00fcnden oder tats\u00e4chlich aus Bedenken an ihrer Nutzung zur\u00fcckgehalten wurden. <\/p>\n\n\n\n Zusammenfassend l\u00e4sst sich f\u00fcr den Bereich Natural Language Processing feststellen, dass der Trend in Richtung einfacher Modell-Architekturen geht, die mit Tiefe an Vielseitigkeit und Qualit\u00e4t ihrer Repr\u00e4sentationen gewinnen. Zus\u00e4tzlich ist eine starke Abh\u00e4ngigkeit zu den im Training verwendeten Daten erkennbar, wodurch auch schon kleinere Modelle, die auf spezifischen Datens\u00e4tzen trainiert wurden, zu bedenklichen Outputs gelangen k\u00f6nnten. F\u00fcr zuk\u00fcnftige Forschungsarbeiten sollte verst\u00e4rkt ein Augenmerk auf die Qualit\u00e4tspr\u00fcfung der vorliegenden Trainingsdaten gelegt werden, und Biases, <\/em>kontroverser und anderer fragw\u00fcrdiger Inhalt noch st\u00e4rker filtriert werden. Womit OpenAI in diesem Zuge Recht zu geben ist, ist der Aufruf nach mehr Zeit f\u00fcr die Entwicklung von KI-Modellen, eingeschlossen der eben genannten Aspekte, Testung durch qualitative und quantitative Evaluierungsstudien, sowie Einhaltung angemessener Richtlinien. Hierdurch k\u00f6nnten unangebrachte Outputs besser vermieden und eine sinnvolle Nutzung solcher Modelle wie des GPT-2 gew\u00e4hrleistet werden. Einen weiteren Einblick zur Slow Science gibt es im Blogbeitrag \u201cSlow Science: Mehr Zeit f\u00fcr Forschung im Maschinellen Lernen<\/a>\u201d.<\/p>\n","protected":false},"excerpt":{"rendered":" Intelligente Sprachmodelle erhalten best\u00e4ndig mehr Einzug in unseren Alltag und nehmen Einfluss auf uns. Doch sind sie alle n\u00fctzlich? K\u00f6nnen wir sie noch von Menschen unterscheiden oder bedarf es neuer Forschungsans\u00e4tze?<\/p>\n","protected":false},"author":9,"featured_media":4004,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390,1418],"blog-tag":[1516,1551,1559,1594,1598,1614],"class_list":["post-4173","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-category-sprachtechnologien","blog-tag-gpt-de","blog-tag-large-language-models-llms-de","blog-tag-nlp-de","blog-tag-slow-science-de","blog-tag-sprachmodelle","blog-tag-transformer-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4173","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4173\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4004"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4173"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4173"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4173"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Das Problem \u2013 AI in falschen H\u00e4nden <\/span><\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/OpenAIGPT2UnicornHerd-1-984x1024.png\" "\\"\\"")
Auszug des von GPT-2 generierten Textes zur Entdeckung sprechender Einh\u00f6rnern in den Anden.<\/figcaption><\/figure>\n\n\n\nDie Realit\u00e4t – Studien und weitere Modelle <\/h2>\n\n\n\n
Mehr Zeit f\u00fcr Forschung <\/h2>\n\n\n\n