Sprachtechnologien unterst\u00fctzen bereits heute viele Menschen und Unternehmen dabei, ihren Alltag effizienter zu gestalten. Durch den Einsatz von Maschinellem Lernen (ML) ist die maschinelle Verarbeitung nat\u00fcrlicher Sprache mittlerweile auf einem sehr hohen Niveau. Gro\u00dfe Sprachmodelle \u2013 auch Foundation-Modelle genannt – entwickeln sich schnell und k\u00f6nnen bereits qualitativ anspruchsvolle Aufgaben wie die Erstellung von Computer-Programmen und Zeitungsberichten automatisiert durchf\u00fchren und unterschiedliche Medien gleichzeitig betrachten. In diesem Beitrag werfen wir einen Blick hinter die Kulissen der Sprachtechnologien, welche auch als Beitr\u00e4ge zur K\u00fcnstlichen Intelligenz (KI) betrachtet werden k\u00f6nnen.<\/p>\n\n\n\n
Beginnt ein Satz mit den Worten \u201eDer Hund\u201c, so k\u00f6nnen auf der n\u00e4chsten Wortposition viele unterschiedliche Worte auftauchen, zum Beispiel \u201elief\u201c oder \u201ebellte\u201c. Andererseits sind viele andere Worte dort aus syntaktischen oder inhaltlichen Gr\u00fcnden nicht m\u00f6glich, etwa \u201egr\u00fcn\u201c oder \u201egern\u201c. Daher hat man sogenannte Sprachmodelle definiert, die die Wahrscheinlichkeit f\u00fcr die m\u00f6glichen n\u00e4chsten Worte berechnen sollen, und die als eine bedingte Wahrscheinlichkeit formalisiert werden k\u00f6nnen: p(v3<\/sub> | v1<\/sub> = Der, v2<\/sub> = Hund). In unserem Falle sollten die Worte \u201elief\u201c und \u201ebellte\u201c eine hohe bedingte Wahrscheinlichkeit erhalten und \u201egr\u00fcn\u201c sowie \u201egern\u201c die Wahrscheinlichkeit 0,0.<\/p>\n\n\n\n Wie kann man nun die bedingten Wahrscheinlichkeiten mit einem Modell erfassen?<\/em> Es hat sich gezeigt, dass tiefe neuronale Netze mit Assoziationsmodulen besonders geeignet sind, bedingte Wahrscheinlichkeiten vorherzusagen. Hierbei werden die Worte der Sprache durch eine begrenzte Anzahl von Token dargestellt, sodass h\u00e4ufige Worte eigene Token sind und seltenere Worte aus Token zusammengesetzt werden. Jedes Token wird durch einen kontextabh\u00e4ngigen Einbettungsvektor dargestellt, welcher die Bedeutung des Tokens repr\u00e4sentiert. Diese k\u00f6nnen durch die Ber\u00fccksichtigung der Nachbarworte zudem die Bedeutung von mehrdeutigen Worten wie zum Beispiel \u201eBank\u201c erkl\u00e4ren, die je nach Kontext ein Finanzinstitut oder eine Sitzgelegenheit sein kann. Der Algorithmus zur Berechnung solcher Einbettungen wurde in den Beitr\u00e4gen \u201eDie Bedeutung von Worten durch Vektoren erfassen<\/a>\u201c und \u201eBERT: Wie beschreiben Vektoren treffend den Sinngehalt von W\u00f6rtern<\/a>\u201c detailliert dargestellt.<\/p>\n\n\n\n Ein Sprachmodell muss die Wahrscheinlichkeiten der Worte eines Satzes nacheinander erzeugen. Dies wird in der nachfolgenden Animation dargestellt. Das Modell erh\u00e4lt zu Beginn das Startsymbol (v1<\/sub> = BOS) als Eingabe. Anschlie\u00dfend wird der Algorithmus von BERT in mehreren Ebenen f\u00fcr die bisher bekannten Worte des Satzes durchgef\u00fchrt. Jede Ebene enth\u00e4lt eine Reihe paralleler Assoziationsmodule, welche jeweils einen neuen kontextsensitiven Einbettungsvektor f\u00fcr jedes Eingabe-Token erzeugt.<\/p>\n\n\n\n