Große Sprachmodelle besitzen ein immenses Transformationspotenzial. Sogenannte Foundation-Modelle können mittlerweile nicht nur die Bedeutung von Texten und Bildern erfassen und selbst erzeugen, sondern sind auch auf Videos anwendbar.
Sprachmodelle mit Milliarden von Parametern können sinnvoll Fragen beantworten und scheinen durch „Lesen“ Text- und Weltverständnis aufzubauen. Ihre Komplexität ist undurchschaubar, aber sie können lernen, sich zu erklären.
Bisher erstellen Sprachmodell-basierte Bewertungen von Chatbots nur einen Score über die Gesamtqualität, ohne beispielsweise den Zusammenhang des Dialogs zu beachten. Mit Modellen, die auf GLUE-Aufgaben trainiert sind, hat das ein Ende.
