EMNLP 2024: Multilinguales Instruction-Tuning für Polyglotte Sprachmodelle

Vom 12. bis 16. November findet die 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP) im Hyatt Regency Miami Hotel in Miami, Florida, statt. Alexander Weber, Doktorand an der Lamarr-Partnerorganisation Fraunhofer IAIS, wird dort sein neuestes Paper mit dem Titel “Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?” vorstellen. Er wird erläutern, wie sich multilinguales Instruction-Tuning auf die Leistungsfähigkeit von Sprachmodellen in verschiedenen Sprachen auswirkt, und damit einem wachsenden Bedarf an anpassungsfähigen KI-Sprachassistenten weltweit begegnen.

Die Session beleuchtet Webers umfassende empirische Studie zu multilingualen Sprachmodellen (LLMs) und zeigt, dass das Instruction-Tuning mit parallelen multilingualen Datensätzen die sprachübergreifenden Fähigkeiten signifikant steigert – mit einer Leistungsverbesserung von bis zu 9,9 % im Vergleich zu monolingualen oder nicht-parallelen multilingualen Daten. Diese Arbeit prüft außerdem die Superficial Alignment Hypothese kritisch und liefert Beweise dafür, dass insbesondere mittelgroße Modelle große Datensätze beim Instruction-Tuning benötigen.

Interessierte Leser*innen finden in Alexander Webers aktuellem Blogbeitrag auf dem Lamarr ML-Blog weiterführende Informationen zu den Vorteilen des multilingualen Instruction-Tunings für Sprachmodelle, die auf indoeuropäischen Sprachen vortrainiert wurden. Der Blogbeitrag zeigt auf, wie parallel ausgerichtete Datensätze – die eine semantische Kohärenz über mehrere Sprachen hinweg aufrechterhalten – die sprachübergreifenden Fähigkeiten im Vergleich zu monolingualen Daten deutlich verbessern. Zudem stellt die Arbeit neue mehrsprachige Ressourcen und Evaluationsdatensätze vor, die speziell zur Verbesserung des polyglotten Modelltrainings entwickelt wurden.

Die Registrierung für die EMNLP 2024 ist weiterhin unter folgendem Link geöffnet: https://2024.emnlp.org/registration/.