{"id":16124,"date":"2024-10-30T10:23:59","date_gmt":"2024-10-30T10:23:59","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&#038;p=16124"},"modified":"2025-11-12T14:54:20","modified_gmt":"2025-11-12T14:54:20","slug":"mehrsprachiges-instruction-tuning-ki-modelle","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/mehrsprachiges-instruction-tuning-ki-modelle\/","title":{"rendered":"Multilinguales Instruction-Tuning: Ben\u00f6tigen mehrsprachige Modelle auch mehrsprachige Instruktionen?\u00a0"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\">Einf\u00fchrung in das multilinguale Instruction-Tuning&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Angesichts der sich stetig weiterentwickelnden Landschaft gro\u00dfer Sprachmodelle (LLMs) hat sich das Instruction-Tuning mit multilinguale Daten zu einem wichtigen Schwerpunktbereich entwickelt. Die Studie, die im Rahmen des <a href=\"https:\/\/opengpt-x.de\/\" target=\"_blank\" rel=\"noreferrer noopener\">OpenGPT-X-Projekts<\/a> durchgef\u00fchrt wurde &#8211; mit dem Ziel, ein europ\u00e4isches mehrsprachiges LLM zu entwickeln, das auf die Bed\u00fcrfnisse von Unternehmen und Forschung zugeschnitten ist -, untersucht die Auswirkung von mehrsprachigem Instruction-Tuning auf die Leistung mehrsprachiger Modelle und geht dabei auf drei wesentliche Herausforderungen ein:&nbsp;&nbsp;<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li><strong>Datenverf\u00fcgbarkeit:<\/strong> Wie k\u00f6nnen wir mehrsprachige Instruction-Tuning-Daten erstellen?&nbsp;<\/li>\n\n\n\n<li><strong>Datenzusammensetzung<\/strong>: Wie kann man ein mehrsprachiges, vortrainiertes Modell mit Instruktionen optimieren?&nbsp;<\/li>\n\n\n\n<li><strong>Modell-Auswertung:<\/strong> Wie kann man diese Modelle effektiv evaluieren?&nbsp;<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Daraus ergab sich die zentrale Problemstellung:&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>F\u00fcr ein mehrsprachiges Modell \u2013 d.h. ein Modell, das gr\u00f6\u00dftenteils auf nicht-englischen Dokumenten vortrainiert wurde \u2013 stellt sich die Frage, welche sprachliche Zusammensetzung der Konversation am besten geeignet ist, um das Modell in die Lage zu versetzen, Anweisungen in verschiedenen Sprachen zu befolgen.<\/strong>&nbsp;<\/p>\n\n\n<style>.kb-image16124_7cb7b2-eb .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_7cb7b2-eb size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"377\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/01_Intro_final-1024x377.jpg\" alt=\"Diagram with several speech bubbles that illustrates multilingual instruction-tuning\" class=\"kb-img wp-image-16100\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/01_Intro_final-1024x377.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/01_Intro_final-300x111.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/01_Intro_final-768x283.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/01_Intro_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 1: Ist ein mehrsprachiges, vortrainiertes Modell ausreichend f\u00fcr das instruction-tuning in einer Sprache? \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Die Entwicklung mehrsprachiger Datens\u00e4tze f\u00fcr das Instruction-Tuning&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Vor dem Hintergrund dieser zentralen Frage wurde der Bedarf an Datens\u00e4tzen f\u00fcr die verschiedenen Zielsprachen evident. W\u00e4hrend der <a href=\"https:\/\/arxiv.org\/abs\/2305.15011\" target=\"_blank\" rel=\"noreferrer noopener\">Bactrian-X-Datensatz<\/a> eine gro\u00dfartige Quelle quasi-paralleler Beispiele von Konversationen darstellte &#8211; indem die Antworten des GPT-3.5-Modells auf \u00fcbersetzte Anweisungen zur Erstellung genutzt wurde \u2013 schlug das damals viel diskutierte LIMA-Papier, die <em>Superficial Alignment Hypothesis<\/em>, vor, dass ein kleiner, aber qualitativ hochwertiger Datensatz f\u00fcr instruction-tuning ausreicht, um zu lernen Anweisungen zu befolgen. Die Autoren stellten die hohe Qualit\u00e4t von LIMA sicher, indem der Datensatz manuell kuratiert wurde. Daher haben wir neben Bactrian-X auch Lima-X erstellt und ver\u00f6ffentlicht, indem wir die Anweisungen und Antworten \u00fcbersetzten, um einen parallelen Datensatz f\u00fcr Englisch, Deutsch, Spanisch, Franz\u00f6sisch und Italienisch zu erhalten.&nbsp;<\/p>\n\n\n<style>.kb-image16124_9fe5ac-88 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_9fe5ac-88 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"313\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/02_Dataset_final-1024x313.jpg\" alt=\"three tables giving an overview of multilingual datasets of different nature (synthetic \/ human curated)\" class=\"kb-img wp-image-16102\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/02_Dataset_final-1024x313.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/02_Dataset_final-300x92.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/02_Dataset_final-768x235.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/02_Dataset_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 2: Mehrsprachige Datens\u00e4tze unterschiedlicher Art (synthetisch \/ von Menschen kuratiert) und Gr\u00f6\u00dfe (1K \/ 64K).&nbsp; \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Versuchsaufbau und Trainingsstrategie&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In Anbetracht dieser parallelen und semantisch parallelen Datens\u00e4tze haben wir einen sorgf\u00e4ltigen Versuchsaufbau entworfen, um verschiedene Datensatzzusammenstellungen auf ihre Effektivit\u00e4t beim mehrsprachigen Training zu vergleichen. Die ausgew\u00e4hlten Datens\u00e4tze erm\u00f6glichen es uns, verschiedene Aspekte zu untersuchen:&nbsp;&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Auswirkung der Art des Datensatzes:<\/strong> Vergleich des gleich gro\u00dfen, manuell kuratierten Datensatzes (Lima-X) mit dem synthetisch erzeugten Datensatz (Bactrian-X-small).&nbsp;<\/li>\n\n\n\n<li><strong>Einfluss der Gr\u00f6\u00dfe des Datensatzes:<\/strong> Da Bactrian-X-small 1.030 Konversationen enth\u00e4lt und der vollst\u00e4ndige Bactrian-X-Datensatz 64.000 Konversationen umfasst, k\u00f6nnen wir beurteilen, wie sich eine Vergr\u00f6\u00dferung der Datenmenge, die aus der gleichen Verteilung stammt, auf die sprach\u00fcbergreifende Leistung auswirkt.&nbsp;<\/li>\n\n\n\n<li><strong>Auswirkungen der Sprachzusammensetzung:<\/strong> Die Bewertung einsprachiger Datens\u00e4tze im Vergleich zu mehrsprachigen und semantisch parallelen Datensatzzusammensetzungen wie ENDEFRITES (Bedeutung: Englisch (EN), Deutsch (DE), Franz\u00f6sisch (FR), Italienisch (IT) und Spanisch (ES)) und semantisch nicht \u00fcberlappende Datensatzzusammensetzungen wie ENDEFRITES-sampled, um einen fairen Vergleich mit einsprachigen Datens\u00e4tzen zu gew\u00e4hrleisten.&nbsp;&nbsp;<\/li>\n\n\n\n<li><strong>Einfluss der vorherrschenden Sprache (Englisch):<\/strong> Untersuchung des Einflusses des Einbezugs oder Weglassens von Englisch in den Datens\u00e4tzen (Vergleich von ENDEFRITES mit DEFRITES und ENDEFRITES-sampled mit DEFRITES-sampled).&nbsp;<\/li>\n\n\n\n<li><strong>Einfluss der Modellgr\u00f6\u00dfe:<\/strong> Die Experimente wurden mit zwei Modell-Checkpoints durchgef\u00fchrt: einem <a href=\"https:\/\/arxiv.org\/abs\/2410.03730\" target=\"_blank\" rel=\"noreferrer noopener\">OpenGPT-X-Checkpoint mit 7B-Parametern<\/a>, der auf 1 Milliarde Token trainiert wurde, und dem gr\u00f6\u00dferen <a href=\"https:\/\/arxiv.org\/abs\/2401.04088\" target=\"_blank\" rel=\"noreferrer noopener\">8x7B-Mixtral-Modell<\/a>.&nbsp;<\/li>\n<\/ul>\n\n\n<style>.kb-image16124_ba785c-e6 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_ba785c-e6 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"451\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/03_composition_extended_legend_final-1024x451.jpg\" alt=\"Complex Table showing the Training of 45 Model Variations Based on Dataset Compositions: Monolingual vs. Multilingual (x-fold fully parallel (ENDEFRITES, DEFRITES)\/ same size semantically equal (ENDEFRITES-sampled, DEFRITES-sampled))\" class=\"kb-img wp-image-16104\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/03_composition_extended_legend_final-1024x451.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/03_composition_extended_legend_final-300x132.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/03_composition_extended_legend_final-768x339.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/03_composition_extended_legend_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 3: Das Training von 45 Modellvariationen auf der Grundlage von Datensatzkompositionen: Einsprachig vs. Mehrsprachig (x-fach vollst\u00e4ndig parallel (ENDEFRITES, DEFRITES) \/ gleiche Gr\u00f6\u00dfe und semantisch gleich (ENDEFRITES-sampled, DEFRITES-sampled)). \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben jedes Modell auf jeder Datensatzzusammensetzung trainiert, mit Ausnahme von Mixtral-8x7B-Bactrian-X, da die verf\u00fcgbaren Rechenressourcen nicht ausreichten, um das gro\u00dfe Modell auf dem gro\u00dfen Datensatz zu trainieren, wie oben in Abbildung 3 gezeigt.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Bewertungsmethodik<\/h2>\n\n\n<style>.kb-image16124_8387ed-e4 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<div class=\"wp-block-kadence-image kb-image16124_8387ed-e4\"><figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"509\" height=\"359\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/04_human-evaluation.jpg\" alt=\"A graphic showing thehuman-curated MT-Bench-X data set for English, German, French, Spanish and Italian. \u00a9 Fraunhofer IAIS\" class=\"kb-img wp-image-16106\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/04_human-evaluation.jpg 509w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/04_human-evaluation-300x212.jpg 300w\" sizes=\"auto, (max-width: 509px) 100vw, 509px\" \/><figcaption><em>Abbildung 4: Von Experten kuratierter MT-Bench-X Benchmark f\u00fcr Englisch, Deutsch, Franz\u00f6sisch, Spanisch und Italienisch. \u00a9 Fraunhofer IAIS<\/em><br> <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Um die Herausforderung einer effektiven Bewertung in mehreren Sprachen zu bew\u00e4ltigen, haben wir den damaligen De-facto-Standard MT-Bench \u00fcbernommen und ihn zu MT-Bench-X erweitert. Der urspr\u00fcngliche Datensatz besteht aus 80 Konversationen mit jeweils zwei Nutzerfragen\/ -instruktionen und jeweils zehn Beispielen aus den acht Kategorien:&nbsp;&nbsp;<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li>Mathematik&nbsp;<\/li>\n\n\n\n<li>Programmieren&nbsp;<\/li>\n\n\n\n<li>Schlussfolgern&nbsp;<\/li>\n\n\n\n<li>Extraktion&nbsp;<\/li>\n\n\n\n<li>Schreiben&nbsp;<\/li>\n\n\n\n<li>Rollenspiel&nbsp;<\/li>\n\n\n\n<li>MINT, und&nbsp;&nbsp;<\/li>\n\n\n\n<li>Geisteswissenschaften&nbsp;<\/li>\n<\/ol>\n\n\n<style>.kb-image16124_cf3a84-ec .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_cf3a84-ec size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1000\" height=\"382\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/05_AutomaticEvaluation_final.jpg\" alt=\"A complex graphic visualising the automatic evaluation with GPT-4-as-a-judge using the MT-Bench-X benchmark.\" class=\"kb-img wp-image-16108\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/05_AutomaticEvaluation_final.jpg 1000w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/05_AutomaticEvaluation_final-300x115.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/05_AutomaticEvaluation_final-768x293.jpg 768w\" sizes=\"auto, (max-width: 1000px) 100vw, 1000px\" \/><figcaption>Abbildung 5: Automatische Auswertung mit GPT-4-as-a-judge unter Verwendung der MT-Bench-X Benchmark. \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Um MT-Bench auf mehrere Sprachen auszuweiten, haben wir 320 zus\u00e4tzliche Beispiele hinzugef\u00fcgt, indem wir die Fragen und Referenzen vom Englischen ins Deutsche, Franz\u00f6sische, Italienische und Spanische \u00fcbersetzt haben. Daraus entstand der neue Evaluierungs-Benchmark MT-Bench-X, der speziell f\u00fcr die Berwertung von mehrsprachigen Instruction-Tuning Modellen entwickelt wurde.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In Anbetracht der Bedeutung einer richtigen Bewertung und angesichts der Tatsache, dass die menschliche Bewertung der h\u00f6chste Standard ist, haben wir die \u00dcbersetzungen manuell \u00fcberpr\u00fcft und kuratiert. Zus\u00e4tzlich haben wir eine Studie zur Korrelation menschlicher Bewertung zu Berwertungen mit GPT-4 als Richter f\u00fcr die deutsche Sprache durchgef\u00fchrt.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die MT-Bench-Familie von Benchmarks verwendet das Konzept des <em>LLM-as-a-judge<\/em>, d.h. ein leistungsf\u00e4higes gro\u00dfes Sprachmodell (LLM) wird gebeten, die potenziell diversen Antworten zu bewerten, die von dem zu bewertenden Modell erzeugt werden. Bei komplexen Fragen mit eindeutiger Antwort wird dem <em>LLM-as-a-judge<\/em> die richtige Antwort gegeben<em>.<\/em>&nbsp;&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Ergebnisse und Analyse&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben alle Modellvarianten, die auf den verschiedenen Sprachmischungen trainiert wurden, in allen von MT-Bench-X unterst\u00fctzten Sprachen evaluiert, mit folgenden Ergebnissen<em>.<\/em>&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Einsprachige Auswertung<\/h3>\n\n\n<style>.kb-image16124_a80ee5-c3 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_a80ee5-c3 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"418\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/06_monolingual_performance_7B_final-1024x418.jpg\" alt=\"A bar chart titled &#039;Monolingual Performance on MT-Bench-X of the 7B Model.&#039; The chart displays the performance scores of a 7 billion parameter model across various monolingual benchmarks. Each bar represents a different language, showing comparative results for the model&#039;s effectiveness in each language\" class=\"kb-img wp-image-16110\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/06_monolingual_performance_7B_final-1024x418.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/06_monolingual_performance_7B_final-300x123.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/06_monolingual_performance_7B_final-768x314.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/06_monolingual_performance_7B_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 6: Einsprachige Leistung des 7B-Modells auf MT-Bench-X \u00a9 Fraunhofer IAIS&nbsp;<\/figcaption><\/figure>\n\n\n<style>.kb-image16124_580303-05 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_580303-05 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"327\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/07_monolingual_performance_8x7B_final-1024x327.jpg\" alt=\"A bar chart titled &#039;Monolingual Performance on MT-Bench-X of the 8x7B Model.&#039; The chart illustrates performance scores for an ensemble of eight 7-billion-parameter models across different monolingual benchmarks. Each bar corresponds to a specific language, comparing the effectiveness of the ensemble model in each language\" class=\"kb-img wp-image-16112\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/07_monolingual_performance_8x7B_final-1024x327.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/07_monolingual_performance_8x7B_final-300x96.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/07_monolingual_performance_8x7B_final-768x245.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/07_monolingual_performance_8x7B_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 7: Einsprachige Leistung des 8x7B-Modells auf MT-Bench-X \u00a9 Fraunhofer IAIS&nbsp;<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die Ergebnisse in der Abbildung oben zeigen, dass Modelle, die auf einsprachigen Datens\u00e4tzen in Sprachen wie Deutsch (Bactrian-DE), Italienisch (Bactrian-IT) und Spanisch (Bactrian-ES) trainiert wurden, im Vergleich zum mehrsprachigen Modell Bactrian-ENDEFRITES schlechter abschneiden. Gleichzeitig sticht Bactrian-EN hervor, was wahrscheinlich auf die gr\u00f6\u00dfere Menge an englischen Daten in seinem Pre-Training zur\u00fcckzuf\u00fchren ist. Interessanterweise \u00fcbertrifft Bactrian-FR das Modell Bactrian-ENDEFRITES in den franz\u00f6sischen Benchmarks. Insgesamt ist kein klarer Vorteil f\u00fcr Modelle zu erkennen, die auf vollst\u00e4ndig parallele gemischtsprachige Daten in der einsprachigen Auswertung optimiert wurden. Bactrian-X-small schneidet \u00e4hnlich ab, allerdings auf einem niedrigeren Niveau als Bactrian-X.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die gr\u00f6\u00dferen Mixtral-8x7B-Modelleerreichen durchweg h\u00f6here Leistung als die 24EU-7B-Modelle, die aus dem OpenGPT-X-Checkpoint stammen. W\u00e4hrend instruction-tuning auf sprach\u00fcbergreifenden Datens\u00e4tzen die einsprachige Leistung f\u00fcr einige Modelle, wie Bactrian-X-small und Lima-X, tendenziell verbessert, bleibt dieser Effekt bei der Verwendung von gemischtsprachigen Finetuning-Strategien wie DEFRITES oder ENDEFRITES sprach\u00fcbergreifend inkonsistent. Insgesamt gibt es kein klares Muster in der einsprachigen Leistung.\u00a0\u00a0<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Sprach\u00fcbergreifende Auswertung&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Vergleicht man die Modellleistung zwischen den Evaluierungssprachen anhand der durchschnittlichen MT-Bench-X-Ergebnisse, so zeigt sich ein klares Muster: Das sprach\u00fcbergreifende instruction-tuning liegt vorn. Wenn wir diesen Trend in der folgenden Abbildung genauer untersuchen, in der wir die sprach\u00fcbergreifende Leistung von Modellen, die auf einsprachigen Datenkompositionen trainiert wurden, von der sprach\u00fcbergreifenden Leistung von Modellen, die auf mehrsprachigen Daten trainiert wurden, subtrahieren, sehen wir, dass die sprach\u00fcbergreifende Abstimmung in den meisten F\u00e4llen besser abschneidet als einsprachige Ans\u00e4tze.&nbsp;<\/p>\n\n\n<style>.kb-image16124_cf8a45-94 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_cf8a45-94 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"265\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/08_cross_lingual_improvment_7B_final-1024x265.jpg\" alt=\"A bar chart titled &#039;Cross-lingual Improvement of Multilingual Models Compared to Monolingual Models on MT-Bench-X for the 7B Model Size.&#039; The chart shows the percentage improvement in cross-lingual performance for multilingual models relative to monolingual models of the same 7 billion parameter size. Each bar represents a different language, highlighting gains achieved by multilingual models.\" class=\"kb-img wp-image-16116\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/08_cross_lingual_improvment_7B_final-1024x265.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/08_cross_lingual_improvment_7B_final-300x78.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/08_cross_lingual_improvment_7B_final-768x199.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/08_cross_lingual_improvment_7B_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 8: Sprach\u00fcbergreifende Verbesserung von mehrsprachigen Modellen im Vergleich zu einsprachigen Modellen auf MT-Bench-X f\u00fcr die Modellgr\u00f6\u00dfe 7B. \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n<style>.kb-image16124_47d83d-01 .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_47d83d-01 size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"389\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/09_cross_lingual_performance_8x7B_final-1024x389.jpg\" alt=\"A bar chart titled &#039;Cross-lingual Improvement of Multilingual Models Compared to Monolingual Models on MT-Bench-X for the 8x7B Model Size.&#039; The chart depicts the percentage improvement in cross-lingual performance for an ensemble of eight 7-billion-parameter multilingual models compared to individual monolingual models. Each bar corresponds to a specific language, showing the relative performance gains achieved by the multilingual ensemble.\" class=\"kb-img wp-image-16118\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/09_cross_lingual_performance_8x7B_final-1024x389.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/09_cross_lingual_performance_8x7B_final-300x114.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/09_cross_lingual_performance_8x7B_final-768x292.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/09_cross_lingual_performance_8x7B_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 9: Sprach\u00fcbergreifende Verbesserung von mehrsprachigen Modellen im Vergleich zu einsprachigen Modellen auf MT-Bench-X f\u00fcr die Modellgr\u00f6\u00dfe 8x7B. \u00a9 Fraunhofer IAIS <\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">In der Abbildung wird die Leistung von Modellen, die auf parallelen Sprachmischungen trainiert wurden, mit einsprachigen Datens\u00e4tzen verglichen.&nbsp;&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Jeder Balken stellt die prozentuale Verbesserung eines mehrsprachigen Instruction-Tunings ((EN)DEFRITES, (EN)DEFRITES-sampled) im Vergleich zu einem einsprachigen Modell (EN, DE, FR, IT, ES) auf der Datensatzvariante (BX: Bactrian-X, BXs: Bactrian-X-small, LX: Lima-X) dar.&nbsp;&nbsp;<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">Wichtige Beobachtungen<\/h4>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li><strong>Mehrsprachiges Tuning steigert die Leistung:<\/strong> Bei 24EU-7B-basierten Modellen steigert die mehrsprachige Abstimmung mit ENDEFRITES-Samples die Leistung von Lima-X und Bactrian-X-small, aber nicht von Bactrian-X. Modelle, die mit DEFRITES-gepr\u00fcften Daten trainiert wurden, schneiden schlechter ab als ihre einsprachigen Gegenst\u00fccke, was wahrscheinlich auf einen geringeren Stichprobenumfang zur\u00fcckzuf\u00fchren ist. Mixtral-8x7B-Modelle zeigen mit wenigen Ausnahmen konsistente Gewinne durch paralleles instruction-tuning.&nbsp;<\/li>\n\n\n\n<li><strong>Die Gr\u00f6\u00dfe des Datensatzes spielt eine Rolle: <\/strong>Gr\u00f6\u00dfere Datens\u00e4tze, wie ENDEFRITES und DEFRITES in voller Gr\u00f6\u00dfe, verbessern die Leistung in allen Sprachen, insbesondere f\u00fcr Bactrian-X und Lima-X.&nbsp;<\/li>\n\n\n\n<li><strong>Einbeziehung von Englisch ist vorteilhaft: <\/strong>Die Einbeziehung der dominanten Pre-Trainingssprache (ENDEFRITES vs. DEFRITES) verbessert die Tuning-Ergebnisse. Down-sampled-Varianten schneiden schlechter ab, wahrscheinlich aufgrund eines geringeren Signal-Rausch-Verh\u00e4ltnisses in Bactrian-X.&nbsp;<\/li>\n\n\n\n<li><strong>Die Modellgr\u00f6\u00dfe beeinflusst die Ergebnisse:<\/strong> Gr\u00f6\u00dfere Modelle wie Mixtral-8x7B erzielen bis auf wenige Ausnahmen durchweg h\u00f6here Werte.&nbsp;<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Im Gegensatz dazu sind sorgf\u00e4ltig kuratierte Datens\u00e4tze wie LIMA-X widerstandsf\u00e4higer gegen diesen Leistungsabfall. Die gr\u00f6\u00dfere Gr\u00f6\u00dfe von Mixtral-8x7B kompensiert wahrscheinlich das Rauschen in kleineren Datens\u00e4tzen wie Lima-X, mit maximalen Leistungsgewinnen von bis zu 9,9 % (0,99 Punkte) f\u00fcr Lima-ENDEFRITES gegen\u00fcber Lima-IT.&nbsp;&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Insgesamt verbessert das Feintuning auf parallelen Daten das mehrsprachige instruction-tuning f\u00fcr mittelgro\u00dfe bis gro\u00dfe Modelle und \u00fcbertrifft das einsprachige Training.<\/strong>&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Synthetische vs. kuratierte Trainingsdatens\u00e4tze&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Um den Einfluss der Art des Datensatzes zu isolieren, haben wir die synthetischen Bactrian-X-Datens\u00e4tze so verkleinert, dass sie der Gr\u00f6\u00dfe der von Menschen kuratierten LIMA-X-Datens\u00e4tze entsprechen, wodurch Bactrian-X-small entstand. Wie in Abbildung 10 dargestellt, \u00fcbertrafen die synthetischen Bactrian-X-Datens\u00e4tze LIMA-X bei beiden Datensatzgr\u00f6\u00dfen. Beim Vergleich von LIMA-X mit Modellen, die auf Bactrian-X-small in voller Gr\u00f6\u00dfe (Abbildung 9) abgestimmt wurden, zeigt sich ein klarer Trend: Die sprach\u00fcbergreifende Leistung verbessert sich mit parallelem, Bactrian-X-basiertem instruction-tuning. Diese Ergebnisse unterstreichen die Vorteile der Verwendung synthetischer, semantisch paralleler Datens\u00e4tze f\u00fcr die mehrsprachige Abstimmung.&nbsp;&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Generalisierbarkeit der Superficial Alignment Hypothese&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Wir untersuchten die Superficial Alignment Hypothese, die besagt, dass nur wenige Beispiele pro Instruktionstyp n\u00f6tig sind, um einem Modell beizubringen, Anweisungen zu befolgen. Unsere Ergebnisse stellen diese Vorstellung jedoch in Frage. Die folgende Abbildung zeigt dies:&nbsp;<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li><strong>Mid-Size-Modelle erfordern umfangreiche Daten:<\/strong> Modelle der gleichen Gr\u00f6\u00dfe, die auf Bactrian-X-small abgestimmt sind, \u00fcbertreffen durchweg diejenigen, die auf den kuratierten LIMA-X-Datens\u00e4tzen abgestimmt sind.&nbsp;<\/li>\n\n\n\n<li><strong>Gr\u00f6\u00dfere Modelle zeigen andere Trends:<\/strong> Bei dem gr\u00f6\u00dferen Modell Mixtral-8x7B sehen wir eine hohe Leistung sowohl bei synthetischen als auch bei kuratierten Daten, was darauf hindeutet, dass die Superficial Alignment Hypothese mit gr\u00f6\u00dferen Modellen oder fortgeschrittenerem Pre-Training effektiver werden kann.<\/li>\n<\/ol>\n\n\n<style>.kb-image16124_9fd2fa-de .kb-image-has-overlay:after{opacity:0.3;}<\/style>\n<figure class=\"wp-block-kadence-image kb-image16124_9fd2fa-de size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"484\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/\/10_superficial_alignment_hypothesis_final-1024x484.jpg\" alt=\"Figure 10: Comparison of the cross-lingual performance on MT-Bench-X of different model sizes. \u00a9 Fraunhofer IAIS \" class=\"kb-img wp-image-16120\" title=\"\" srcset=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/10_superficial_alignment_hypothesis_final-1024x484.jpg 1024w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/10_superficial_alignment_hypothesis_final-300x142.jpg 300w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/10_superficial_alignment_hypothesis_final-768x363.jpg 768w, https:\/\/lamarr-institute.org\/wp-content\/uploads\/10_superficial_alignment_hypothesis_final.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption>Abbildung 10: Vergleich der sprach\u00fcbergreifenden Leistung auf MT-Bench-X bei unterschiedlichen Modellgr\u00f6\u00dfen. \u00a9 Fraunhofer IAIS<\/figcaption><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Ergebnisse der menschlichen Bewertung&nbsp;<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Wir haben die Ergebnisse von <a href=\"https:\/\/arxiv.org\/abs\/2305.11206\" target=\"_blank\" rel=\"noreferrer noopener\">Zheng et al. (2023)<\/a> f\u00fcr das Deutsche erweitert und die \u00c4hnlichkeiten und Unterschiede zwischen menschlicher Bewertung und der Bewertung mit GPT-4 als Richter analysiert. Wir stellen Unterschiede zwischen menschlichen Bewertungen und den von GPT-4 generierten Bewertungen in mehrsprachigen Chatszenarien fest. Weitere Details finden Sie in unserem <a href=\"https:\/\/arxiv.org\/html\/2402.13703v3\" target=\"_blank\" rel=\"noreferrer noopener\">Paper<\/a>.&nbsp;&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Key Takeaways&nbsp;<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Parallele Datens\u00e4tze verbessern die sprachen\u00fcbergreifende Leistung: <\/strong>Unsere Ergebnisse unterstreichen die Vorteile des instruction-tunings auf parallelen Datens\u00e4tzen und zeigen Verbesserungen von bis zu 9,9% in der F\u00e4higkeit, sprach\u00fcbergreifenden Anweisungen zu folgen, im Vergleich zu einsprachigen Korpora.&nbsp;<\/li>\n\n\n\n<li><strong>Synthetische Daten schneiden besser ab als kuratierte Daten: <\/strong>Synthetische Bactrian-X-Datens\u00e4tze, die auf die Gr\u00f6\u00dfe der kuratierten LIMA-X-Daten heruntergerechnet wurden, zeigten, dass Bactrian-X-small durchweg besser abschneidet als LIMA-X. Dies unterstreicht den klaren Vorteil synthetischer, semantisch paralleler Datens\u00e4tze zur Verbesserung der sprach\u00fcbergreifenden Leistung beim mehrsprachigen Tuning.&nbsp;<\/li>\n\n\n\n<li><strong>Generalisierbarkeit der Superficial Alignment-Hypothese:<\/strong> Unsere Ergebnisse zeigen, dass umfangreiche instruction-tuning-Datens\u00e4tze f\u00fcr mittelgro\u00dfe mehrsprachige Modelle notwendig sind, aber nicht unbedingt f\u00fcr gr\u00f6\u00dfere Modelle, was die Verallgemeinerbarkeit der Superficial Alignment Hypothesis in Frage stellt.&nbsp;<\/li>\n\n\n\n<li><strong>Neue Ressourcen ver\u00f6ffentlicht: <\/strong>Wir ver\u00f6ffentlichen die mehrsprachige Trainingsressource <a href=\"https:\/\/hf.co\/datasets\/lamarr-org\/Lima-X\" target=\"_blank\" rel=\"noreferrer noopener\">Lima-X<\/a> und die mehrsprachige Evaluierungsressource <a href=\"https:\/\/github.com\/Modalities\/MT-Bench-X\" target=\"_blank\" rel=\"noreferrer noopener\">MT-Bench-X<\/a> und leisten damit einen wertvollen Beitrag f\u00fcr die NLP-Gemeinschaft.&nbsp;<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Ausblick und Einschr\u00e4nkungen&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Obwohl unsere Studie wertvolle Einblicke in das mehrsprachige instruction-tuning von gro\u00dfen Sprachmodellen (LLMs) liefert, hat sie gewisse Einschr\u00e4nkungen. Wir haben uns darauf konzentriert, mehrsprachige instruction-tuning-Techniken zu erforschen, anstatt nach dem neuesten Stand der Technik zu streben. Au\u00dferdem beschr\u00e4nkte sich unsere Forschung auf germanische und Indogermanische Sprachen, so dass die Verallgemeinerbarkeit auf andere Sprachfamilien nicht getestet wurde.&nbsp;&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Zuk\u00fcnftige Arbeiten sollten darauf abzielen, die Methoden des instruction-tuning auf ein breiteres Spektrum von Sprachen auszuweiten, um die globale Leistung mehrsprachiger LLMs zu verbessern. Die Untersuchung mehrsprachiger Multi-Turn-Datens\u00e4tze k\u00f6nnte tiefere Einblicke in die komplexen F\u00e4higkeiten zur Befolgung von Anweisungen bieten. Dar\u00fcber hinaus wird die Verbesserung der Kosteneffizienz und Genauigkeit automatischer mehrsprachiger Evaluierungsmethoden der Natural Language Processing (NLP)-Gemeinschaft erheblich zugutekommen.&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Mehrsprachiges Instruction-Tuning von Modellen, die auf indoeurop\u00e4ischen Sprachen trainiert wurden, zeigt, dass (semantisch) parallele Datens\u00e4tze die sprach\u00fcbergreifenden F\u00e4higkeiten im Vergleich zu einsprachigen deutlich verbessern. Wir stellen neue mehrsprachige Evaluationsressourcen und Datens\u00e4tze f\u00fcr mehrsprachiges Modelltraining vor.<\/p>\n","protected":false},"author":16,"featured_media":16048,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,1418],"blog-tag":[1478,1551,1559,1598],"class_list":["post-16124","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-sprachtechnologien","blog-tag-datensatz","blog-tag-large-language-models-llms-de","blog-tag-nlp-de","blog-tag-sprachmodelle"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/16124","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/16"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/16124\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/16048"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=16124"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=16124"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=16124"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}