{"id":26898,"date":"2025-10-15T07:58:53","date_gmt":"2025-10-15T07:58:53","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&p=26898"},"modified":"2025-11-12T14:54:18","modified_gmt":"2025-11-12T14:54:18","slug":"low-resource-sprachen-fine-tuning-asr","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/low-resource-sprachen-fine-tuning-asr\/","title":{"rendered":"Warum Fine-Tuning von ASR bei Low-Resource-Sprachen immer noch scheitert \u2013 und wie wir das \u00e4ndern k\u00f6nnen"},"content":{"rendered":"\n

In unserer Welt gibt es mehr als 7.000 Sprachen und eine noch gr\u00f6\u00dfere Anzahl an Dialekten und Akzenten, was die au\u00dfergew\u00f6hnliche kulturelle und sprachliche Vielfalt der menschlichen Gesellschaften widerspiegelt. Diese Vielfalt ist jedoch ungleich verteilt: Eine kleine Anzahl von Sprachen wird von der \u00fcberwiegenden Mehrheit der Weltbev\u00f6lkerung gesprochen, w\u00e4hrend die meisten Sprachen weit weniger Sprecher haben und viele vom Aussterben bedroht sind.<\/p>\n\n\n\n

\"A
Abbildung 1: Weltkarte des Index der sprachlichen Vielfalt (linear proportional zur Schattierungsintensit\u00e4t). Quelle: Ethnologue: Sprachen der Welt (18. Auflage)<\/figcaption><\/figure>\n\n\n\n

Die obige Karte zeigt, dass die meisten s\u00fcdostasiatischen L\u00e4nder und viele afrikanische L\u00e4nder eine gro\u00dfe Sprachenvielfalt aufweisen. Der bekannte Greenberg-Diversit\u00e4tsindex (LDI) der die Wahrscheinlichkeit angibt, dass zwei zuf\u00e4llig aus der Bev\u00f6lkerung ausgew\u00e4hlte Personen unterschiedliche Muttersprachen haben, hat sich weltweit ver\u00e4ndert, da immer mehr Sprachen aussterben. Doch ganz so einfach ist es nicht. Es ist auch anzumerken, dass die Klassifizierung von Sprachen subjektiv sein kann und verschiedene Wissenschaftler Sprachen und Dialekte unterschiedlich gruppieren k\u00f6nnen. Beispielsweise betrachten einige Hindi und Urdu als zwei separate Sprachen, w\u00e4hrend andere sie als Dialekte einer einzigen Sprache, Hindustani, betrachten.<\/p>\n\n\n\n

Insgesamt gibt es weltweit wahrscheinlich Zehntausende von Sprachen, Dialekten und Akzenten, die die reiche sprachliche Vielfalt der menschlichen Gesellschaften widerspiegeln, auch wenn es schwierig ist, eine genaue Zahl anzugeben. Weitere Informationen und Daten zu Sprachen, wie z. B. Daten nach L\u00e4ndern, Anzahl der lebenden vs. ausgestorbenen Sprachen und verschiedene Sprachfamilien weltweit, findest du hier: Ethnologue<\/a>.<\/p>\n\n\n\n

In den letzten drei Jahrzehnten hat sich Natural Language Processing (NLP) von regelbasierten Methoden zu datengesteuerten und Deep-Learning-Ans\u00e4tzen verlagert \u2013 dennoch konzentrieren sich die meisten Forschungsarbeiten und kommerziellen Tools nur auf 20 der 7.000 Sprachen der Welt. Die \u00fcbrigen werden als Low-Resource Languages (LRLs)<\/strong> klassifiziert und sind oft durch begrenzte Datens\u00e4tze, knappe Rechenressourcen und komplexe Variationen von Dialekten beeintr\u00e4chtigt.<\/p>\n\n\n\n

Dieser Blogbeitrag befasst sich mit den Herausforderungen und Chancen beim Aufbau von ASR-Systemen f\u00fcr LRLs, untersucht die sprachliche Vielfalt, die Datenknappheit und die Rolle der Modelloptimierung bei der \u00dcberbr\u00fcckung dieser L\u00fccke. Am Beispiel von Marathi <\/a>diskutieren wir, warum die Unterst\u00fctzung von Sprachen mit geringen Ressourcen sowohl eine technologische Herausforderung als auch eine kulturelle Verantwortung darstellt.<\/p>\n\n\n\n

Eine pers\u00f6nliche Perspektive: Mehrsprachig aufwachsen in einem Low-Resource-Sprachumfeld<\/h2>\n\n\n\n
\"Map
Abbildung 2: Weltweit wird Marathi von \u00fcber 95 Millionen Menschen als Erst- oder Zweitsprache gesprochen. Karte der Marathi sprechenden Bezirke in der Region Maharashtra (schwarz) mit einigen weiteren Bezirken benachbarter Bundesstaaten, in denen Marathi ebenfalls von einer bedeutenden Anzahl von Menschen gesprochen wird. \u00a9 Volksz\u00e4hlung Indien 2011<\/figcaption><\/figure>\n\n\n\n

Ich bin in einer kleinen Stadt in Indien aufgewachsen, einem Land mit vielf\u00e4ltigen Kulturen und einer langen Geschichte verschiedener Zivilisationen. Mit heute \u00fcber 22 offiziellen (institutionellen) Sprachen<\/a> und etwa 424 lebenden indigenen Sprachen ist es sehr wahrscheinlich, dass eine Person, die an einem solchen Ort aufw\u00e4chst, zwei- oder mehrsprachig ist. Meine Muttersprache ist Marathi, aber durch meine Ausbildung habe ich sowohl Englisch als auch Hindi gelernt. Englisch und\/oder Hindi k\u00f6nnen in vielen Bundesstaaten und Regionen des Landes als gemeinsame Sprachen dienen. Ich habe es immer gesch\u00e4tzt, mich mit verschiedenen Sprachen und ihren umgangssprachlichen Nuancen zu besch\u00e4ftigen, und bin oft fasziniert von fremden Schriften, denen ich auf meinen Reisen begegne.<\/p>\n\n\n\n

Meine Neugierde weckte in mir ein tieferes Interesse daran, die Bedeutung von Low-Resource-Sprachen in der Technologie zu untersuchen.<\/p>\n\n\n\n

Dieser Beitrag st\u00fctzt sich sowohl auf mein technisches Fachwissen als auch auf meine pers\u00f6nlichen Erfahrungen und befasst sich mit der Entwicklung Automatische Spracherkennung (ASR) f\u00fcr weltweit unterrepr\u00e4sentierte Sprachen wie Marathi. Er untersucht die Auswirkungen der Einstufung einer Sprache als \u201eLow-resource\u201c und wie sich diese Einstufung auf ihre Darstellung in digitalen Technologien auswirkt. Marathi ist eine von mehreren indischen Sprachen, darunter Assamesisch, Bengali, Gujarati, Kannada, Urdu, Malayalam, Punjabi, Tamil, Oriya und Telugu. Nichtsdestotrotz haben die linguistische Forschung und die computergest\u00fctzte Entwicklung an f\u00fchrenden indischen Universit\u00e4ten in den letzten zehn Jahren in Verbindung mit einer erh\u00f6hten Finanzierung durch staatliche und private Einrichtungen, die durch die globale Expansion der k\u00fcnstlichen Intelligenz vorangetrieben wurde, zu einer erheblichen Bereicherung der Daten zur Verarbeitung nat\u00fcrlicher Sprache f\u00fcr viele dieser Sprachen beigetragen (siehe Artikel und Links: [1]<\/a>, [2]<\/a>,  [3]<\/a>, [4]<\/a>, [5]<\/a>).<\/p>\n\n\n\n

Wenn wir jedoch zu einem breiteren technologischen Kontext \u00fcbergehen, wird die Realit\u00e4t der Low-Resource-Sprachen deutlich, wenn man modernste Modelle oder Tools vergleicht, die f\u00fcr Englisch, Franz\u00f6sisch, Spanisch usw. pr\u00e4zise funktionieren.<\/p>\n\n\n\n

Im NLP h\u00e4ngt eine effektive Mensch-Computer-Interaktion von der Verf\u00fcgbarkeit umfangreicher digitaler Daten ab. Sprachen, f\u00fcr die keine umfangreichen digitalen Ressourcen wie gro\u00dfe Mengen an annotierten ASR-Daten (einschlie\u00dflich Text und Audio) zur Verf\u00fcgung stehen, werden als Low-Resource-Sprachen klassifiziert. Diese Knappheit ist in der Regel eher auf historische und strukturelle Faktoren zur\u00fcckzuf\u00fchren als auf die inh\u00e4renten Eigenschaften dieser Sprachen. In der digitalen Landschaft Indiens sind Hindi und Tamil in Sprachtools, Schnittstellen und ASR-Datens\u00e4tzen stark vertreten. Urdu und Bengali (Bangla) haben ihren Ursprung zwar in Indien und werden dort seit langem gepflegt, sind aber auch Landessprachen benachbarter Nationen und haben daher ihre digitale Pr\u00e4senz auf dem globalen Markt beschleunigt. Marathi \u2013 trotz seiner reichen literarischen Geschichte und obwohl es von \u00fcber 85 Millionen Menschen gesprochen wird \u2013 verf\u00fcgt oft nur \u00fcber begrenzte Datenverf\u00fcgbarkeit und Unterst\u00fctzung f\u00fcr die Digitalisierung seiner sprachlichen Ressourcen. Bestehende Sprachassistenten und ASR-Systeme stehen weiterhin vor Herausforderungen wie falschen Aussprachen und ungenauen Transkriptionen. Selbst fortschrittliche ASR-Modelle wie Whisper, die auf \u201eMultilingual Benchmarks\u201c trainiert wurden, haben Schwierigkeiten mit der dialektalen Vielfalt und skriptspezifischen Merkmalen. Folglich sind Interaktionen mit Technologie in Marathi m\u00f6glicherweise nicht so effektiv oder nahtlos wie diejenigen in Englisch oder Hindi.<\/p>\n\n\n\n

Was wir \u00fcber das Fine-Tuning von ASR-Modellen wissen<\/h2>\n\n\n\n

Im ersten Teil dieser Blogserie haben wir uns mit der Funktionsweise des Fine-Tunings von ASR-Modellen befasst<\/a>. Wir haben untersucht, dass vorab trainierte Spracherkennungsmodelle mithilfe dom\u00e4nenspezifischer Daten an bestimmte Dom\u00e4nen, Akzente, Sprachen und Umgebungen angepasst werden k\u00f6nnen, ohne dass ein Training von Grund auf erforderlich ist. Anhand einer Analogie zu den fein abgestimmten Parametern des Universums haben wir die entscheidende Rolle dieses Prozesses f\u00fcr die Wirksamkeit von Sprachtechnologie in vielf\u00e4ltigen und lokalisierten Anwendungen hervorgehoben, z. B. in klinischen Umgebungen oder bei regionalen Dialekten.<\/p>\n\n\n\n

Wie wir gelernt haben, erm\u00f6glicht das Fine-Tuning eine bessere Anpassungsf\u00e4higkeit und Genauigkeit von ASR-Modellen, insbesondere in schwierigen Szenarien wie der Erkennung starker Akzente oder der Sprache von Kindern. Der Blogbeitrag hob auch wichtige Methoden und die Vorteile des Fine-Tunings bei der Erstellung kosteng\u00fcnstiger, dom\u00e4nenspezifischer L\u00f6sungen hervor.<\/p>\n\n\n\n

Auf dieser Grundlage geht dieser Beitrag noch einen Schritt weiter.<\/p>\n\n\n\n

Wir werden uns eingehender mit den Herausforderungen befassen, die sich beim Fine-Tuning von ASR-Modellen ergeben, insbesondere f\u00fcr Low-Resource-Sprachen. Wir werden uns mit den besonderen Schwierigkeiten befassen, die sich aus begrenzten Datenmengen und regionalen Dialekten ergeben, und Strategien zur \u00dcberwindung dieser Hindernisse untersuchen, um die ASR-Technologie in unterrepr\u00e4sentierten Sprachen inklusiver und effektiver zu machen. Dies f\u00fchrt zu der entscheidenden Frage: Wie hoch sind die tats\u00e4chlichen \u201eDatenkosten\u201c daf\u00fcr? Finden wir es heraus!<\/p>\n\n\n\n

Warum ASR f\u00fcr Low-Resource-Sprachen z\u00e4hlt: Zugang, Chancengleichheit und Teilhabe im Alltag<\/h2>\n\n\n\n

Automatische Spracherkennung (ASR) wird nicht nur f\u00fcr Live-Transkriptionen oder Untertitelung eingesetzt, sondern auch als praktisches Hilfsmittel, um das Mitschreiben zu erleichtern oder freih\u00e4ndige Kommunikation zu erm\u00f6glichen. F\u00fcr zahlreiche Gemeinschaften, insbesondere in Regionen mit niedrigen Alphabetisierungsraten oder begrenzten digitalen Kenntnissen, ist die Stimme jedoch eine wichtige Schnittstelle f\u00fcr den Zugang zu Technologie. Mit anderen Worten: F\u00fcr viele Menschen ist die Stimme das Tor zur digitalen Welt.<\/p>\n\n\n\n

Beispielsweise sind Millionen von Menschen im heutigen \u201eDigital India\u201c auf gesprochene Anweisungen und regionale Sprachassistenten angewiesen, um Dienstleistungen in den Bereichen Gesundheitswesen, Bildung und Notfallhilfe in Anspruch nehmen zu k\u00f6nnen.<\/p>\n\n\n\n

Wenn sprachbasierte Systeme diese Sprachen nicht genau interpretieren k\u00f6nnen, laufen sie Gefahr, f\u00fcr diejenigen, die am meisten auf sie angewiesen sind, unzug\u00e4nglich und unbrauchbar zu werden. In diesem Zusammenhang stellt die Entwicklung einer robusten ASR f\u00fcr Sprachen mit geringen Ressourcen nicht nur eine bedeutende technische Herausforderung dar, sondern ist auch ein entscheidender Faktor f\u00fcr die F\u00f6rderung eines fairen Zugangs zu digitalen Diensten.<\/p>\n\n\n\n

Von dieser gesellschaftlichen Perspektive aus wenden wir uns nun dem technischen Kern zu: Wie erm\u00f6glicht Fine-Tuning eine solche Inklusion?<\/p>\n\n\n\n

Ein technischer Leitfaden: Fine-Tuning im Anwendungskontext<\/h2>\n\n\n\n

Wie wir bereits wissen, beinhaltet Fine-Tuning die Anpassung eines generischen ASR-Modells, um in bestimmten, oft eng definierten Kontexten eine bessere Leistung zu erzielen. Anstatt bei Null anzufangen, nehmen wir ein vortrainiertes Modell \u2013 wie OpenAI’s Whisper<\/a> \u2013 und trainieren es neu mit neuen, dom\u00e4nen- oder sprachspezifischen Daten.<\/p>\n\n\n\n

Die allgemeine ASR-Fine-Tuning-Pipeline umfasst:<\/p>\n\n\n\n

1. Datenaufbereitung: <\/strong>Beschaffung und Bereinigung relevanter Audio-Text-Paare, Normalisierung von Transkripten, Trimmen oder Segmentieren von Clips, gegebenenfalls Erg\u00e4nzung.<\/p>\n\n\n\n

2. Datenvorverarbeitung: <\/strong>Vorbereitung von Trainings- und Validierungs-Batches und deren Verarbeitung durch Merkmalsextraktion (Log-Mel-Spektrogramme), Tokenisierung und R\u00fcckgabe trainierbarer Encoder-Decoder-Komponenten.<\/p>\n\n\n\n

3. Modelltraining:<\/strong> Auswahl eines vortrainierten Checkpoints, Konfiguration von Hyperparametern, Laden von Trainings- und Validierungsbatches, Verwendung von Features wie Gradient Loss Optimization und Learning-rate Scheduling mit geeigneter Optimierungsmethode.<\/p>\n\n\n\n

4. Bewertung:<\/strong> Messung der Genauigkeit anhand der Word Error Rate (WER) oder benutzerdefinierter Metriken und iterative Verfeinerung des Modells, bis die gew\u00fcnschte Genauigkeit erreicht ist. <\/p>\n\n\n\n

Dieser Ansatz ist effizient, skalierbar und besonders n\u00fctzlich in Umgebungen mit geringen Ressourcen, in denen Rechenbudgets und Datenverf\u00fcgbarkeit begrenzt sind<\/p>\n\n\n\n

Fine-Tuning von ASR mit Whisper<\/h3>\n\n\n\n

Das im September 2022 ver\u00f6ffentlichte Whisper-Modell ist ein transformatorbasiertes, \u201eschwach \u00fcberwachtes\u201d ASR-System, das auf 700.000 Stunden mehrsprachiger Daten trainiert wurde und aufgrund seiner Transkriptions-, \u00dcbersetzungs- und Nachbearbeitungsfunktionen sowie seiner Anpassungsf\u00e4higkeit an Low-Resource-Sprachen mit dom\u00e4nenspezifischen Daten schnell an Popularit\u00e4t gewann.<\/p>\n\n\n\n

Diese Anpassungsf\u00e4higkeit ist besonders wichtig bei Sprachen wie Marathi, wo Standarddatens\u00e4tze klein und Dialekte vielf\u00e4ltig sind.
<\/p>\n\n\n\n

Zum Fine-Tuning von Whisper stehen zahlreiche Ressourcen zur Verf\u00fcgung, darunter Plattformen wie HuggingFace (siehe auch: HF-Blog<\/a>, Medium 1<\/a>, Medium 2<\/a>). Diese Tutorials f\u00fchren Sie Schritt f\u00fcr Schritt durch das Fine-Tuning des Whisper-Modells mit zus\u00e4tzlichen Datens\u00e4tzen, wobei h\u00e4ufig Open-Source-Datens\u00e4tze wie CommonVoice, Multilingual-Librispeech und Google Fleurs verwendet werden. In der Praxis k\u00f6nnen jedoch benutzerdefinierte Datens\u00e4tze erforderlich sein, die speziell auf den jeweiligen Anwendungsbereich zugeschnitten sind.<\/p>\n\n\n\n

Der erste Schritt besteht darin, diese Datens\u00e4tze gr\u00fcndlich zu untersuchen, um ihre Verwendbarkeit und Sauberkeit sicherzustellen. Faktoren wie die Signal-to-Noise-Ratio (S\/N) im Audio, das Audioformat und die Abtastrate, die Abstimmung von gesprochenem Wort und Text, die Textkodierung (insbesondere f\u00fcr Ultra-Low-Resource-Sprachen, die Nicht-ASCII-Schriften verwenden) und die Audiodauer m\u00fcssen ber\u00fccksichtigt werden. Die Architektur von Whisper ist f\u00fcr Audioaufnahmen mit einer L\u00e4nge von 3 bis 30 Sekunden optimiert, sodass das Trimmen oder Verkn\u00fcpfen von Audiodateien oft notwendig ist. Dar\u00fcber hinaus kann der Einsatz von Audio-Augmentationsverfahren die Robustheit verbessern und zu einer besseren Generalisierung des Modells beitragen. <\/p>\n\n\n\n

Ausblick auf unsere Fallstudie zum Fine-Tuning von Whisper f\u00fcr die Low-Resource-Sprache Marathi<\/h2>\n\n\n\n

Um die realen Herausforderungen des Fine-Tunings von ASR f\u00fcr Low-Resource-Sprachen zu veranschaulichen, betrachten wir Marathi als Beispiel. Im n\u00e4chsten Blogbeitrag tauchen wir in eine Fine-Tuning-Demo ein, die den Marathi-Trainingskorpus von Mozilla Common Voice und das Hugging Face Whisper-Fine-Tuning-Notebook verwendet. Im Rahmen des Beitrags liegt der Schwerpunkt weiterhin auf der Darstellung der Herausforderungen beim Fine-Tuning einer Low-Resource-Sprache und nicht auf der Pr\u00e4sentation eines vollst\u00e4ndigen technischen Tutorials. <\/p>\n\n\n\n

Bleib dran f\u00fcr den n\u00e4chsten Teil der Reihe \u2013 in dem wir am Beispiel von Marathi zeigen, welche Rolle Tokenisierung spielt und wo dabei die gr\u00f6\u00dften Herausforderungen liegen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Fine-Tuning von ASR bleibt f\u00fcr Low-Resource-Sprachen komplex. Am Beispiel Marathi zeigen wir sprachliche, technische, ethische H\u00fcrden und Wege zu inklusiverer KI.<\/p>\n","protected":false},"author":27,"featured_media":33886,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,1418],"blog-tag":[1448,1645,1531],"class_list":["post-26898","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-sprachtechnologien","blog-tag-automatische-spracherkennung-asr","blog-tag-digitale-inklusion","blog-tag-ki-ethik"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/26898","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/27"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/26898\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/33886"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=26898"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=26898"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=26898"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}