{"id":38461,"date":"2026-09-15T07:31:33","date_gmt":"2026-09-15T07:31:33","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&p=38461"},"modified":"2026-09-15T07:46:27","modified_gmt":"2026-09-15T07:46:27","slug":"soofi-s-ein-souveraenes-open-source-foundation-model-fuer-deutsch-und-englisch","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/soofi-s-ein-souveraenes-open-source-foundation-model-fuer-deutsch-und-englisch\/","title":{"rendered":"Soofi S: Ein souver\u00e4nes Open-Source-Foundation-Model f\u00fcr Deutsch und Englisch"},"content":{"rendered":"\n

Offene Sprachmodelle haben sich in bemerkenswertem Tempo weiterentwickelt und inzwischen gibt es ein breites \u00d6kosystem leistungsf\u00e4higer Modelle zur Auswahl. Wer jedoch vor der Entscheidung steht, welches Modell tats\u00e4chlich zum Einsatz kommt, st\u00f6\u00dft nach wie vor auf drei auff\u00e4llige L\u00fccken. Die erste L\u00fccke betrifft die Transparenz: Die meisten Ver\u00f6ffentlichungen liefern weiterhin nur die Gewichte, nicht aber die Daten, den Code oder die Entscheidungen, die n\u00f6tig w\u00e4ren, um sie zu reproduzieren oder zu \u00fcberpr\u00fcfen. Die zweite betrifft die Sprache: Allgemeine mehrsprachige Modelle sind entweder stark auf das Englische ausgerichtet oder verteilen ihre Kapazit\u00e4t \u00fcber Dutzende Sprachen. Deutsch bleibt dabei, gemessen an seinem wirtschaftlichen und wissenschaftlichen Gewicht, unterrepr\u00e4sentiert. Die dritte L\u00fccke betrifft die Inferenzkosten: Erst wenn Inferenz-Effizienz und Kosten zusammengedacht werden, l\u00e4sst sich ein leistungsf\u00e4higes Modell im gro\u00dfen Ma\u00dfstab wirtschaftlich betreiben.<\/p>\n\n\n\n

Mit Soofi S 30B-A3B<\/strong> haben wir uns vorgenommen, diese drei L\u00fccken durch eine gemeinsame, institutions\u00fcbergreifende Initiative zu schlie\u00dfen. Soofi S<\/a> ist ein souver\u00e4nes, als Open Source konzipiertes Basismodell f\u00fcr Deutsch und Englisch. Es wird von einem Konsortium deutscher Forschungseinrichtungen, darunter das Lamarr Institut<\/a>, Fraunhofer IAIS<\/a>, das DFKI<\/a>, die TU Darmstadt<\/a>, hessian.AI<\/a>, ellamind<\/a>, das L3S Research Center<\/a> und die Universit\u00e4t W\u00fcrzburg<\/a> entwickelt. Das Projekt wird durch den KI-Bundesverband<\/a> koordiniert und durch das Bundesministerium f\u00fcr Wirtschaft und Energie (BMWE)<\/a> gef\u00f6rdert. In diesem Blogbeitrag werfen wir einen genaueren Blick auf die Architektur, das Trainingsrezept und die Evaluationsergebnisse \u2013 und erkl\u00e4ren, warum Transparenz f\u00fcr uns ebenso wichtig wie das Modell selbst ist.<\/p>\n\n\n\n

\"-
Abbildung 1: Leistungsf\u00e4higkeit pro aktivem Parameter. Soofi S 30B-A3B erreicht Spitzenleistung zu einem Bruchteil der Rechenkosten anderer Modelle mit 8 bis 70 Milliarden Parametern<\/em>.<\/em><\/figcaption><\/figure>\n\n\n\n

Eine Architektur, gebaut f\u00fcr effiziente Inferenz<\/strong><\/h2>\n\n\n\n

Die Zahl der aktiven Parameter ist nur ein N\u00e4herungswert daf\u00fcr, was der Betrieb eines Modells tats\u00e4chlich kostet. In der Produktion ist die Leistung in Wahrheit durch die Speichergeschwindigkeit begrenzt: F\u00fcr jedes generierte Token m\u00fcssen die aktiven Modellgewichte und der Attention-Cache jeder Sequenz im Batch neu gelesen werden. Wachsen die Kontexte auf Zehn- oder Hunderttausende von Tokens, dominiert irgendwann dieser Key-Value-Cache (KV-Cache) und dichte Modelle mit voller Attention werden entsprechend langsamer.<\/p>\n\n\n\n

Genau f\u00fcr dieses Einsatzszenario ist Soofi S ausgelegt. Das Modell \u00fcbernimmt die offen publizierte Referenzarchitektur von Nemotron 3 Nano: ein Netzwerk mit 52 Schichten, in dem sich 23 Mamba-2-Schichten und 23 granulare MoE-Schichten abwechseln. Insgesamt umfasst das Modell rund 31,6 Milliarden Parameter, aktiviert pro Token aber nur etwa 3,2 Milliarden \u2013 die Kapazit\u00e4t eines 30B-Netzwerks zu den Inferenzkosten eines 3B-Modells. Da nur 6 der 52 Schichten einen KV-Cache f\u00fchren und die Mamba-2-Schichten einen rekurrenten Zustand fester Gr\u00f6\u00dfe aufweisen, bleibt der Speicherbedarf pro Sequenz klein und nahezu konstant, auch wenn der Kontext w\u00e4chst.<\/p>\n\n\n\n

Wir haben uns angesichts der K\u00fcrze der Zeit bewusst daf\u00fcr entschieden, eine etablierte, offen spezifizierte Architektur wiederzuverwenden. Das Modell l\u00e4sst sich so vom ersten Tag an in ausgereiften Entwicklungsumgebungen betreiben, und das architektonisch identische Nemotron 3 Nano dient als Referenzwert, an dem sich der Effekt unseres deutsch-englischen Datenrezepts isoliert messen l\u00e4sst. Zugleich bietet Nemotron 3 Nano eine bew\u00e4hrte, hoch effiziente Grundlage f\u00fcr Langkontext-Inferenz in kurzer Zeit. Parallel dazu erforschen wir aktiv weitere Modellarchitekturen, die k\u00fcnftig noch st\u00e4rker auf souver\u00e4ne europ\u00e4ische Anforderungen zugeschnitten sein k\u00f6nnen.<\/p>\n\n\n\n

Trainiert auf souver\u00e4ner europ\u00e4ischer Infrastruktur<\/strong><\/h2>\n\n\n\n

Soofi S wurde auf der Industrial AI Cloud<\/a> der Deutschen Telekom<\/a> in M\u00fcnchen trainiert, die gemeinsam mit NVIDIA<\/a> aufgebaut und im Februar 2026 in Betrieb genommen wurde. Wir nutzten bis zu 512 NVIDIA-B200-GPUs \u2013 64 DGX-B200-Knoten mit je acht GPUs \u2013 \u00fcber rund 253.000 GPU-Stunden zwischen dem 24. M\u00e4rz und dem 13. Mai 2026. Damit war Soofi S einer der ersten gro\u00dfen Trainings-Runs auf dieser neuen souver\u00e4nen Infrastruktur im HPC-Ma\u00dfstab.<\/p>\n\n\n\n

Dass das Training auf deutschem Boden stattfand \u2013 unter europ\u00e4ischen Betriebs- und Datenschutzanforderungen statt auf au\u00dfereurop\u00e4ischer Hyperscale-Rechenleistung, geh\u00f6rt f\u00fcr uns zum Kern eines souver\u00e4nen<\/em> Modells. Das M\u00fcnchner Rechenzentrum wird vollst\u00e4ndig mit erneuerbarer Energie betrieben, mit Wasser aus dem nahegelegenen Eisbach gek\u00fchlt und ist in ein Abw\u00e4rmekonzept eingebunden, das den umliegenden Tucherpark mitversorgt.
<\/p>\n\n\n\n

Ein Datencurriculum mit Deutsch im Fokus \u2013 vollst\u00e4ndig dokumentiert<\/strong><\/h2>\n\n\n\n

Soofi S wurde auf rund 27 Billionen Tokens vortrainiert, nach einem dreiphasigen Warmup\u2013Stable\u2013Decay-Curriculum: etwa 20 Billionen Tokens f\u00fcr das Pretraining, rund 6,6 Billionen Tokens f\u00fcr die Annealing-Phase und eine abschlie\u00dfende Langkontext-Phase, die das nutzbare Kontextfenster auf eine Million Tokens erweitert. Deutsch wurde dabei gezielt hochgewichtet: auf 7,2 % der Stable-Phase und 15,3 % der Annealing-Mischung \u2013 mehr als das Dreifache des mehrsprachigen Anteils im Referenzrezept. Das Ziel war ein echter Deutsch-Englisch-Champion statt eines d\u00fcnn gestreuten mehrsprachigen Modells.<\/p>\n\n\n\n

\"-
Abbildung 2: Effektive Token-Mischung \u00fcber die drei Trainingsphasen. Der Anteil an skill-orientierten und deutschen Daten nimmt vom diversen Pretraining (Phase 1) \u00fcber das hochwertige Annealing (Phase 2) bis zur Langkontext-Erweiterung (Phase 3) zu.<\/em><\/em><\/figcaption><\/figure>\n\n\n\n

Genauso wichtig wie die Trainingsdaten ist uns eine l\u00fcckenlose Dokumentation. Der Soofi S Pretraining Tech Report<\/a> wird zusammen mit den vollst\u00e4ndigen Korpusstatistiken f\u00fcr alle drei Pretraining-Phasen ver\u00f6ffentlicht \u2013 einschlie\u00dflich der Quellen (auch derer, die wir gepr\u00fcft und wegen schwacher Ergebnisse bewusst ausgeschlossen haben), mit Token-Abrechnung pro Quelle und pro Sprache. Wir ver\u00f6ffentlichen den kompletten Learning-Rate-Schedule, den Optimizer, jeden Hyperparameter und die Token-Budgets pro Phase.<\/p>\n\n\n\n

Wie schl\u00e4gt sich Soofi S?<\/strong><\/h2>\n\n\n\n

Wir haben Soofi S gegen 15 offene Basismodelle evaluiert \u2013 mit einer gemeinsamen lm-evaluation-harness-Pipeline, identischen Prompts, Few-Shot-Konfigurationen und Task-Einstellungen, \u00fcber die Bereiche Code, Mathematik, Wissen, Reasoning, Naturwissenschaften, Leseverst\u00e4ndnis und deutsche Sprachbeherrschung hinweg. Den Vergleich teilen wir in zwei Gruppen: vollst\u00e4ndig quelloffene Modelle, die wie Soofi S auch Daten und Code ver\u00f6ffentlichen (Alia 40B, EuroLLM 22B, Apertus 70B und Olmo 3 32B), und gr\u00f6\u00dfere Open-Weight-Modelle, die nur ihre Gewichte freigeben (Qwen3.5 35B-A3B, Ministral 3 14B und Gemma 3 27B).<\/p>\n\n\n\n

\"-
Abbildung 3: \u00dcberblick \u00fcber die Basismodell-Evaluation gro\u00dfer Open-Source-Modelle. Soofi S erzielt in diesem Vergleich das beste englische Aggregat (77,3), das beste deutsche Aggregat (85,3) sowie die besten Code- und Mathematik-Werte. Die Aggregate schlie\u00dfen GPQA aus (siehe Offenlegung zur Datenkontamination).<\/em><\/em><\/figcaption><\/figure>\n\n\n\n

Unter den vollst\u00e4ndig quelloffenen Modellen ist schneidet Soofi S in unserem Vergleich insgesamt am besten ab (Stand: 11. Juli 2026). Es erreicht das h\u00f6chste englische Aggregat (77,3 \u2013 1,5 Punkte vor Olmo 3 32B) und das h\u00f6chste deutsche Aggregat (85,3 \u2013 5,9 Punkte vor Apertus 70B), und das, obwohl es pro Token nur 3 Milliarden Parameter aktiviert, w\u00e4hrend die Baselines bis zu 70 Milliarden mitbringen. Die gr\u00f6\u00dften Abst\u00e4nde zeigen sich bei den deutschen und den technischen Benchmarks. Gegen die deutlich gr\u00f6\u00dferen Open-Weight-Modelle liegt Soofi S zwar nicht bei jedem Aggregat vorn, kann sich jedoch problemlos mit Modellen zwischen 14 und 27 Milliarden Parametern messen und \u00fcbertrifft sein architektonisches Pendant Nemotron 3 Nano um 0,6 Punkte im Englischen und 4,6 Punkte im Deutschen, womit sich der Effekt unseres Datenrezepts isolieren l\u00e4sst. \u00dcber alle 16 Modelle der Studie hinweg erzielt Soofi S die besten englischen und deutschen Code-Aggregate.<\/p>\n\n\n\n

Starke Deutschf\u00e4higkeiten<\/strong><\/h2>\n\n\n\n

Bei den deutschen Ergebnissen hebt sich Soofi S am deutlichsten ab. Im Vergleich zu allen anderen europ\u00e4ischen souver\u00e4nen Baselines in unserer Studie \u2014 einschlie\u00dflich Modellen mit einer Gr\u00f6\u00dfenordnung mehr aktiven Parametern \u2014 erreicht oder \u00fcbertrifft Soofi S sie in jedem deutschen Benchmark der Suite, h\u00e4ufig um 10 bis 30 Punkte.<\/p>\n\n\n\n

\"-
Abbildung 4: Deutsche Benchmark-Ergebnisse gegen\u00fcber gro\u00dfen Open-Source-Modellen. Soofi S belegt Platz eins beim deutschen Aggregat, bei Deutschkompetenz (GLP-DE), ARC-Challenge-DE, INCLUDE-DE, GSM8K-Platinum-DE und MBPP-DE. Aggregate schlie\u00dfen GPQA aus (siehe Offenlegung zur Kontamination).<\/em><\/em><\/figcaption><\/figure>\n\n\n\n

Konkret f\u00fchrt Soofi S den Open-Source-Vergleich beim deutschen Aggregat (+5,9), bei Deutschkompetenz (+7,6), deutschem Schlussfolgern auf ARC-Challenge-DE (+7,0), dem Wissensbenchmark INCLUDE-DE (+10,1), deutscher Grundschulmathematik auf GSM8K-Platinum-DE (+9,7) und deutscher Codegenerierung auf MBPP-DE (+13,4) an. Nach unserem Kenntnisstand ist Soofi S damit unter den bewerteten Modellen das leistungsst\u00e4rkste offene deutsche Basismodell in seiner Inferenzkostenklasse.<\/p>\n\n\n\n

Effizienter Kontext \u00fcber lange Dokumente<\/strong><\/h2>\n\n\n\n

Unser architektonisches Konzept zahlt sich besonders bei der Effizienz im Betrieb aus. Da nur 6 von 52 Schichten einen KV-Cache f\u00fchren, hat Soofi S einen zus\u00e4tzlichen Attention-Cache-Bedarf von nur etwa 6 KB pro Token und Sequenz, also 11- bis 53-mal kleiner als bei anderen dichten Modellen in unserem Vergleich. Bei einem Kontext von 40K Tokens und Batch-Gr\u00f6\u00dfe 32 erreicht Soofi S eine gemessene aggregierte Decode-Rate von 4,82k Tokens pro Sekunde und GPU, rund 9-mal h\u00f6her als ein dichtes 14B-Modell, w\u00e4hrend alle Gewichte und 32 Sequenzzust\u00e4nde auf eine einzelne GPU passen.<\/p>\n\n\n\n

\"-
Abbildung 5: Skalierung des Decode-Durchsatzes bei langen Kontexten. Soofi S bleibt von 4K bis 256K Tokens Kontext nahezu konstant, w\u00e4hrend Full-Attention-Modelle stark einbrechen, sobald KV-Cache-Lesezugriffe das Decoding dominieren.<\/em><\/em><\/figcaption><\/figure>\n\n\n\n

Entscheidend ist, dass dieser Vorteil mit zunehmender Kontextl\u00e4nge gr\u00f6\u00dfer wird. Der Durchsatz anderer Modelle sinkt, sobald KV-Cache-Lesezugriffe das Decoding dominieren, w\u00e4hrend Soofi S von 4K bis 256K Tokens nahezu konstant bleibt. Dasselbe gilt f\u00fcr die Zeit bis zum ersten Token: Bei einem Kontext von 256K verarbeitet Soofi S den Prompt schneller als jede von uns gemessene Baseline. Das ist der strukturelle Vorteil, der sich genau in dem Szenario verst\u00e4rkt, das in der Produktion am wichtigsten ist: langer Kontext und hohe parallele Auslastung.<\/p>\n\n\n\n

Offenlegung zur Kontamination<\/strong><\/h2>\n\n\n\n

Wie andere offene Projekte (z. B. OLMo) trainieren wir mit umformulierten \u00dcbungsfragen aus bekannten Benchmarks: Probepr\u00fcfungen, nicht der eigentliche Test, damit sich das Modell mit den Aufgabenformaten vertraut machen kann, auf die es sp\u00e4ter getestet wird. Diese stammen aus Trainings-Splits, die normalerweise getrennt von den f\u00fcr die Evaluation verwendeten Test-Splits ver\u00f6ffentlicht werden. F\u00fcr GPQA und GPQA Diamond gibt es keine solche Trennung: Der vollst\u00e4ndige Evaluationssatz wird als einzelner Split ver\u00f6ffentlicht, auf Hugging Face mit \u201eTrain\u201c gekennzeichnet. Pr\u00fcfungsfragen gelangten daher in den Trainingsdatensatz und von dort in unsere Daten. Community-Mitglieder, die den ver\u00f6ffentlichten QA-Base-Datensatz durchgesehen haben, stellten dies kurz nach der Ver\u00f6ffentlichung fest und wir haben dies anhand unserer Konstruktionspipeline best\u00e4tigt.<\/p>\n\n\n\n

Ein vollst\u00e4ndiges Audit des Datensatzes ergab insgesamt vier betroffene Benchmarks: GPQA, TruthfulQA, BLiMP und die Inverse-Scaling-Aufgaben. Nur GPQA ist Teil unserer Evaluationssuite, aber wir nennen alle vier, damit darauf erzielte Werte nicht mit echter Modellf\u00e4higkeit verwechselt werden. Wir haben GPQA Diamond und seine deutsche Variante aus allen Tabellen und Abbildungen entfernt und die englischen und deutschen Aggregate neu berechnet, sodass die Vergleiche fair bleiben und die oben genannten Rangfolgen unver\u00e4ndert sind. Eine korrigierte Datensatzver\u00f6ffentlichung begleitet diese Revision.<\/p>\n\n\n\n

Transparenz als Prinzip<\/strong><\/h2>\n\n\n\n

Wir sind \u00fcberzeugt, dass die Art und Weise<\/em>, wie ein Modell ver\u00f6ffentlicht wird, Teil seines wissenschaftlichen Beitrags ist. Soofi S wird unter sehr permissiven Open-Access-Bedingungen ver\u00f6ffentlicht: die Modellgewichte, ausgew\u00e4hlte Checkpoints des Trainings, die vollst\u00e4ndige Datenbilanz pro Quelle, alle Hyperparameter sowie der komplette Trainings- und Evaluationscode. Unser Ziel ist es, das offene \u00d6kosystem einen Schritt weiterzubringen \u2014 von Open-Weight hin zu wirklich Open-Source \u2014 und eine reproduzierbare Vorlage f\u00fcr andere anzubieten, die leistungsf\u00e4hige, effiziente und souver\u00e4ne Basismodelle entwickeln m\u00f6chten.<\/p>\n\n\n\n

F\u00fcr die Zukunft planen wir, Soofi S entlang dreier Achsen weiterzuentwickeln: offenes Post-Training f\u00fcr Instruction-Following- und Reasoning-Varianten, verbesserte deutsche Benchmarks sowie die weitere Skalierung der hochwertigen deutschen Datenpipeline, die diese Ver\u00f6ffentlichung als zentralen Engpass f\u00fcr weitere Fortschritte identifiziert hat. Wir laden die Forschungsgemeinschaft ein, auf dieser Arbeit aufzubauen, sie kritisch zu pr\u00fcfen und weiterzuentwickeln.<\/p>\n\n\n\n

Beta-Testing & Community-Zugang<\/strong><\/h2>\n\n\n\n

Vor der Ver\u00f6ffentlichung wird Soofi S zun\u00e4chst in einer geschlossenen Beta im Rahmen der IPCEI-CIS\/8ra-Initiative getestet, ein europ\u00e4isches Vorhaben mit \u00fcber 100 Partnern aus Industrie, Mittelstand und Forschung in 12 EU-Staaten. Dieser Schritt soll helfen, R\u00fcckmeldungen zu Qualit\u00e4t, Sicherheit, Infrastrukturintegration und praktischer Nutzbarkeit unter realistischen Bedingungen zu sammeln.<\/p>\n\n\n\n

W\u00e4hrend sich unser Team aktuell auf diese Beta-Phase fokussiert, bleibt der Zugang vor\u00fcbergehend eingeschr\u00e4nkt. Wir planen, die Erfahrungen aus der geschlossenen Testphase in die weitere Dokumentation, die Ver\u00f6ffentlichungsartefakte und die Zugangsm\u00f6glichkeiten f\u00fcr Forschung, Wirtschaft und Open-Source-Community einflie\u00dfen zu lassen. Die Ver\u00f6ffentlichung wird so bald wie m\u00f6glich erfolgen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Wie vereint man souver\u00e4ne KI, h\u00f6chste Effizienz und starke Deutschkompetenz? Soofi S demonstriert, wie ein quelloffenes Modell mit europ\u00e4ischer Infrastruktur und voller Transparenz neue Ma\u00dfst\u00e4be f\u00fcr lange Kontexte setzt.<\/p>\n","protected":false},"author":29,"featured_media":38424,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396],"blog-tag":[1488,1551,1557,1559,1593],"class_list":["post-38461","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-tag-foundation-modelle","blog-tag-large-language-models-llms-de","blog-tag-nachhaltige-ki","blog-tag-nlp-de","blog-tag-sichere-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/38461","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/29"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/38461\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/38424"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=38461"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=38461"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=38461"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}