Strategische Rolle von Foundation-Modellen am Lamarr-Institut
Foundation-Modelle sind groß angelegte KI-Modelle, die auf der Grundlage umfangreicher und vielfältiger Datensätze trainiert werden. Im Gegensatz zu herkömmlichen KI-Systemen, die für eng gefasste Aufgaben entwickelt wurden, lernen Foundation-Modelle allgemeine Darstellungsmuster, die durch Feinabstimmung an eine Vielzahl von nachgelagerten Anwendungen angepasst werden können. Sie umfassen mehrere Modalitäten, darunter Text, Bild, Sprache und strukturierte Daten, und bilden das technologische Rückgrat vieler generativer KI-Systeme. Große Sprachmodelle (LLMs) sind aktuell das bekannteste Beispiel für Innovationen, die durch dieses Paradigma möglich geworden sind.
Foundation-Modelle sind geeignet, sowohl die Wirtschaft als auch die persönliche Interaktion mit Technologie grundlegend zu verändern. Sie sind zu einer strategischen Säule für die Sicherung der digitalen und wirtschaftlichen Souveränität Europas geworden. In Anbetracht dieses transformativen Potenzials verpflichten sich die Forschenden am Lamarr-Institut, exzellente, zielgerichtete Forschung voranzutreiben, die das grundlegende Verständnis vertieft und die Entwicklung von Foundation-Modellen in allen wichtigen wissenschaftlichen und technologischen Dimensionen vorantreibt.
Forschungsansätze
Um Foundation-Modelle weiterzuentwickeln, konzentriert sich unsere Forschung auf fünf miteinander verbundene Bereiche: groß angelegte Kuratierung und Synthese von Daten, Lernen nach Curriculum, multimodales Lernen, logisches Schlussfolgern und Wissensdestillation. Diese Ansätze werden durch ein zentrales Leitprinzip vereint: Mehrsprachigkeit. Anstatt Mehrsprachigkeit als isoliertes Ziel zu betrachten, integrieren wir sie in alle Forschungsbereiche. So stellen wir sicher, dass die Foundation-Modelle über alle Sprachen hinweg leistungsstark sind und einen inklusiveren Zugang zu KI-Technologien fördern.
Fokus auf datenzentrierte Entwicklung
Hochwertige Trainingsdaten sind eine wesentliche Komponente für die Entwicklung wettbewerbsfähiger und trainingseffizienter Foundation-Modelle. Allerdings werden Erkenntnisse über Datenkuratierung und -zusammensetzung oft von führenden KI-Laboren als firmeneigenes Wissen zurückgehalten, was zu einer erheblichen Wissenslücke in der Forschungswelt führt. Am Lamar-Institut legen wir den Schwerpunkt auf datenzentrierte Forschung und arbeiten an einer Verbesserung der Modellleistung und Dateneffizienz durch sorgfältige Zusammensetzung von Datensätzen, eine strenge Qualitätssicherung und hochentwickelte Kuratierungsstrategien.
