Foundation Models
Als international führende Institution in den Forschungsfeldern zu Basismodellen treibt das Lamarr-Institut wissenschaftliche Durchbrüche in den Bereichen Mehrsprachigkeit, Alignment und sichere Anwendung in vielfältigen Einsatzszenarien – etwa in Industrie und Medizin – voran. Unsere Expertinnen und Experten freuen sich darauf, mit Ihnen in Kontakt zu treten!
Unsere Expert*innen zu Foundation Models in Kanada
Aufwertung der LLM Leistung bei realen Aufgaben
Lucie Flek arbeitet an der Schnittstelle von Large Language Models, menschlicher Kognition und Alignment. Ihr Ziel ist es dabei Systeme zu entwickeln, die nützlich, interpretierbar und sozial bewusst sind. Zugleich steht die Entwicklung strenger Methoden für Schlussfolgerung und Evaluation im Vordergrund. Ihre Forschungsinteressen umfassen menschzentrierte Sprachsysteme, die an menschliche Bedürfnisse und Kommunikationsstile angepasst sind. In ihrer Arbeit drückt es sich in Form einer Forschung zu sowohl sozialer Intelligenz in LLMs, die menschähnliches, soziales Denken anwenden als auch LLM-Agenten für wissenschaftliche Entdeckungen und Zusammenarbeiten aus. Ihre Arbeit an der Destillation von LLMs verbessert die Modelleffizienz und Zugänglichkeit, die mechanistische Interpretierbarkeit mit dem Ergebnis eines besseren Verständnisses, die Angleichung interner Prozesse sowie die Sicherheit für eine verlässlichere Anwendung.
Pionierarbeit bei mehrsprachigen Foundation Models
Mehdi Ali tätigt Forschungsarbeiten zu mehrsprachigen Foundation Models, die von einem starken Fokus auf Daten gekennzeichnet sind. Er verbessert die Dateneffizienz durch hochwertige Trainingsdaten, die fünf zentrale Forschungsbereiche umspannen:
1. Datenfilterung im großen Maßstab und synthetische Datengenerierung
2. Curriculum learning
3. Multimodal learning (anhand von Text, Bild und strukturierten Daten)
4. Reasoning
5. Knowledge distillation
Aufbauend auf seiner bisherigen Arbeit am mehrsprachigen Sprachmodell Teuken-7B mit sieben Milliarden Parametern leitet Mehdi die Aktivitäten des Lamarr-Instituts für ein großes multimodales Reasoning-Modell.
Entwicklung von Large Language Models für industrielle Anwendungen
David Berghaus entwickelt LLMs für industrielle Anwendungen, darunter domänenspezifisches Fine-Tuning und Workflow-Automatisierung, etwa für juristisches Reasoning oder die Verarbeitung von E-Mail-Bestellungen. Er sucht die Zusammenarbeit zu LLMs für industrielle Einsatzszenarien, domänenspezifisches Fine-Tuning, Reasoning in regulierten Bereichen wie Recht, Compliance und Medizin sowie zur Entwicklung von LLM-Agenten.
Anpassung und Verbindung von Foundation Models mit menschlichen Werten
Die Forschung von Florian Mai liegt an der Schnittstelle von Reasoning-Modellen und KI-Alignment, wofür er aktiv Kooperationspartner sucht. Eben diese Modelle sollen dabei mehrsprachig werden, menschliche Werte erlernen können sowie auf skalierbares Oversight durch induktive Biases zurückgreifen können. Zudem arbeitet er an Foundation Models, um sichere KI breit zugänglich zu machen.
Entwicklung von Foundation Models für EEG-Daten
Matthias Jakobs arbeitet an der Entwicklung von Foundation Models für den medizinischen Bereich. Sie sind speziell darauf ausgerichtet, Zeitreihen-EEG-Daten (Elektroenzephalogramm) in hochdimensionale latente Repräsentationen zu enkodieren. Die Daten eigenen sich damit für nachgelagerte Aufgaben. EEG-Daten werden in zahlreichen neurologischen Kontexten eingesetzt, darunter in der Schlafmedizin sowie in der Diagnose und Behandlung von Epilepsie. Ein leistungsstarkes EEG-Foundation-Model ist daher entscheidend, um zukünftige Fortschritte in der Diagnose und Behandlung neurologischer Erkrankungen zu ermöglichen.
Neuigkeiten aus dem Forschungsbereich Natural Language Processing
Bleiben Sie auf dem Laufenden über die neuesten Projekte, Forschungsergebnisse und Aktivitäten im Bereich NLP am Lamarr-Institut.
Erfahren Sie mehr über die Forschungsergebnisse des Lamarr-Instituts in unserem Blog
- Alle
- Grundlagen
- Forschung
- Anwendung
