Forschungsbereich

Vertrauenswürdige Künstliche Intelligenz

Vertrauenswürdige KI baut auf robuste, überprüfbare Verfahren und bildet die Grundlage für die Zertifizierung von KI-Anwendungen.

Vertrauenswürdigkeit hat viele Facetten und betrifft neben der Informatik verschiedenste Fächer, von Psychologie und Philosophie bis hin zu Wirtschaft und Recht. Die Wissenschaftlerinnen und Wissenschaftler des Lamarr-Instituts, die sich mit vertrauenswürdigen Anwendungen der Künstlichen Intelligenz beschäftigen, sind daher Teil eines interdisziplinären Teams. Für ihre Forschung betrachten sie die gesamte Pipeline, also Erfassung von Daten, Speicherung, Zugriff, Sampling und Vorverarbeitung sowie Modellauswahl, Modellierung, Anpassung und Anwendung des Modells auf einen Prozess mit einem bestimmten Ergebnis und Wirkung.

VertrauenswurdigeKI quadratisch 1 - Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)

Datentransparenz

Unser Ziel ist es, einen vollständig metadatengestützten Zertifizierungsprozess zu etablieren, der Prüfverfahren so durchführt, dass sie auf den Eigenschaften der Lernmethode basieren. Die Forschenden des Lamarr-Instituts sind sich bewusst, dass Datentransparenz eine wichtige Voraussetzung für Vertrauenswürdigkeit ist. Weitere Schlüsselfaktoren für die Entwicklung vertrauenswürdiger Lösungen sind Datenschutz, Fairness sowie Schutz vor Verzerrungen. All diese Faktoren stehen in Relation zum Zusammenspiel von Datenerfassung, Lernen und Modellverwertung.

Interpretierbares und erklärbares Maschinelles Lernen

Unser Ziel ist es, Modelle des Maschinellen Lernens zu entwickeln, die interpretierbar sind und erklärbare Ergebnisse liefern. Die Erklärungen müssen an die spezifischen Bedürfnisse der Nutzerinnen und Nutzer angepasst werden, z. B. durch Methoden der Visualisierung oder durch eine verständliche Dokumentation. Darüber hinaus müssen KI-Systeme verifizierbar sein. Dies kann durch die Einbindung von Expertenwissen oder Simulationsergebnissen in das lernende System erleichtert werden. Traditionellere Methoden der Analyse und Verifikation von Programmen können angewendet werden, wenn KI-Systeme explizit als Code dargestellt werden.

Prüfung auf Robustheit und Compliance

Schließlich entwickeln wir Test- und Zertifizierungsverfahren, die Störungen und gezielte Angriffe beinhalten, um die Robustheit zu bewerten. Wir arbeiten weiterhin daran, Benchmark-Daten zu sammeln und aufzubereiten, den Ressourcenverbrauch zu bewerten und die Konformität einer implementierten Pipeline mit der Theorie des Maschinellen Lernens zu testen. Die Umsetzung von Beweisen in Testverfahren ist eine Herausforderung für die zukünftige Forschung. Ein Aspekt der Verifizierung und Zertifizierung, der zunehmend an Bedeutung gewinnt, ist die Gewährleistung der Konformität von KI-Systemen mit rechtlichen Rahmenbedingungen.

Ansprechpartner

lamarr institute person Rehof Jakob - Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)

Prof. Dr. Jakob Rehof

Direktor zum Profil

PIs für Vertrauenswürdiger KI

Wissenschaftlerinnen und Wissenschaftler am Lamarr-Institut stehen in einem intensiven Austausch über Forschungsbereiche und Disziplinen hinweg. Die folgenden Forschenden tragen zur Forschung im Bereich vertrauenswürdiger KI bei – einige von ihnen sind zudem auch in Arbeiten in anderen Forschungsbereichen eingebunden.