Vortrag auf der AI4X Conference von Lamarr-PI Prof. Jürgen Bajorath

Lamarr Principal Investigator Prof. Dr. Jürgen Bajorath wird auf der bevorstehenden AI4X Conference einen Vortrag mit dem Titel „Chemical Language Models and Their Learning Characteristics“ halten.

Die AI4X Conference vereint führende Stimmen aus Wissenschaft und Industrie im Bereich der Künstlichen Intelligenz und präsentiert aktuelle Forschung an der Schnittstelle von Maschinellem Lernen, Lebenswissenschaften und Ingenieurwesen.

In diesem Rahmen wird Prof. Bajorath erläutern, wie chemische Sprachmodelle (Chemical Language Models, CLMs) – Deep-Learning-Architekturen, die aus der Verarbeitung natürlicher Sprache adaptiert wurden – in der Wirkstoffforschung eingesetzt werden, um neue molekulare Strukturen unter spezifischen Eigenschaftsbedingungen zu generieren.

Abstract

In den Lebenswissenschaften und der Wirkstoffforschung kommen verschiedene generative Machine-Learning-Modelle für unterschiedliche Anwendungen zum Einsatz. Dazu zählen auch sogenannte Chemical Language Models (CLMs), die auf Deep-Learning-Architekturen basieren, die ursprünglich aus der Verarbeitung natürlicher Sprache (Natural Language Processing) stammen. CLMs lernen textuelle Repräsentationen molekularer Strukturen sowie Wahrscheinlichkeitsverteilungen, um neue chemische Substanzen vorherzusagen. Häufig werden sie durch kontextabhängige Regeln wie bestimmte Eigenschaftsanforderungen gesteuert.

Transformer haben sich als bevorzugte Architektur für CLMs etabliert. Kennzeichnend für diese Modelle sind der Self-Attention-Mechanismus und die Fähigkeit, vielfältige Abbildungen molekularer Repräsentationen mit den zugehörigen Eigenschaftsmaßen zu erlernen. Die daraus resultierende Vielseitigkeit der CLMs bei der Bearbeitung unterschiedlicher „Machine Translation“-Aufgaben eröffnet neue Möglichkeiten für das generative molekulare Design. Transformer-basierte CLMs liefern dabei häufig vielversprechende Ergebnisse, auch bei weniger standardisierten Vorhersageaufgaben.

Die Interpretation dieser Vorhersagen stellt jedoch eine Herausforderung dar und ist ein aktuelles Thema im Bereich der erklärbaren Künstlichen Intelligenz (XAI). Bisher wurden Vorhersagen von Transformern vor allem über die Analyse von Attention-Gewichten und -Flüssen untersucht, doch es entstehen zunehmend alternative Ansätze. Je nach Anwendung können beispielsweise sorgfältige Kontrollrechnungen dabei helfen, modelltypische Lerncharakteristika aufzudecken – was oft entscheidend ist, um Fehlinterpretationen oder durch sogenannte „Clever-Hans“-Effekte verursachte Irritationen zu vermeiden.