In diesem Blogbeitrag teile ich einige meiner Gedanken über den diesjährigen Nobelpreis für Physik, der mich ebenso überrascht hat wie alle anderen. Ich gehe der Frage nach, wofür die Preisträger geehrt werden, und vertrete die Auffassung, dass es mehr als gerechtfertigt ist, einen Nobelpreis für die Forschung im Bereich der künstlichen Intelligenz zu vergeben, deren praktische Anwendungen derzeit viele Aspekte unseres täglichen Lebens revolutionieren.
Wenn Sie diesen Blog lesen, wissen Sie wahrscheinlich bereits, dass der Nobelpreis für Physik 2024 an John Hopfield und Geoffrey Hinton verliehen wurde. Um zu verdeutlichen, warum, möchte ich aus der Pressemitteilung des Nobelkomitees für Physik zitieren: „Wenn wir über künstliche Intelligenz sprechen, meinen wir oft maschinelles Lernen mit künstlichen neuronalen Netzen. Diese Technologie wurde ursprünglich von der Struktur des Gehirns inspiriert. In einem künstlichen neuronalen Netz werden die Neuronen des Gehirns durch Knoten dargestellt, die unterschiedliche Werte haben. Diese Knoten beeinflussen sich gegenseitig durch Verbindungen, die mit Synapsen verglichen werden können […]. Die diesjährigen Preisträger haben seit den 1980er Jahren wichtige Arbeiten mit künstlichen neuronalen Netzen durchgeführt.“
Wenn man sich die Entscheidung des Komitees ansieht, kann man mit einigem Recht sagen, dass niemand sie erwartet hatte. (Ich muss es wissen, denn in der Woche vor der Bekanntgabe habe ich mir mehrere Videos von Physik-YouTubern mit Vorhersagen für den diesjährigen Preis angesehen, und niemand hatte Forscher für künstliche Intelligenz (KI) auf seiner Liste).
Man kann auch sagen, dass die Entscheidung etwas umstritten ist. Auf der einen Seite gibt es Physiker, die kritisieren, dass der Preis an Informatiker geht und dies als Indikator für eine Krise der Physik sehen. Auf der anderen Seite gibt es Informatiker, die den Preis als einen Versuch der Physiker sehen, KI als ihre Disziplin zu beanspruchen. (Einfach mal googeln 😉.) Es gibt auch eine Kontroverse über die Preiswürdigkeit der Preisträger und darüber, ob die Beiträge, für die sie ausgezeichnet werden, ihnen zu Unrecht zugeschrieben werden. (Einfach mal googeln 😉.)
Im Folgenden werde ich auf all dies eingehen und erörtern, warum Hopfield und Hinton tatsächlich grundlegende Arbeiten zur KI geleistet haben, die eine Brücke zwischen Informatik und Physik schlagen. Dabei gehe ich davon aus, dass die Leser wissen, was künstliche neuronale Netze sind, nämlich mathematische Modelle biologischer neuronaler Netze, die auf Computern implementiert werden können, um eine Vielzahl von kognitiven Aufgaben zu erfüllen. Also, los geht’s …
Erfindung der künstlichen neuronalen Netze
Im Gegensatz zu dem, was wir heute in den Nachrichten lesen, haben Hopfield und Hinton die künstlichen neuronalen Netze nicht erfunden und auch nie behauptet, dies getan zu haben. Tatsächlich gehen künstliche neuronale Netze mindestens bis in die 1940er Jahre zurück, als die ersten elektronischen Computer verfügbar wurden und man begann, darüber nachzudenken, wie man menschliche Denkprozesse mit „elektronischen Gehirnen“ simulieren könnte.
Das erste Konzept eines elektronischen Neurons wurde 1943 von McCulloch und Pitts beschrieben, die auch erörterten, wie man logische Berechnungen mit Netzen solcher Neuronen durchführen kann [1]. In den 1950er Jahren baute Rosenblatt ein elektronisches Neuron, das er Perzeptron nannte, und zeigte, dass es mit Hilfe von Trainingsdaten und einem auf Hebb zurückgehenden Algorithmus lernen kann, Muster zu erkennen [2,3]. Netze, in denen Perzeptronen in Schichten gestapelt sind und nur Informationen von einer Schicht zur nächsten weitergeben, wurden als mehrschichtige Feed-Forward-Perzeptronen bekannt und waren die Vorläufer vieler der heutigen tiefen neuronalen Netze. Neuronale Netze, bei denen die Perzeptronen nicht unbedingt in Schichten angeordnet sind und bei denen Informationen hin und her fließen können, wurden als rekurrente neuronale Netze bezeichnet und spielen ebenfalls eine grundlegende Rolle beim modernen Deep Learning.
Brückenschlag zwischen Informatik und Physik: Die Beiträge von Hopfield und Hinton zur KI-Forschung
Vor diesem historischen Hintergrund kann ich nun auf die Beiträge von Hopfield und Hinton und ihre zentrale Rolle für einen Großteil der laufenden Forschungsarbeiten zur künstlichen Intelligenz eingehen.
In den 1970er Jahren konzipierten Little und Amari unabhängig voneinander eine Art von rekurrenten neuronalen Netzen, die heute als Hopfield-Netze bekannt sind [4,5]. Auf den ersten Blick scheint diese Zuordnung überraschend, da John Hopfield zugab, dass er die Ideen anderer aufgegriffen hat, als er sie einige Jahre später erweiterte [6]. Als Physiker (und nicht als Informatiker, wie man heute oft liest) hatte Hopfield jedoch die grundlegende Einsicht, dass die Aktivität der Neuronen in Hopfield-Netzen als ein Energieminimierungsprozess verstanden werden kann. Mit anderen Worten, er verband mathematische Biologie, mathematische Psychologie und KI mit der Physik, was weitreichende Konsequenzen hat.
Hopfield-Netze waren zunächst als mathematisches Modell dafür konzipiert, wie das Gehirn Muster speichert und abruft. Das heißt, sie waren ursprünglich dazu gedacht, Erinnerungen zu beschreiben. Nachdem Hopfield seine Arbeit veröffentlicht hatte, sorgte die Verbindung zwischen Gedächtnisbildung und physikalischen Phänomenen für einige Aufregung, die später wieder abflaute, als sich herausstellte, dass die ursprünglichen Hopfield-Netze nicht sehr gut im Speichern von Erinnerungen sind [7]. Hopfield selbst wies jedoch auf eine weitere, merkwürdigerweise unterschätzte Anwendung von Hopfield-Netzen hin, nämlich ihre Verwendung als Maschinen zur Lösung von Randbedingungen und kombinatorischen Problemen [8].
Ich werde nicht auf die Einzelheiten dieses letzten Aspekts der Hopfield-Netze eingehen, da sie recht technisch sind. Ich möchte jedoch darauf hinweisen, dass dieser Aspekt der Hopfield-Netze von erheblichem aktuellem Interesse ist, da er aufgrund der Erkenntnisse, die wir Hopfield verdanken, den Brückenschlag zwischen KI und Quanten-Computing ermöglicht.
Am Lamarr-Institut arbeiten wir selbst aktiv auf diesem spannenden Gebiet [9,10]. Um unsere laufende Forschung im Bereich der Quanten-KI zu veranschaulichen, möchte ich auf die aktuelle Arbeit von Sascha Mücke hinweisen, der von Hopfield inspirierte Modelle zur Lösung von Sudokus auf Quanten-Annealern verwendet [11]. Man beachte, dass „inspiriert“ genau der richtige Begriff ist, denn (mittlerweile wenig überraschend) hat Hopfield selbst bereits gezeigt, wie neuronale Netze diese Art von Rätseln lösen können [12].
Geoffrey Hinton wird oft als „der Pate der KI“ bezeichnet, und ich gehe davon aus, dass die meisten Leser dieses Blogs schon von ihm und seiner Arbeit gehört haben. Da er jedoch ein Informatiker ist, könnte man sich fragen, warum er den Nobelpreis für Physik erhalten sollte.
Am bekanntesten ist er wohl als einer der Entdecker und Verbreiter des Error-Backpropagation-Algorithmus [13], der das Training von mehrschichtigen Perzeptronen ermöglicht (und dessen Wurzeln und Vorläufer noch weiter zurückreichen [14]), doch das Nobelkomitee verweist auf seine früheren Beiträge zur Theorie und zu Anwendungen von Boltzmann-Maschinen [15,16]. Diese erweitern und verallgemeinern Hopfield-Netze unter Verwendung von Konzepten aus der statistischen Physik und spielten eine entscheidende Rolle bei der Entwicklung dessen, was wir heute Deep Learning nennen. In den späten 2000er Jahren arbeiteten Hinton und seine Kollegen mit so genannten tiefen Boltzmann-Maschinen, um einfache Bildklassifizierungsaufgaben zu lösen [17]. Ihre Ideen führten dann schnell zu Deep Convolutional Neural Networks für weitaus fortgeschrittenere Bildklassifizierungsaufgaben und zu der Veröffentlichung, die wohl den Anstoß für die Deep-Learning-Revolution gab, da sie alle verbleibenden Bedenken hinsichtlich der Fähigkeiten künstlicher neuronaler Netze ausräumte [18].
Aktuelle und zukünftige Bedeutung der Forschung der Nobelpreisträger
Bei der Erläuterung des wissenschaftlichen Hintergrunds des diesjährigen Nobelpreises verwies das Nobelkomitee auf eine breite Palette von Anwendungsbereichen für künstliche neuronale Netze in der Physik und anderen wissenschaftlichen Disziplinen. In diesem Zusammenhang wurde das IceCube-Neutrino-Detektorprojekt am Südpol erwähnt [19]. Das Projekt führte zum ersten Neutrinobild der Milchstraße, ein Durchbruch, der von dem an der TU Dortmund ausgebildeten Wissenschaftler Mirco Hünnefeld in Zusammenarbeit mit den Forschungsgruppen der Gründungsdirektorin des Lamarr-Instituts, Katharina Morik, und des Lamarr-Area Chairs Physik, Wolfgang Rhode, erzielt wurde.
Alles in allem denke ich daher, dass der Nobelpreis für Physik für Hopfield und Hinton wohlverdient ist. Beide haben Methoden aus dem Werkzeugkasten der Physik angewandt, um das Verhalten der Art von Modellen zu verstehen und zu verbessern, die jetzt die KI-Revolution vorantreiben. Darüber hinaus prägen ihre Arbeiten aus den 1980er Jahren noch immer die heutige Forschungslandschaft und werden daher wahrscheinlich noch weitere Durchbrüche ermöglichen.
Referenzen
[1] W.S. McCulloch and W. Pitts. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics, 5(4). 1943.
[2] F. Rosenblatt. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6). 1943.
[3] D.O. Hebb. The Organization of Behavior. Wiley. 1949.
[4] W.A. Little. The Existence of Persistent States in the Brain. Mathematical Bioscience, 19(1–2). 1974.
[5] S.-I. Amari. Neural Theory of Association and Concept-formation. Biological Cybernetics, 26(3). 1977.
[6] J.J. Hopfield. Neural Networks and Physical Systems with Collective Computational Abilities. PNAS, 79(8). 1982.
[7] D.J. Amit, H. Gutfreund, and H. Sompolinsky. Information Storage in Neural Networks with Low Levels of Activity. Physical Review A, 35. 1987.
[8] J.J. Hopfield and D.W. Tank. “Neural” Computation of Decisions in Optimization Problems. Biological Cybernetics, 52. 1985.
[9] C. Bauckhage, R. Sanchez, and R. Sifa. Problem Solving with Hopfield Networks and Adiabatic Quantum Computing. In Proceedings of International Joint Conference on Neural Networks. 2020.
[10] C. Bauckhage, R. Ramamurthy, and R. Sifa. Hopfield Networks for Vector Quantization. In Proceedings of International Conference on Artificial Neural Networks. 2020.
[11] S. Mücke. A Simple QUBO Formulation of Sudoku. In Proceedings of the Genetic and Evolutionary Computing Conference Companion. 2024.
[12] J.J. Hopfield. Searching for Memories, Sudoku, Implicit Check Bits, and the Iterative Use of Not-Always-Correct Rapid Neural Computation. Neural Computation, 20(5). 2008.
[13] D.E. Rummelhart, G.E. Hinton, and R.J. Williams. Learning Representations by Back-propagating Errors. Nature, 323(6088). 1986.
[14] J. Schmidhuber. Deep Learning in Neural Networks: An Overview. Neural Networks, 61. 2015.
[15] G.E. Hinton, T.J. Sejnowski, and D.H. Ackley. Boltzmann Machines: Constraint Satisfaction Networks that Learn. Technical Report CMU-CS-84-119. 1984.
[16] D.H. Ackley, G.E. Hinton, and T.J. Sejnowski. A Learning Algorithm for Boltzmann Machines. Cognitive Science, 9(1). 1985.
[17] R. Salakhutdinov and G.E. Hinton. Deep Boltzmann Machines. In Proceedings of International Conference on Artificial Intelligence and Statistics. 2009.
[18] A. Krizhevsky, I. Sutskever, and G. Hinton. 2012. ImageNet Classification with Deep Convolutional Neural Networks. In Proceedings of Advances in Neural Information Processing Systems. 2012.