In der Geschichte der Menschheit war die Wissenschaft stets die bewegende Kraft der Zivilisation und Innovation. Aber sie erfordert auch immer den Einsatz von Ressourcen: an erster Stelle viel Zeit. In der modernen Welt des technologischen Fortschritts wird von der Wissenschaft erwartet, dass sie Probleme schnell und effektiv löst, ohne scheitern zu dürfen. Dies betrifft insbesondere die Entwicklung von Technologien der Künstlichen Intelligenz (KI). Hier ist der Druck der Industrie auf die Forschung zur schnellen Entwicklung von zukunftsweisenden Lösungen besonders hoch. Der Slow Science Ansatz schlägt vor, diese Herangehensweise des „publish-or-perish“, die derzeit sehr einflussreich ist, zu überdenken.
Worum geht es bei Slow Science?
Das Konzept der Slow Science ist ein Teil des breiteren Konzepts der „Slow Movement„-Bewegung. Es besagt, dass sich das Leben in der modernen Welt in allen Bereichen zu sehr beschleunigt hat. Demzufolge muss es zu einem Tempo zurückgeführt werden, das es erlaubt, die Ereignisse auszukosten und Qualität über Quantität zu stellen. Insbesondere basiert die „Slow Science“-Bewegung auf der Ansicht, dass die Wissenschaft ein stetiger, methodischer Prozess sein sollte. Von Wissenschaftler*innen solle daher nicht erwartet werden, „schnelle Lösungen“ für die Probleme der Gesellschaft zu liefern. Slow Science unterstützt stattdessen eine Neugier getriebene wissenschaftliche Forschung und wendet sich gegen Leistungsziele, wie die Menge an Publikationen im Rahmen von angesehenen Journals und Konferenzen.
Leistungsziele erzeugen Druck auf jene, die in der akademischen Karriere erfolgreich sein wollen. Im Zusammenhang mit dem Druck, Arbeiten zu veröffentlichen, beschreibt der Aphorismus „publish-or-perish“ die Situation am besten. Dieser These nach bringen erfolgreiche Publikationen Aufmerksamkeit für die Forscher*innen und ihr Institut – das hilft bei der weiteren Finanzierung der Arbeit. Aktivitäten, die nicht zu Publikationen führen, wie zum Beispiel die Arbeit mit Studenten*innen, können vor diesem Hintergrund dazu führen, dass man aus dem Wettbewerb herausfällt und seine Position verliert. Dieser Druck ist an den Forschungsuniversitäten am stärksten. Einige Forscher*innen benennen ihn zudem als eine Ursache der Replikationskrise, bei der wissenschaftliche Artikel publiziert werden, die sich wiederholen und somit nur bedingt einen inhaltlichen Mehrwert erzeugen. Dies führt im Allgemeinen zu einer geringeren Qualität der Veröffentlichungen, da das Ziel sich von der eigentlichen Forschung unterscheidet.
Ein Beispiel für eine gegensätzliche Entwicklung ist die Slow Science Academy, die 2010 in Deutschland gegründet wurde. Der Verein fördert den Ansatz zur Notwendigkeit der Entschleunigung im Rahmen wissenschaftlicher Arbeit. Wichtig ist, dass die Wissenschaftler*innen selbst verstehen sollen, dass Wissenschaft Zeit braucht. Ihr „Slow Science Manifest“ fordert: „Habt Geduld mit uns, während wir denken.“
Warum ist gehetzte Wissenschaft nicht erwünscht?
Die Folgen der gehetzten Wissenschaft können sich direkt auf unser Leben auswirken. So war der Druck auf die Wissenschaftler*innen eine Lösung für die COVID-19 Pandemie zu finden enorm. Die erfolgreichen Testungen mehrerer Impfstoffe scheinen der Idee der Slow Science zu widersprechen. Aber auch hier zeigten sich die Folgen der „gehetzten Wissenschaft“ sehr deutlich. Sechs Monate, nachdem sich die Pandemie schnell über die Welt ausgebreitet hatte, veröffentlichten mehrere angesehene Fachzeitschriften eine Studie, in der behauptet wurde, dass Malaria-Medikamente auch gegen COVID-19 helfen. Kurz darauf wurde jedoch bekannt, dass die Experimente nicht ordnungsgemäß durchgeführt wurden: Es gab keine Doppelblindtests und es wurde nur über die Ergebnisse einer kleinen Anzahl von Patienten*innen berichtet (ohne Berücksichtigung jener Probanden, die starben). Der Artikel wurde zurückgezogen, aber für die wissenschaftliche Welt ist das ein Signal: Sogar angesehene Zeitschriften in der Wissenschaft können Opfer von übereilter, ergebnisorientierter Forschung werden.
Der Publikationsdruck im Maschinellen Lernen
Der Bereich des Maschinellen Lernens und der KI erlebt in der heutigen Zeit häufig den „publish-or-perish“-Effekt. Laut Yoshua Bengio, einem der führenden Wissenschaftler auf diesem Gebiet, ist der erste zu nennende Faktor das Erscheinen und die Popularität der Wissenschaftsplattform arXiv, einer Online-Preprint-Sammlung, in der Artikel ohne Review-Prozess veröffentlicht werden können.
Diese Grafik zeigt die Anzahl der neuen Einträge auf arXiv in jedem Monat seit August 1991 (nach 29,4 Jahren). Die Gesamtzahl der Einreichungen bis zum 22. Dezember 2020 beläuft sich auf 1.813.740.
Die Popularität von arXiv wächst exponentiell, seit es gegründet wurde. Die in der Datenbank eingereichten Artikel decken mehrere Bereiche ab, darunter auch die Informatik (insbesondere das Maschinelle Lernen). Aber wie ist das Verhältnis der Forschungsdisziplinen in der Gesamtmenge der eingereichten Artikel?
Statistik der arXiv-Einreichungsrate: Das linke Diagramm zeigt die Anzahl der Neueinreichungen pro Jahr für verschiedene Forschungsdisziplinen. Das Diagramm auf der rechten Seite zeigt die gleichen Daten wie links, aber mit den Einreichungsraten im Verhältnis zu der Gesamtzahl der Einreichungen für jedes Jahr.
Man kann deutlich das starke Wachstum der Informatik-bezogenen Artikel sehen. Auf dem Stand von 2019 liegt der Anteil der Computer Science-Artikel (cs) bei 27,8% aller eingereichten Artikel. Dies ist ein Signal, dass der Publikationsdruck in diesem sich schnell entwickelnden Forschungsgebiet zu hoch sein könnte.
Der zweite Faktor ist die Anzahl der Konferenzen zum Maschinellen Lernen. Die Community ist hauptsächlich auf konferenzbasierte Publikationen umgestiegen, da die Veröffentlichung in einem Journal viel mehr Zeit in Anspruch nimmt. Laut den Suchergebnissen auf guide2research.com beträgt die Anzahl der Konferenzen zum Maschinellen Lernen 960. Normalerweise haben die Forschenden etwa zwei Monate Zeit zwischen den Abgabeterminen hochkarätiger Konferenzen, bei denen viele Wissenschaftler*innen eine Veröffentlichung anstreben. So hat die beliebteste Konferenz NeurIPS ein exponentielles Wachstum der Anzahl der Eingaben erfahren.
Die NeurIPS weist ein exponentielles Wachstum bei der Anzahl an eingereichten Forschungen in den Jahren 2014 – 2019 auf.
Dies spiegelt nicht nur den hohen Druck auf die Forschenden wider, die einen Artikel vorschlagen, sondern stellt auch sehr hohe Anforderungen an die Reviewer. Die Papiere werden von einem Ort zum anderen weitergereicht, in der Hoffnung, dass die „zufällige Auswahl der Reviewer“ beim nächsten Versuch akzeptabler sein wird. Insgesamt lässt sich bei den meisten Konferenzen zum Maschinellen Lernen ein ähnliches Wachstum der Anzahl der Einreichungen wie bei der NeurIPS beobachten.
In seinem Beitrag vom Februar 2020 schlägt Yoshua Bengio vor, die Organisation von Konferenzen im Bereich des Maschinellen Lernens zu überdenken. Er empfiehlt hierbei, weniger und viel „langsamer“ entwickelte Arbeiten zu präsentieren und den Hauptveröffentlichungsprozess den Zeitschriften zu überlassen. Dieser Zustand des Feldes trifft insbesondere die jungen Nachwuchsforschenden, die sich und ihre Forschung in einem ersten Schritt in der Fachdisziplin etablieren müssen, am härtesten. Insgesamt muss ein Doktorand heute mindestens 50% mehr Publikationen veröffentlichen als vor den 90er Jahren, um einen Abschluss zu erlangen. Darüber hinaus ist die Reproduzierbarkeit der Arbeiten im Bereich des Maschinellen Lernens extrem gering – wer versucht, Benchmarks für einen neu entwickelten Lösungsansatz zu bekommen, ist oft nicht in der Lage, bereits veröffentlichte Ergebnisse zu reproduzieren (siehe Quantifying Independently Reproducible Machine Learning und Artificial intelligence faces reproducibility crisis).
Sollte Slow Science Einzug in die Erforschung des Maschinellen Lernens halten?
Insgesamt führt der Druck und die Menge an Forscher*innen in bestimmten Bereichen, zum Beispiel im Deep Learning, zu bereits spürbaren Problemen im Hinblick auf den Forschungsprozess und die Qualität der publizierten Artikel. Soll der Prozess also der Slow-Science-Motivation folgen? Vielleicht kann die Meinung eines renommierten Wissenschaftlers dies beantworten: Der Physiker Sir Peter Higgs, Namensgeber des Higgs-Bosons, wurde 2013 mit den Worten zitiert, dass die akademischen Erwartungen seit den 1990er Jahren ihn wahrscheinlich daran gehindert hätten, sowohl seine bahnbrechenden Forschungsbeiträge zu leisten als auch eine Festanstellung zu erlangen. „Es ist schwer vorstellbar, wie ich in dem gegenwärtigen Klima jemals genug Ruhe haben könnte, um das zu tun, was ich 1964 getan habe“, sagte er. „Heute würde ich keinen akademischen Job mehr bekommen. So einfach ist das. Ich glaube nicht, dass ich als produktiv genug angesehen werden würde.“
Für mehr Informationen zu dem Thema:
Prof. Dr. Katharina Morik, Leiterin des Lehrstuhls für Künstliche Intelligenz und des Sonderforschungsbereiches 876 an der TU Dortmund und Sprecherin des Kompetenzzentrums ML2R, thematisierte den Publikationsdruck in der ML-Forschung in ihrem Vortrag „Publish or Perish“ im Rahmen der internationalen Sommerschule „Resource-aware Machine Learning“.
Durch das Laden des Videos erklären Sie sich mit den Datenschutzbestimmungen von YouTube einverstanden.
Learn more
