{"id":4280,"date":"2023-01-11T05:00:06","date_gmt":"2023-01-11T05:00:06","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/energieeffizienz-im-ml\/"},"modified":"2025-11-12T14:51:38","modified_gmt":"2025-11-12T14:51:38","slug":"energieeffizienz-im-ml","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/energieeffizienz-im-ml\/","title":{"rendered":"Wie l\u00e4sst sich die Energieeffizienz von maschinellen Lernmodellen untersuchen?"},"content":{"rendered":"\n

Auch wenn Maschinelles Lernen (ML) heute wichtige Probleme l\u00f6sen kann, haben verschiedene Forschungsarbeiten gezeigt, dass viele hochmoderne Machine-Learning-Modelle einen enormen Energiebedarf und somit gro\u00dfen CO2<\/sub>-Fu\u00dfabdruck haben. So ben\u00f6tigt beispielsweise das Training aktueller ML-Sprachmodelle ungef\u00e4hr so viel Energie wie ein Trans-Amerika Flug<\/a> \u2013 und das, obwohl im Rahmen der Untersuchungen nicht einmal die enorme Komplexit\u00e4t hinter der Optimierung von Hyperparametern betrachtet wird. Insbesondere im Kontext von Energiekrise und Klimawandel wird es deswegen immer wichtiger, neben der Vorhersagequalit\u00e4t auch die Energieeffizienz von gelernten Modellen zu untersuchen.<\/p>\n\n\n\n

Was bedeutet Energieeffizienz im Kontext des Maschinellen Lernens?<\/span><\/h2>\n\n\n\n

Leider l\u00e4sst sich die Energieeffizienz von Maschinellem Lernen aufgrund seiner vielseitigen Einsatzm\u00f6glichkeiten nicht trivial bestimmen. Wissenschaftler*innen des ML2Rs (nun Lamarr-Institut) haben deswegen zun\u00e4chst eine Charakterisierung von ML-Experimenten ausgearbeitet: Jedes Experiment besteht dabei aus einer konzeptionellen Konfiguration<\/em> und einer praktischen Umgebung<\/em>. Die Konfiguration definiert die Aufgabe (zum Beispiel Training, Klassifikation, Testen von Eigenschaften), einen zugrundeliegenden Datensatz, und ein gew\u00e4hltes Modell (mit all seinen Hyperparametern). Die Umgebung setzt sich indes aus der genutzten Rechnerarchitektur und der darauf lauff\u00e4higen Software, welche das Experiment durchf\u00fchrt, zusammen. In der Praxis bedingen sich Konfiguration und Umgebung gegenseitig, da zum Beispiel bestimmte Modelle spezielle Software erfordern, oder manche Datens\u00e4tze aufgrund ihrer Gr\u00f6\u00dfe kaum auf kleinen Recheneinheiten verarbeitet werden k\u00f6nnen.<\/p>\n\n\n\n

Aus der Konfiguration eines Experiments ergeben sich die Metriken, die f\u00fcr eine Untersuchung von Effizienz interessant sind. So haben verschiedene Aufgaben und Datens\u00e4tze ihre spezifischen Messgr\u00f6\u00dfen, mit denen die Qualit\u00e4t eines Modells gemessen werden kann (zum Beispiel Top-1 Accuracy auf Validierungsdaten). Ebenfalls interessant sind Metriken, die sich mit begrenzten Ressourcen besch\u00e4ftigen, wie zum Beispiel die Modellgr\u00f6\u00dfe (in Bytes oder Anzahl Parameter), Laufzeit, oder der Energieverbrauch. Letzterer korreliert zwar mit der ben\u00f6tigten Laufzeit, kann jedoch aufgrund unterschiedlicher Auslastung der Hardware schwanken. Zwischen den meisten Metriken gibt es Wechselwirkungen, da zwar zum Beispiel mit erh\u00f6hter Modellkomplexit\u00e4t die Genauigkeit verbessert wird, jedoch gleichzeitig auch der Ressourcenverbrauch steigen kann. Je nach Hardware muss der Verbrauch einzelner Rechnerkomponenten \u00fcber bestimmte Tools<\/a> direkt gemessen oder ansonsten aus der Spezifikation abgesch\u00e4tzt werden. Hier sei erw\u00e4hnt, dass die immer beliebter werdende Virtualisierung (zum Beispiel via Docker oder Amazon Web Services) auch die Absch\u00e4tzung des realen Energieverbrauchs erschwert.<\/p>\n\n\n\n

\"-
\u00a9 Raphael Fischer
Das von Wissenschaftler*innen entworfene Framework zur Bewertung der Effizienz von maschinell gelernten Modellen.<\/figcaption><\/figure>\n\n\n\n

Von Metriken zu Effizienz<\/h2>\n\n\n\n

Nun m\u00fcssen die verschiedenen Metriken in Relation zueinander gesetzt werden, um so die Effizienz der Modelle zu bestimmen. Hier gibt es zwei Probleme: Einerseits sind wie beim \u00c4pfel-Birnen-Vergleich die realen Gr\u00f6\u00dfen hinter den Metriken unvergleichbar. Dar\u00fcber hinaus kann sich die Skala, auf der Werte f\u00fcr Metriken gemessen werden, extrem unterscheiden (zum Beispiel in Bezug auf die Laufzeit eines Experiments mit oder ohne GPU Beschleunigung). Beide Probleme lassen sich l\u00f6sen, indem anstatt absoluter Werte lediglich relative Indexwerte<\/em> betrachtet werden. Daf\u00fcr wird ein Referenzmodell festgelegt, bei dem allen Messwerten jeweils der Indexwert 1 zugeordnet wird. Man kann nun berechnen, wie viel besser (Index > 1) oder schlechter (Index < 1) die Metriken eines anderen Modells in Relation zum Referenzmodell ausfallen. So k\u00f6nnte zum Beispiel ein Modell doppelt so klein wie das Referenzmodell sein (Indexwert 2 f\u00fcr Anzahl Parameter), deswegen aber auch eine 20 % schlechtere Genauigkeit haben (Indexwert 0.8). \u00dcber eine Unterteilung der Index-Skala in bestimmte Abschnitte l\u00e4sst sich dann eine diskrete Bewertung (A: Sehr gut bis E: Sehr schlecht) festlegen.<\/p>\n\n\n\n

Die finale Effizienzkategorie erh\u00e4lt man, indem man f\u00fcr ein Modell alle Metrik-Bewertungen \u00fcber einen gewichteten Median zusammenfasst. Eine Gewichtung der Metriken stellt sicher, dass stark korrelierte Metriken (zum Beispiel Laufzeit und Energieverbrauch) weniger Einfluss auf die Gesamtbewertung nehmen. Es lassen sich Metriken so auch je nach Einsatzzweck mehr oder weniger priorisieren. Der Einsatz von relativen Indexwerten und festen Grenzen f\u00fcr diskrete Bewertungen ist dabei inspiriert von dem bereits etablierten Energie Label System der EU, welches auf ganz \u00e4hnliche Weise die Effizienz von Elektroger\u00e4ten kommuniziert.<\/p>\n\n\n\n

\"-
\u00a9 Raphael Fischer
\u00dcbersicht \u00fcber die Wechselwirkungen verschiedener Metriken f\u00fcr ImageNet Modelle.<\/figcaption><\/figure>\n\n\n\n

Expert*innenwissen verst\u00e4ndlich machen<\/h2>\n\n\n\n

Auch wenn das neue Verfahren zur Effizienzbewertung gelernter Modelle von Wissenschaftler*innen entwickelt wurde, sollen in Zukunft auch Anwender*innen maschineller Lernverfahren (zum Beispiel Softwareentwickler*innen in der Industrie), die nicht \u00fcber eine fundierte KI-Expertise verf\u00fcgen, verst\u00e4rkt Zugang zu entsprechenden Informationen erhalten. Auch hier kann man sich am Vorbild der Energie Labels orientieren, welche teils komplexe elektronische Abl\u00e4ufe und ihre Auswirkungen auf die Umwelt deutlich vereinfacht und verst\u00e4ndlich darstellen. Auf ganz \u00e4hnliche Weise kann man die Ergebnisse einer Effizienzanalyse f\u00fcr Maschinelles Lernen je nach Zielgruppe kommunizieren. Wissenschaftler*innen und Expert*innen erhalten hierbei Logdateien und detaillierte Reports, Anwender*innen erhalten hingegen ein Label, welches Effizienzinformationen wie den jeweiligen Ressourcenverbrauch auf einen Blick darstellen.<\/p>\n\n\n\n

\"-
\u00a9 Raphael Fischer
Beispielhafte Darstellung von Effizienzinformationen in Form von Energy Labels.<\/figcaption><\/figure>\n\n\n\n

Anwender*innen k\u00f6nnen so eine informierte Entscheidung \u00fcber den Einsatz der Verfahren treffen. Das am ML2R (nun Lamarr-Institut) entwickelte Energy Label Exploration Tool<\/em> erm\u00f6glicht es Nutzenden so bereits jetzt, sich einen \u00fcber mehrere Plattformen hinweg gemessenen und vergleichbaren \u00dcberblick \u00fcber die Effizienz der bekanntesten ImageNet Modelle zu verschaffen.<\/p>\n\n\n\n

Mehr Informationen im zugeh\u00f6rigen Paper:<\/p>\n\n\n\n

A Unified Framework for Assessing Energy Efficiency of Machine Learning <\/em>R. Fischer, M. Jakobs, S. M\u00fccke, K. Morik, 2022<\/a><\/p>\n\n\n\n

Proceedings of the ECML Workshop on Data Science for Social Good Implementierung: https:\/\/github.com\/raphischer\/imagenet-energy-efficiency<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Die Verbesserung der Vorhersagequalit\u00e4t von gelernten ML-Modellen f\u00fchrt zu Verfahren mit hohem Energieverbrauch. Eine neue Methode erm\u00f6glicht die Ermittlung von Energieeffizienz im ML, sowie eine Darstellung in Form von Energie Labels.<\/p>\n","protected":false},"author":9,"featured_media":4042,"template":"","meta":{"_acf_changed":true,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1555,1557],"class_list":["post-4280","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-modelle","blog-tag-nachhaltige-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4280","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4280\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4042"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4280"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4280"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4280"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}