{"id":4905,"date":"2023-12-13T06:00:43","date_gmt":"2023-12-13T06:00:43","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/ressourcenbewusstes-ml-energieeffizienz\/"},"modified":"2025-11-12T14:51:12","modified_gmt":"2025-11-12T14:51:12","slug":"ressourcenbewusstes-ml-energieeffizienz","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/ressourcenbewusstes-ml-energieeffizienz\/","title":{"rendered":"Ressourcenbewusstes Maschinelles Lernen: Konzepte f\u00fcr mehr Energieeffizienz"},"content":{"rendered":"\n

Maschinelles Lernen (ML) und Data Mining sind aus unserem Alltag kaum noch wegzudenken. Daher r\u00fcckt auch der damit verbundene Energieaufwand zunehmend in den Fokus. Das Forschungsfeld des ressourcenbewussten ML hat das Ziel, den Energiebedarf sowohl f\u00fcr die Entwicklung als auch den Einsatz von ML zu reduzieren, ohne dabei die Qualit\u00e4t der Ergebnisse zu verringern. Vor welchen Herausforderungen Forschende dabei stehen und welche L\u00f6sungsans\u00e4tze schon gefunden wurden, erl\u00e4utern wir in diesem Beitrag unter anderem am Beispiel des autonomen Fahrens.<\/p>\n\n\n\n

Um Ans\u00e4tze f\u00fcr Energieeinsparungen zu finden, schauen wir uns den gesamten Entwicklungszyklus von ML-Anwendungen an. Hier denken wir h\u00e4ufig an Data Scientists, die Daten aufbereiten und eine Vielzahl an Modellen trainieren, um schlie\u00dflich das beste Modell f\u00fcr eine bestimmte Aufgabe zu finden. Sobald jedoch ein gutes Modell f\u00fcr eine bestimmte Anwendung gefunden ist, ver\u00e4ndert sich der Fokus vom Modelltraining auf die kontinuierliche Modellanwendung durch eine Vielzahl von Nutzer*innen. Durch diese vertikale Verteilung des Modells ist der Energieaufwand f\u00fcr die Modellanwendung h\u00e4ufig h\u00f6her, als der Energiebedarf f\u00fcr das eigentliche Modelltraining.<\/p>\n\n\n\n

Beispiel autonomes Fahren: hoher Energiebedarf f\u00fcr ML-Einsatz<\/h2>\n\n\n\n

Hierzu ein Beispiel aus der Praxis des autonomen Fahrens: Der Tesla Autopilot verwendet zur Autosteuerung ein Deep-Learning-Modell, welches mithilfe eines eigens f\u00fcr diese Anwendung entwickelten Chips, der rund 57 W verbraucht<\/a>, ausgef\u00fchrt wird. Das Kraftfahrt-Bundesamt<\/a> sch\u00e4tzt, dass 2018 (also vor der Corona Pandemie) alle deutschen Autofahrer*innen kombiniert ca. 630 Milliarden Kilometer mit ihrem PKW gefahren sind. Dabei betr\u00e4gt die Durchschnittsgeschwindigkeit<\/a> ca. 45 km\/h, was zu einer kombinierten Gesamtfahrzeit von ca. 14 Milliarden Stunden f\u00fchrt. Wenn man nun f\u00fcr alle diese Fahrten Teslas Autopiloten benutzen m\u00f6chte, so kommt man auf einen kombinierten Energieverbrauch von ca. 0.79 Terawattstunden pro Jahr. Dies entspricht ungef\u00e4hr der j\u00e4hrlichen Energieproduktion des gr\u00f6\u00dften Wasserkraftwerkes<\/a> in Deutschland. Mit anderen Worten, man ben\u00f6tigt ein ganzes Kraftwerk, um ein einzelnes<\/em> Feature, welches Machine Learning benutzt, bereitzustellen.<\/p>\n\n\n\n

Entwicklungszyklus f\u00fcr ressourceneffizientes Maschinelles Lernen<\/h2>\n\n\n\n

Das Forschungsfeld des Resource-aware Machine Learning besch\u00e4ftigt sich damit, wie man diesen Energieverbrauch reduzieren kann. Hierzu schauen wir uns zun\u00e4chst den Entwicklungszyklus eines ML-Modells in der nachfolgenden Abbildung an: Wir starten mit der Analyse des Business-Problems, also des Anwendungsfalls. Daraus ergeben sich die Anforderungen an das Modell (z. B. Zielgenauigkeit) und die Rahmenbedingungen f\u00fcr die Anwendungen des Modells (z. B.\u00a0 Ausf\u00fchrung in einem fahrenden Auto ohne bestehende Internetverbindung). Anschlie\u00dfend startet die Suche nach dem besten Modell, indem eine Vielzahl verschiedener Modelle trainiert und evaluiert werden. Als besonderer Schritt im Resource-aware Machine Learning hat sich das Nachjustieren (engl. post-processing) von einem bereits trainierten Modell bew\u00e4hrt. Die Idee des post-processing ist, zun\u00e4chst ein gutes ML-Modell f\u00fcr das Business-Problem zu finden (z. B. mit maximaler Zielgenauigkeit) und anschlie\u00dfend<\/em> das Modell ressourcenschonender zu machen. Wenn dann das beste Modell gefunden ist, kann es auf einem ressourcenschonenden, kleinen Ger\u00e4t bereitgestellt und dort kontinuierlich angewendet werden.<\/p>\n\n\n\n

\"Auf
Abb. 1: Entwicklungszyklus f\u00fcr eine ressourceneffiziente ML-Anwendung
\u00a9 Dr. Sebastian Buschj\u00e4ger & Lamarr-Institut<\/figcaption><\/figure>\n\n\n\n

Energiebedarf f\u00fcr Rechenoperationen und Speicherzugriff<\/h2>\n\n\n\n

Um zu einem m\u00f6glichst effizienten System zu gelangen, m\u00fcssen alle Schritte in diesem Entwicklungszyklus ber\u00fccksichtigt werden. Neben der Vorhersagegenauigkeit des Modells sind hier der Speicherbedarf und die Anzahl der Gleitkommaoperationen<\/a> entscheidend, wie Tabelle 1 zeigt. Nimmt man eine einfache 32-Bit-Integer-Addition, d.h. die Addition von zwei ganzen Zahlen als Referenz (relative Energiekosten von 1), dann ist eine Addition von zwei 32-Bit-Gleitkommazahlen fast 10-mal so teuer. Die Multiplikation von zwei ganzen Zahlen (32-bit integer) ist mehr als 30-mal so teuer und die Multiplikation von zwei Gleitkommazahlen (32-bit float) ist fast 40-mal so teuer wie die Addition von zwei ganzen Zahlen.<\/p>\n\n\n\n

Wenn man sich nun die Kosten f\u00fcr den Speicherzugriff anschaut, wird das Problem noch gravierender. Der Zugriff auf Daten aus dem Zwischenspeicher (Cache) ist 50 bis 500-mal so teuer und der Zugriff auf den Hauptspeicher kann bis zu 6000-mal teurer sein als eine einfache Addition. Wir kommen kurz auf unser vorheriges Beispiel des selbstfahrenden Autos zur\u00fcck. Der genaue Aufbau des Tesla Autopiloten ist zwar ein gut geh\u00fctetes Geheimnis, doch es ist bekannt, dass Tesla Tiefe Neuronale Netze in einer sogenannten HydraNet<\/a>-Architektur als Basis<\/a> f\u00fcr den Autopiloten nimmt. Die kleinsten Netze aus der HydraNet-Familie haben rund 1,2 Millionen Parameter und ben\u00f6tigen damit rund 1 MB Festplattenspeicher, sowie gut 52 Millionen (Gleitkomma) Additionsoperationen f\u00fcr eine Vorhersage. Sie bieten dabei auf dem popul\u00e4ren ImageNet Datensatz eine Genauigkeit von lediglich 65 %. Das gr\u00f6\u00dfte Netz der HydraNet-Familie hingegen hat etwa 14 Millionen Parameter, was zu einem Speicherbedarf von rund 10 MB f\u00fchrt und rund 500 Millionen (Gleitkomma) Additionsoperationen f\u00fcr eine einzelne Vorhersage ben\u00f6tigt. Daf\u00fcr verbessert sich die Vorhersagegenauigkeit dieses Modells auf ca. 75 % f\u00fcr die Objekterkennung. Diese Verbesserung von rund 10 Prozentpunkten ist aber teuer erkauft: Das gr\u00f6\u00dfte Modell ist fast 11 mal gr\u00f6\u00dfer als sein kleinster Bruder, was bedeutet, dass wir rund 67.200 Picojoule<\/a> mehr Energie pro<\/strong> Klassifikation ben\u00f6tigen.<\/p>\n\n\n\n

Operation<\/td>Energie [Picojoule]<\/td>Relative Energiekosten<\/td><\/tr>
8 bit integer ADD<\/td>0.03<\/td>0.3<\/td><\/tr>
32 bit integer ADD<\/td>0.1<\/td>1<\/td><\/tr>
8 bit integer MULT<\/td>0.2<\/td>2<\/td><\/tr>
16 bit float ADD<\/td>0.4<\/td>4<\/td><\/tr>
32 bit float ADD<\/td>0.9<\/td>9<\/td><\/tr>
16 bit float MULT<\/td>1.1<\/td>11<\/td><\/tr>
32 bit integer MULT<\/td>3.1<\/td>31<\/td><\/tr>
32 bit float MULT<\/td>3.7<\/td>37<\/td><\/tr>
Cache access<\/td>5-50<\/td>50-500<\/td><\/tr>
DRAM access<\/td>320-640<\/td>3200-6400<\/td><\/tr><\/tbody><\/table>
Tabelle 1: Vergleich des Energieverbrauchs verschiedener Instruktionen bei einer 45 NM CMOS Architektur. ADD steht f\u00fcr eine Addition, MULT f\u00fcr eine Multiplikation.<\/figcaption><\/figure>\n\n\n\n

Offene Forschungsfragen zur Anpassung des ML-Entwicklungszyklus<\/h2>\n\n\n\n

Das zentrale Ziel im Resource-aware Machine Learning ist also, den Speicherbedarf und die Anzahl von Gleitkommaoperationen zu reduzieren. Zu diesem Zweck kann man beispielsweise Gleitkommazahlen zu ganzen Zahlen runden, mit ganzen Zahlen Gleitkommaoperationen simulieren oder Modelle benutzen, die gar keine Gleitkommazahlen ben\u00f6tigen. Bezogen auf den in Abbildung 1 beschriebenen Entwicklungszyklus ergeben sich die folgenden weiteren Forschungsfragen:<\/p>\n\n\n\n

    \n
  1. Modell trainieren<\/strong>: K\u00f6nnen wir ein Modell trainieren, welches weniger Parameter hat, aber die gleiche Vorhersagegenauigkeit wie das Referenzmodell? K\u00f6nnen wir ein Modell trainieren, welches ohne Gleitkommaoperationen auskommt?<\/li>\n\n\n\n
  2. Modell nachjustieren<\/strong>: K\u00f6nnen wir Parameter aus dem Modell entfernen, ohne dass die Vorhersagequalit\u00e4t leidet? K\u00f6nnen wir das Modell so anpassen, dass es weniger Gleitkommaoperationen ben\u00f6tigt, ohne die Genauigkeit zu ver\u00e4ndern?<\/li>\n\n\n\n
  3. Modell anwenden<\/strong>: Was ist f\u00fcr die konkrete Anwendung des Modells die optimale Implementierung f\u00fcr die gegebene Hardware? K\u00f6nnen wir Hardwareeigenschaften wie beispielsweise Tensor Processing Units f\u00fcr eine effizientere Anwendung nutzen?<\/li>\n<\/ol>\n\n\n\n

    Ressourcenschonendes Maschinelles Lernen als Schl\u00fcsseltechnologie f\u00fcr die Zukunft<\/h2>\n\n\n\n

    Nachhaltigkeit wird eine der zentralen Herausforderungen im kommenden Jahrzehnt sein. Durch die immer weitere Verbreitung von ML-Modellen in unserem Alltag ist ML selbst auch davon betroffen. Auf den ersten Blick kostet das h\u00e4ufige Trainieren von ML-Modellen am meisten Energie, doch durch die vertikale Auslieferung von Modellen an eine gro\u00dfe Anzahl von Nutzer*innen \u00fcbersteigt der Energiebedarf f\u00fcr die Modellanwendung oft den Energieverbrauch des Trainings um ein Vielfaches. Aus diesem Grund muss vor allem die Anwendung von Modellen optimiert werden. Eine optimierte Modellanwendung bedeutet auch, dass Modelle in der Regel schneller ausgef\u00fchrt werden k\u00f6nnen, was insgesamt zu einer Zeitersparnis f\u00fchrt. Da w\u00e4hrend des Trainings und w\u00e4hrend der explorativen Phase des Trainings Modelle immer und immer wieder angewendet werden, wirkt sich eine verbesserte Modellanwendung also ultimativ auch positiv auf das Training von neuen Modellen aus. Daher hilft Resource-aware Machine Learning sowohl dem Training als auch der Modellanwendung. Insgesamt ist ressourcenschonendes Maschinelles Lernen eine Schl\u00fcsseltechnologie f\u00fcr die Zukunft, die dazu beitragen kann, den Energieverbrauch von ML-Modellen zu reduzieren und gleichzeitig die Effizienz des Trainingsprozesses zu verbessern.<\/p>\n","protected":false},"excerpt":{"rendered":"

    Erfahre im Beitrag mehr \u00fcber ressourcenbewusstes Maschinelles Lernen (RAML) und Data Mining. Wir beleuchten den wachsenden Energieaufwand und pr\u00e4sentieren L\u00f6sungsans\u00e4tze, am Beispiel des autonomen Fahrens.<\/p>\n","protected":false},"author":22,"featured_media":3883,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1449,1557],"class_list":["post-4905","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-autonomes-fahren","blog-tag-nachhaltige-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4905","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/22"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4905\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3883"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4905"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4905"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4905"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}