{"id":4071,"date":"2021-01-13T04:03:11","date_gmt":"2021-01-13T04:03:11","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/optimierung-im-maschinellen-lernen\/"},"modified":"2025-11-12T14:52:34","modified_gmt":"2025-11-12T14:52:34","slug":"optimierung-im-maschinellen-lernen","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/optimierung-im-maschinellen-lernen\/","title":{"rendered":"Optimierung im Maschinellen Lernen"},"content":{"rendered":"\n
Optimierung ist ein zentraler Bestandteil des Maschinellen Lernens, die es erm\u00f6glicht, Modelle an Daten anzupassen und somit zu trainieren. Gleichzeitig sind der Begriff und die darunter fallenden Verfahren f\u00fcr viele Leute abstrakt und ungreifbar.<\/p>\n\n\n\n
Bereits in der Schulmathematik wird Optimierung genutzt, um Minima und Maxima (Tief- und Hochpunkte) von Funktionen zu finden. Allgemein gilt es bei Optimierungsproblemen jene Kombinationen bestimmter einstellbarer Gr\u00f6\u00dfen (Parameter) zu bestimmen, mit der das beste Ergebnis bezogen auf eine festgelegte Aufgabe erzielt werden kann. Solche Probleme treten in diversen Dom\u00e4nen auf:<\/p>\n\n\n\n
\n
Wirtschaft: Zur Gewinnmaximierung muss die ideale Festlegung von Preisen, Arbeitsverteilung, Personal etc. gefunden werden.<\/li>\n\n\n\n
Logistik & Versand: Die Positionierung von Verteilzentren soll evaluiert werden, damit die durchschnittlich ben\u00f6tigte Lieferzeit minimiert werden kann.<\/li>\n\n\n\n
Physik: Das Energie-Minimum in einem physikalischen System soll untersucht werden.<\/li>\n\n\n\n
Klimaforschung: Statistische Klimamodelle m\u00fcssen auf real gemessene Daten angepasst werden, welche komplexen hydrodynamischen Prozessen entspringen.<\/li>\n<\/ul>\n\n\n\n
Es zeigt sich: Optimierung kommt in einer Vielzahl von Forschungsbereichen und Anwendungskontexten zum Einsatz. Im Maschinellen Lernen erlaubt sie, ein Modell und seine Parameter im Training an die vorliegenden Daten anzupassen (\u00e4hnlich wie beim oberen Klima Beispiel).<\/p>\n\n\n\n
Wie gut ist das Modell? – Die Zielfunktion<\/span><\/h2>\n\n\n\n
Beim Maschinellen Lernen beeinflussen Parameter das Verhalten eines Modells. Mithilfe von Optimierung soll die optimale Belegung der Parameter gefunden werden. Hierf\u00fcr werden Trainingsdaten mit Label genutzt, f\u00fcr die das Modell mit konkreten Parameterbelegungen Vorhersagen machen kann. Aus den vorhergesagten Labels und den bekannten, korrekten Trainingslabels l\u00e4sst sich die G\u00fcte<\/b> dieser Belegung absch\u00e4tzen (durchschnittlicher Fehler). So ergeben sich m\u00f6gliche Zielfunktionen <\/b>f\u00fcr Optimierungsprobleme, zum Beispiel: Finde die Parameter und entsprechende Modellvorhersage, mit \u2026<\/p>\n\n\n\n
\n
\u2026 der geringsten (quadratischen) Abweichung (least squares)<\/li>\n\n\n\n
\u2026 der h\u00f6chsten Plausibilit\u00e4t (likelihood)<\/li>\n<\/ul>\n\n\n\n
Die Zielfunktion wird in der Anwendung auch auch oft als Verlust- (loss)<\/i>, G\u00fcte- oder Fitnessfunktion bezeichnet. Da intuitiv Verlust minimiert und G\u00fcte und Passgenauigkeit maximiert werden sollte, werden die entsprechenden Zielfunktionen meist invertiert (Minima sind dann Maxima). Bei einem niedrig dimensionalen Parameterraum l\u00e4sst sich die Funktion auch grafisch darstellen. Die optimalen L\u00f6sungen entsprechen hierbei den Tiefpunkten beziehungsweise T\u00e4lern. Man unterscheidet zwischen lokalen Minima, die nur in einem gewissen Umfeld optimal sind, und globalen Minima, welche f\u00fcr den gesamten Parameterraum den niedrigsten Zielfunktionswert besitzen.<\/p>\n\n\n\n
<\/p>\n\n\n\n\u00a9 Raphael Fischer \u2013 TU Dortmund Zweidimensionaler Parameterraum x, y<\/em> mit zugeh\u00f6rigen Zielfunktionswerten f(x, y)<\/em>, einem lokalen Minimum an x=<\/em>40, y=<\/em>80 sowie einem globalen Minimum bei x=<\/em>80, y=<\/em>40.<\/figcaption><\/figure>\n\n\n\n
L\u00f6sen eines Optimierungsproblems<\/h2>\n\n\n\n
Je nach Art der Zielfunktion gibt es verschiedene Ans\u00e4tze zum L\u00f6sen des Optimierungsproblems. Bei einigen Funktionen (kontinuierlich und differenzierbar) k\u00f6nnen Optima \u00fcber die Ableitungen der Funktion (notwendiges und hinreichendes Kriterium f\u00fcr Gradienten erster und zweiter Ordnung) bestimmt werden. Bei einem gro\u00dfen Parameterraum l\u00e4sst sich dieses Problem jedoch nicht mathematisch geschlossen l\u00f6sen. Stattdessen k\u00f6nnen hier Gradientenabstiegsverfahren genutzt werden, bei denen man sich schrittweise dem Optimum ann\u00e4hert. Ausgehend von einer Startposition wird abwechselnd der Gradient mit den aktuellen Parametern berechnet, und eine Ver\u00e4nderung der Parameter in Richtung des Gradienten vorgenommen, bis keine Verbesserung mehr erzielt werden kann. F\u00fcr viele Methoden (zum Beispiel k\u00fcnstliche Neuronale Netze) wird der aktuelle Gradient lediglich stochastisch (f\u00fcr einen Teil der Daten) gesch\u00e4tzt. Entsprechend sind weniger Vorhersagen und Gradientenberechnungen n\u00f6tig. Dies beschleunigt die schrittweise Optimierung.<\/p>\n\n\n\n\u00a9 Raphael Fischer \u2013 TU Dortmund Ein Gradientenabstieg n\u00e4hert sich schrittweise dem Minimum, basierend auf den berechneten oder stochastisch abgesch\u00e4tzten Gradienten der aktuellen Position im Parameterraum. Je nach Wahl des Startpunktes werden jedoch gegebenenfalls nur lokale Minima erreicht, weswegen das Verfahren in der Praxis oft mehrfach gestartet und durchgef\u00fchrt wird (hier exemplarisch mit vier Startwerten).<\/figcaption><\/figure>\n\n\n\n
Lassen sich keine Gradienten bestimmen, so kann man versuchen den Parameterraum systematisch abzusuchen. Bekannte Vertreter dieser Idee sind das Intervallhalbierungs-, das goldener-Schnitt- und das Nelder-Mead-Verfahren. Sie unterteilen den Parameterraum iterativ und versuchen so, immer niedrigere Werte f\u00fcr die Zielfunktion zu finden.<\/p>\n\n\n\n
Gradientenabstiegs- und Suchverfahren finden in der Regel jedoch nur lokale Minima, abh\u00e4ngig vom gew\u00e4hlten Startpunkt. Mit Hilfe von Multi-Start-Verfahren lassen sich parallel mehrere Optimierungen durchf\u00fchren. So k\u00f6nnen mehrere lokale Optima gefunden werden, unter denen sich auch ein globales Optimum befinden kann. Eine \u00e4hnliche Idee verfolgen Evolution\u00e4re Algorithmen, welche an die Evolutionstheorie angelehnt sind. Diese Verfahren ver\u00e4ndern schrittweise (Generationen) eine Gruppe (Population) von Parameterbelegungen (Individuen). \u00dcber bestimmte Mutations- und Rekombinationsmethoden werden neue Belegungen erzeugt, von denen ein Teil (abh\u00e4ngig von ihrer N\u00fctzlichkeit) f\u00fcr die n\u00e4chste Generation \u201c\u00fcberlebt\u201d.<\/p>\n\n\n\n
Optimierung als Schl\u00fcssel zum Ziel<\/h2>\n\n\n\n
Optimierung ist m\u00f6glicherweise die wichtigste Schl\u00fcsselkomponente im Maschinellen Lernen, da sie den gesamten Lern- bzw. Trainingsprozess steuert. Die Teilschritte der Optimierung klingen zun\u00e4chst komplex, werden jedoch in der Regel vollautomatisch von Computern bew\u00e4ltigt. So sind f\u00fcr die bekannteren Methoden des Maschinellen Lernens die zugeh\u00f6rigen Optimierungsverfahren bereits implementiert und verf\u00fcgbar, sie werden lediglich \u00fcber einige Stellschrauben\/Hyperparameter (Schrittweite, Anzahl der Startpunkte etc.) konfiguriert. Ein tieferes Verst\u00e4ndnis f\u00fcr die Optimierung ist jedoch unabdingbar, um auch bei schwieriger Datenlage oder einem besonders komplizierten Lernproblem gute Ergebnisse zu erreichen. In unserem vierten Beitrag der ML-Basics Reihe erkl\u00e4ren wir, welche Tools f\u00fcr das Maschinelle Lernen in der Praxis<\/a> relevant sind.<\/p>\n","protected":false},"excerpt":{"rendered":"
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/optim.png\" "\\"\\"")
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/optim2.png\" "\\"\\"")