{"id":4457,"date":"2021-09-15T02:36:51","date_gmt":"2021-09-15T02:36:51","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/experiment-tracking\/"},"modified":"2025-11-12T14:53:40","modified_gmt":"2025-11-12T14:53:40","slug":"experiment-tracking","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/experiment-tracking\/","title":{"rendered":"Experiment Tracking: Bessere Dokumentationen von ML-Experimenten mit MLflow"},"content":{"rendered":"\n

Wenn es darum geht, K\u00fcnstliche Intelligenz erkl\u00e4rbar zu machen, liegt der Fokus h\u00e4ufig darauf, den Grund f\u00fcr die von einem Modell getroffene Entscheidung herauszufinden (siehe hierf\u00fcr auch unseren Blogbeitrag \u201eWarum KI erkl\u00e4rbar sein muss<\/a>\u201c). Gehen wir einen Schritt zur\u00fcck, also zur Erstellung eines solchen Modells, befinden wir uns beim sogenannten Modell Training<\/a>. Um nachvollziehen zu k\u00f6nnen, wie ein Modell entstanden ist, sollten die Metadaten eines Trainingsvorgangs festgehalten werden. Hierbei spricht man auch von Experiment Tracking. F\u00fcr einen Trainingsvorgang k\u00f6nnen Metadaten, wie verschiedene Parameter, Hyperparameter und Metriken getrackt werden. Liegen gen\u00fcgend Informationen vor, kann mit einem wiederholten Trainingsvorgang das gleiche oder zumindest ein vergleichbares Ergebnis erzielt werden. Dieser Umstand ist auch f\u00fcr die Evaluation von Modellen wichtig, die durch verschiedene Traingingsvorg\u00e4nge entstanden sind. Unterschiede in den Ergebnissen k\u00f6nnen so besser auf die voneinander verschiedenen Daten oder Metadaten zur\u00fcckgef\u00fchrt werden. Durch eine klare \u00dcbersicht \u00fcber die Ergebnisse des Modells, kann das beste Modell ausgew\u00e4hlt werden.<\/p>\n\n\n\n

H\u00e4ufig stehen in der explorativen Phase des ML-Engineering-Prozesses<\/a> das Modelltraining und das Erzielen guter Metriken im Vordergrund, w\u00e4hrend die Dokumentation der Ergebnisse in den Hintergrund f\u00e4llt. Eine gute Dokumentation zeichnet sich jedoch besonders bei langwierigen und komplexen Prozessen aus und hilft dabei, den \u00dcberblick zu bewahren und somit am Ende ein nachvollziehbares Ergebnis zu erzielen.
Zurzeit erfolgt die Dokumentation von Experimenten in vielen F\u00e4llen noch in Form von Textdateien und verschiedene Arbeitsst\u00e4nde werden h\u00e4ufig durch Suffixe an den Dateinamen, wie zum Beispiel \u201cModell_v1, Modell_v2, Modell_v2_approach1, \u2026\u201d markiert.
Eine automatische Aufzeichnung der Trainingsvorg\u00e4nge und das Versionieren von Arbeitsst\u00e4nden k\u00f6nnen die Arbeit erleichtern und f\u00fchren zu einer \u00fcbersichtlichen Dokumentation. Ein Tool, das bei diesen Schritten unterst\u00fctzen kann, ist MLflow<\/a>. Dieses Werkzeug wollen wir euch anhand eines Beispielworkflows in diesem Beitrag vorstellen.<\/p>\n\n\n\n

Der veranschaulichende Beispielworkflow kann anhand von Codebeispielen auf dem eigenen Rechner nachvollzogen werden. Hierf\u00fcr wird eine Linux-Umgebung empfohlen. Zudem sollten Git und Anaconda bereits installiert sein.<\/strong><\/p>\n\n\n\n

Ein Beispielworkflow in MLflow<\/span><\/h2>\n\n\n\n

Ziel dieses Beispielworkflows soll es sein, mithilfe des Wine-Quality-Datensatzes ein Modell f\u00fcr die Einordnung von Weinsorten in Qualit\u00e4tsstufen zu entwickeln. Hierbei handelt es sich um ein Klassifikationsproblem (siehe \u201e<\/a>Welche Arten vom Maschinellen Lernen gibt es?<\/a>\u201c<\/a> f\u00fcr mehr Informationen \u00fcber Klassifikation.). Den Weinen wird anhand der Eingabevariablen fixed acidity (feste S\u00e4uren), volatile acidity (fl\u00fcchtige S\u00e4uren), citric acid (Zitronens\u00e4ure), residual sugar (Restzucker), chlorides (Chloride), free sulfur dioxide (freies Schwefeldioxid), total sulfur dioxide (Gesamtschwefeldioxid), density (Dichte), pH (pH-Wert), sulphates, alcohol (Alkoholgehalt) die Ausgabevariable quality (Qualit\u00e4tsnote) mit einem Wert zwischen 0 und 10 zugeordnet. Als Grundlage nutzen wir den Code aus dem offiziellen MLflow Repository<\/a>.<\/p>\n\n\n\n

SCHRITT 1: Einrichten des Codes und MLflow<\/span><\/h2>\n\n\n\n

Zuerst gilt es, den Code und MLflow einzurichten. Den Code erhalten wir, indem wir die zentrale Codeablage von MLflow beziehen. Das sogenannte Repository k\u00f6nnen wir \u00fcber eine beliebige Kommandozeile mit Git klonen. Dazu sollten wir uns jedoch zuerst in den Ordner fortbewegen, in welchem wir den Code ablegen m\u00f6chten. Nach dem Klonen bewegen wir uns dann in das Verzeichnis \u201e.\/mlflow\/examples\/sklearn_elasticnet_wine\/.\u201c<\/em> Hierin befinden sich bereits eine Notebook-Datei train.ipynb<\/em> und eine conda.yaml<\/em>-Datei, mit der wir eine vordefinierte Anaconda-Umgebung namens tutorial erstellen k\u00f6nnen. Das machen wir mit dem Befehl conda env create -f conda.yaml<\/em>.<\/p>\n\n\n\n

Um eine erstellte Conda-Umgebung im Jupyter-Notebook ansprechen zu k\u00f6nnen, muss zun\u00e4chst der Ipython-Kernel in unserer Umgebung installiert werden; anschlie\u00dfend wird f\u00fcr diesen die aktuelle Umgebung unter einem Namen, z.B. ebenfalls tutorial, installiert und somit im Jupyter-Notebook ansprechbar gemacht. Wenn noch nicht getan, kann dann zus\u00e4tzlich jupyterlab<\/em> zum Aufrufen der Jupyter-Notebooks installiert werden.<\/p>\n\n\n\n

Anschlie\u00dfend starten wir unser Jupyter-Notebook mit dem Befehl jupyter notebook<\/em>.<\/p>\n\n\n\n

# in einen beliebigen Ordner bewegen, in dem das repository geklont werden soll\ncd \/home\/username\/repository\n\n# conda und jupyter notebook einrichten\ngit clone https:\/\/github.com\/mlflow\/mlflow.git\ncd mlflow\/examples\/sklearn_elasticnet_wine\nconda env create -f conda.yaml\nconda activate tutorial\n\n# Conda Umgebung im jupyter notebook nutzen\nconda install -c anaconda ipykernel\nipython kernel install --user --name=tutorial\nconda install -c conda-forge jupyterlab\n\n# jupyter notebook starten\njupyter notebook<\/code><\/pre>\n\n\n\n
<\/p>\n\n\n\n
Das Jupyter-Notebook l\u00e4uft jetzt im aktuellen Kommandofenster, in dem auch eine URL bereitgestellt wird, \u00fcber welche die Nutzeroberfl\u00e4che des Jupyter-Notebooks im Browser aufgerufen werden kann.<\/p>\n\n\n\n
In einem neuen Kommandofenster bewegen wir uns nun erneut in den Ordner sklearn_elasticnet_wine<\/em>. Damit die von uns gew\u00fcnschten Informationen getrackt werden, sollten wir die tutorial<\/em>-Umgebung aktivieren, da MLflow in dieser bereits installiert ist. Aus dem Ordner sklearn_elasticnet_wine<\/em> k\u00f6nnen wir dann die MLflow-Nutzeroberfl\u00e4che mit dem Befehl mlflow ui<\/em> aufrufbar machen. Hiermit wird der sogenannte Tracking-Server gestartet, der dann standardm\u00e4\u00dfig \u00fcber http:\/\/localhost:5000<\/em> erreichbar ist. MLflow legt die Informationen zu den getrackten Trainingsvorg\u00e4ngen im Ordner mlruns ab. Diese werden von MLflow geladen und auf dem Tracking-Server dargestellt.<\/p>\n\n\n\n
# mlflow-tracking-server starten\ncd mlflow\/examples\/sklearn_elasticnet_wine\nconda activate tutorial\nmlflow ui<\/code><\/pre>\n\n\n\n
<\/p>\n\n\n\n
Unter Windows funktionieren die aufgef\u00fchrten Kommandos oft nicht problemlos. M\u00f6glicherweise helfen folgende Punkte bei der Ausf\u00fchrung:<\/p>\n\n\n\n