{"id":4679,"date":"2021-10-06T02:44:38","date_gmt":"2021-10-06T02:44:38","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/erklaerbare-modellselektion\/"},"modified":"2025-11-12T14:54:48","modified_gmt":"2025-11-12T14:54:48","slug":"erklaerbare-modellselektion","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/erklaerbare-modellselektion\/","title":{"rendered":"Welches Modell soll ich w\u00e4hlen? Erkl\u00e4rbare Modellselektion f\u00fcr Zeitreihenvorhersage"},"content":{"rendered":"\n
Zeitreihen beschreiben die Ver\u00e4nderung eines Messwertes \u00fcber die Zeit. So k\u00f6nnen beispielsweise Sensordaten eines Roboters oder die Temperatur im Tagesverlauf als Zeitreihen interpretiert werden. Zeitreihendaten sind in diversen Anwendungsbereichen allgegenw\u00e4rtig, von der Logistik bis zur Finanzbranche. Die Zeitreihenvorhersage strebt an, aus einer gegebenen Zeitreihe die n\u00e4chsten, unbeobachteten Werte m\u00f6glichst korrekt vorherzusagen. F\u00fcr die Vorhersage k\u00f6nnen Eigenschaften der Zeitreihe, wie Periodizit\u00e4t oder Trend, ausgenutzt werden. So ist es zum Beispiel m\u00f6glich aus historischen Daten Temperaturen f\u00fcr den n\u00e4chsten Tag oder fehlende Sensordaten bei kurzfristigem Ausfall vorherzusagen.<\/p>\n\n\n\n
Die Annahme, dass sich die Zukunft verl\u00e4sslich aus der Vergangenheit vorhersagen l\u00e4sst, trifft allerdings in der Realit\u00e4t oft nicht zu. Wenn sich beispielsweise durch den Klimawandel die gemessene Temperatur \u00fcber die Zeit stark ver\u00e4ndert, sind neue Messwerte geeigneter f\u00fcr eine Vorhersage als alte Messwerte. Das Ph\u00e4nomen der sich mit der Zeit \u00e4ndernden Zeitreiheneigenschaften wird oft als Concept drift<\/i> bezeichnet. Liegt ein Drift<\/i> vor, muss dieser nicht nur erkannt, sondern auch in die Vorhersagemechanik maschineller Lernverfahren integriert werden.<\/p>\n\n\n\n
Nicht jedes Modell ist f\u00fcr jede Vorhersage ideal<\/span><\/h2>\n\n\n\n
Prinzipiell ist es m\u00f6glich, lediglich ein maschinelles Lernmodell zu verwenden, um Werte einer Zeitreihen vorherzusagen. Alternativ k\u00f6nnen auch mehrere Modelle verschiedener Komplexit\u00e4t auf der gleichen Zeitreihe trainiert werden. Die Vorhersagen der verschiedenen Modelle k\u00f6nnen dann zum Beispiel kombiniert werden (Ensembling<\/i>), oder es kann das voraussichtlich beste Modell aus der Menge aller trainierten Modelle f\u00fcr die Vorhersage ausgew\u00e4hlt werden. Letzteres Verfahren wird in der Forschung als Modellselektion<\/i> bezeichnet. Da der Selektionsprozess oft (sogar f\u00fcr Expert*innen) undurchsichtig ist, fokussieren wir uns darauf, diesen Prozess transparenter zu gestalten.<\/p>\n\n\n\n
Ein etabliertes Verfahren zur Modellselektion besteht darin, f\u00fcr jedes Modell eine Kompetenzregion<\/i> anzulegen. Die Kompetenzregion bildet die Zeitreiheneigenschaften ab, auf denen das jeweilige Modell besonders gute Vorhersagen get\u00e4tigt hat. W\u00e4hrend des Trainingsprozesses der einzelnen Modelle k\u00f6nnen wir messen, auf welchem Bereich der Zeitreihe welches Modell die beste Vorhersage getroffen hat. Die Charakteristik dieses Zeitreihenbereiches wird dann zur Kompetenzregion des jeweils besten Modells hinzugef\u00fcgt. Wird eine Vorhersage auf einer neuen Zeitreihe ben\u00f6tigt, wird die Charakteristik der neuen Zeitreihe mit den Kompetenzregionen verglichen. Es kann sodann jenes Modell zur Vorhersage ausgew\u00e4hlt werden, welches auf \u00e4hnlichen Zeitreihen w\u00e4hrend des Trainings am besten abgeschnitten hat.<\/p>\n\n\n\n
In unserer Arbeit gehen wir noch einen Schritt weiter und ber\u00fccksichtigen bei der Kompetenzregion nicht nur die Charakteristiken der Zeitreihe, sondern messen ebenfalls welche Teile dieser Zeitreihe besonders relevant f\u00fcr die Vorhersage des Modells waren. Dies erreichen wir durch die Anwendung von Erkl\u00e4rbarkeitsmethoden<\/i>, welche f\u00fcr die Vorhersage eines Modells die relevantesten Teile der Zeitreihe markieren.<\/p>\n\n\n\n\u00a9 Amal Saadallah, Matthias Jakobs, Katharina Morik Eine Beispielvorhersage (rot) auf einer Zeitreihe (grau). Zu sehen sind die Regionen der Zeitreihe, f\u00fcr die entweder das Modell C8 (lila) oder C0 (rosa) ausgew\u00e4hlt wurden. C8 wurde h\u00e4ufig bei Spitzen in der Zeitreihe ausgew\u00e4hlt, da diese prominent in der Kompetenzregion von C8 vorhanden waren. Analog wird C0 h\u00e4ufig bei T\u00e4lern ausgew\u00e4hlt, da diese f\u00fcr C0 \u00fcberproportional in der Kompetenzregion vorhanden waren.<\/figcaption><\/figure>\n\n\n\n
Zeitreiheneigenschaften sind nicht konstant<\/h2>\n\n\n\n
In realen Anwendungsszenarien ver\u00e4ndert sich die Charakteristik einer Zeitreihe \u00fcber die Zeit h\u00e4ufig. Wir reagieren auf diesen Concept drift<\/em>, indem wir beim Erkennen eines Drifts die Kompetenzregionen der einzelnen Modelle zun\u00e4chst verwerfen, um sie dann auf den neusten Daten mit ver\u00e4nderter Charakteristik neu zu erstellen. Dadurch sind wir in der Lage auf eine Ver\u00e4nderung der Umgebung zu reagieren und die Vorhersage dauerhaft an die neuen Gegebenheiten anzupassen. Die Geschwindigkeit der Vorhersage wird zudem deutlich erh\u00f6ht, wenn wir nicht periodisch die Kompetenzregionen neu generieren, sondern versuchen den Concept drift zu erkennen (Drift detection<\/em>) und lediglich dann unsere Modelle an die neuen Gegebenheiten anzupassen. Dazu beobachten wir den Mittelwert der jeweiligen Zeitreihe und definieren einen Drift nur dann, wenn sich dieser Mittelwert \u00fcber die Zeit deutlich ver\u00e4ndert. Mit einem frei w\u00e4hlbaren Parameter k\u00f6nnen wir zudem bestimmen, wie stark sich der Mittelwert \u00e4ndern kann bevor ein Drift erkannt wird. Dies erlaubt die Adaption unserer Methode auf verschiedenste Anwendungsbereiche und Datens\u00e4tze.<\/p>\n\n\n\n\u00a9 Amal Saadallah, Matthias Jakobs, Katharina Morik Die Kompentenzregion eines einzelnen Modells vor und nach der Drift detection. Es ist zu sehen, dass die Charakteristiken der Zeitreihen auf denen das Modell am besten abgeschnitten hatte sich stark ver\u00e4ndern, wodurch es sich an die neuen Gegebenheiten der Zeitreihe anpasst.<\/figcaption><\/figure>\n\n\n\n
Ein erkl\u00e4rbarer Ansatz<\/h2>\n\n\n\n
Modellselektion, besonders von tiefen neuronalen Netzen, ist oft ein undurchsichtiger Prozess. Es ist f\u00fcr Anwender hierbei zumeist nicht interpretierbar, warum ein Modell f\u00fcr diesen speziellen Teil der Zeitreihe ausgew\u00e4hlt wurde. Mit unserem Ansatz erreichen wir Kompetenzregionen, welche die Expertise des Modells genauer herausstellt, wodurch das gew\u00e4hlte Modell noch besser visuell mit der aktuellen Zeitreihe verglichen werden kann. Dies erlaubt den Anwendern nicht nur Fehler bei der Selektion zu erkennen, sondern steigert auch das Vertrauen in die Wirksamkeit des Verfahrens. Dar\u00fcber hinaus bietet unser Ansatz der Drift detection <\/em>eine automatische, ressourcensparende Adaption der Modelle, an die sich \u00e4ndernden Eigenschaften der Zeitreihe.<\/p>\n\n\n\n\u00a9 Amal Saadallah, Matthias Jakobs, Katharina Morik In schwarz ist die aktuelle Zeitreihe zu sehen, f\u00fcr die f\u00fcr den Zeitpunkt t=9 eine Vorhersage get\u00e4tigt werden soll. Unser Verfahren w\u00e4hlt dazu das Modell C11 aus, da es eine Zeitreihe in seiner Kompetenzregion aufweist welche eine starke \u00c4hnlichkeit zur aktuellen Zeitreihe aufweist (blau). <\/figcaption><\/figure>\n\n\n\n
Weitere Informationen im zugeh\u00f6rigen Papier:<\/p>\n\n\n\n
Explainable Online Deep Neural Network Selection using Adaptive Saliency Maps for Time Series Forecasting<\/strong><\/p>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/g1.jpg\" "\\"\\"")
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/g2.jpg\" "\\"\\"")
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/g3.jpg\" "\\"\\"")