Wahrscheinlichkeitsbasierte Modellierung<\/span><\/h2>\n\n\n\nDie Eintr\u00e4ge eines jeden Datensatzes lassen sich als konkrete Realisierungen eines Zufallsvektors interpretieren. Aufgrund der Unvollst\u00e4ndigkeit sind dann einzelne Komponenten des Vektors unbeobachtet. Je nach Datensatz k\u00f6nnen auch bei jedem Eintrag andere Komponenten fehlen. Bei der Modellierung des Zufallsvektors muss man im Allgemeinen auch ber\u00fccksichtigen, dass einzelne Komponenten statistisch abh\u00e4ngig voneinander sein k\u00f6nnen. Solche Abh\u00e4ngigkeiten lassen sich gut durch probabilistische graphische Modelle abbilden, zum Beispiel mit Markov Random Fields (MRFs).<\/p>\n\n\n\n
Bei MRFs werden die Abh\u00e4ngigkeiten durch einen ungerichteten Graphen beschrieben. Dabei wird vorausgesetzt, dass Realisierungen des Zufallsvektors aus einem diskreten Zustandsraum stammen, sodass manche Datens\u00e4tze zun\u00e4chst diskretisiert werden m\u00fcssen. MRFs erm\u00f6glichen, die multivariate Wahrscheinlichkeitsverteilung des Zufallsvektors zu berechnen. Marginalisierung erlaubt zudem, auch die Wahrscheinlichkeit f\u00fcr beliebige bedingte partielle Belegungen zu berechnen. Im Kontext eines unvollst\u00e4ndigen Datensatzes kann so die Sinnhaftigkeit verschiedener Vorhersagen f\u00fcr fehlende Eintr\u00e4ge untersucht werden. Vorher m\u00fcssen jedoch im Training die Parameter des MRFs basierend auf verf\u00fcgbaren Daten bestimmt werden. Klassisch wird daf\u00fcr eine Maximum-Likelihood-Sch\u00e4tzung durchgef\u00fchrt, die jedoch vollst\u00e4ndig beobachtete Daten ben\u00f6tigt.<\/p>\n\n\n\n
Parametersch\u00e4tzung mit unvollst\u00e4ndigen Daten<\/span><\/h2>\n\n\n\nDas Training eines MRFs ist gl\u00fccklicherweise auch mit unvollst\u00e4ndigen Daten m\u00f6glich. Daf\u00fcr f\u00fchrt man die Maximum-Likelihood-Sch\u00e4tzung nach einem Erwartungs-Maximierungs-Schema durch. Im Kern werden also abwechselnd die fehlenden Teile des Datensatzes mithilfe von Sampling aufgef\u00fcllt, und anschlie\u00dfend die Parameter neu gesch\u00e4tzt.<\/p>\n\n\n\n
Im Falle von extrem gro\u00dfen L\u00fccken im Datensatz kann jedoch die Zuf\u00e4lligkeit des ersten Erwartungs-Schrittes (also zuf\u00e4lliges Samplen aus dem Zustandsraum) die Sch\u00e4tzung der initialen Parameter \u00fcberschatten. Um dem entgegenzuwirken, kann man statistisches Wissen aus den Daten abzuleiten, und dieses in Form von Regularisierung in die Parametersch\u00e4tzung einflie\u00dfen lassen.<\/p>\n\n\n\n
Rekonstruktion der Daten<\/span><\/h2>\n\n\n\nEs stellt sich nun noch die Frage, wie man mithilfe des trainierten MRFs die L\u00fccken im Datensatz mit sinnvollen Werten f\u00fcllen kann. Das MRF erlaubt uns die Berechnung der Wahrscheinlichkeitsfunktion f\u00fcr bestimmte Belegungen, und somit den G\u00fctevergleich verschiedener Vorhersagen.<\/p>\n\n\n\n
Es l\u00e4sst sich auch eine in der Regel eindeutig wahrscheinlichste Belegung berechnen, der sogenannte Maximum-a-posteriori (MAP) Zustand. Im Falle von unvollst\u00e4ndigen Daten wird der MAP Zustand durch die zum Teil vorhandenen Beobachtungen bedingt. L\u00fccken im Datensatz lassen sich also schlie\u00dfen, indem man alle fehlenden Eintr\u00e4ge durch die MAP Vorhersage ersetzt. Alternativ kann man mit dem MRF auch die Wahrscheinlichkeit f\u00fcr verschiedene Vorhersagen berechnen, und diese gegebenenfalls kombinieren.<\/p>\n\n\n\n
Anwendung im Kontext von Satellitendaten<\/span><\/h2>\n\n\n\nSatellitenbilder dienen als gutes Beispiel f\u00fcr unvollst\u00e4ndige Datens\u00e4tze. Sie sind seit Jahren fester Bestandteil der Forschung, zum Beispiel in den Bereichen Klimawandel und Untersuchung der Fl\u00e4chennutzung. Jedoch sind gro\u00dfe Teile der vom Weltraum erfassten Erdoberfl\u00e4che von Wolken verdeckt. Dementsprechend spielt bei der Verarbeitung von Satellitendaten das \u201cGap Filling\u201c eine wichtige Rolle. In der nachfolgenden Abbildung sieht man, wie mit unserem Ansatz Wolken auf den Bildern entfernt werden k\u00f6nnen.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/lamarr-blog-Aufbereitung-unvollstaendiger-Daten-mit-Markov-Random-Fields.jpg\" "\\"\\"")
\u00a9 Raphael Fischer \u2013 TU Dortmund
Die Satellitenbilder der zum Teil durch Wolken verdeckten Erdoberfl\u00e4che k\u00f6nnen mithilfe wahrscheinlichkeitsbasierter Modellierung rekonstruiert werden.<\/figcaption><\/figure>\n\n\n\nWie man sieht, erlauben uns die vorgestellten MRFs, selbst stark bew\u00f6lkte Aufnahmen zu rekonstruieren. F\u00fcr die r\u00e4umlich-zeitlichen Satellitendaten macht es Sinn, lediglich die lokale r\u00e4umliche Nachbarschaft der einzelnen Pixel zu modellieren, und das fertige Modell f\u00fcr die Aufbereitung \u00fcber den ganzen Datensatz zu \u201csliden\u201d. Im Gegensatz zu anderen Methoden ist unser Ansatz nicht auf Zusatzinformationen angewiesen und es werden auch keine Annahmen \u00fcber die vorliegenden Daten gemacht. Um die Vorhersage bei stark bew\u00f6lkten Bildern zu verbessern, kann empirisches Vorwissen direkt aus den Daten abgeleitet und beim Training in Form von Regularisierung ber\u00fccksichtigt werden. In Experimenten sind die MRF-basierten Vorhersagen f\u00fcr bew\u00f6lkte Teile messbar besser als Rekonstruktionen anderer Ans\u00e4tze. Dies zeigt sich auch im optischen Vergleich.<\/p>\n\n\n\n
Mehr Informationen im zugeh\u00f6rigen Paper:<\/p>\n\n\n\n
No Cloud on the Horizon: Probabilistic Gap Filling in Satellite Image Series<\/strong>
Raphael Fischer, Nico Piatkowski, Charlotte Pelletier, Geoffrey Webb, Fran\u00e7ois Petitjean, Katharina Morik. IEEE International Conference on Data Science and Advanced Analytics (DSAA), 2020, PDF<\/a>.<\/p>\n\n\n\n
Das Training eines MRFs ist gl\u00fccklicherweise auch mit unvollst\u00e4ndigen Daten m\u00f6glich. Daf\u00fcr f\u00fchrt man die Maximum-Likelihood-Sch\u00e4tzung nach einem Erwartungs-Maximierungs-Schema durch. Im Kern werden also abwechselnd die fehlenden Teile des Datensatzes mithilfe von Sampling aufgef\u00fcllt, und anschlie\u00dfend die Parameter neu gesch\u00e4tzt.<\/p>\n\n\n\n
Im Falle von extrem gro\u00dfen L\u00fccken im Datensatz kann jedoch die Zuf\u00e4lligkeit des ersten Erwartungs-Schrittes (also zuf\u00e4lliges Samplen aus dem Zustandsraum) die Sch\u00e4tzung der initialen Parameter \u00fcberschatten. Um dem entgegenzuwirken, kann man statistisches Wissen aus den Daten abzuleiten, und dieses in Form von Regularisierung in die Parametersch\u00e4tzung einflie\u00dfen lassen.<\/p>\n\n\n\n
Rekonstruktion der Daten<\/span><\/h2>\n\n\n\nEs stellt sich nun noch die Frage, wie man mithilfe des trainierten MRFs die L\u00fccken im Datensatz mit sinnvollen Werten f\u00fcllen kann. Das MRF erlaubt uns die Berechnung der Wahrscheinlichkeitsfunktion f\u00fcr bestimmte Belegungen, und somit den G\u00fctevergleich verschiedener Vorhersagen.<\/p>\n\n\n\n
Es l\u00e4sst sich auch eine in der Regel eindeutig wahrscheinlichste Belegung berechnen, der sogenannte Maximum-a-posteriori (MAP) Zustand. Im Falle von unvollst\u00e4ndigen Daten wird der MAP Zustand durch die zum Teil vorhandenen Beobachtungen bedingt. L\u00fccken im Datensatz lassen sich also schlie\u00dfen, indem man alle fehlenden Eintr\u00e4ge durch die MAP Vorhersage ersetzt. Alternativ kann man mit dem MRF auch die Wahrscheinlichkeit f\u00fcr verschiedene Vorhersagen berechnen, und diese gegebenenfalls kombinieren.<\/p>\n\n\n\n
Anwendung im Kontext von Satellitendaten<\/span><\/h2>\n\n\n\nSatellitenbilder dienen als gutes Beispiel f\u00fcr unvollst\u00e4ndige Datens\u00e4tze. Sie sind seit Jahren fester Bestandteil der Forschung, zum Beispiel in den Bereichen Klimawandel und Untersuchung der Fl\u00e4chennutzung. Jedoch sind gro\u00dfe Teile der vom Weltraum erfassten Erdoberfl\u00e4che von Wolken verdeckt. Dementsprechend spielt bei der Verarbeitung von Satellitendaten das \u201cGap Filling\u201c eine wichtige Rolle. In der nachfolgenden Abbildung sieht man, wie mit unserem Ansatz Wolken auf den Bildern entfernt werden k\u00f6nnen.<\/p>\n\n\n\n\u00a9 Raphael Fischer \u2013 TU Dortmund
Die Satellitenbilder der zum Teil durch Wolken verdeckten Erdoberfl\u00e4che k\u00f6nnen mithilfe wahrscheinlichkeitsbasierter Modellierung rekonstruiert werden.<\/figcaption><\/figure>\n\n\n\nWie man sieht, erlauben uns die vorgestellten MRFs, selbst stark bew\u00f6lkte Aufnahmen zu rekonstruieren. F\u00fcr die r\u00e4umlich-zeitlichen Satellitendaten macht es Sinn, lediglich die lokale r\u00e4umliche Nachbarschaft der einzelnen Pixel zu modellieren, und das fertige Modell f\u00fcr die Aufbereitung \u00fcber den ganzen Datensatz zu \u201csliden\u201d. Im Gegensatz zu anderen Methoden ist unser Ansatz nicht auf Zusatzinformationen angewiesen und es werden auch keine Annahmen \u00fcber die vorliegenden Daten gemacht. Um die Vorhersage bei stark bew\u00f6lkten Bildern zu verbessern, kann empirisches Vorwissen direkt aus den Daten abgeleitet und beim Training in Form von Regularisierung ber\u00fccksichtigt werden. In Experimenten sind die MRF-basierten Vorhersagen f\u00fcr bew\u00f6lkte Teile messbar besser als Rekonstruktionen anderer Ans\u00e4tze. Dies zeigt sich auch im optischen Vergleich.<\/p>\n\n\n\n
Mehr Informationen im zugeh\u00f6rigen Paper:<\/p>\n\n\n\n
No Cloud on the Horizon: Probabilistic Gap Filling in Satellite Image Series<\/strong>
Raphael Fischer, Nico Piatkowski, Charlotte Pelletier, Geoffrey Webb, Fran\u00e7ois Petitjean, Katharina Morik. IEEE International Conference on Data Science and Advanced Analytics (DSAA), 2020, PDF<\/a>.<\/p>\n\n\n\n
Satellitenbilder dienen als gutes Beispiel f\u00fcr unvollst\u00e4ndige Datens\u00e4tze. Sie sind seit Jahren fester Bestandteil der Forschung, zum Beispiel in den Bereichen Klimawandel und Untersuchung der Fl\u00e4chennutzung. Jedoch sind gro\u00dfe Teile der vom Weltraum erfassten Erdoberfl\u00e4che von Wolken verdeckt. Dementsprechend spielt bei der Verarbeitung von Satellitendaten das \u201cGap Filling\u201c eine wichtige Rolle. In der nachfolgenden Abbildung sieht man, wie mit unserem Ansatz Wolken auf den Bildern entfernt werden k\u00f6nnen.<\/p>\n\n\n\n Wie man sieht, erlauben uns die vorgestellten MRFs, selbst stark bew\u00f6lkte Aufnahmen zu rekonstruieren. F\u00fcr die r\u00e4umlich-zeitlichen Satellitendaten macht es Sinn, lediglich die lokale r\u00e4umliche Nachbarschaft der einzelnen Pixel zu modellieren, und das fertige Modell f\u00fcr die Aufbereitung \u00fcber den ganzen Datensatz zu \u201csliden\u201d. Im Gegensatz zu anderen Methoden ist unser Ansatz nicht auf Zusatzinformationen angewiesen und es werden auch keine Annahmen \u00fcber die vorliegenden Daten gemacht. Um die Vorhersage bei stark bew\u00f6lkten Bildern zu verbessern, kann empirisches Vorwissen direkt aus den Daten abgeleitet und beim Training in Form von Regularisierung ber\u00fccksichtigt werden. In Experimenten sind die MRF-basierten Vorhersagen f\u00fcr bew\u00f6lkte Teile messbar besser als Rekonstruktionen anderer Ans\u00e4tze. Dies zeigt sich auch im optischen Vergleich.<\/p>\n\n\n\n Mehr Informationen im zugeh\u00f6rigen Paper:<\/p>\n\n\n\n No Cloud on the Horizon: Probabilistic Gap Filling in Satellite Image Series<\/strong>
Die Satellitenbilder der zum Teil durch Wolken verdeckten Erdoberfl\u00e4che k\u00f6nnen mithilfe wahrscheinlichkeitsbasierter Modellierung rekonstruiert werden.<\/figcaption><\/figure>\n\n\n\n
Raphael Fischer, Nico Piatkowski, Charlotte Pelletier, Geoffrey Webb, Fran\u00e7ois Petitjean, Katharina Morik. IEEE International Conference on Data Science and Advanced Analytics (DSAA), 2020, PDF<\/a>.<\/p>\n\n\n\n