Um diese Frage zu beantworten, m\u00fcssen wir kl\u00e4ren welche Prozesse in unserem Gehirn f\u00fcr das Vergessen verantwortlich sind und welchen Zweck diese erf\u00fcllen. Hiermit besch\u00e4ftigen sich unter anderem Forschende der Psychologie, Neurobiologie und Psychopharmakologie bereits seit \u00fcber 100 Jahren. Eine der wohl am weitesten akzeptierten Erkl\u00e4rungen f\u00fcr die Ursache des Vergessens ist die der Interferenztheorie. Diese beschreibt den Prozess des Vergessens als Konkurrieren von bestehenden Erinnerungen und k\u00fcrzlich erworbenen Informationen. So kann das Bilden von neuen Erinnerungen aufgrund anderer bereits bestehender Assoziationen erschwert oder sogar verhindert werden (proaktive Interferenz). Weitaus relevanter ist allerdings die retroaktive Interferenz, bei der das Erinnern an \u00e4ltere Informationen durch k\u00fcrzlich erworbene Informationen gehemmt wird. Beispielsweise l\u00e4sst sich das n\u00f6tige Wissen w\u00e4hrend einer Pr\u00fcfungssituation schlechter abrufen, wenn man kurz vor der Pr\u00fcfung noch etwas \u00fcber einen anderen Themenbereich gelernt hat. Das k\u00fcrzlich Erlernte interferiert dann retroaktiv mit den pr\u00fcfungsrelevanten Informationen.<\/p>\n\n\n\n
Eng verbunden mit der Interferenztheorie ist die sogenannte Konsolidierung. Diese beschreibt, dass neue Erinnerungen beziehungsweise Informationen nach ihrer Aufnahme Zeit ben\u00f6tigen, um sich festigen zu k\u00f6nnen. Die Festigung bestimmt ma\u00dfgeblich, ob und wie einfach eine Erinnerung sp\u00e4ter wieder abrufbar ist. Wie gut eine Information gefestigt wird, ist abh\u00e4ngig von verschiedenen k\u00f6rperlichen und geistigen Faktoren oder der retroaktiven Interferenz durch andere Reize. So wird eine Information vermutlich weniger gut gefestigt, wenn diese im betrunkenen oder m\u00fcden Zustand aufgenommen wird.<\/p>\n\n\n\n
So l\u00e4stig Vergessen f\u00fcr die meisten von uns auch sein mag, ist es kein Fehlverhalten unseres Ged\u00e4chtnisses, sondern eine essenzielle Kernfunktion<\/a>. Diese hilft uns dabei die gro\u00dfe Menge an Reizen, die sek\u00fcndlich auf uns einwirken, zu verarbeiten, von spezifischen Informationen unn\u00f6tige Details zu entfernen und somit generelle Konzepte zu entwickeln. Das Vergessen ist somit ein ausschlaggebender Faktor daf\u00fcr, wie gut wir uns an eine neue Situation anpassen k\u00f6nnen. Aus Perspektive des Maschinellen Lernens ist dieses Ph\u00e4nomen eng verwandt mit der Generalisierungsf\u00e4higkeit und der \u00dcberanpassung (engl. Overfitting) von Modellen.<\/p>\n\n\n\n Das Konzept des Vergessens ist im Bereich des Maschinellen Lernens bisher nur wenig erforscht und die meisten Publikationen befassen sich mit dem sogenannten Catastrophic Forgetting<\/em>, manchmal auch Catastrophic Interference <\/em>genannt. Wie der Name schon vermuten l\u00e4sst, wird hier das Vergessen als eine negative Eigenschaft aufgegriffen. Dabei vergisst ein Modell durch das Verarbeiten neuer Daten das Wissen \u00fcber zuvor betrachtete Daten. Dieses Ph\u00e4nomen ist besonders problematisch bei Modellen, die sequentiell das L\u00f6sen verschiedener Aufgaben erlernen (Multi-Task Lernen). Intuitiv kann das Catastrophic Forgetting <\/em>auch als gescheiterte Festigung des Wissens aufgrund retroaktiver Interferenz betrachtet werden.<\/p>\n\n\n\n Nur wenige der existierenden wissenschaftlichen Publikationen befassen sich allerdings damit, wie Vergessen im maschinellen Lernprozess gezielt eingesetzt werden kann, um bereits gelernte Informationen zu entfernen. Doch warum sollten wir \u00fcberhaupt gezielt etwas vergessen wollen? Betrachten wir dazu ein kleines Beispiel.<\/p>\n\n\n\n 2018 trat die Datenschutzgrundverordnung (DSGVO) in der EU in Kraft, die unter anderem auch das Recht auf Vergessenwerden<\/a> formuliert. \u00c4hnliche Vorgaben existieren beispielsweise auch in den USA<\/a> und Japan<\/a>. Vereinfacht gesagt m\u00fcssen Organisationen, die personenbezogene Daten sammeln, diese auch auf Anfrage wieder l\u00f6schen. Und mit einer gesetzlichen Grundlage wie der DSGVO wird das Vergessen von Informationen zu einer grundlegenden Anforderung an Modelle in der Praxis. Es konnte bereits gezeigt werden, dass durch Angriffe auf trainierte maschinelle Lernmodelle R\u00fcckschl\u00fcsse auf Trainingsdaten gezogen werden k\u00f6nnen, auch wenn diese selbst bereits gel\u00f6scht wurden. Dadurch wird klar, dass ein reines L\u00f6schen der gesammelten Daten nicht ausreicht, um personenbezogene Daten wirklich zu vergessen. Eine naheliegende L\u00f6sung w\u00e4re es, das Modell in regelm\u00e4\u00dfigen Abst\u00e4nden neu zu trainieren. Die in der Zwischenzeit gel\u00f6schten Daten k\u00f6nnen nicht mehr f\u00fcr das Training verwendet werden. Somit wird sichergestellt, dass das Modell keine Informationen mehr \u00fcber diese enth\u00e4lt. Da dieses Vorgehen in der Praxis jedoch sehr kostspielig ist, bedarf es einer M\u00f6glichkeit die Daten aus dem Modell herauszurechnen, ohne das Modell erneut trainieren zu m\u00fcssen. Sprich, wir ben\u00f6tigen eine Methodik im Maschinellen Lernen, die es uns erlaubt bestimmte Informationen gezielt zu vergessen.<\/p>\n\n\n\n Die erste und vermutlich intuitivere Strategie intentionalen, also vors\u00e4tzlichen, Vergessens ist es, den Aufwand eines erneuten Trainings drastisch zu reduzieren. Eine konkrete Umsetzung dieser Strategie bildet das SISA (Sharded, Isolated, Sliced, Aggregated)<\/a> Training. Dabei werden die Daten in etwa gleichgro\u00dfe Teile aufgeteilt (Sharded) und f\u00fcr das Training von mehreren Kopien des Modells verwendet. Jedes dieser Modelle wird unabh\u00e4ngig von den anderen (Isolated) trainiert. Dabei wird jeder Teildatensatz in noch kleinere Teile unterteilt (Sliced), die dann nach und nach zum Training hinzugezogen werden. Und schlie\u00dflich werden die Ergebnisse der einzelnen Modelle f\u00fcr eine gemeinsame Vorhersage kombiniert (Aggregated). Kommt es zu einer L\u00f6schanfrage, wird nur noch jenes Teilmodell neu trainiert, das die entsprechenden Daten w\u00e4hrend des Trainings gesehen hat. Das Training des Teilmodells kann aufgrund der weiteren Aufteilung (Sliced) von dem Zeitpunkt neugestartet werden, an dem der entsprechende Datenpunkt zum Training hinzugenommen wurde.<\/p>\n\n\n\n Die zweite Strategie orientiert sich an der Grundidee der differentiellen Privatsph\u00e4re<\/a> (engl. Differential Privacy). Das Modell sollte nach dem Vergessen kaum oder g\u00e4nzlich nicht von einem Modell unterscheidbar sein, welches die zu vergessenen Daten niemals gesehen hat. Gleichzeitig soll das Modell nat\u00fcrlich keine Informationen \u00fcber die restlichen Daten verlieren.<\/p>\n\n\n\n Wie die Parameter des Modells angepasst werden m\u00fcssen, um beiden Bedingungen gerecht zu werden, wird anhand der \u00fcbrig gebliebenen Daten bestimmt. Diese Strategie vermeidet durch das einmalige Anpassen der Parameter ein erneutes Training vollst\u00e4ndig. Im Gegenzug wird daf\u00fcr in der Regel kein perfektes Ergebnis erzielt. Es bleibt also ein gewisses Restrisiko erhalten, dass die zu vergessenen Informationen weiterhin aus dem Modell wiedergewonnen werden k\u00f6nnen. Zwei bekannte Ans\u00e4tze, die diese Strategie verfolgen, sind das Certified Data Removal<\/a> <\/em> und das Fisher Forgetting<\/em><\/a>.<\/p>\n\n\n\n Wir haben gesehen, dass Vergessen eine wichtige Grundfunktion ist, die es Lebewesen unter anderem erm\u00f6glicht von ihren Erfahrungen zu abstrahieren und diese somit besser auf neue Situationen anzuwenden. Aus Perspektive des Maschinellen Lernens wird gezieltes Vergessen zurzeit immer unter dem Gesichtspunkt von Datenschutz und Privatsph\u00e4re betrachtet, nicht zuletzt aufgrund gesetzlicher Grundlagen wie der DSGVO. Als Alternative zum erneuten Trainieren haben wir zwei grundlegende Strategien des Vergessens beleuchtet, die den Aufwand eines erneuten Trainings reduzieren oder sogar vollst\u00e4ndig vermeiden. Schlie\u00dft man jedoch erneut den Kreis vom Maschinellen Lernen zu den Neurowissenschaften, so wird schnell klar, dass Vergessen potentiell auch eine weitaus tragendere Rolle zukommen k\u00f6nnte. In Zukunft k\u00f6nnten biologisch inspirierte Vergessensmethodiken entwickelt werden, die es uns erlauben Modelle noch besser in hochdynamischen Szenarien anzuwenden. Im Bereich des Reinforcement Learning und der Robotik k\u00f6nnten Probleml\u00f6sungen unter pl\u00f6tzlicher Einschr\u00e4nkung der ausf\u00fchrbaren Aktionen gefunden werden. Und nicht zuletzt k\u00f6nnte Vergessen auch eine wichtige Rolle f\u00fcr die Weiterentwicklung allgemeinerer Lernmodelle, wie beispielsweise GPT-3, spielen.<\/p>\n","protected":false},"excerpt":{"rendered":" Mit der DSGVO trat das Recht auf Vergessenwerden in Kraft. Im Maschinellen Lernen er\u00f6ffnet gezieltes Vergessen neben Aspekten der Datensicherheit und Privatsph\u00e4re auch Potenziale f\u00fcr die Anwendbarkeit und Weiterentwicklung von Lernmodellen.<\/p>\n","protected":false},"author":9,"featured_media":4190,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1593,1613],"class_list":["post-4185","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-sichere-ki","blog-tag-trainingsdaten"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4185","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4185\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4190"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4185"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4185"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4185"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Vergessen im Maschinellen Lernen<\/span><\/h2>\n\n\n\n
Strategien intentionalen Vergessens<\/span><\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Becker_Grafiken.jpg\" "\\"\\"")
Beispielabbildung f\u00fcr das SISA (Sharded, Isolated, Sliced, Aggregated) Training. Kommt es zu einer L\u00f6schanfrage eines Datenpunkts im dritten Shard und dritten Slice (hier in rot markiert), muss lediglich M3 neu trainiert werden. Das Training wird dabei dort wiederaufgenommen, wo der dritte Slice hinzugezogen wird. Die Slices 1 und 2 m\u00fcssen nicht erneut trainiert werden.<\/figcaption><\/figure>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Becker_Grafik_2_de.jpg\" "\\"\\"")
Durch das Vergessen von Information wollen wir ein Modell erzielen, das sich kaum oder gar nicht von einem Modell unterscheidet, das ohne die sensiblen Daten trainiert wurde. Die \u00c4hnlichkeit der Modelle wird anhand der Parameter gemessen, hier dargestellt durch die St\u00e4rke der Kanten.<\/figcaption><\/figure>\n\n\n\nFazit und Ausblick<\/h2>\n\n\n\n