Neuronale Netze lernen nach dem Vorbild der Natur<\/h2>\n\n\n\n
Ausgangspunkt f\u00fcr Deep Learning war die Entwicklung neuronaler Netze. In Anlehnung an die Funktionsweise der Nervenzelle eines Menschen (daher auch der Begriff \u201eNeuronale Netze\u201c) wurde schon in den f\u00fcnfziger Jahren ein erstes Modell formuliert, dessen Ein-\/Ausgabeverhalten trainierbar ist. Dabei wird eine gewichtete Summe der Eingaben berechnet, wobei die Gewichte der Verbindungst\u00e4rke zwischen Nervenzellen entsprechen. Interpretiert man einen Ausgabewert gr\u00f6\u00dfer als Null als Klasse A und einen Wert kleiner als Null als Klasse B, so kann man mit Hilfe dieses Modells Klassifikationsprobleme l\u00f6sen. Grundlage f\u00fcr die Vorhersage ist eine Menge von Trainingsbeispielen, welche jeweils aus einem Eingabevektor und einer zugeh\u00f6rigen Ausgabe bestehen. Dabei werden die Gewichte innerhalb des Neuronalen Netzes durch Optimierungsverfahren so ver\u00e4ndert, dass sie die Klassen f\u00fcr alle Trainingsbeispiele m\u00f6glichst gut prognostizieren. Dieses Modell eines einfachen neuronalen Netzes mit einer Ebene<\/strong> wird Perzeptron<\/strong> genannt (Mehr in der Studie<\/a> \u00fcber Perzeptronen).<\/p>\n\n\n\n Hier betrachten wir ein einfaches Anwendungsbeispiel mit nur zwei Eingaben.<\/p>\n\n\n\n In der Grafik auf der linken Seite der Abbildung ist den zwei Eingabemerkmale x1<\/sub> und x2<\/sub> jeweils eine Klasse A oder B zugeordnet. Wie zu sehen, erzeugt ein Perzeptron immer eine gerade Trennlinie (allgemein eine Hyperebene) im Eingaberaum. Das trainierte Perzeptron kann die beiden Klassen sehr gut trennen, so dass nur zwei Beispiele (magenta) falsch zugeordnet werden. Auf der rechten Seite sind beim \u201eXOR-Problem\u201c die Trainingsbeispiele der beiden Klassen \u201e\u00fcber Kreuz\u201c angeordnet. Hier kann das einfache Perzeptron keine gute Trennlinie finden.<\/p>\n\n\n\n Es dauerte mehr als ein Jahrzehnt, bis f\u00fcr das XOR-Problem eine L\u00f6sung pr\u00e4sentiert wurde. Daf\u00fcr ist es notwendig das einfache Perzeptron zu erweitern. Zun\u00e4chst werden aus den Eingaben mehrere unterschiedlich gewichtete Summen berechnet, welche anschlie\u00dfend durch eine nichtlineare ansteigende Funktion, zum Beispiel tanh<\/em>, transformiert werden. Die Ergebnisse hei\u00dfen verborgene Einheiten<\/strong> (hidden units), weil es f\u00fcr diese Variablen keine Beobachtungswerte in den Trainingsdaten gibt. Sie dienen als Eingabe f\u00fcr ein weiteres Perzeptron, dessen Ausgabe wieder die Klasse prognostiziert.<\/p>\n\n\n\n In der Abbildung ist die Gr\u00f6\u00dfe der Gewichte durch die unterschiedliche Dicke der Linien symbolisiert. Entscheidend ist die Verwendung der nichtlinearen Funktion, auch Aktivierungsfunktion<\/strong> genannt. Dadurch ist das entstehende Modell in der Lage, die gekr\u00fcmmten Trennfl\u00e4chen f\u00fcr unser XOR-Problem zu prognostizieren, welche ein einfaches Perzeptron nicht darstellen konnte.<\/p>\n\n\n\n Wie die vorstehende Abbildung zeigt, liefert das erweiterte Modell eine nahezu perfekte L\u00f6sung des Klassifikationsproblems. Es wird Zweiebenen-Perzeptron<\/strong> genannt. Seine Gewichte werden mit Hilfe der Trainingsdaten durch das Gradientenabstiegsverfahren<\/a> bestimmt. Bemerkenswert ist, dass die verborgenen Einheiten eine neue Repr\u00e4sentation<\/strong> der Eingaben sind, die durch das Optimierungsverfahren so konstruiert werden, dass das Klassifikationsproblem leichter l\u00f6sbar ist. Im Gegensatz zu den meisten klassischen Verfahren des Maschinellen Lernens ist das Zweiebenen-Perzeptron also in der Lage, intern geeignete Merkmale f\u00fcr die Probleml\u00f6sung zu konstruieren und genauere Klassifikationen und Vorhersagen zu treffen.<\/p>\n\n\n\n Eine fr\u00fcher viel diskutierte Aufgabe war die Erkennung von geschriebenen Ziffern, beispielsweise Postleitzahlen. Die vorstehende Abbildung zeigt Beispielbilder aus den Trainingsdaten. Ein einfaches Perzeptron hat auf diesen Daten eine Genauigkeit von 92%. Verwendet man hingegen ein Zweiebenen-Perzeptron, so kann man eine Genauigkeit von mehr als 98% erreichen, das hei\u00dft von 100 Zifferbildern werden mehr als 98 korrekt zugeordnet. Dies zeigt, dass die zus\u00e4tzliche Ebene den Zuordnungsfehler auf weniger als ein Viertel reduzieren kann.<\/p>\n\n\n\n Es konnte gezeigt werden, dass Zweiebenen-Perzeptronen beliebige stetige Zusammenh\u00e4nge zwischen den Ein- und Ausgaben rekonstruieren k\u00f6nnen, wenn nur die Anzahl der verborgenen Einheiten gro\u00df genug ist (Mehr zu der Studie<\/a>). Allerdings ist die erforderliche Anzahl der verborgenen Einheiten oft extrem hoch und es gibt zu wenige Daten, um die Parameter zuverl\u00e4ssig zu bestimmen. Als Alternative kann man das Modell durch zus\u00e4tzliche Ebenen mit weiteren Nichtlinearit\u00e4ten erweitern. Man spricht dann von einem Tiefen Neuronalen Netz<\/strong>, welches im Forschungsbereich Deep Learning<\/strong> untersucht wird. Dabei ist Deep Learning ein Teilbereich des Maschinellen Lernens und beschreibt \u201emehrschichtiges Lernen\u201c, das hei\u00dft es werden mehrere versteckte Ebenen im neuronalen Netz genutzt, um gro\u00dfe Datens\u00e4tze zu analysieren. Ein derartiges Netz mit drei Ebenen ist in der folgenden Abbildung gezeigt. Es kann mehrere Ausgaben besitzen, welche durch zus\u00e4tzliche Aktivierungsfunktionen transformiert werden k\u00f6nnen, zum Beispiel in einen Vektor von Wahrscheinlichkeiten. Es konnte gezeigt werden, dass jede zus\u00e4tzliche Schicht eines tiefen neuronalen Netzes eine wesentlich gr\u00f6\u00dfere Menge von Funktionen darstellen kann als ein neuronales Netz mit weniger Schichten, aber mit der gleichen Anzahl von Parametern (Mehr zu der Studie<\/a>). Damit verspricht ein tiefes neuronales Netz die effiziente Rekonstruktion sehr komplexer Zusammenh\u00e4nge zwischen Ein- und Ausgaben, beispielsweise zwischen den Pixeln eines Fotos und der zugeh\u00f6rigen Bildbeschreibung durch einen Satz.<\/p>\n\n\n\n Allerdings ist die Optimierung der Parameter in tiefen neuronalen Netzen \u00e4u\u00dferst schwierig, weil die Abh\u00e4ngigkeit der Ausgaben von den Parametern der ersten Schichten zuverl\u00e4ssig rekonstruiert werden muss. Dies konnte erst gelingen, nachdem verschiedene Techniken entwickelt wurden. Dazu geh\u00f6ren Regularisierungsverfahren, wie Dropout und die Normalisierung der Werte der verborgenen Einheiten. Diese sorgen daf\u00fcr, dass das Netzwerk zuf\u00e4llige Fluktuationen in den Daten ignoriert und sich auf systematische Zusammenh\u00e4nge konzentriert. Zudem hat es sich gezeigt, dass Bypass-Verbindungen, welche die einzelnen Ebenen gesteuert \u00fcberbr\u00fccken, \u00fcberhaupt erst das Training sehr tiefer Neuronaler Netze erlauben. Die Monografie<\/a> \u201eK\u00fcnstliche Intelligenz — Was steckt hinter der Technologie der Zukunft?\u201c gibt eine detaillierte Darstellung tiefer neuronaler Netze und beschreibt die erforderlichen Optimierungsverfahren.<\/p>\n\n\n\n Tiefe neuronale Netze zur Verarbeitung nat\u00fcrlicher Sprache, zur Erkennung von Objekten in Bildern, und zur Spracherkennung haben eine spezialisierte Architektur mit Schichten, die auf die jeweiligen Anwendungen zugeschnitten sind. Sie erreichen heute oft Genauigkeiten bei der Erkennung von Objekten und Abl\u00e4ufen, welche genauso gut oder h\u00f6her sind als die von Menschen. Sie haben meist Dutzende bis Hunderte von Schichten und bilden den Kern des Forschungsbereiches Deep Learning. Insgesamt beruht ihr Erfolg auf vier S\u00e4ulen:<\/p>\n\n\n\n Deep Learning nutzt tiefe neuronale Netze, um Bilder zu erkennen, Texte zu verstehen und Entscheidungen genauer zu treffen. Zur Analyse gro\u00dfer Datens\u00e4tze verwendet das \u201emehrschichtige Lernen\u201c mehrere versteckte Ebenen im Netz.<\/p>\n","protected":false},"author":9,"featured_media":4118,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1480,1558,1560,1612],"class_list":["post-4107","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-deep-learning-de","blog-tag-neuronale-netze","blog-tag-optimierung","blog-tag-tiefe-neuronale-netze"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4107","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4107\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4118"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4107"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4107"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4107"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Ein-Ebenen-Perzeptron-1-1024x362.jpg\" "\\"\\"")
Das Zweiebenen-Perzeptron l\u00f6st das XOR-Problem<\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/2-ebenen-1.gif\" "\\"\\"")
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Zweiebenen-tiefes-Neuronales-Netzpng-1-1024x680.jpg\" "\\"\\"")
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Erkennung_von-Ziffern_DNN-1-1024x223.jpg\" "\\"\\"")
Deep Learning erm\u00f6glicht das Abbilden komplexer Zusammenh\u00e4nge<\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/3-ebenen-1.gif\" "\\"\\"")
Die vier S\u00e4ulen tiefer neuronaler Netze<\/h2>\n\n\n\n
\n