Funktionsweise<\/span><\/h2>\n\n\n\nDas grundlegende Prinzip von SVMs verfolgt einen verbl\u00fcffend einfachen Ansatz: Es besteht darin, eine Ebene – die sogenannte trennende Hyperebene<\/em> – zu bestimmen, welche Datenpunkte bez\u00fcglich ihrer Klassenzugeh\u00f6rigkeit voneinander trennt. Im Folgenden 2-dimensionalen Beispiel (Abb. 1) entspricht die Hyperebene einer einfachen Geraden, welche die roten und blauen Punkte voneinander trennen soll. Um die Klasse eines neuen Datenpunktes zu ermitteln, reicht es dann aus, zu pr\u00fcfen, auf welcher Seite der Hyperebene der Punkt liegt. Da theoretisch unendlich viele solcher Hyperebenen existieren, stellt sich die Frage, wie genau diese gew\u00e4hlt werden sollte.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/hyperplane_choice.png\" "\\"\\"")
\u00a9 Till Schulz
Abbildung 1: Hyperebenen $h_1$ und $h_2$ klassifizieren den neuen Punkt (abgebildet in schwarz) nachvollziehbar als blauen Punkt, wohingegen $h_3$ den Punkt der roten Klasse zuordnet.<\/figcaption><\/figure>\n\n\n\nUm die Klassen m\u00f6glichst sauber voneinander zu trennen, w\u00e4hlen SVMs diejenige Hyperebene, welche die Distanzen zu den am n\u00e4chsten gelegenen Punkten beider Klassen maximieren. Anders formuliert liegt die optimale Hyperebene in der Mitte eines maximal breiten Streifens, genannt Margin<\/em>, welche die zwei Klassen voneinander trennt. Es handelt sich daher um ein klassisches Optimierungsproblem<\/a>, das sich mit herk\u00f6mmlichen Methoden wie zum Beispiel dem Gradientenverfahren l\u00f6sen l\u00e4sst<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/optimal_hyperplane_de.png\" "\\"\\"")
\u00a9 Till Schulz
Abbildung 2: Die von der SVM gew\u00e4hlte optimale Hyperebene maximiert den Abstand zu den beiden Klassengrenzen (Margin).<\/figcaption><\/figure>\n\n\n\nSoft Margin SVM<\/h2>\n\n\n\n
In den allermeisten F\u00e4llen sind die Daten allerdings nicht linear separierbar wie bisher angenommen. Das hei\u00dft, aufgrund von ung\u00fcnstigen Datenverteilungen mag der Fall eintreten, dass keine Hyperebene existiert, welche die Klassen perfekt voneinander trennt. F\u00fcr solche F\u00e4lle l\u00e4sst sich das Prinzip der SVMs etwas erweitern. Die sogenannte Soft Margin SVM<\/em> erlaubt einen gewissen Grad an Fehlern bei der Klassifikation der Trainingsdaten. Datenpunkte d\u00fcrfen dabei in die Margin oder gar auf die falsche Seite der Hyperebene fallen. Anstatt nur eine maximal breite Margin zu ermitteln, w\u00e4hlen Soft Margin SVMs die Klassengrenzen zus\u00e4tzlich so, dass die Summe der Distanzen zu allen in oder jenseits der Margin gelegenen Punkte minimiert wird (Abb. 3). Soft Margin SVMs verfolgen also gleich zwei Ziele: Die Margin soll maximiert werden, w\u00e4hrend der Fehler durch falsche Klassifikationen minimiert wird. Dieser Trade-off zwischen beiden Zielen wird durch einen Parameter (\u00fcblicherweise C genannt) bestimmt. Kleine Werte f\u00fcr C vergr\u00f6\u00dfern tendenziell die Margin. Gleichzeitig werden dadurch mehr Klassifikationsfehler der Trainingsbeispiele toleriert. \u00dcblicherweise ist das Ermitteln eines geeigneten Wertes f\u00fcr C Teil des Lernverfahrens.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/soft_margin_svm_de.png\" "\\"\\"")
\u00a9 Till Schulz
Abbildung 3: Um ein gewisses Ma\u00df an Fehlern zu erlauben, versuchen Soft Margin SVMs die Distanzen zu falsch klassifizierten oder innerhalb der Margin gelegenen Punkten zu minimieren.<\/figcaption><\/figure>\n\n\n\nKernel Trick<\/h2>\n\n\n\n
Leider l\u00f6st auch die Soft Margin SVM nicht alle Probleme. Um mit kniffligen F\u00e4llen wie im folgenden Beispiel (Abb. 4) abgebildet umzugehen, muss etwas nachgeholfen werden, um die Daten linear separierbar zu machen.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/non_lin_separable.png\" "\\"\\"")
\u00a9 Till Schulz
Abbildung 4: Beispiel f\u00fcr eine Menge von Punkten, welche sich im 2-dimensionalen Raum (auch unter Verwendung der Soft Margin SVM) kaum zufriedenstellend voneinander trennen lassen.<\/figcaption><\/figure>\n\n\n\nDie L\u00f6sungsidee besteht darin, die Punkte in einen h\u00f6her dimensionalen Raum zu transformieren, in dem sie durch eine Hyperebene voneinander trennbar sind. Die folgende Illustration zeigt, wie dies f\u00fcr das Beispiel (Abb. 5) aussehen k\u00f6nnte. Die urspr\u00fcnglich 2-dimensionalen Punkte werden jeweils um eine dritte Dimension erweitert. In diesem neuen 3-dimensionalen Raum entspricht die trennende Hyperebene einer 2-dimensionalen Ebene, welche die beiden Klassen nun sauber voneinander trennt.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/2d_to_3d.gif\" "\\"\\"")
\u00a9 Till Schulz
Abbildung 5: Durch den Kernel Trick, d.h. der Transformation in einen h\u00f6herdimensionalen Raum, lassen sich die Punkte nun voneinander trennen.<\/figcaption><\/figure>\n\n\n\nLeider bekommen wir eine solche Transformation nicht geschenkt. Ganz im Gegenteil: Besonders f\u00fcr hoch-dimensionale Daten ist das Finden einer geeigneten Transformation im Allgemeinen mit einem nicht vertretbaren Rechenaufwand verbunden. Woher nehmen wir also stattdessen eine geeignete Transformation? Nun, eigentlich wird sie gar nicht explizit ben\u00f6tigt. Stattdessen l\u00e4sst sich das Problem durch eine geschickte Umformulierung umgehen. Tats\u00e4chlich gen\u00fcgt es, paarweise \u00c4hnlichkeiten zwischen den Datenpunkten mithilfe einer Kernel Funktion<\/em> zu berechnen. Mit diesem sogenannten Kernel Trick<\/em> wird die Notwendigkeit einer expliziten und aufwendigen Transformation von Datenpunkten in einem h\u00f6her-dimensionalen Raum vollst\u00e4ndig umgangen.<\/p>\n\n\n\nVerwandte Beitr\u00e4ge zum Thema SVM:<\/h3>\n\n\n\n
Das intelligente Regal: Der Weg zu intelligenten Mensch-Maschine-Schnittstellen in der Industrie<\/a><\/p>\n\n\n\nComputer Vision: Wie lernen Maschinen zu sehen?<\/a><\/p>\n\n\n\n
Abbildung 1: Hyperebenen $h_1$ und $h_2$ klassifizieren den neuen Punkt (abgebildet in schwarz) nachvollziehbar als blauen Punkt, wohingegen $h_3$ den Punkt der roten Klasse zuordnet.<\/figcaption><\/figure>\n\n\n\n
Um die Klassen m\u00f6glichst sauber voneinander zu trennen, w\u00e4hlen SVMs diejenige Hyperebene, welche die Distanzen zu den am n\u00e4chsten gelegenen Punkten beider Klassen maximieren. Anders formuliert liegt die optimale Hyperebene in der Mitte eines maximal breiten Streifens, genannt Margin<\/em>, welche die zwei Klassen voneinander trennt. Es handelt sich daher um ein klassisches Optimierungsproblem<\/a>, das sich mit herk\u00f6mmlichen Methoden wie zum Beispiel dem Gradientenverfahren l\u00f6sen l\u00e4sst<\/p>\n\n\n\n In den allermeisten F\u00e4llen sind die Daten allerdings nicht linear separierbar wie bisher angenommen. Das hei\u00dft, aufgrund von ung\u00fcnstigen Datenverteilungen mag der Fall eintreten, dass keine Hyperebene existiert, welche die Klassen perfekt voneinander trennt. F\u00fcr solche F\u00e4lle l\u00e4sst sich das Prinzip der SVMs etwas erweitern. Die sogenannte Soft Margin SVM<\/em> erlaubt einen gewissen Grad an Fehlern bei der Klassifikation der Trainingsdaten. Datenpunkte d\u00fcrfen dabei in die Margin oder gar auf die falsche Seite der Hyperebene fallen. Anstatt nur eine maximal breite Margin zu ermitteln, w\u00e4hlen Soft Margin SVMs die Klassengrenzen zus\u00e4tzlich so, dass die Summe der Distanzen zu allen in oder jenseits der Margin gelegenen Punkte minimiert wird (Abb. 3). Soft Margin SVMs verfolgen also gleich zwei Ziele: Die Margin soll maximiert werden, w\u00e4hrend der Fehler durch falsche Klassifikationen minimiert wird. Dieser Trade-off zwischen beiden Zielen wird durch einen Parameter (\u00fcblicherweise C genannt) bestimmt. Kleine Werte f\u00fcr C vergr\u00f6\u00dfern tendenziell die Margin. Gleichzeitig werden dadurch mehr Klassifikationsfehler der Trainingsbeispiele toleriert. \u00dcblicherweise ist das Ermitteln eines geeigneten Wertes f\u00fcr C Teil des Lernverfahrens.<\/p>\n\n\n\n Leider l\u00f6st auch die Soft Margin SVM nicht alle Probleme. Um mit kniffligen F\u00e4llen wie im folgenden Beispiel (Abb. 4) abgebildet umzugehen, muss etwas nachgeholfen werden, um die Daten linear separierbar zu machen.<\/p>\n\n\n\n Die L\u00f6sungsidee besteht darin, die Punkte in einen h\u00f6her dimensionalen Raum zu transformieren, in dem sie durch eine Hyperebene voneinander trennbar sind. Die folgende Illustration zeigt, wie dies f\u00fcr das Beispiel (Abb. 5) aussehen k\u00f6nnte. Die urspr\u00fcnglich 2-dimensionalen Punkte werden jeweils um eine dritte Dimension erweitert. In diesem neuen 3-dimensionalen Raum entspricht die trennende Hyperebene einer 2-dimensionalen Ebene, welche die beiden Klassen nun sauber voneinander trennt.<\/p>\n\n\n\n Leider bekommen wir eine solche Transformation nicht geschenkt. Ganz im Gegenteil: Besonders f\u00fcr hoch-dimensionale Daten ist das Finden einer geeigneten Transformation im Allgemeinen mit einem nicht vertretbaren Rechenaufwand verbunden. Woher nehmen wir also stattdessen eine geeignete Transformation? Nun, eigentlich wird sie gar nicht explizit ben\u00f6tigt. Stattdessen l\u00e4sst sich das Problem durch eine geschickte Umformulierung umgehen. Tats\u00e4chlich gen\u00fcgt es, paarweise \u00c4hnlichkeiten zwischen den Datenpunkten mithilfe einer Kernel Funktion<\/em> zu berechnen. Mit diesem sogenannten Kernel Trick<\/em> wird die Notwendigkeit einer expliziten und aufwendigen Transformation von Datenpunkten in einem h\u00f6her-dimensionalen Raum vollst\u00e4ndig umgangen.<\/p>\n\n\n\n Das intelligente Regal: Der Weg zu intelligenten Mensch-Maschine-Schnittstellen in der Industrie<\/a><\/p>\n\n\n\n Computer Vision: Wie lernen Maschinen zu sehen?<\/a><\/p>\n\n\n\n
Abbildung 2: Die von der SVM gew\u00e4hlte optimale Hyperebene maximiert den Abstand zu den beiden Klassengrenzen (Margin).<\/figcaption><\/figure>\n\n\n\nSoft Margin SVM<\/h2>\n\n\n\n
Abbildung 3: Um ein gewisses Ma\u00df an Fehlern zu erlauben, versuchen Soft Margin SVMs die Distanzen zu falsch klassifizierten oder innerhalb der Margin gelegenen Punkten zu minimieren.<\/figcaption><\/figure>\n\n\n\nKernel Trick<\/h2>\n\n\n\n
Abbildung 4: Beispiel f\u00fcr eine Menge von Punkten, welche sich im 2-dimensionalen Raum (auch unter Verwendung der Soft Margin SVM) kaum zufriedenstellend voneinander trennen lassen.<\/figcaption><\/figure>\n\n\n\n
Abbildung 5: Durch den Kernel Trick, d.h. der Transformation in einen h\u00f6herdimensionalen Raum, lassen sich die Punkte nun voneinander trennen.<\/figcaption><\/figure>\n\n\n\nVerwandte Beitr\u00e4ge zum Thema SVM:<\/h3>\n\n\n\n