Zuallererst wollen wir erkl\u00e4ren, warum ein Modell des Maschinellen Lernens \u00fcberhaupt viele Daten zum Training ben\u00f6tigt. Ein Grund liegt im sogenannten \u201eCurse of Dimensionality\u201c (Fluch der Dimensionalit\u00e4t). Der „Curse of Dimensionality\u201c beschreibt das exponentielle Wachstum des Raums und damit der Daten, die man ben\u00f6tigt, um ihn zu f\u00fcllen, in Abh\u00e4ngigkeit der Anzahl an Eingangsgr\u00f6\u00dfen.<\/p>\n\n\n\n
Ein Beispiel hierf\u00fcr ist der Kauf einer neuen Kaffeemaschine mit einer Unmenge von bin\u00e4ren Schaltern, bei der die Anleitung verloren gegangen ist. Wie kann man herausfinden, bei welchen Schalterpositionen der Kaffee schmeckt und welche Einstellungen vermieden werden sollten? Bei nur einem Schalter kann man es einfach ausprobieren \u2013 hierf\u00fcr m\u00fcsste man zwei Tassen Kaffee trinken und diese vergleichen. Bei zwei Schaltern werden es f\u00fcr alle An-\/Aus-Kombinationen vier Tassen, bei drei Schaltern acht Tassen. Die Anzahl der Versuche w\u00e4chst somit mit 2{Anzahl der Schalter}<\/sup>. Bei 20 Schaltern sind dies schon 1.048.576 Tassen Kaffee. Wenn nun alle Schalter nicht nur bin\u00e4r sind, sondern (N) Einstellungen haben, ergibt sich ein Zusammenhang von (N{Anzahl der Schalter}<\/sup>). Das bedeutet f\u00fcr f\u00fcnf Einstellungen mit f\u00fcnf Schaltern ben\u00f6tigt man 3.125 Versuche, um herauszufinden, welche Einstellung die richtige ist.<\/p>\n\n\n\n Wenn wir jetzt ein ML-Modell f\u00fcr den Kaffeegeschmack in Abh\u00e4ngigkeit der Schalter entwickeln wollen, ben\u00f6tigen wir die Versuchsdaten Schaltereinstellung –> Kaffeegeschmack. Wenn das Modell sehr einfach, aber dennoch sehr exakt sein soll, w\u00fcrden wir eines bauen, das in den Versuchsdaten nachschaut, welcher Geschmack sich aus der aktuellen Schaltereinstellung ergibt. Die St\u00e4rke von Maschinellem Lernen ist jedoch die Generalisierung, das hei\u00dft das Modell kann auf der Basis von gelernten Beispielen R\u00fcckschl\u00fcsse auf neue Zust\u00e4nde, die nicht Teil des bisher Gelernten sind, ziehen.<\/p>\n\n\n\n Dies w\u00fcrde in unserem Fall bedeuten, dass wir nur einen Teil der Daten ben\u00f6tigen, und das Modell schlie\u00dft aus ihnen, wie der Kaffee f\u00fcr eine andere Schalterkombination schmeckt. Hier bleibt dann die Frage: Wie viele Datenpunkte brauche ich dann? Um beim Beispiel der 5 Schalter (= 5 Dimensionen) mit 5 Einstellungen (= 5 Diskretisierungen) zu bleiben: Wie viele meiner 3.125 Punkte werden ben\u00f6tigt, um ein gutes Modell f\u00fcr den Kaffeegeschmack in Abh\u00e4ngigkeit der Schalterstellung zu erzeugen?<\/p>\n\n\n\n Um ein Gef\u00fchl zu entwickeln, wie viele Daten ein Modell (zum Beispiel der Geschmack des Kaffees in Abh\u00e4ngigkeit der Schalterpositionen) ben\u00f6tigt, schauen wir zun\u00e4chst auf ein Beispiel mit nur einer Dimension.<\/p>\n\n\n\n Wenn wir w\u00fcssten, wie der Prozess, den wir modellieren m\u00f6chten (die \u201eGround Truth\u201c), sich verh\u00e4lt, ist das Vorhaben einfacher:<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/1_Curse_of_dimsenionality_new2-1-1-1024x414.jpg\" "\\"\\"")
Eine Abbildung des Curse of Dimensionality. F\u00fcr eine verschiedene Anzahl der Dimensionen d und der Diskretisierungen p wird die Anzahl der ben\u00f6tigten Datenpunkte N gezeigt.<\/figcaption><\/figure>\n\n\n\nWie viel Information ben\u00f6tigt ein ML-Modell?<\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/1_B_Zusammenhaenge-1-1024x285.jpg\" "\\"\\"")
Zwei Extremverhalten f\u00fcr das Verhalten der Ground Truth und die notwendige Abtastung. Links eine sehr einfache Ground Truth: Es reichen zwei Datenpunkte aus, um sie zu sch\u00e4tzen. Rechts eine sehr komplizierte Ground Truth: Es werden sehr viele Datenpunkte ben\u00f6tigt, um nur einen Teil ihres Verhaltens abzubilden.<\/figcaption><\/figure>\n\n\n\n