{"id":4778,"date":"2023-04-12T13:00:00","date_gmt":"2023-04-12T13:00:00","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/dimensionsreduktion-pca\/"},"modified":"2025-11-12T14:51:36","modified_gmt":"2025-11-12T14:51:36","slug":"dimensionsreduktion-pca","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/dimensionsreduktion-pca\/","title":{"rendered":"Die Hauptkomponentenanalyse \u2013 Eine Methode zur Dimensionsreduktion auf gro\u00dfen Datenmengen"},"content":{"rendered":"\n

Mit dem Voranschreiten der Digitalisierung in unserer Gesellschaft ist die vorhandene Menge gesammelter Daten heutzutage enorm gro\u00df. Besondere Relevanz hat das unter anderem f\u00fcr das Maschinelle Lernen, denn hier f\u00fchren gro\u00dfe Datenmengen im Allgemeinen zu aussagekr\u00e4ftigeren Ergebnissen (mehr zur Gr\u00f6\u00dfe der Trainingsdaten beim Maschinellen Lernen lesen Sie im Grundlagenbeitrag Wie viele Daten braucht K\u00fcnstliche Intelligenz?<\/a>). Dies wirkt sich jedoch entscheidend auf die Rechenzeit- und Speicherkomplexit\u00e4t aus, die f\u00fcr das Training eines Lernalgorithmus ben\u00f6tigt wird \u2013 und in vielen F\u00e4llen k\u00f6nnen diese Anforderungen (z. B. in Echtzeitanwendungen) gar nicht erf\u00fcllt werden. Hier kann die Hauptkomponentenanalyse zur L\u00f6sung des Problems beitragen. Erfahren Sie im Folgenden, wie dieses Werkzeug zur Dimensionsreduktion von gro\u00dfen, hochdimensionalen Datenmengen funktioniert.<\/p>\n\n\n\n

Was ist Dimensionsreduktion?<\/h2>\n\n\n\n

Anstatt nun die Menge an Datenpunkten zu reduzieren, auf denen der Algorithmus lernt, was sich negativ auf die Qualit\u00e4t des trainierten Lerners auswirken k\u00f6nnte, nutzen wir ein anderes Verfahren. Denn es ist genauso m\u00f6glich, die Anzahl an Merkmalen der gegebenen Daten zu verringern. Die Anzahl der Merkmale wird auch als die Dimensionalit\u00e4t der Daten bezeichnet.<\/p>\n\n\n\n

Es existieren zwei grundlegende Verfahren, um die Dimensionalit\u00e4t einer Datenmenge zu reduzieren, die sowohl bei der Datenanalyse als auch zur Vorverarbeitung f\u00fcr ML-Algorithmen eingesetzt werden:<\/p>\n\n\n\n

    \n
  1. Merkmalsauswahl<\/strong>: Darunter ist das Vorgehen zu verstehen, lediglich eine Teilmenge der vorhandenen Merkmale auszuw\u00e4hlen und anschlie\u00dfend die Daten nur durch die ausgew\u00e4hlten Merkmale zu beschreiben.<\/li>\n\n\n\n
  2. Merkmalsprojektion<\/strong>: Hierbei wird jeder Datenpunkt auf einen Punkt mit weniger Merkmalen projiziert.<\/li>\n<\/ol>\n\n\n\n

    Wichtig ist hierbei, dass die Merkmale des reduzierten Punkts nicht den urspr\u00fcnglichen Merkmalen entsprechen \u2013 lediglich der reduzierte Punkt als Ganzes muss seinem Pendant aus der Menge der Ausgangspunkte \u00e4hneln.<\/p>\n\n\n\n

    Dimensionsreduktion durch Projektion<\/h2>\n\n\n\n

    Um die Hauptkomponentenanalyse und allgemein den Bereich der Merkmalsprojektion besser zu verstehen, ist ein genaueres Verst\u00e4ndnis des (mathematischen) Begriffs der Projektion von Nutzen. Schauen wir uns also an, was darunter zu verstehen ist: Eine Projektion ist eine Funktion, die einen Eingabepunkt so ver\u00e4ndert, dass er mit weniger Komponenten beschreibbar ist. Dies kann als eine Art Schattenwurf verstanden werden: Der Schatten eines urspr\u00fcnglich dreidimensionalen Punktes kann sowohl als anderer dreidimensionaler Punkt im gleichen Raum dargestellt werden \u2013 abh\u00e4ngig von der Lichtquelle und der Oberfl\u00e4che, auf die der Schatten geworfen wird. Oder er kann alternativ auch als zweidimensionaler Punkt in der Ebene, auf die der Schatten geworfen wird, abgebildet werden.<\/p>\n\n\n\n

    Um dies an einem Beispiel zu illustrieren, sehen wir uns einen herk\u00f6mmlichen W\u00fcrfel an, der von einer Lichtquelle angestrahlt wird und seinen Schatten auf den Boden wirft, auf dem er liegt.<\/p>\n\n\n\n

    \"-
    \u00a9 Jan Stettner
    Figur 1: Skizze eines W\u00fcrfelschattens<\/figcaption><\/figure>\n\n\n\n

    Fassen wir den W\u00fcrfel als eine Menge von Punkten im dreidimensionalen Raum auf, so ist sein Schatten die Menge von Punkten, die entsteht, wenn man die urspr\u00fcnglichen Punkte auf die zweidimensionale Ebene projiziert, die durch den Boden vorgegeben ist. Diese Projektionsebene wird durch die Projektionsfunktion definiert und muss nicht zwangsl\u00e4ufig zweidimensional sein. Daher bezeichnet man die Fl\u00e4che, auf die projiziert wird, auch allgemein als Unterraum. Dessen Dimensionalit\u00e4t bestimmt die reduzierte Dimension der Datenpunkte. Ferner kann der Schattenwurf (auf die gleiche zweidimensionale Ebene) durch Bewegung der Lichtquelle an eine andere Position ver\u00e4ndert werden. Zentrieren wir die Lichtquelle \u00fcber dem W\u00fcrfel so, dass der W\u00fcrfel genau zwischen Boden und Lichtquelle steht, befindet sich sein Schatten direkt unter dem W\u00fcrfel. Da bei dieser Projektion die Verbindungslinie von einem urspr\u00fcnglichen W\u00fcrfelpunkt zu seinem korrespondierendem Schattenpunkt genau orthogonal (also im 90-Grad-Winkel) zum Boden, also der Projektionsfl\u00e4che ist, sprechen wir in diesem Fall von einer sogenannten Orthogonalprojektion.<\/p>\n\n\n\n

    Da solche Orthogonalprojektionen den Abstand zwischen einem urspr\u00fcnglichen Punkt und seinem korrespondierenden Schattenpunkt (per Satz des Pythagoras) minimieren, also damit die Information des urspr\u00fcnglichen Punktes m\u00f6glichst erhalten, beschr\u00e4nkt sich die im folgenden erl\u00e4uterte Methode zur Reduktion ausschlie\u00dflich auf die Suche nach der bestm\u00f6glichen Orthogonalprojektion.<\/p>\n\n\n\n

    Principal Component Analysis<\/h2>\n\n\n\n

    Ein Beispiel f\u00fcr eine solche Dimensionsreduktion durch Projektion ist die Principal Component Analysis (dt. Hauptkomponentenanalyse) oder auch kurz PCA genannt. Sie projiziert eine Menge gegebener Datenpunkte in einen Unterraum, wobei der Unterraum so gew\u00e4hlt wird, dass die Varianz der orthogonal projizierten Datenpunkte maximal ist. Durch die maximale Streuung der reduzierten Datenpunkte l\u00e4sst sich im Fall klassifizierter Daten damit eine gute Separierbarkeit der verschiedenen Klassen erhoffen (Klassifikation beim Maschinellen Lernen).<\/a> Die Dimension $k$ des Unterraums wird vom Anwender der PCA vorgegeben und bestimmt, durch wie viele Koordinatenachsen der Unterraum beschrieben wird. Diese $k$ Koordinatenachsen werden auch als Hauptkomponenten bezeichnet.<\/p>\n\n\n\n

    Ist eine visuelle Inspektion der Daten m\u00f6glich, haben die Ausgangsdaten also h\u00f6chstens Dimension drei, l\u00e4sst sich die erste Hauptkomponente als die Richtung der gr\u00f6\u00dften Streuung der Daten erkennen. Die jeweils n\u00e4chste Hauptkomponente zeigt in die Richtung der n\u00e4chstgr\u00f6\u00dferen Streuung der Daten, mit der Nebenbedingung, dass sie orthogonal zu allen bisherigen Hauptkomponenten ist. Um dieses Verfahren an einem Beispiel zu demonstrieren, verwenden wir Fisher\u2019s Iris Datensatz<\/a> \u2013 ein unter Datenwissenschaftler*innen bekannter Datensatz \u2013 der mit 150 Beispielen mit je vier Merkmalen drei verschiedene Arten von Schwertlilien beschreibt. Wir beschr\u00e4nken uns aus Visualisierungsgr\u00fcnden im folgenden Beispiel auf zwei der Merkmale. Hierbei sind die beiden Merkmale die Messungen der Bl\u00fctenblattbreite und Bl\u00fctenblattl\u00e4nge der jeweiligen erfassten Pflanzen.<\/p>\n\n\n\n

    \"-
    \u00a9 Jan Stettner
    Figur 2: Hauptkomponentenanalyse am Beispiel des Iris-Datensatzes<\/figcaption><\/figure>\n\n\n\n

    Nun wenden wir die PCA auf dieses Beispiel an, um die Daten auf Dimension $k = 1$ zu reduzieren. Dazu suchen wir diejenige Gerade durch die Daten, welche die Varianz der (orthogonal) projizierten Datenpunkte maximiert. Diese Gerade repr\u00e4sentiert also den eindimensionalen Unterraum, auf den die PCA die Datenpunkte projiziert. Obiges Beispiel zeigt, dass selbst nach der Dimensionsreduktion die Klassen noch recht gut voneinander unterscheidbar sind.<\/p>\n\n\n\n

    Dies ist jedoch nicht immer der Fall. Ferner kann die Anwendung der PCA auf klassifizierte Daten dazu f\u00fchren, dass vorher unterscheidbare Klassen nach der Dimensionsreduktion v\u00f6llig \u00fcberlappen und somit keine klaren Unterschiede zwischen den Klassen zu erkennen sind. Daf\u00fcr betrachten wir erneut eine Menge zweidimensionaler Datenpunkte von fiktiven Messwerten zu drei verschiedenen Pflanzentypen:<\/p>\n\n\n\n

    \"-
    \u00a9 Jan Stettner
    Figur 3: Hauptkomponentenanalyse bei ung\u00fcnstigen Beispieldaten<\/figcaption><\/figure>\n\n\n\n

    Das letzte Beispiel zeigt, dass die Hauptkomponentenanalyse \u2013 vor allem als Zwischenschritt in einem Klassifikationsproblem \u2013 mit Vorsicht angewandt werden sollte.<\/p>\n\n\n\n

    Fazit<\/h2>\n\n\n\n

    Dimensionsreduktion ist ein wichtiges Teilgebiet des Maschinellen Lernens. Neben einer Verringerung von Rechenzeit- und Speicherplatzbedarf kann auch unerw\u00fcnschtem Rauschen entgegengewirkt werden. Im Wesentlichen ist Dimensionsreduktion nichts anderes als eine Reduktion der Anzahl der Merkmale einer gegebenen Datenmenge. Dabei wird grunds\u00e4tzlich zwischen den Methoden der Merkmalsauswahl und der Merkmalsprojektion unterschieden. Die Principal Component Analysis ist ein Beispiel f\u00fcr letztere, welche die Daten auf den Unterraum projiziert, der die meiste Varianz der Daten enth\u00e4lt.<\/p>\n\n\n\n

    N\u00e4chste Woche wird es erneut um die Dimensionsreduktion von gro\u00dfen Datens\u00e4tzen gehen. Dann stellen wir ein weiteres Verfahren sowie dessen Vor- und Nachteile vor.<\/p>\n","protected":false},"excerpt":{"rendered":"

    Das Lernen auf gro\u00dfen, hochdimensionalen Datens\u00e4tzen liefert besonders aussagekr\u00e4ftige Ergebnisse, verbraucht aber sehr viel Speicher- und Rechenkapazit\u00e4t. Das Verfahren der Dimensionsreduktion kann zur L\u00f6sung dieses Problems beitragen.<\/p>\n","protected":false},"author":9,"featured_media":4785,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,437,390,732],"blog-tag":[1476,1487],"class_list":["post-4778","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-gastbeitrag","blog-category-grundlagen","blog-category-ml-classroom-de","blog-tag-datenanalyse","blog-tag-fluch-der-dimensionalitaet"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4778","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4778\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4785"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4778"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4778"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4778"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}