{"id":4922,"date":"2024-02-14T09:23:16","date_gmt":"2024-02-14T09:23:16","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/decision-trees-pruning\/"},"modified":"2025-11-12T14:51:12","modified_gmt":"2025-11-12T14:51:12","slug":"decision-trees-pruning","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/decision-trees-pruning\/","title":{"rendered":"Komplexe Decision Trees? Wie Pruning das ML-Tool \u00fcbersichtlich h\u00e4lt"},"content":{"rendered":"\n

Decision Trees sind ein sehr beliebtes Tool im Maschinellen Lernen (ML). Hierbei handelt es sich um eine hierarchische, baumartige Struktur, die den Prozess der Entscheidungsfindung graphisch darstellt. Sie k\u00f6nnen dabei helfen, Entscheidungen zu treffen oder die eigenen Entscheidungen sinnvoll zu erkl\u00e4ren und f\u00fcr andere zu veranschaulichen. Allerdings wird die Menge an Daten, die wir benutzen, um diese Entscheidungen zu treffen, immer gr\u00f6\u00dfer und dadurch auch die Entscheidungsfindung immer komplexer. Durch Pruning kann man die Entscheidungsb\u00e4ume k\u00fcrzen und somit weiterhin \u00fcbersichtlich halten.<\/p>\n\n\n\n

Wof\u00fcr werden Decision Trees eingesetzt?<\/h2>\n\n\n\n

Decision Trees k\u00f6nnen in vielen verschiedenen Bereichen zum Einsatz kommen. Ihre Aufgabe besteht dabei allgemein darin, eine Menge an Datenobjekten zu klassifizieren oder Regeln anhand von vorhandenem Wissen darzustellen. Anwendungsbeispiele w\u00e4ren hierbei die Klassifizierung von Bankkunden hinsichtlich ihrer Kreditw\u00fcrdigkeit, wobei Attribute zur Entscheidungsfindung z.B. der Besitz eines Hauses oder der Familienstand sein k\u00f6nnten. Ein anderes Beispiel w\u00e4re die Zuordnung passender Produktempfehlungen f\u00fcr Kunden eines Onlineshops basierend auf deren vorherigen Interessen und Eink\u00e4ufen. Im Bereich der Medizin k\u00f6nnten Entscheidungsb\u00e4ume au\u00dferdem f\u00fcr die Klassifizierung von Tumoren in gutartig und b\u00f6sartig verwendet werden. Hierbei k\u00f6nnten Attribute z.B. die Gr\u00f6\u00dfe oder Textur des Tumors sein.<\/p>\n\n\n\n

Der Aufbau von Decision Trees<\/h2>\n\n\n\n

Der Baum beginnt mit einem initialen Wurzelknoten, von dem verschiedene Pfade \u00fcber unterschiedlich viele Entscheidungsebenen zu den Blattknoten f\u00fchren, welche die letztendlichen Entscheidungen repr\u00e4sentieren. Jeder vorherige Zwischenschritt, welcher durch den jeweiligen inneren Knoten dargestellt wird, steht hierbei f\u00fcr eine Entscheidugsregel \u00fcber ein Attribut. Bei dieser handelt es sich entweder um eine bin\u00e4re Ja-Nein-Entscheidung oder eine mehrschichtige Entscheidung f\u00fcr beispielsweise jeden Attributwert. Dies wird anhand eines Restaurantbesuchs in folgendem Beispiel verdeutlicht: Bei diesem steht man vor der Entscheidung, ob man in einem vollen Restaurant auf einen freien Tisch warten sollte oder nicht. F\u00fcr die Entscheidungsfindung betrachtet der Baum Attribute wie den Preis des Essens, ob man hungrig ist oder auch wie voll das Restaurant ist. Bei Ersterem handelt es sich hierbei um eine Entscheidung zwischen mehreren Attributwerten (drei Preisstufen). Folgt man nun den zutreffenden Entscheidungskanten bis zu einem Blattknoten, gibt dieser wieder, ob es sinnvoller ist zu warten oder nicht zu warten.<\/p>\n\n\n\n

\"-
Beispiel f\u00fcr einen Entscheidungsbaum, der \u00fcber verschiedene Attribute in den Entscheidungsknoten (lila) bestimmt, ob man auf einen Tisch in einem Restaurant warten sollte (hellgr\u00fcn) oder nicht (rot). \u00a9 Fraund & Wingenfeld<\/figcaption><\/figure>\n\n\n\n

Die Selektion der Attribute f\u00fcr den jeweiligen Entscheidungsknoten erfolgt hierbei durch die Maximierung des Informationsgewinns. Dieser wird mithilfe der Entropie und dem verbleibenden Informationsbedarf nach der Attributauswahl berechnet. Als Attribut f\u00fcr den Entscheidungsknoten wird nun jenes gew\u00e4hlt, welches den h\u00f6chsten Informationsgewinn (Gain) erzielt, diesen also maximiert.<\/p>\n\n\n\n

Die Vor- und Nachteile von Decision Trees<\/h2>\n\n\n\n

Wie wir gerade gesehen haben, sind Entscheidungsb\u00e4ume in vielen Bereichen anwendbar und dabei in ihrem Aufbau sehr anschaulich und leicht nachzuvollziehen. Daher eigenen sie sich beispielsweise auch gut f\u00fcr die Arbeit und den Austausch mit Partnern, die im Bereich Machine Learning unerfahren sind. Des Weiteren funktionieren sie sowohl f\u00fcr kategorische als auch numerische Datentypen. Die Art des Entscheidungsknotens muss dabei gegebenenfalls angepasst werden. Ein weiterer Vorteil ist die Kombinierbarkeit zu sogenannten Entscheidungsw\u00e4ldern, also einem Ensemble aus Entscheidungsb\u00e4umen, wobei die finale Entscheidung z.B. durch einen Mehrheitsentscheid der einzelnen Ergebnisse hervor geht. Ein Beispiel hierf\u00fcr sind sogenannte Random Forests<\/em>, welche mehrere verschiedene, unkorrelierte Entscheidungsb\u00e4ume nach dem Bagging-Prinzip<\/em> zur Klassifikation nutzen. Zudem spricht f\u00fcr die Verwendung von Decision Trees, dass weniger Data Cleaning notwendig ist, also die Daten vorher nicht gro\u00dfartig bearbeitet werden m\u00fcssen, verglichen mit anderen Data Modeling Techniken. Allerdings kann der Baum unter Umst\u00e4nden trotzdem noch durch Rauschen beeinflusst werden, wenn er beispielsweise zu sehr an das Trainingsdataset angepasst ist. Man spricht hierbei von Overfitting<\/em>. Au\u00dferdem problematisch wird die Verwendung von Decision Trees bei zu komplexen Datasets. Hierbei kann der Baum schnell sehr gro\u00df und un\u00fcbersichtlich werden. Die positive Eigenschaft, dass die Struktur leicht verst\u00e4ndlich ist, geht in diesem Fall verloren.<\/p>\n\n\n\n

Was ist Decision Tree Pruning?<\/h2>\n\n\n\n

Durch Big Data kommt es immer h\u00e4ufiger dazu, dass Decision Trees zu gro\u00df und dadurch weniger gut interpretierbar werden. Um dem entgegenzuwirken, dass Decision Trees zu gro\u00df und komplex werden, bietet sich an, nur die wichtigsten Entscheidungen zu verwenden. Wir k\u00f6nnen also unwichtige und repetitive Unterscheidungen weglassen, um den Baum kleiner und \u00fcbersichtlicher zu halten. Diesen Vorgang nennt man Pruning<\/em>.<\/p>\n\n\n\n

Wichtig ist dabei, dass wir nur Zweige abschneiden, die nicht mehr relevant f\u00fcr uns sind und somit das Ergebnis nicht verschlechtern, sondern im besten Fall sogar verbessern. Abgeschnitten werden also meistens nur jene Zweige, durch die ein bestimmtes Kriterium erf\u00fcllt werden. Dieses Kriterium gibt je nach Algorithmus mit unterschiedlichen Vorgehensweisen an, dass der jeweilige Zweig irrelevant ist und den Fehler verschlechtert oder nicht verbessert. In verschiedenen Algorithmen kann man also das Kriterium und zum Beispiel die Durchlaufrichtung an das gegebene Beispiel anpassen.<\/p>\n\n\n\n

\"-
Darstellung eines Entscheidungsbaums vor und nach der Bearbeitung durch einen Pruning Algorithmus, hierbei klassifizieren die Entscheidungsknoten (hellblau) die Samples in 2 Klassen (gr\u00fcn und rot). Die roten Trennlinien stellen den Pruningschritt dar. \u00a9 Fraund & Wingenfeld<\/figcaption><\/figure>\n\n\n\n

Welche Arten von Pruning gibt es?<\/h2>\n\n\n\n

Diese allgemeinen Unterschiede bei Pruning Algorithmen werden im Folgenden genauer erl\u00e4utert.<\/p>\n\n\n\n

Es gibt zwei M\u00f6glichkeiten einen Entscheidungsbaum zu prunen. Zun\u00e4chst kann man einen bereits fertigen Entscheidungsbaum betrachten und Zweige, die nicht mehr gebraucht werden, nachtr\u00e4glich abschneiden. Hierbei spricht man vom Post-Pruning<\/strong>. Die andere Variante ist das sogenannte Pre-Pruning<\/strong>, bei dem schon w\u00e4hrend der Erstellung des Entscheidungsbaums redundante oder weniger wichtige \u00c4ste weggelassen werden.<\/p>\n\n\n\n

Post-Pruning<\/strong> wird h\u00e4ufiger benutzt und ersetzt Subtrees durch Knoten, wenn sie als \u00fcberfl\u00fcssig angesehen werden. Da es schon zu Beginn einen fertigen Entscheidungsbaum gab, kann man nach dem Pruning die Verbesserungen in Accuracy und Komplexit\u00e4t bei dem gepruntem Baum sehen und mit dem originalen Baum vergleichen.<\/p>\n\n\n\n

Pre-Pruning<\/strong> benutzt ein Stopp-Kriterium, wodurch der Baum nicht weiter ausgebildet wird. Ein Beispiel eines solchen Stopp-Kriteriums ist die Tiefe des Baumes. Es wird also vorgegeben, wie viele Entscheidungsknoten hintereinander maximal erstellt werden d\u00fcrfen. Der Vorgang gilt allgemein als sehr effizient, da der Baum von Anfang an klein gehalten wird und nicht der komplette Datensatz zum Einsatz kommt. Allerdings kann dies dazu f\u00fchren, dass zu fr\u00fch geschnitten wird, ohne alle Informationen zu betrachten und deshalb wichtige Informationen verloren gehen. Dieser Effekt wird Horizont Effekt<\/em> genannt.<\/p>\n\n\n\n

Die Richtung, in der man den Baum beim Post-Pruning durchgeht, wird Bottom-Up<\/strong> beziehungsweise Top-Down<\/strong> Pruning genannt. Dies beschreibt, wie die Namen vorgeben, die jeweilige Durchlauf-Richtung des Algorithmus, d.h. von der Wurzel zu den Bl\u00e4ttern oder umgekehrt.<\/p>\n\n\n\n

Bottom-Up<\/strong> startet beim tiefsten Punkt und wandert dann rekursiv nach oben, w\u00e4hrend Top-Down Pruning von der Wurzel aus nach unten zu den Bl\u00e4ttern geht. Das bildet f\u00fcrs Top-Down<\/strong> Pruning ein Risiko, dass Subtrees abgeschnitten werden, obwohl sich darunter noch relevante Knoten befinden.<\/p>\n\n\n\n

Pruning macht Decision Trees auch weiterhin \u00fcbersichtlich<\/h2>\n\n\n\n

Entscheidungsb\u00e4ume sind also ein praktisches Tool zur einfachen Veranschaulichung von Entscheidungsprozessen zur Klassifikation oder der Darstellung von Regeln. Gerade in der heutigen Zeit von immer gr\u00f6\u00dfer werdenden Mengen an Daten kann es allerdings zu Problemen kommen, da der Baum ebenfalls zu komplex bzw. un\u00fcbersichtlich werden kann. Pruning kann helfen, dem entgegenzuwirken und Zweige im Baum entfernen, die zur Ergebnisfindung nicht ben\u00f6tigt werden und daher redundant sind.<\/p>\n\n\n\n

Sie m\u00f6chten das Thema Prinung weiter vertiefen? In unserem n\u00e4chsten Blog-Beitrag widmen wir uns dem Thema Pruningalgorithmen [sp\u00e4ter verlinken], in welchem wir die beiden Algorithmen Pessimistic Error Pruning und Minimum Error Pruning gegen\u00fcberstellen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Decision Trees sind eines der leicht-verst\u00e4ndlichsten und \u00fcbersichtlichsten Tools im Bereich Machine Learning. Big Data l\u00e4sst sie allerdings zunehmend komplexer werden. Pruning kann hier Abhilfe schaffen und damit Decision Trees wieder zug\u00e4nglicher machen.<\/p>\n","protected":false},"author":22,"featured_media":3984,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390,732],"blog-tag":[1444,1483,1518,1564],"class_list":["post-4922","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-category-ml-classroom-de","blog-tag-algorithmen","blog-tag-entscheidungsbaum","blog-tag-hybrides-maschinelles-lernen","blog-tag-pruning-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4922","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/22"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4922\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3984"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4922"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4922"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4922"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}