{"id":11877,"date":"2024-04-24T07:31:37","date_gmt":"2024-04-24T07:31:37","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&p=11877"},"modified":"2025-11-12T14:51:11","modified_gmt":"2025-11-12T14:51:11","slug":"clustering-gaussian-mixture-models","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/clustering-gaussian-mixture-models\/","title":{"rendered":"Clustering zur Erkennung von Mustern in der Medizin: Gaussian Mixture Models erkl\u00e4rt"},"content":{"rendered":"\n

In medizinischen Daten befinden sich h\u00e4ufig komplexe Muster, die mit blo\u00dfem Auge schwer zu erkennen sind, jedoch f\u00fcr die weiterf\u00fchrende Diagnostik und Therapie von gro\u00dfer Bedeutung sein k\u00f6nnen. Beispielsweise liegen verborgene Zusammenh\u00e4nge zwischen bestimmten Personengruppen und der Wirkung eines Medikaments vor. Um solche Strukturen zu erfassen, werden in der Medizin oftmals Clustering-Verfahren eingesetzt. Hierbei ist das Ziel die Zusammenfassung \u00e4hnlicher Datenpunkte zu Gruppen, sogenannten Clustern.<\/p>\n\n\n\n

In diesen F\u00e4llen bietet sich der flexible Clustering-Algorithmus Gaussian Mixture Models (GMM)<\/strong> an, der auf einem Wahrscheinlichkeitsmodell basiert, das Daten als Mischung von Gau\u00df-Verteilungen<\/strong> beschreibt. Durch die Verwendung von GMMs auf klinischen und krankheitsbezogenen Daten k\u00f6nnen Patient*innen mit \u00e4hnlichen Eigenschaften\/Symptomen oder Krankheiten anhand ihrer Merkmale gruppiert werden. Dies kann dabei helfen, ein tieferes Verst\u00e4ndnis f\u00fcr Krankheiten zu gewinnen, Behandlungserfolge zu prognostizieren und entsprechende medizinische Interventionen zu empfehlen.<\/p>\n\n\n\n

Grundlagen: Gau\u00df-Verteilungen<\/strong><\/h2>\n\n\n\n

Die Grundlage von GMMs bildet die glockenf\u00f6rmige Gau\u00df-Verteilung<\/strong>, die auch als Normalverteilung bekannt ist und eine wichtige Art von Wahrscheinlichkeitsverteilungen f\u00fcr kontinuierliche Variablen darstellt. Viele Ph\u00e4nomene in der Natur, wie z.B. die Verteilung der K\u00f6rpergr\u00f6\u00dfe oder IQ-Werte innerhalb einer Bev\u00f6lkerung, folgen n\u00e4herungsweise der Gau\u00df-Verteilung. Die Gau\u00df-Funktion gibt die Wahrscheinlichkeit daf\u00fcr an, dass Zufallsvariablen, so wie die K\u00f6rpergr\u00f6\u00dfe, bestimmte Werte annehmen.<\/p>\n\n\n\n

\"-
\u00a9 Lea Nguyen
Abbildung 1<\/strong>: Links ist eine Gau\u00df-Verteilung zu sehen, die von der Zufallsvariable  x abh\u00e4ngt. Rechts ist eine Gau\u00df-Verteilung abgebildet, welche von den zwei Zufallsvariablen x und y abh\u00e4ngt.<\/figcaption><\/figure>\n\n\n\n

Eine Gau\u00df-Verteilung mit mehreren Zufallsvariablen (s. Abb.1 rechts) wird durch folgende Parameter definiert: den Mittelwertsvektor<\/strong>, der die typisch erwarteten Werte der Variablen angibt, und die Kovarianzmatrix<\/strong>, welche den Grad des linearen Zusammenhangs der Variablen misst. Ein GMM besteht aus einer Kombination verschiedener solcher Gau\u00df-Verteilungen. <\/strong>Diese sind jeweils mit einem sogenannten Mischungskoeffizienten<\/strong> gewichtet, der den Einfluss einer individuellen Verteilung auf die Gesamtverteilung bestimmt. Insgesamt geh\u00f6ren zu den Parametern eines GMM die Mischungskoeffizienten, Mittelwertsvektoren und Kovarianzmatrizen der einzelnen Gau\u00df-Verteilungen.<\/p>\n\n\n\n

\"-
\u00a9 Lea Nguyen
Abbildung 2:<\/strong> Zwei verschiedene Gau\u00df-Verteilungen und ihre Konturdiagramme.<\/figcaption><\/figure>\n\n\n\n

Doch welcher Zusammenhang besteht zwischen GMMs und Clustern? Zur Beantwortung dieser Frage schauen wir uns Abbildung 2 an, auf der zwei verschiedene Gau\u00df-Verteilungen zu sehen sind. Wenn wir die Perspektive \u00e4ndern und \u201evon oben\u201c auf die Verteilungen schauen, so erkennen wir, dass jede Gau\u00df-Verteilung ein ellipsenf\u00f6rmiges Cluster repr\u00e4sentiert. Diese Darstellung wird auch als Konturdiagramm bezeichnet. Dabei sind die Position des Zentrums sowie die Form und Ausrichtung der Cluster durch die Parameter der Gau\u00df-Verteilung festgelegt. Die einzelnen Ellipsen geben an, wie wahrscheinlich es ist, dass ein Datenpunkt zu dem jeweiligen Cluster geh\u00f6rt. Der Gau\u00df-Funktion entsprechend nimmt diese Wahrscheinlichkeit vom Ellipsenzentrum nach au\u00dfen hin glockenf\u00f6rmig ab. Zusammenfassend bedeutet das f\u00fcr uns, dass GMMs verschiedene ellipsenf\u00f6rmige Cluster<\/strong> modellieren<\/strong> k\u00f6nnen, was wir nachfolgend f\u00fcr den Clustering-Prozess verwenden.<\/p>\n\n\n\n

Wie funktioniert der Clustering-Prozess?<\/strong><\/h2>\n\n\n\n
\"-
\u00a9 Lea Nguyen
Abbildung 3<\/strong>: Links befinden sich 100 Datenpunkte in Abh\u00e4ngigkeit der Variablen x und y. Rechts sind die Datenpunkte nach Anwendung des Expectation-Maximization-Algorithmus in drei verschiedene Cluster gruppiert.<\/figcaption><\/figure>\n\n\n\n

Wir wissen jetzt, dass ein GMM unterschiedliche Cluster darstellen kann – doch wie genau funktioniert der Clustering-Prozess? Zu Beginn haben wir eine Stichprobe mit mehreren Datenpunkten gegeben, die wir in eine vorgegebene Anzahl von Clustern gruppieren m\u00f6chten. Wir nehmen an, dass die Datenpunkte durch ein GMM beschrieben werden k\u00f6nnen, dessen Clusterparameter (Mischungskoeffizienten, Mittelwertsvektoren, Kovarianzmatrizen) noch unbekannt sind. Unser Ziel ist es, diese Parameter so anzupassen, sodass die Datenpunkte optimal durch die Cluster dargestellt werden (s. Abb. 3).<\/p>\n\n\n\n

Um dies zu erreichen, m\u00fcssen wir die Wahrscheinlichkeit daf\u00fcr maximieren, dass die Datenpunkte durch ein GMM beschrieben werden. Diese Wahrscheinlichkeit wird durch die sogenannte Log-Likelihood-Funktion<\/strong> gegeben, die von den unbekannten Parametern abh\u00e4ngt. Zur Maximierung der Log-Likelihood-Funktion durch Sch\u00e4tzung der optimalen Clusterparameter verwenden wir den iterativen, numerischen Expectation-Maximization-Algorithmus<\/strong>, welcher folgende Schritte umfasst:<\/p>\n\n\n\n

    \n
  1. Initialisierung<\/strong>: Zu Beginn initialisieren wir die Werte der Mittelwertsvektoren, Kovarianzmatrizen und Mischungskoeffizienten der Cluster (z.B. mithilfe des k-Means-Algorithmus<\/a>).<\/li>\n\n\n\n
  2. Expectation-Schritt<\/strong>: Anschlie\u00dfend berechnen wir f\u00fcr jeden einzelnen Datenpunkt seine sogenannte Responsibility<\/strong>. Dieser gibt an, mit welcher Wahrscheinlichkeit ein Datenpunkt zu einem Cluster geh\u00f6rt. GMMs werden daher im Gegensatz zum k-Means-Algorithmus auch als Soft-Clustering-Methode<\/strong> bezeichnet, da die Responsibility statt \u201eharten\u201c 0-oder-1-Zuordnungen \u201eweiche\u201c Wahrscheinlichkeiten zuweist und ein Datenpunkt mehr als einem Cluster zugeordnet sein kann.<\/li>\n\n\n\n
  3. Maximization-Schritt:<\/strong> Anhand der berechneten Responsibilities aktualisieren wir die Clusterparameter und n\u00e4hern uns dadurch den optimalen Parametern an. Hierbei kommt das statistische Verfahren Maximum-Likelihood-Sch\u00e4tzung <\/strong>zum Einsatz, das die Maximierung der Log-Likelihood-Funktion zum Ziel hat.<\/li>\n\n\n\n
  4. Evaluation<\/strong>: Nun \u00fcberpr\u00fcfen wir, ob die Log-Likelihood-Funktion konvergiert, sich also nicht mehr wesentlich ver\u00e4ndert. Falls die Konvergenzbedingung noch nicht erf\u00fcllt ist, kehren wir zu Schritt 2 zur\u00fcck und wiederholen die Expectation- und Maximization-Schritte.<\/li>\n<\/ol>\n\n\n\n

    Insgesamt garantiert der Expectation-Maximization-Algorithmus, dass die Log-Likelihood-Funktion in jeder Parameteraktualisierung im Maximization-Schritt erh\u00f6ht wird oder  gleichbleibt. Dadurch n\u00e4hern wir uns nach mehreren Wiederholungen einer Maximalstelle der Log-Likelihood-Funktion an, sodass unsere Daten zum Schluss optimal durch die Cluster des GMM beschrieben werden. <\/p>\n\n\n\n

    Von der Theorie in die Praxis: Gruppierung von Diabetes-Patient*innen<\/strong><\/h2>\n\n\n\n
    \"-
    \u00a9 Lea Nguyen
    Abbildung 4<\/strong>: Links sind 300 Datenpunkte abgebildet, die Personen mit Typ-2-Diabetes abh\u00e4ngig von ihrem Alter und Body-Mass-Index repr\u00e4sentieren. Rechts sind die Personen nach Anwendung des Expectation-Maximization-Algorithmus in drei verschiedene Cluster gruppiert.<\/figcaption><\/figure>\n\n\n\n

    Wie k\u00f6nnen wir GMMs auf medizinische Daten anwenden und welche Erkenntnisse k\u00f6nnen wir daraus gewinnen? Wir stellen uns im Folgenden ein vereinfachtes Beispiel vor: 300 Personen mit Typ-2-Diabetes zu ihrem Alter und Body-Mass-Index (BMI)<\/a> werden befragt (s. Abb. 4 links). Unser Ziel ist es herauszufinden, ob bestimmte Muster in den Daten vorliegen, die uns f\u00fcr die weitere medizinische Behandlung hilfreich sein k\u00f6nnten. Daf\u00fcr nehmen wir an, dass die Daten durch ein GMM mit drei Clustern dargestellt werden k\u00f6nnen und wenden zur Sch\u00e4tzung der optimalen Clusterparameter anschlie\u00dfend den Expectation-Maximization-Algorithmus an. Als Ergebnis erhalten wir die in Abb. 4 rechts zu sehenden Cluster. <\/p>\n\n\n\n

    In der realen Forschung werden neben dem Alter und BMI viele weitere Dimensionen ber\u00fccksichtigt, z.B. das Geschlecht, der Blutdruck oder famili\u00e4re Vorerkrankungen. Jedes Cluster repr\u00e4sentiert dabei eine Menge von Diabetes-Patient*innen und wird durch bestimmte hervorstechende Merkmale charakterisiert. Diese Gruppierung erm\u00f6glicht es, Patient*innen entsprechende medizinische Strategien zu empfehlen, wie beispielsweise Stoffwechselkontrolle f\u00fcr das erste oder familienbasierte Interventionen f\u00fcr das zweite Cluster.<\/p>\n\n\n\n

    Was sind die Vor- und Nachteile von Gaussian Mixture Models?<\/strong><\/h2>\n\n\n\n

    Vorteile:<\/strong><\/p>\n\n\n\n