Quelltext der Seite Unabhängigkeitsanalyse

Die '''Unabhängigkeitsanalyse''' bzw. '''Independent Component Analysis''' ('''ICA''') ist eine Methode der [[Multivariate Verfahren|multivariaten Statistik]]. Sie wurde 1991 veröffentlicht<ref>{{Literatur |Autor=Christian Jutten, Jeanny Herault |Titel=Blind Separation of Sources. Part 1: An Adaptive Algorithm Based on Neuromimetic Architecture |Sammelwerk=Signal Process |Band=24 |Nummer=1 |Datum=1991-08-01 |Seiten=1–10 |DOI=10.1016/0165-1684(91)90079-X}}</ref> und dient der Berechnung unabhängiger Komponenten in einer Mischung [[Stochastisch unabhängige Zufallsvariablen|statistisch unabhängiger]] [[Zufallsvariable]]n. Sie ist nahe verwandt mit dem [[Blind Source Separation|Blind-Source-Separation]]-Problem (BSS).

== Problemstellung ==
Es wird davon ausgegangen, dass der Vektor <math>\vec{s}</math> aus <math>n</math> statistisch unabhängigen Zufallsvariablen besteht. Damit die ICA angewendet werden kann, darf maximal eine der Zufallsvariablen [[Normalverteilung|gauß-verteilt]] sein. Die Zufallsvariablen werden mit einer Mischmatrix <math>A</math> multipliziert. Der Einfachheit halber wird davon ausgegangen, dass diese Mischmatrix quadratisch ist. Das Resultat sind gemischte Zufallsvariablen im Vektor <math>\vec{x}</math>, welcher die gleiche Dimension besitzt wie <math>\vec{s}</math>.

: <math>\vec{x} = A\vec{s}</math>

Das Ziel der ICA ist es, die unabhängigen Zufallsvariablen im Vektor <math>\vec{y}</math> möglichst originalgetreu zu rekonstruieren. Hierfür steht nur das Ergebnis der Mischung <math>\vec{x}</math> zur Verfügung und das Wissen, dass die Zufallsvariablen ursprünglich stochastisch unabhängig waren.
Es ist eine geeignete Matrix <math>B = A^{-1}</math> gesucht, so dass

: <math>\vec{y} = B\vec{x}</math>.

Da weder die Mischmatrix noch die unabhängigen Zufallsvariablen bekannt sind, lassen sich diese nur mit Abstrichen rekonstruieren. Die [[Varianz (Stochastik)|Varianz]] und damit die Energie der unabhängigen Zufallsvariablen lässt sich nicht bestimmen, da die unabhängigen Zufallsvariablen <math>s_i</math> und der korrespondierende Spaltenvektor <math>\vec{a}_i</math> der Mischmatrix mit einer beliebigen Konstante <math>\alpha_i</math> so gewichtet werden können, dass sich die Skalierungen gegenseitig aufheben:

: <math>\vec{X} = \sum_i\left(\frac{1}{\alpha_i}\vec{a}_i\right)(s_i\alpha_i)</math>

Zudem kann die Reihenfolge der Spaltenvektoren der Mischmatrix nicht rekonstruiert werden.<ref>{{Literatur |Autor=A. Hyvärinen, E. Oja |Titel=Independent component analysis: algorithms and applications |Sammelwerk=Neural Networks |Band=13 |Nummer=4–5 |Datum=2016-06-01 |Seiten=411–430 |DOI=10.1016/S0893-6080(00)00026-5 }}</ref>

== Problemlösung ==
In der Regel wird davon ausgegangen, dass die gemischten Zufallsvariablen [[Mittelwertfreiheit|mittelwertfrei]] sind. Ist dies nicht der Fall, so kann dies durch Subtraktion des Mittelwerts erreicht werden.

=== Pre-Whitening ===
Das Pre-Whitening ist eine [[lineare Transformation]], welche der Vorverarbeitung dient. Dazu wird eine [[Hauptkomponentenanalyse]] (PCA) durchgeführt. Das Ergebnis sind die [[Eigenwertproblem|Eigenwerte]] und die Eigenvektoren der [[Kovarianzmatrix]] der gemischten Zufallsvariablen. Die Eigenvektoren bilden die Zeilen der Drehmatrix <math>R</math>, welche mit dem Vektor <math>\vec{x}</math> multipliziert wird. Die Eigenwerte <math>e_i</math> entsprechen der Varianz der jeweiligen Hauptkomponente. Die Kehrwerte ihrer Quadratwurzeln werden zur Bildung der Diagonalmatrix <math>D</math> benutzt, so dass

: <math>\vec{z} = DR\vec{x}</math>,
mit
:<math>D = \begin{pmatrix} e_1^{-\tfrac{1}{2}} &  &  & 0 \\  & . &  & \\  &  & . & \\ 0 &  &  & e_n^{-\tfrac{1}{2}} \end{pmatrix}.</math>

Durch das Multiplizieren mit der Diagonalmatrix wird die Varianz der Hauptkomponenten auf 1 normiert.

=== Bestimmung der unabhängigen Komponenten ===
Durch das Pre-Whitening sind die Zufallsvariablen noch nicht stochastisch unabhängig, aber das Problem wurde auf die Suche nach einer orthogonalen Drehmatrix <math>U</math> reduziert:

:<math>\vec{y} = U\vec{z}</math>

Für die Suche nach <math>U</math> wird auf den [[Zentraler Grenzwertsatz|Zentralen Grenzwertsatz]] zurückgegriffen. Dieser besagt, dass die Mischung normierter, [[Zentrierung (Statistik)|zentrierter]] Zufallszahlen mit zunehmender Anzahl einer Normalverteilung ähnelt. Da die Zufallsvariablen in <math>\vec{z}</math> diese Voraussetzung erfüllen, muss es eine Drehmatrix <math>U</math> geben, die möglichst nicht normalverteilte Zufallszahlen in <math>\vec{y}</math> erzeugt. Für die konkrete Umsetzung dieser Suche gibt es mehrere Lösungsansätze.

==== Kurtosis ====
Die [[Wölbung (Statistik)|Kurtosis]] ist ein Maß für die Abweichung von einer [[Normalverteilung]]. Sie ist definiert durch

: <math>\operatorname{kurt}(X) = E(X^4)-3E(X^2)^2 = E(X^4)-3.</math>

Da die Zufallsvariablen in ihrer Varianz normiert sind, wird <math>E(X^2)</math> gleich Eins. Die Kurtosis wird Null, wenn die Verteilung gauß-ähnlich ist. Ist die Kurtosis negativ, so ähnelt sie zunehmend einer [[Gleichverteilung]]. Ist sie positiv, so ist die Verteilung eher eine [[Laplace-Verteilung]]. Die Kurtosis muss demnach maximiert bzw. minimiert werden, um sich von einer Normalverteilung zu entfernen. Hierzu werden [[Gradientenverfahren]] verwendet, zum Beispiel in Anlehnung an die [[Lernregel von Oja]].

==== Negentropie ====
Ein weiterer Ansatz ist die Maximierung der [[Negentropie]].

: <math>J(X) = H(\mathcal N(\mu_X,\sigma_X^2))-H(X) \geq 0</math>,

wobei <math>H</math> die [[Entropie (Informationstheorie)|Entropie]] bezeichne und <math>\mathcal N(\mu_X,\sigma_X^2)</math> diejenige [[Normalverteilung]] sei, deren [[Erwartungswert]] und [[Varianz (Stochastik)|Varianz]] denen von <math>X</math> entsprechen.

Da <math>H(X)</math> jedoch schwer zu bestimmen ist, verwendet man meist Näherungsformeln für die Negentropie.

Ein Beispiel hierfür ist die Berechnung über die –&nbsp;häufig empirisch bestimmte&nbsp;– [[Schiefe (Statistik)|Schiefe]] und [[Kurtosis]] der Verteilung <math>X</math> vermöge:

: <math>J(X) \approx \frac{1}{12}(\operatorname{skew}(X))^2 + \frac{1}{48}(\operatorname{kurt}(X))^2 </math>

==== Fast ICA ====
''Fast ICA'' ist ein Fixpunktalgorithmus, der das Problem über ein [[Newton-Verfahren]] löst.

== Literatur ==
* Pierre Comon: ''Independent Component Analysis: a new concept?'' In: ''Signal Processing'' Vol. 36, Nr. 3, 1994, S. 287–314, {{DOI|10.1016/0165-1684(94)90029-9}}.

== Weblinks ==
* [http://www.cis.hut.fi/projects/ica/fastica/ FastICA Implementierungen für Matlab, R, C++, und Python] (englisch)
* [http://www.cs.helsinki.fi/u/ahyvarin/whatisica.shtml Was ist Independent Component Analysis?] Universitätshomepage von A. Hyvärinen (englisch)

== Einzelnachweise ==
<references />

{{SORTIERUNG:Unabhangigkeitsanalyse}}
[[Kategorie:Multivariate Statistik]]