Wishart-Verteilung

Gesicht ab Schulterblatt von vorn in schwarzweiß.

Namensgeber der Wishart-Verteilung – John Wishart (1898–1956)

Die Wishart-Verteilung ist eine Wahrscheinlichkeitsverteilung und zwar die matrixvariate Entsprechung der χ²-Verteilung. Sie wurde nach dem schottischen Statistiker John Wishart benannt.

Die Wishart-Verteilung spielt eine zentrale Rolle in der Theorie der Zufallsmatrizen und in der multivariaten Statistik.

Wishart Ensemble

In der Theorie der Zufallsmatrizen bezeichnet das Wishart Ensemble den Raum der Wishart-Matrizen. Analog zu Dysons <math>\beta</math>-Gaußschem Ensemble spricht man auch vom <math>\beta</math>-Wishart Ensemble für (reell) Wishart, komplex Wishart und Quaternion Wishart. Häufig verwendet man aber auch die technische Bezeichnung Laguerre, somit erhält man die <math>\beta</math>-Ensembles LOE, LUE und LSE, benannt nach der Invarianz des Maßes unter der entsprechenden kompakten Lie-Gruppen-Konjugation.

Definition

Formale Definition

Sei <math>M</math> eine <math>m\times m</math>-Zufallsmatrix. Das Wahrscheinlichkeitsmaß<ref>Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 63. </ref>

<math>W_m(n,\Sigma) := \frac{1}{\mathcal{W}_{n,m,\Sigma}}(\det M)^{(n-m-1)/2}e^{-\frac{1}{2}\operatorname{tr}(\Sigma^{-1} M)}\mathrm{d}M,</math>

wobei

<math>\mathcal{W}_{n,m,\Sigma} := 2^{nm/2}\Gamma_m(n/2)(\det \Sigma)^{n/2},</math>

definiert die zentrierte Wishart-Verteilung mit <math>n \geq m</math> Freiheitsgraden auf dem Raum der symmetrischen positiv definiten Matrizen (<math>x^TMx > 0</math>).

Mit <math>\Gamma_m(n/2)</math> bezeichnet man die multivariate Gammafunktion:

<math>\Gamma_m \left(\frac n 2\right) = \pi^{m(m-1)/4}\prod_{j=1}^m \Gamma\left(\frac{n}{2} - \frac{j-1}{2}\right).</math>

Eine Zufallsmatrix <math>M\sim W_m(n,\Sigma)</math> nennt man zentrierte Wishart-Matrix.

Im Fall <math>n < m</math> erhält man singuläre Wishart-Matrizen.<ref>Harald Uhlig: On Singular Wishart and Singular Multivariate Beta Distributions. In: The Annals of Statistics, Ann. Statist. Nr. 22, 1994, doi:10.1214/aos/1176325375. </ref>

Einleitung

Sei <math>X</math> eine <math>m\times n</math>-dimensionale Zufallsmatrix, die der zentrierten matrixvariaten Normalverteilung <math>\mathcal{N}_{n,m}(0,\Sigma,\operatorname{Id})</math> folgt. Dann ist

Wishart-verteilt. Das heißt, eine <math>m \times m</math>-Wishart-Matrix besteht aus <math>\tfrac{1}{2}m(m+1)</math> sich nicht wiederholenden Elementen. Falls <math>\mathbb{E}[X] = 0_{n,m},</math> spricht man von einer zentrierten Wishart-Matrix.

Wenn allerdings <math>X</math> nicht zentriert ist, d. h. <math>X\sim\mathcal{N}_{n,m}(\mu,\Sigma,\operatorname{Id})</math>, dann spricht man von einer nicht-zentrierten Wishart-Matrix, geschrieben <math>M\sim W_m(n,\Sigma,M)</math> (siehe Abschnitt Nicht-zentrierte Wishart-Verteilung). Explizite Formeln sind für diese Matrix in hoher Dimension äußerst kompliziert. Man kann jedoch die charakteristische Funktion angeben.<ref>T. W. Anderson: The Non-Central Wishart Distribution and Certain Problems of Multivariate Statistics. In: The Annals of Statistics, Ann. Statist. Nr. 17, 1946, doi:10.1214/aoms/1177730882. </ref>

Falls <math>X</math> einer komplexen matrixvariaten Normalverteilung folgt, dann ist <math>W</math> komplex Wishart-verteilt.

Eigenwertdichte

Sei <math>M\sim W_m(n,\Sigma)</math> und <math>\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_m</math> die geordneten Eigenwerte. Weiter sei <math>\mathrm{d}Q</math> das normalisierte Haarsche Maß über der orthogonalen Gruppe <math>\mathbb{O}_m</math> und <math>\Lambda = \operatorname{diag}(\lambda_1,\dots,\lambda_m)</math>, dann ist die Eigenwertdichte<ref>Alan T. James: Distributions of Matrix Variates and Latent Roots Derived from Normal Samples. In: The Annals of Mathematical Statistics, Ann. Statist. Nr. 35, 1964, doi:10.1214/aoms/1177703550. </ref>

<math>\mathbb{P}_{m,n}(\lambda_1,\dots,\lambda_m) = C_{m,n}\frac{1}{(\operatorname{det}\Sigma)^{n/2}}\prod\limits_{i}\lambda_i^{\frac{n-m-1}{2}}\prod \limits_{i<j}(\lambda_i-\lambda_j)\int_{\mathbb{O}_m}e^{-\frac{1}{2}\operatorname{tr}(\Sigma^{-1}Q\Lambda Q^t)}\mathrm{d}Q</math>,

wobei <math>C_{m,n}:=\frac{\pi^{m^2/2}}{2^{mn/2}\Gamma_m(m/2)\Gamma_m(n/2)}</math>.

Für das Integral über der orthogonalen Gruppe gibt es keine bekannte geschlossene Formel. Allerdings kann man mit Hilfe der Theorie der zonalen Polynome eine unendliche Reihenentwicklung für das Integral finden.

Für komplexe Wishart-Matrizen geht das Integral über die unitäre Gruppe <math>\mathbb{U}_m</math>, welches man mittels dem Harish-Chandra-Itzykson-Zuber-Integral berechnen kann.

<math>\operatorname{det}(\Sigma)</math> wird auch als verallgemeinerte Varianz bezeichnet.

Nicht-zentrierte Wishart-Verteilung

Eine symmetrische positive <math>p \times p</math>-Zufallsmatrix <math>M</math> folgt der nicht-zentrierten Wishart-Verteilung, geschrieben <math>M \sim W_p(n,\Sigma,\Xi)</math>, falls sie folgende Wahrscheinlichkeitsdichte besitzt:<ref>A.K. Gupta, D.K. Nagar: Matrix Variate Distributions. Chapman & Hall/CRC, ISBN 1-58488-046-5, S. 113–114. </ref>

Für <math>M > 0,\ n \geq p</math> gilt

<math>f(M) = \bigg\{ 2^{\frac{1}{2}np}\Gamma_p\left(\frac{1}{2}n\right)\det(\Sigma)^{\frac{1}{2}n}\bigg\}^{-1}\exp\left(\operatorname{tr}(-\frac{1}{2}\Xi)\right)\exp\left(\operatorname{tr}(-\frac{1}{2}\Sigma^{-1}M)\right)\det(M)^{\frac{1}{2}(n-p-1)}{}_0F_1\left(\frac{1}{2}n;\frac{1}{4}\Xi\Sigma^{-1}M\right),</math>

wobei <math>{}_0F_1</math> die verallgemeinerte hypergeometrische Funktion mit Matrizen-Argument ist.

Wishart-Prozess

Der Wishart-Prozess bzw. dessen Eigenwertprozess ist das Analogon zu Dysons brownscher Bewegung für Kovarianzmatrizen. Sei <math>S_n^+</math> der Raum der semidefiniten reellen <math>n \times n</math>-Matrizen, <math>S_0 \in S_n^+</math> und <math>B_t</math> eine <math>n \times n</math>-Matrix-Brownsche-Bewegung. Weiter sei <math>Q \in \operatorname{GL}_n(\mathbb{R})</math> und <math>M \in \operatorname{Mat}_n(\mathbb{R})</math> sowie <math>\alpha > n-1</math> ein Parameter. Der Wishart-Prozess ist die starke Lösung folgender stochastischen Differentialgleichung:<ref>Marie-France Bru: Wishart Processes. In: Journal of Theoretical Probability, Vol 4. Nr. 4, 1991, S. 725–751, doi:10.1007/bf01259552. </ref>

<math>\mathrm{d}S_t = \sqrt{S_t}\mathrm{d}B_tQ+Q^T\mathrm{d}B_t^T\sqrt{S}_t+\left(MS_t+S_tM^T+\alpha QQ^T\right)\mathrm{d}t,\quad t \geq 0</math>

Betrachtet man das Wishartsche unitäre Ensemble, so wird der Prozess auch häufig Laguerre-Prozess genannt.

Finanzmodelle mit multivariater wishartschen stochastischen Volatilität haben mehr Flexibilität als das klassische Black-Scholes-Modell.

Asymptotisches Spektralmaß

Für unendlich große Standard-Wishart-Matrizen (sowie auch für allgemeinere Formen) gilt für die Eigenwerte das Martschenko-Pastur-Gesetz.

Marchenko-Pastur-Gesetz

Sei <math>M_m \sim W_m(n,\operatorname{Id}_m),\ M = M_m/n</math> und <math>m,n \to \infty,</math> so dass <math>m/n \to \alpha \in (0,\infty)</math>, dann konvergiert das empirische Spektralmaß von <math>M</math> auf <math>[\lambda_{-},\lambda_{+}] := [(1-\sqrt{\alpha})^2,(1+\sqrt{\alpha})^2]</math> schwach nach<ref>Pavel Yaskov: A short proof of the Marchenko-Pastur theorem. In: arXiv. Abgerufen am 30. Mai 2021. </ref>

<math>\operatorname{mp}_{\alpha}(\mathrm{d}x,\omega) := \left(1-\frac{1}{\alpha}\right)^{+}\delta_0+\frac{\sqrt{(x-\lambda_{-})(\lambda_{+}-x)}}{2\pi x\alpha}1_{x\in[\lambda_{-},\lambda_{+}]}\mathrm{d}x\quad \text{fast sicher.}</math>

Tracy-Widom-Gesetz

Der größte Eigenwert einer normalisierten Wishart-Matrix folgt dem Tracy-Widom-Gesetz.

Eigenschaften

Die Wishart-Verteilung hat folgende Eigenschaften:<ref>Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 64. </ref>

Sei <math>M \sim W_m(n,\Sigma)</math> und <math>C</math> eine <math>q \times m</math>-Matrix mit Rang <math>q</math>, dann gilt <math>CMC^{t} \sim W_m(n,C\Sigma C^{t})</math>.
Aus (1.) folgt somit <math>\Sigma^{-\frac{1}{2}}M\Sigma^{-\frac{1}{2}} \sim W_m(n,\operatorname{Id_m})</math>.
Seien <math>(M_i) \sim W_m(n_i,\Sigma)</math> <math>k</math> unabhängige Wishart-Matrizen. Dann ist <math>M = \sum\limits_{i=1}^k M_i \sim W_m(n_1+\dotsb+n_k,\Sigma)</math> (Reproduktivität).
Sei <math>M \sim W_m(n,\Sigma)</math>, dann <math>\mathbb{E}[W_m] = n\Sigma.</math>

Für nicht-zentralisierte Wishart-Matrizen gilt

Seien <math>M_i\sim W_m(n_i,\Sigma,\Xi_i)</math> und <math>i = 1,\dots,k</math> und unabhängig, dann ist <math>M = \sum\limits_{i=1}^k M_i \sim W_m\left(\sum\limits_{i=1}^k n_i,\Sigma,\sum\limits_{i=1}^k\Xi_i\right)</math> (Reproduktivität).

Herleitung

Seien <math>X_1,\dots,X_m \sim \mathcal{N}(0,1)</math> (standardnormalverteilte Zufallsvariablen). Summiert man die Quadrate der <math>X_i,</math> erhält man eine Chi-Quadrat-verteilte Zufallsvariable mit <math>m</math> Freiheitsgraden:

Diese Summe lässt sich aber auch als das Produkt eines <math>m</math>-variaten Zufallsvektors mit seiner Transponierten auffassen:

wobei <math>Z = (X_1,\dots,X_m) \sim \mathcal{N}_m(0,\Sigma)</math>.

Hat man nun <math>n</math> unabhängige Zufallsvektoren <math>Z_1,\dots,Z_n \sim \mathcal{N}_m(0,\Sigma)</math>, fasst man diese in einer <math>m \times n</math>-Zufallsmatrix zusammen:

<math>\mathbf{X}=

\begin{pmatrix} \vline & \vline & \vline & \vline\\ Z_1' & Z_2' & \dots & Z_n'\\ \vline & \vline & \vline & \vline \end{pmatrix} = \begin{pmatrix}Z^{(1)}_1 & Z^{(2)}_1 & \cdots & Z^{(n)}_1\\ Z^{(1)}_2 & Z^{(2)}_2 & \cdots & Z^{(n)}_2\\ \vdots & \vdots & \cdots & \vdots\\ Z^{(1)}_m & Z^{(2)}_m & \cdots & Z^{(n)}_m\\ \end{pmatrix}</math>. Multipliziert man <math>\mathbf{X}</math> mit ihrer Transponierten, erhält man eine (symmetrische) <math>m \times m</math>-Zufallsmatrix, die der Wishart-Verteilung mit <math>n</math> Freiheitsgraden folgt:

<math>\textbf{W} = \mathbf{X}\mathbf{X}' = \sum_{i=1}^{n} Z_i'Z_i</math>

mit <math>\textbf{W} \sim W_m(n,\Sigma)</math>.

Erläuterungen

Betrachte <math>n=10</math> Observationen mit <math>2</math> Parametern <math>Z_1,Z_2,\dots,Z_{10} \sim \mathcal{N}_2(0,\Sigma)</math>. Sei <math>Z_1 = (z^{(1)}_1,z^{(1)}_2),Z_2 = (z^{(2)}_1,z^{(2)}_2),\dots, Z_{10} = (z^{(10)}_1,z^{(10)}_2) </math>, dann ist

<math>

\begin{align} \textbf{W} = \sum_{i=1}^{10} Z_i'Z_i &= \begin{pmatrix}\left(z^{(1)}_1\right)^2 & z^{(1)}_1z^{(1)}_2\\ z^{(1)}_1z^{(1)}_2 & \left(z^{(1)}_2\right)^2 \end{pmatrix} + \begin{pmatrix}\left(z^{(2)}_1\right)^2 & z^{(2)}_1z^{(2)}_2\\ z^{(2)}_1z^{(2)}_2 & \left(z^{(2)}_2\right)^2 \end{pmatrix} +\cdots+ \begin{pmatrix}\left(z^{(10)}_1\right)^2 & z^{(10)}_1z^{(10)}_2\\ z^{(10)}_1z^{(10)}_2 & \left(z^{(10)}_2\right)^2 \end{pmatrix} \\ &=\begin{pmatrix}\left(z^{(1)}_1\right)^2+\left(z^{(2)}_1\right)^2 +\cdots+\left(z^{(10)}_1\right)^2 & z^{(1)}_1z^{(1)}_2+z^{(2)}_1z^{(2)}_2 + \cdots + z^{(10)}_1z^{(10)}_2\\ z^{(1)}_1z^{(1)}_2+z^{(2)}_1z^{(2)}_2 +\cdots+ z^{(10)}_1z^{(10)}_2 & \left(z^{(1)}_2\right)^2+\left(z^{(2)}_2\right)^2+\cdots + \left(z^{(10)}_2\right)^2 \end{pmatrix}\end{align} </math>. Das heißt, die Wishart-Matrix ist in diesem Beispiel die Summe aus zehn verschiedenen Matrizen.

Statistisches Beispiel

Seien <math>X_1, \dotsc, X_n</math> i.i.d. <math>p</math>-dimensionale Zufallsvektoren mit Verteilung <math>\mathcal{N}_p(\mu,\Sigma)</math>. Definiere die Schätzfunktionen für den Erwartungswert und die Varianz

<math>\overline{X} = \frac{1}{n}\sum\limits_{i=1}^n X_i</math>

<math>S = \frac{1}{n-1}\sum\limits_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^t</math>

Dann gilt

<math>(n-1)S \sim W_p(n-1,\Sigma).</math>

Erläuterung

Das heißt, die unnormalisierte Kovarianzmatrix der Zufallsstichprobe aus einer multivariaten Normalverteilung folgt der Wishart-Verteilung. Für den Maximum-Likelihood-Schätzer für die Kovarianzmatrix gilt:

<math>\widehat{\Sigma}_{ML} = \frac{(n-1)}{n}S</math>

Weblinks

Eric W. Weisstein: Wishart Distribution. In: MathWorld (englisch).

Literatur

Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin/Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.

Einzelnachweise