Kovarianzmatrix
{{#if: behandelt die Kovarianzmatrix als Kenngröße der multivariaten Wahrscheinlichkeitsverteilung eines Zufallsvektors. Für die Kovarianzmatrix einer mehrdimensionalen Stichprobe siehe Stichprobenkovarianz.
| Vorlage:Hinweisbaustein | {{#ifeq: 0 | 0 |}}
}}
In der Stochastik ist die Kovarianzmatrix die Verallgemeinerung der Varianz einer eindimensionalen Zufallsvariable auf eine mehrdimensionale Zufallsvariable, d. h. auf einen Zufallsvektor. Die Elemente auf der Hauptdiagonalen der Kovarianzmatrix stellen die jeweiligen Varianzen dar, und alle übrigen Elemente Kovarianzen. Die Kovarianzmatrix wird auch Varianz-Kovarianzmatrix oder selten Streuungsmatrix bzw. Dispersionsmatrix ({{#invoke:Vorlage:lang|full|CODE=la |SCRIPTING=Latn |SERVICE=lateinisch}} dispersio „Zerstreuung“, von dispergere „verteilen, ausbreiten, zerstreuen“) genannt und ist eine positiv semidefinite Matrix. Sind alle Komponenten des Zufallsvektors <math>\mathbf{X}</math> linear unabhängig, so ist die Kovarianzmatrix positiv definit.
Definition
Sei <math>\mathbf{X}</math> ein Zufallsvektor
- <math>\mathbf{X} = \begin{pmatrix}
X_1 \\
X_2 \\
\vdots \\
X_n
\end{pmatrix}</math>.
Weiter sei <math>\operatorname{E}(X_i)=\mu_i</math> der Erwartungswert von <math>X_i</math>, <math>\operatorname{Var}(X_i)=\sigma^2_i</math> die Varianz von <math>X_i</math> und <math>\operatorname{Cov}(X_i,X_j)=\sigma_{ij}\;,i\ne j</math> die Kovarianz der reellen Zufallsvariablen <math>X_i</math> und <math>X_j</math>. Der Erwartungswertvektor von <math>\mathbf{X}</math> ist dann gegeben durch (siehe Erwartungswert von Matrizen und Vektoren)
- <math>\operatorname{E}(\mathbf{X}) = \operatorname{E}\begin{pmatrix}
X_1 \\ X_2 \\ \vdots \\ X_n
\end{pmatrix}= \begin{pmatrix}
\mu_1 \\
\mu_2 \\
\vdots \\
\mu_n
\end{pmatrix}=\boldsymbol \mu</math>,
d. h. der Erwartungswert des Zufallsvektors ist der Vektor der Erwartungswerte. Eine Kovarianzmatrix für den Zufallsvektor <math>\mathbf{X}</math> lässt sich wie folgt definieren:<ref name="Judge 43">George G. Judge, R. Carter Hill, William E. Griffiths, Helmut Lütkepohl, Tsoung-Chao Lee: Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York NY u. a. 1988, ISBN 0-471-62414-4, S. 43.</ref>
- <math>\begin{align}
\operatorname{Cov}(\mathbf{X}) & = \operatorname{E}\left((\mathbf X-\boldsymbol \mu)(\mathbf X-\boldsymbol \mu)^\mathsf{T}\right)\\
\\&=\operatorname{E}\begin{pmatrix}
(X_1 - \mu_1)^2 & (X_1 - \mu_1)(X_2 - \mu_2) & \cdots & (X_1 - \mu_1)(X_n - \mu_n) \\ \\ (X_2 - \mu_2)(X_1 - \mu_1) & (X_2 - \mu_2)^2 & \cdots & (X_2 - \mu_2)(X_n - \mu_n) \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
(X_n - \mu_n)(X_1 - \mu_1) & (X_n - \mu_n)(X_2 - \mu_2) & \cdots & (X_n - \mu_n)^2 \end{pmatrix} \\
\\ & = \begin{pmatrix}\operatorname{Var}(X_1) & \operatorname{Cov}(X_1,X_2) & \cdots & \operatorname{Cov}(X_1,X_n) \\ \\
\operatorname{Cov}(X_2,X_1) & \operatorname{Var}(X_2) & \cdots & \operatorname{Cov}(X_2,X_n) \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
\operatorname{Cov}(X_n,X_1) & \operatorname{Cov}(X_n,X_2) & \cdots & \operatorname{Var}(X_n) \end{pmatrix} \\
\\ & = \begin{pmatrix}
\sigma^2_1 & \sigma_{12} & \cdots & \sigma_{1n} \\ \\
\sigma_{21} & \sigma^2_2 & \cdots & \sigma_{2n} \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
\sigma_{n1} & \sigma_{n2} & \cdots & \sigma^2_n
\end{pmatrix}
\\ \\ & =
\mathbf \Sigma \end{align}</math>
Die Kovarianzmatrix wird mit <math>\operatorname{Cov}(\mathbf{X})</math>, oder <math>\mathbf \Sigma_X</math> notiert und die Kovarianzmatrix der asymptotischen Verteilung einer Zufallsvariablen mit <math>\boldsymbol{\operatorname{V}}</math> oder <math>\overline \boldsymbol{\operatorname{V}}</math>. Die Kovarianzmatrix und der Erwartungswertvektor sind die wichtigsten Kenngrößen einer Wahrscheinlichkeitsverteilung. Sie werden bei einer Zufallsvariablen als Zusatzinformationen wie folgt angegeben: <math>X \; \sim \; (\boldsymbol \mu,\mathbf \Sigma)</math>. Die Kovarianzmatrix als Matrix aller paarweisen Kovarianzen der Elemente des Zufallsvektors enthält Informationen über seine Streuung und über Korrelationen zwischen seinen Komponenten. Wenn keine der Zufallsvariablen <math>X_1, \ldots, X_n</math> degeneriert ist (d. h. wenn keine von ihnen eine Varianz von Null aufweist) und kein exakter linearer Zusammenhang zwischen den <math>X_i</math> vorliegt, dann ist die Kovarianzmatrix positiv definit.<ref name="Judge 43" /> Man spricht außerdem von einer skalaren Kovarianzmatrix, wenn alle Außerdiagonaleinträge der Matrix Null sind und die Diagonalelemente dieselbe positive Konstante darstellen.<ref>Jeffrey M. Wooldridge: Introductory econometrics. A modern approach. 5th edition, international edition. South-Western Cengage Learning, Mason OH u. a. 2013, ISBN 978-1-111-53439-4, S. 857.</ref>
Eigenschaften
Grundlegende Eigenschaften
- Für <math>i=j</math> gilt: <math>\operatorname{Cov}(X_i, X_j)=\operatorname{Var}(X_i)</math>. Somit enthält die Kovarianzmatrix auf der Hauptdiagonalen die Varianzen der einzelnen Komponenten des Zufallsvektors. Alle Elemente auf der Hauptdiagonalen sind daher nichtnegativ.
- Eine reelle Kovarianzmatrix ist symmetrisch, da die Kovarianz zweier Zufallsvariablen symmetrisch ist.
- Die Kovarianzmatrix ist positiv semidefinit: Aufgrund der Symmetrie ist jede Kovarianzmatrix mittels Hauptachsentransformation diagonalisierbar, wobei die Diagonalmatrix wieder eine Kovarianzmatrix ist. Da auf der Diagonale nur Varianzen stehen, ist die Diagonalmatrix folglich positiv semidefinit und somit auch die ursprüngliche Kovarianzmatrix.
- Umgekehrt kann jede symmetrische positiv semidefinite <math>d\times d</math>-Matrix als Kovarianzmatrix eines <math>d</math>-dimensionalen Zufallsvektors aufgefasst werden.
- Aufgrund der Diagonalisierbarkeit, wobei die Eigenwerte (auf der Diagonale) wegen der positiven Semidefinitheit nicht-negativ sind, können Kovarianzmatrizen als Ellipsoide dargestellt werden.
- Für alle Matrizen <math>\mathbf A\in\R^{m\times n}</math> gilt <math>\operatorname{Cov}(\mathbf A\mathbf X) = \operatorname{E}\Big(\mathbf A (\mathbf X - \operatorname{E}(\mathbf X))(\mathbf X - \operatorname{E}(\mathbf X))^\mathsf{T} \mathbf A^\mathsf{T}\Big) = \mathbf A \operatorname{Cov}(\mathbf X)\ \mathbf A^\mathsf{T}</math>.
- Für alle Vektoren <math>\mathbf b\in\R^n</math> gilt <math>\operatorname{Cov}(\mathbf X+\mathbf b) = \operatorname{Cov}(\mathbf X)</math>.
- Sind <math>\mathbf X</math> und <math>\mathbf Y</math> unkorrelierte Zufallsvektoren, dann gilt <math>\operatorname{Cov}(\mathbf X+\mathbf Y) = \operatorname{Cov}(\mathbf X)+\operatorname{Cov}(\mathbf Y)</math>.
- Sind die Elemente <math>X_i </math> von <math>\mathbf X</math> unkorreliert, so gilt <math>\operatorname{Cov}(\mathbf X)=\operatorname{diag}(\sigma_1^2, \sigma_2^2, \dots, \sigma_n^2)</math>, d. h. die Kovarianzmatrix ist eine Diagonalmatrix.
- Man erhält mit der Diagonalmatrix <math>\mathbf{D}= \left(\operatorname{diag}(\boldsymbol{\Sigma})\right)^{1/2} = \operatorname{diag} (\sigma_1, \sigma_2, \dotsc, \sigma_n)</math> die Kovarianzmatrix durch die Beziehung <math>\boldsymbol{\Sigma} = \mathbf{D} \, \mathbf{P} \, \mathbf{D}</math>, wobei <math>\mathbf{P}</math> die Korrelationsmatrix in der Grundgesamtheit darstellt
- Sind die Zufallsvariablen standardisiert, so enthält die Kovarianzmatrix gerade die Korrelationskoeffizienten und man erhält die Korrelationsmatrix
- Die Inverse der Kovarianzmatrix <math>\mathbf{P} = \mathbf{\Sigma}^{-1}</math> heißt Präzisionsmatrix oder Konzentrationsmatrix
- Die Determinante der Kovarianzmatrix <math>\begin{vmatrix} \mathbf{\Sigma}\end{vmatrix}</math> wird verallgemeinerte Varianz genannt und ist ein Maß für die Gesamtstreuung eines multivariaten Datensatzes
- Für die Spur der Kovarianzmatrix gilt <math>\operatorname{Spur}(\mathbf{\Sigma})=\sum\nolimits_{i=1}^n \sigma^2_i</math>
- <math>\operatorname{Cov}(\mathbf X +\mathbf Y, \mathbf Z) = \operatorname{Cov}(\mathbf X, \mathbf Z) + \operatorname{Cov}(\mathbf Y, \mathbf Z)</math>
Beziehung zum Erwartungswert des Zufallsvektors
Ist <math>\boldsymbol \mu = \operatorname{E}(\mathbf X)</math> der Erwartungswertvektor, so lässt sich mit dem Verschiebungssatz von Steiner angewandt auf mehrdimensionale Zufallsvariablen zeigen, dass
- <math>\begin{align}
\operatorname{Cov}(\mathbf X) & = \operatorname{E}\bigl((\mathbf X - \boldsymbol \mu)(\mathbf X - \boldsymbol \mu)^\mathsf{T}\bigr)\\
& = \operatorname{E}(\mathbf X \mathbf X^\mathsf{T}) -\boldsymbol \mu\boldsymbol \boldsymbol\mu^\mathsf{T}
\end{align}</math>.
Hierbei sind Erwartungswerte von Vektoren und Matrizen komponentenweise zu verstehen.
Ein Zufallsvektor, der einer gegebenen Kovarianzmatrix gehorchen und den Erwartungswert <math>\boldsymbol \mu</math> haben soll, kann wie folgt simuliert werden:
zunächst ist die Kovarianzmatrix zu zerlegen (z. B. mit der Cholesky-Zerlegung):
- <math>\operatorname{Cov}(\mathbf X) = \mathbf D \mathbf D^\mathsf{T}</math>.
Anschließend lässt sich der Zufallsvektor berechnen zu
- <math>\mathbf X = \mathbf D \mathbf \xi + \boldsymbol \mu</math>
mit einem (anderen) Zufallsvektor <math>\mathbf \xi</math> mit voneinander unabhängigen standardnormalverteilten Komponenten.
Kovarianzmatrix zweier Vektoren
Die Kovarianzmatrix zweier Vektoren lautet
- <math>{\displaystyle \operatorname {Cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {E} {\bigl (}(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {Y} -{\boldsymbol {\nu }})^\mathsf{T}{\bigr )}}</math>
mit dem Erwartungswert <math>\boldsymbol \mu</math> des Zufallsvektors <math>\mathbf X</math> und dem Erwartungswert <math>\boldsymbol\nu</math> des Zufallsvektors <math>\mathbf Y</math>.
Kovarianzmatrix als Effizienzkriterium
Die Effizienz bzw. Präzision eines Punktschätzers lässt sich mittels der Varianz-Kovarianzmatrix messen, da diese die Informationen über die Streuung des Zufallsvektors zwischen seinen Komponenten enthält. Im Allgemeinen gilt, dass sich die Effizienz eines Parameterschätzers anhand der „Größe“ seiner Varianz-Kovarianzmatrix messen lässt. Es gilt je „kleiner“ die Varianz-Kovarianzmatrix, desto größer die Effizienz des Schätzers. Seien <math>\tilde\boldsymbol \theta </math> und <math>\hat\boldsymbol \theta</math> zwei unverzerrte <math>(K \times 1)</math> Zufallsvektoren. Wenn <math>\boldsymbol \theta </math> ein <math>(K \times 1)</math> Zufallsvektor ist, dann ist <math>\operatorname{Cov}(\hat\boldsymbol \theta)</math> eine <math>(K \times K)</math> positiv definite und symmetrische Matrix. Man kann sagen, dass <math>\operatorname{Cov}(\hat\boldsymbol \theta)</math> „kleiner“ ist als <math>\operatorname{Cov}(\tilde\boldsymbol \theta)</math> in Sinne der Loewner-Halbordnung, d. h., dass <math>\operatorname{Cov}(\tilde\boldsymbol \theta)-\operatorname{Cov}(\hat\boldsymbol \theta)</math> eine positiv semidefinite Matrix ist.<ref>George G. Judge, R. Carter Hill, William E. Griffiths, Helmut Lütkepohl, Tsoung-Chao Lee: Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York NY u. a. 1988, ISBN 0-471-62414-4, S. 78.</ref>
Kovarianzmatrix in Matrix-Notation
Die Kovarianzmatrix lässt sich in der Matrix-Notation darstellen als
- <math>\operatorname{Cov}(\mathbf X) = \frac{1}{n}\left(\mathbf{X}\mathbf{X}^\mathsf{T}-\frac{1}{n}\mathbf{X}1\!\!1\mathbf{X}^\mathsf{T}\right)</math>,
wobei <math>\displaystyle 1\!\!1</math> die Einsmatrix und <math>n</math> die Anzahl Dimensionen bezeichnet.<ref>Lukas On Arnold, Muhsen Owaida: Single-Pass Covariance Matrix Calculation on a Hybrid FPGA/CPU Platform. In: Caterina Doglioni, Doris Kim, Graeme A. Stewart, Lucia Silvestris, Paul Jackson, Waseem Kamleh (Hrsg.): 24th International Conference on Computing in High Energy and Nuclear Physics (CHEP 2019). Adelaide, Australia, November 4–8, 2019 (= The European Physical Journal. Web of Conferences. 245, {{#invoke:URIutil|{{#ifeq:1|1|linkISSN|targetISSN}}|2100-014X|0}}{{#ifeq:1|0|[!] }}{{#ifeq:0|1
|{{#switch:00
|11= (print/online)
|10= (print)
|01= (online)
}}
}}{{#ifeq:0|0
|{{#ifeq:0|0
|{{#if:{{#invoke:URIutil|isISSNvalid|1=2100-014X}}
|
|{{#invoke:TemplUtl|failure|ISSN ungültig}}}}}}
}}). EDP Sciences, Les Ulis 2020, (online).</ref>
Stichproben-Kovarianzmatrix
{{#if: Stichprobenkovarianz|{{#ifexist:Stichprobenkovarianz|
|{{#if: |{{#ifexist:{{{2}}}|
|{{#if: |{{#ifexist:{{{3}}}|
|}}|}}|}}|}}|}}|Einbindungsfehler: Die Vorlage Hauptartikel benötigt immer mindestens ein Argument.}}
Eine Schätzung der Korrelationsmatrix in der Grundgesamtheit <math>\widehat{\mathbf{\Sigma}}</math> erhält man, indem man die Varianzen und Kovarianzen in der Grundgesamtheit <math>\operatorname{Var}(X_i) = \sigma^2_i</math> und <math>\operatorname{Cov}(X_i,X_j) = \sigma_{ij}\;,i\ne j</math> durch die empirischen Varianzen und empirischen Kovarianzen (ihre empirischen Gegenstücke) <math>\hat\sigma^2_{j} = s_j^2</math> und <math>\hat\sigma_{jk} = s_{jk}</math> ersetzt (sofern die <math>x</math>-Variablen Zufallsvariablen darstellen schätzen die die Parameter in der Grundgesamtheit).
Spezielle Kovarianzmatrizen
Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers
Für die Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers
- <math>\mathbf b = (\mathbf{X}^\mathsf{T} \mathbf X )^{-1}\mathbf {X}^\mathsf{T} \mathbf Y; \ \operatorname{Cov}(\mathbf{Y})=\sigma^2\mathbf I</math>
ergibt sich nach den obigen Rechenregeln:
- <math>\operatorname{Cov}(\mathbf b)=(\mathbf{X}^\mathsf{T} \mathbf X )^{-1}\mathbf {X}^\mathsf{T} \operatorname{Cov}(\mathbf{Y})\ \mathbf{X}(\mathbf{X}^\mathsf{T} \mathbf X )^{-1} = \sigma^2 (\mathbf{X}^\mathsf{T} \mathbf X )^{-1} (\mathbf {X}^\mathsf{T} \mathbf{X}) (\mathbf{X}^\mathsf{T} \mathbf X )^{-1}= \sigma^2(\mathbf X^\mathsf{T} \mathbf X)^{-1}=\Sigma_\mathbf{b}</math>.
Diese Kovarianzmatrix ist unbekannt, da die Varianz der Störgrößen <math>\sigma^2</math> unbekannt ist. Einen Schätzer für die Kovarianzmatrix <math>\hat\Sigma_\mathbf{b}</math> erhält man, indem man die unbekannte Störgrößenvarianz <math>\sigma^2</math> durch den erwartungstreuen Schätzer der Störgrößenvarianz <math>\hat{\sigma}^2</math> ersetzt (siehe hierzu: Erwartungstreue Schätzung des unbekannten Varianzparameters).
Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen
Bei scheinbar unverbundenen Regressionsgleichungen ({{#invoke:Vorlage:lang|full|CODE=en|SCRIPTING=Latn|SERVICE=englisch}}: seemingly unrelated regression equations, kurz SURE) des Modells
- <math> y_{it} = \boldsymbol x_{it}^\mathsf{T} \boldsymbol \beta + \boldsymbol e_{it} </math>,
wobei der Fehlerterm <math>\boldsymbol e_{it} </math> idiosynkratisch ist, ergibt sich die Kovarianzmatrix als
- <math>\begin{align}
\operatorname{Cov}(\mathbf e)=\operatorname{E}(\mathbf e \mathbf e^\mathsf{T}) &= \begin{pmatrix}
\operatorname{E}(\boldsymbol e_1 \boldsymbol e_1^\mathsf{T}) & \cdots & \operatorname{E}(\boldsymbol e_1 \boldsymbol e_N^\mathsf{T}) \\ \\
\vdots & \ddots & \vdots \\ \\
\operatorname{E}(\boldsymbol e_N \boldsymbol e_1^\mathsf{T}) & \cdots & \operatorname{E}(\boldsymbol e_N \boldsymbol e_N^\mathsf{T})
\end{pmatrix}= \begin{pmatrix}
\sigma_{11}\mathbf I_T & \cdots &\sigma_{1N}\mathbf I_T \\ \\
\vdots & \ddots & \vdots \\ \\
\sigma_{N1}\mathbf I_T & \cdots &\sigma_{NN}\mathbf I_T \end{pmatrix} = \begin{pmatrix}
\sigma_{11} & \cdots &\sigma_{1N} \\ \\
\vdots & \ddots & \vdots \\ \\
\sigma_{N1} & \cdots &\sigma_{NN} \end{pmatrix}\otimes \mathbf I_T
\\ \\ &=\mathbf \Sigma \otimes \mathbf I_T =\mathbf \Phi
\end{align}</math>
Darstellung
{{#invoke:Vorlage:Siehe auch|f}} Die Kovarianzmatrix kann als Näherung an die Streuregion und die Standardabweichungsellipse dargestellt werden.
Siehe auch
Literatur
- Friedrich Schmid, Mark Trede: Finanzmarktstatistik. Springer, Berlin u. a. 2006, ISBN 3-540-27723-4 ({{#if: AMNd5P-CKVYC
| {{#if: {{#if: ||1}} {{#if: AMNd5P-CKVYC ||1}}
| <0|&pg={{#if:|RA{{{Band}}}-}}PA75|&pg=75}}{{#if:|&q=}}#v=onepage|{{#if:|&pg=|}}{{#if:|&q=}}}}{{#if:|q=%7B%7B%7BSuchbegriff%7D%7D%7D}}|{{#if:|q=%7B%7B%7BSuchbegriff%7D%7D%7D}}}} {{#if:|{{#invoke:WLink|getEscapedTitle|{{{Linktext}}}}}|eingeschränkte Vorschau}}{{#if:|| in der Google-Buchsuche}}{{#ifeq:|US|-USA}}{{#if: AMNd5P-CKVYC |{{#invoke: Vorlage:GoogleBook|fine |id=AMNd5P-CKVYC |errN=Parameter „BuchID“ hat falsche Länge |errC=Parameter „BuchID“ enthält ungültige Zeichen |errH=# in der „BuchID“ |errP=Parameterzuweisungen in der „BuchID“ |class=editoronly |cat={{#ifeq: 0 | 0 | Wikipedia:Vorlagenfehler/Vorlage:Google Buch}} |template= Vorlage:Google Buch}}
}}
| Es darf nur genau einer der beiden Parameter „Suchbegriff“ oder „BuchID“ ausgefüllt werden. Bitte beachte die in der Vorlage:Google Buch befindliche Dokumentation und prüfe die verwendeten Parameter.{{#ifeq: 0 | 0 | }}}}
| Es muss mindestens einer der beiden Parameter „Suchbegriff“ oder „BuchID“ ausgefüllt werden. Bitte beachte die in der Vorlage:Google Buch befindliche Dokumentation und prüfe die verwendeten Parameter.{{#ifeq: 0 | 0 | }}}}{{#invoke:TemplatePar|check
|all=
|opt= Suchbegriff= BuchID= Seite= Band= SeitenID= Hervorhebung= Linktext= Land= KeinText=
|cat= {{#ifeq: 0 | 0 | Wikipedia:Vorlagenfehler/Vorlage:Google Buch}}
|template= Vorlage:Google Buch
|format=
}}{{#if:|{{#if:{{#invoke:WLink|isBracketedLink|{{{Linktext}}}}}|}}}}).
Einzelnachweise
<references />
Vorlage:Navigationsleiste Spezielle Matrizen in der Statistik