Gleichung von Bienaymé

Die Gleichung von Bienaymé, Bienaymé-Gleichung<ref> Klenke: Wahrscheinlichkeitstheorie. 2013, S. 106. </ref> oder Formel von Bienaymé<ref> Meintrup, Schäffler: Stochastik. 2005, S. 129. </ref> ist eine Gleichung aus der Stochastik. Sie erlaubt die Berechnung der Varianz einer Summe von Zufallsvariablen und besagt insbesondere, dass sie sich bei unkorrelierten (und demnach auch bei stochastisch unabhängigen Zufallsvariablen) additiv verhält. Die Varianz der Summe unkorrelierter Zufallsvariablen ist also die Summe der Varianzen der Zufallsvariablen.

Die Gleichung ist nach dem französischen Mathematiker Irénée-Jules Bienaymé (1796–1878) benannt, der sie 1853 zeigte.<ref> Georgii: Stochastik. 2009, S. 109. </ref> Sie wird unter anderem zur Ermittlung des Fehlers von Monte-Carlo-Simulationen verwendet und ein wichtiges Hilfsmittel zur Umformung von Gleichungen in der Stochastik. So liefert sie beispielsweise in Kombination mit der Tschebyscheff-Ungleichung eine erste Version des schwachen Gesetzes der großen Zahlen.

Aussage

Gegeben seien quadratintegrierbare Zufallsvariablen <math> X_1, \ldots, X_n </math>, es gelte also <math>\operatorname{E}(|X_i|^2) < \infty</math> für <math> i=1, \dots, n </math>. Des Weiteren sei <math> \operatorname{Var}(X) </math> die Varianz der Zufallsvariable <math> X </math> und <math> \operatorname{Cov}(X,Y) </math> die Kovarianz von <math> X </math> und <math> Y </math>.

Die Gleichung von Bienaymé wird in der Literatur nicht einheitlich formuliert. In ihrer allgemeineren Version besagt sie, dass

<math> \operatorname{Var}\left( \sum_{i=1}^n X_i \right)=\sum_{i=1}^n \operatorname{Var}(X_i)+\sum_{i,j=1 \atop i \neq j}^n \operatorname{Cov}(X_i,X_j)=\sum_{i,j=1}^n\operatorname{Cov}(X_i,X_j)</math>

gilt.<ref> Klenke: Wahrscheinlichkeitstheorie. 2013, S. 106. </ref>

Spezieller gilt: Sind die <math> X_n </math> paarweise unkorreliert, also <math> \operatorname{Cov}(X_i,X_j)=0 </math> für alle <math> i,j \in \{1,\dots, n\} </math> mit <math>i \neq j</math>, so gilt

<math> \operatorname{Var} \left( \sum_{i=1}^n X_i \right) = \sum_{i=1}^n \operatorname{Var}(X_i) </math>.<ref> Meintrup, Schäffler: Stochastik. 2005, S. 129. </ref>

Insbesondere gilt dies dann auch für Summen stochastisch unabhängiger Zufallsvariablen, denn aus Unabhängigkeit und Integrierbarkeit folgt die Unkorreliertheit der Zufallsvariablen.<ref name="gronbach7">{{#invoke:Vorlage:Literatur|f}}</ref>

Beispiele

Würfel

Sind beispielsweise <math>X</math> die Augenzahl eines vierseitigen, <math>Y</math> die Augenzahl eines sechsseitigen und <math>Z</math> die Augenzahl eines achtseitigen fairen Würfels. Die Wahrscheinlichkeitsverteilungen der drei Würfel sind diskrete Gleichverteilungen, wodurch sich für die Varianzen der Augenzahlen der einzelnen Würfel

<math>\operatorname{Var}(X) = \tfrac{5}{4}, \operatorname{Var}(Y) = \tfrac{35}{12}</math> und <math>\operatorname{Var}(Z) = \tfrac{21}{4}</math>

ergibt. Nach der Gleichung von Bienaymé beträgt die Varianz der Augensumme <math>X+Y+Z</math> der drei Würfel

<math>\operatorname{Var}(X+Y+Z) = \operatorname{Var}(X) + \operatorname{Var}(Y) + \operatorname{Var}(Z) = \tfrac{5}{4} + \tfrac{35}{12} + \tfrac{21}{4} = \tfrac{113}{12} \approx 9{,}42</math> (da die Würfel unkorreliert sind).

Somit ergibt sich als Standardabweichung der Augensumme ein Wert von etwa <math>3{,}07</math>.

Wienerprozess

{{#if: Wienerprozess|{{#ifexist:Wienerprozess|

|{{#if: |{{#ifexist:{{{2}}}|

→ Haupt{{#if:|seite|artikel}}: [[{{{2}}}{{#if: ||{{{titel2}}}}}]]{{#if: |{{#ifexist:{{{3}}}| und [[{{{3}}}{{#if: ||{{{titel3}}}}}]]|}}|}}

|{{#if: |{{#ifexist:{{{3}}}|

→ Haupt{{#if:|seite|artikel}}: [[{{{3}}}{{#if: ||{{{titel3}}}}}]]

|}}|}}|}}|}}|}}|Einbindungsfehler: Die Vorlage Hauptartikel benötigt immer mindestens ein Argument.}}

Zwei Beispiele für Pfade eines Standard-Wienerprozesses. Die grau schraffierte Fläche markiert die Standardabweichung <math>\pm \sqrt{\text{Var}(W_t)}=\pm\sqrt{t}</math>.

Betrachtet man den Wienerprozess, so ist dieser durch das stochastische Integral <math>W_t=W_0 +\int_0^t dW</math> gegeben. Die Gaußsche Irrfahrt kann (nach dem Satz von Donsker) benutzt werden um den Wienerprozess zu approximieren:

<math> W_{N\Delta t} \approx W_0 + \sqrt{\Delta t}\sum_{i=1}^N Z_i </math>,

wobei <math> Z_1, \; Z_2, \; Z_3\ldots </math> unabhängige, standardnormalverteilte Zufallszahlen sind. Hierbei wird das Integral diskretisiert und <math>dW \approx \sqrt{\Delta t} Z</math> benutzt.

Die Gleichung von Bienayme liefert für <math>Var(W_{N\Delta t})= \Delta t N</math>.

Datei:Estimated and expected variance of cumulative sum.png

Geschätzte Varianz der kumulativen Summe eines Zufallsprozesses, dessen Zufallsvariablen iid normalverteilt sind. Die Stichprobenvarianz ist über 300 Realisierungen berechnet.

Beweis

Die quadratische Integrierbarkeit stellt zunächst sicher, dass alle auftretenden Erwartungswerte und Varianzen endlich sind. Aufgrund der Linearität des Erwartungswertes ist

<math> \operatorname{E}\left( \sum_{i=1}^n X_i \right) = \sum_{i=1}^n \operatorname E ( X_i) </math>.

Somit folgt

<math> \sum_{i=1}^n X_i - \operatorname{E}\left( \sum_{i=1}^n X_i \right) = \sum_{i=1}^n \left( X_i- \operatorname E (X_i) \right)</math>

Nach Definition der Varianz als <math> \operatorname{Var}(X)=\operatorname{E}\left(\left(X-\operatorname{E}(X)\right)^2\right) </math> folgt durch ausmultiplizieren

<math> \operatorname{E}\left( \left( \sum_{i=1}^n \left( X_i- \operatorname E (X_i) \right) \right)^2 \right) = \sum_{i,j=1 }^n \operatorname{E}\left((X_i- \operatorname E (X_i))(X_j- \operatorname E (X_j))\right) = \sum_{i,j=1 }^n \operatorname{Cov}(X_i,X_j)</math>,

wobei der letzte Schritt durch einsetzen der Definition der Kovarianz folgt. Da aber für <math> i=j </math> folgt, dass <math> \operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i) </math>, werden diese Terme in eine separate Summe geschrieben und die Gleichung von Bienaymé folgt.

Die zweite Fassung folgt direkt aus der ersten, da aus Unkorreliertheit per Definition <math> \operatorname{Cov}(X_i,X_j) =0 </math> folgt und die eine Summe wegfällt.

Folgerungen

Eine wichtige Folgerung der Gleichung von Bienaymé besteht für Folgen unabhängig und identisch verteilter Zufallsvariablen <math>X_1, X_2, \ldots</math>, die alle die Varianz <math>\sigma^2</math> aufweisen. Die Varianz des arithmetischen Mittels <math>\overline{X}_n</math> der ersten <math>n</math> Folgenglieder

<math>\operatorname{Var}(\overline{X}_n) = \operatorname{Var}\left( \frac{1}{n} \sum_{i=1}^n X_i \right) = \frac{1}{n^2} \sum_{i=1}^n \operatorname{Var} ( X_i ) = \frac{\sigma^2}{n}</math>

verhält sich demnach umgekehrt proportional zu <math>n</math>.<ref name="gronbach29">{{#invoke:Vorlage:Literatur|f}}</ref> Zusammen mit der Tschebyscheff-Ungleichung ergibt sich daraus, dass die Folge dem schwachen Gesetz der großen Zahlen genügt, also dass die Mittelwerte stochastisch gegen den Erwartungswert konvergieren.

Der Standardfehler des arithmetischen Mittels

<math>\sigma(\overline{X}_n) = \sqrt{\operatorname{Var}(\overline{X}_n)} = \frac{\sigma}{\sqrt{n}}</math>

zeigt, dass das arithmetische Mittel als erwartungstreuer Schätzer für einen unbekannten Erwartungswert eine Rate von <math>\tfrac{1}{\sqrt{n}}</math> aufweist. Aus diesem Grund besitzt der Fehler von klassischen Monte-Carlo-Simulationen eine Konvergenzgeschwindigkeit von <math>\tfrac12</math>.<ref name="gronbach29" />

Im Zusammenhang mit zufälligen Messabweichungen ergibt sich aus der Gleichung von Bienaymé im Fall unkorrelierter fehlerbehafteter Größen das gaußsche Fehlerfortpflanzungsgesetz.

Verallgemeinerung

Die Gleichung von Bienaymé kann auch auf gewichtete Summen von Zufallsvariablen verallgemeinert werden. Sind dazu <math>a_1, \ldots , a_n</math> reelle Gewichtsfaktoren, dann gilt für die Varianz der gewichteten Summe <math>a_1 X_1 + \cdots + a_n X_n</math> der Zufallszahlen <math>X_1, \ldots , X_n</math> die Darstellung

<math>\operatorname{Var}\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n \sum_{j=1}^n a_ia_j \operatorname{Cov}(X_i,X_j) = \mathbf{a}^T\boldsymbol{\Sigma}\mathbf{a}</math>

mit dem transponierten Vektor <math> \mathbf{a}^T =(a_1,\dots, a_n)</math> und der Kovarianzmatrix <math>\boldsymbol{\Sigma}</math> des Zufallsvektors <math>(X_1,\dots,X_n)^T</math>. Für paarweise unkorrelierte Zufallsvariablen spezialisiert sich diese Gleichung zu

<math>\operatorname{Var}\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i^2 \operatorname{Var} ( X_i )</math>.

Für die Summe von zwei Zufallsvariablen <math>X</math> und <math>Y</math> ergibt sich daraus

<math>\operatorname{Var}\left( X + Y \right) = \operatorname{Var} (X) + 2 \operatorname{Cov}(X,Y) + \operatorname{Var} (Y)</math>

und für die Differenz

<math>\operatorname{Var}\left( X - Y \right) = \operatorname{Var}(X) - 2 \operatorname{Cov}(X,Y) + \operatorname{Var} (Y)\;.</math>

Für zwei unkorrelierte Zufallsvariablen <math>X</math> und <math>Y</math> ist definitionsgemäß <math>\operatorname{Cov}(X,Y) = 0</math>. Damit ergibt sich, dass für zwei unkorrelierte Zufallsvariablen die Summe ebenso wie die Differenz gleich der Summe ihrer Varianzen ist, das heißt, es gilt in diesem Fall

<math>\operatorname{Var}\left( X + Y \right) = \operatorname{Var}\left( X - Y \right) = \operatorname{Var} (X) + \operatorname{Var} (Y)</math>.

Falls die Zahl der Summanden selbst eine Zufallsvariablen ist, siehe Blackwell-Girshick-Gleichung.

Siehe auch

Panjer-Rekursion

Literatur

{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}

Einzelnachweise