Verschiebungssatz (Statistik)

Vorlage:Hinweisbaustein

Der Verschiebungssatz (auch Satz von Steiner oder Steinerscher Verschiebungssatz genannt) beschreibt, wie sich die Eigenschaften einer Variablen oder Zufallsvariablen ändern, wenn zu dieser Variable eine Konstante addiert wird. Er besagt, dass sich durch Addition einer Konstante zu einer Variablen oder Zufallsvariablen bestimmte Charakteristika der Verteilung dieser Variable auf vorhersagbare Weise ändern.

Wird zu einer Zufallsvariablen <math>X</math> eine Konstante <math>c</math> addiert und diese modifizierte Variable als <math>Y</math> bezeichnet, dann ändern sich bestimmte Momente von <math>Y</math> auf vorhersagbare Weise. Die Momente von <math>Y</math> können durch eine einfache Formel berechnet werden, die die Momente von <math>X</math> und die hinzugefügte Konstante <math>c</math> berücksichtigt.

Der Verschiebungssatz ermöglicht es die Effekte von konstanten Verschiebungen auf die Verteilung von Variablen oder Zufallsvariablen zu verstehen. Diese Erkenntnis hat viele Anwendungen in der Statistik und Wahrscheinlichkeitstheorie, zum Beispiel bei der Berechnung von durchschnittlichen Werten und Varianzen von veränderten Variablen oder Zufallsvariablen.

Verschiebungssatz

Der Verschiebungssatz für Zufallsvariablen <math>Y=X+c</math> besagt:

<math>E(Y^k) = E((X+c)^k) = \sum_{j=0}^k \binom{k}{j} c^{k-j} E(X^j)</math>

Dabei ist <math>E(Y^k)</math>, das <math>k</math>te Moment der Zufallsvariablen <math>Y</math>, <math>E(X^j)</math>, das <math>j</math>te Moment der Zufallsvariablen <math>X</math>. <math>\tbinom{k}{j}</math> ist der Binomialkoeffizient <math>k</math> über <math>j</math>.

Insbesondere für den Fall <math>k=2</math> gilt

<math>E(Y^2)=c^2+2cE(X)+E(X^2)</math>.

Für die Varianz einer Zufallsvariablen <math>X</math> gilt mit <math>Y=X-E(X)</math>, d. h. <math>c=-E(X)</math>:

<math>

\begin{align} Var(X)&\stackrel{def}{=}E((X-E(X))^2)=E(Y^2)\\ E(Y^2)&=E^2(X)-2E(X)E(X)+E(X^2)=E(X^2)-E^2(X) \end{align} </math>.

Empirische Variante

Für die empirische Version des Verschiebungssatz für <math>n</math> Beobachtungswerten mit <math>y_i=x_i+c</math> müssen die theoretischen durch die empirischen Momente ersetzt werden, also <math>M_Y^k=\tfrac1n (y_1^k + \ldots + y_n^k)</math> bzw. <math>M_X^j=\tfrac1n (x_1^j + \ldots + x_n^j)</math> und dann gilt:

<math>M_Y^k = \sum_{j=0}^k \binom{k}{j} c^{k-j} M_X^j</math>

Analog zu den Zufallsvariablen kann man für <math>k=2</math> ableiten mit <math>c=-\bar{x}</math>:

<math>\frac1n \sum_{i=1}^n (x_i-\bar{x})^2 =

\left(\frac1n \sum_{i=1}^n x_i^2\right)

- \left(\frac1n \sum_{i=1}^n x_i\right)^2</math>.

Beispiel mit n Beobachtungswerten

Der Verschiebungssatz wird zunächst am einfachsten Fall vorgeführt: Es seien beispielsweise die Werte <math>x_1, x_2, \ldots, x_n</math> aus einer Stichprobe gegeben. Es wird die Summe der Abweichungsquadrate dieser Werte gebildet:

<math>SQ_x = \sum_{i=1}^n (x_i - \overline{x})^2 \ ,</math>

wobei

<math> \overline x := \frac{1}{n} (x_1 + x_2 + \ldots + x_n)=\frac1n \sum_{i=1}^n{x_i}</math>

das arithmetische Mittel der Zahlen ist. Der Verschiebungssatz ergibt sich aus<ref>Hans-Friedrich Eckey, Reinhold Kosfeld, Christian Dreger: Statistik: Grundlagen — Methoden — Beispiele, S. 86</ref>

<math>SQ_x = \sum_{i=1}^n (x_i^2 - 2 x_i \overline{x} + \overline{x}^2)

        = \left( \sum_{i=1}^n x_i^2 \right) - 2 \overline{x} \left( \sum_{i=1}^n x_i \right) + n \overline{x}^2</math>

<math> \quad = \left( \sum_{i=1}^n x_i^2 \right) - 2 \overline{x} \cdot n \overline{x} + n \overline{x}^2

              = \left( \sum_{i=1}^n x_i^2 \right) - n \overline{x}^2</math>.

Rechenbeispiel

Im Rahmen der Qualitätssicherung werden fortlaufend Kaffeepakete gewogen. Für die ersten vier Pakete erhielt man die Werte (in g) <math>x_i</math>

Das durchschnittliche Gewicht beträgt

<math>\overline x = \frac{505 + 500 + 495 + 505}4 = 501{,}25</math>

Es ist

<math>\begin{align}

 SQ_x &= (505-501{,}25)^2+ (500-501{,}25)^2+(495-501{,}25)^2+(505-501{,}25)^2\\
   &= 14{,}0625+1{,}5625+39{,}0625+14{,}0625\\
   &= 68{,}75\,.

\end{align}</math>

Für die Anwendung des Verschiebungssatzes berechnet man

und

Damit kann beispielsweise die (korrigierte) empirische Varianz als „durchschnittliches“ Abweichungsquadrat bestimmt werden:

im Beispiel

<math>s^2= \frac {1}{4-1}68{,}75 \approx 22{,}9\,.</math>

Wird die Stichprobe um ein weiteres Paket erweitert, so reicht es zur Neuberechnung der Stichprobenvariation mit Hilfe des Verschiebungssatzes, lediglich die Werte für <math>q_1</math> und <math>q_2</math> neu zu berechnen. Beim fünften Paket werde das Gewicht 510 g gemessen. Dann gilt:

<math>q_2^\text{neu} = q_2 + 510^2 = 1.005.075+260.100=1.265.175\,,</math> sowie

<math>SQ^\text{neu} = q_2^\text{neu} - \frac{1}{5} \left(q_1^\text{neu}\right)^2=130\,.</math>

Die Stichprobenvarianz der neuen, größeren Stichprobe ist dann

Anwendungen

Summe der quadratischen Abweichungen

Für die Summe der quadratischen Abweichungen von <math>n</math> Beobachtungswerten <math>x_1,\dotsc,x_n</math> und deren arithmetisches Mittel <math>\overline{x}</math> gilt:

<math>SQ_x = \sum_{i=1}^n \left(x_i - \overline{x}\right)^2 = \left( \sum_{i=1}^n x_i^2 \right) - n \overline{x}^2 = \left( \sum_{i=1}^n x_i^2 \right) - \frac{1}{n}\left(\sum_{i=1}^n x_i\right)^2</math>.

Damit kann man <math>SQ_x</math> berechnen, ohne das Mittel <math>\overline{x}</math> bereits vorab zu kennen und ohne alle Stichprobenwerte speichern zu müssen.

Bei der Berechnung mit Gleitkommazahlen kann es jedoch zu einer numerischen Auslöschung kommen, wenn <math>\overline{x}^2</math> erheblich größer ist als die Varianz, die Daten also nicht zentriert sind.<ref name=":0">{{#invoke:Vorlage:Literatur|f}}</ref> Daher bietet sich die Verwendung dieser Formel primär für analytische Betrachtungen an, nicht für die Verwendung mit realen Daten. Eine mögliche Abhilfe<ref name="chan_golub_randall">Tony F. Chan, Gene H. Golub, Randall J. LeVeque: Algorithms for computing the sample variance: analysis and recommendations. In: The American Statistician Vol. 37, No. 3 (Aug., 1983), S. 242–247</ref> ist, vorab eine Näherung <math> \tilde x \approx \overline x</math> für das Mittel zu bestimmen und damit zu berechnen:

<math>SQ_x = \sum_{i=1}^n \left(x_i - \overline{x}\right)^2 = \sum_{i=1}^n (x_i-\tilde x)^2-\frac{1}{n}\left(\sum_{i=1}^n (x_i-\tilde x)\right)^2</math>.

Falls die Näherung <math>\tilde x</math> nahe genug an dem echten Mittel <math>\overline{x}</math> liegt, ist die Genauigkeit mit dieser Formel gut. Weitere numerisch stabilere Berechnungsmethoden finden sich in der Literatur.<ref name="chan_golub_randall"/><ref name=":0" />

Stichprobenkovarianz

Die Summe der Abweichungsprodukte zweier Merkmale <math>x</math> und <math>y</math> ist gegeben durch

<math>SP_{xy} := \sum_{i=1}^n (x_i - \overline{x})(y_i - \overline{y}) \ .</math>

Hier ergibt der Verschiebungssatz

<math>SP_{xy} = \sum_{i=1}^n (x_i y_i) - n \overline{x} \overline{y} \ .</math>

Die korrigierte Stichprobenkovarianz berechnet sich dann als „durchschnittliches“ Abweichungsprodukt

Zufallsvariable

Varianz

Die Varianz einer Zufallsvariablen

<math>\operatorname{Var}(X) = \operatorname{E}((X-\operatorname{E}(X))^2)</math>

lässt sich mit dem Verschiebungssatz auch angeben als<ref>Ansgar Steland: Basiswissen Statistik, S. 116</ref>

<math>\operatorname{Var}(X) = \operatorname{E}(X^2) - (\operatorname{E}(X))^2 \ .</math>

Dieses Resultat wird auch als Satz von König-Huygens bezeichnet. Es ergibt sich aus der Linearität des Erwartungswertes:

<math>\begin{align} \operatorname{E}\bigl((X-\operatorname{E}(X))^2\bigr)&

= \operatorname{E}\bigl(X^2 - 2X\operatorname{E}(X) + \operatorname{E}(X)^2\bigr)\\ & = \operatorname{E}(X^2) - \operatorname{E}\bigl(2X\operatorname{E}(X)\bigr) + \operatorname{E}\bigl(\operatorname{E}(X)^2\bigr)\\& = \operatorname{E}(X^2) - 2\operatorname{E}(X)\operatorname{E}(X) + \operatorname{E}(X)^2\\& = \operatorname{E}(X^2) - \operatorname{E}(X)^2.\end{align}</math>

Eine allgemeinere Darstellung des Verschiebungssatzes ergibt sich aus:

<math>\operatorname{Var}(X)=\operatorname{E}\left((X-c)^2\right)-\left(\operatorname{E}(X)-c\right)^2,\quad c \in \mathbb{R}</math>.

Man erhält bei einer diskreten Zufallsvariablen <math>X</math> mit den Ausprägungen <math>x_i,\, i = 1, \dots, n</math> und der dazugehörigen Wahrscheinlichkeit <math>\operatorname{P}(X=x_j)=p_j</math> dann für

<math>\operatorname{Var}(X) = \operatorname{E}((X-\operatorname{E}(X))^2) = \sum_j p_j\left(x_j - \sum_i p_i x_i\right)^2=\sum_i p_ix_i^2 - \left(\sum_i p_i x_i\right)^2 \ .</math>

Mit der speziellen Wahl <math>p_i=\frac{1}{n}</math> ergibt sich <math>\operatorname{E}(X)=\overline{x}=\frac{1}{n}\sum_i x_i</math> und die obige Formel

<math> \frac{1}{n}\sum_i \left(x_i - \overline{x}\right)^2=\frac{1}{n}\sum_i x_i^2 - \overline{x}^2.</math>

Für eine stetige Zufallsvariable <math>X</math> und der dazugehörigen Dichtefunktion <math>f</math> ist

<math>\operatorname{Var}(X) = \operatorname{E}((X-\operatorname{E}(X))^2) = \int_{-\infty}^{\infty} (x - \operatorname{E}(X))^2 \, f(x)\,\mathrm d x \ .</math>

Man erhält hier mit dem Verschiebungssatz

<math>\operatorname{Var}(X) = \operatorname{E}((X-\operatorname{E}(X))^2) = \int_{-\infty}^{\infty} x^2 f(x)\,\mathrm d x - \operatorname{E}(X)^2 \ .</math>

Kovarianz

Die Kovarianz zweier Zufallsvariablen <math>X</math> und <math>Y</math>

<math>\operatorname{Cov}(X,Y) = \operatorname{E} ( (X - \operatorname{E}(X)) \cdot (Y - \operatorname{E}(Y)) )</math>

lässt sich mit dem Verschiebungssatz als

<math>\operatorname{Cov}(X,Y) = \operatorname{E}(XY) - \operatorname{E}(X)\operatorname{E}(Y)</math>

angeben.

Für diskrete Zufallsvariablen erhält man für

<math>\operatorname{Cov}(X,Y) = \sum_j\sum_k (x_j - \operatorname{E}(X))(y_k - \operatorname{E}(Y)) \cdot f(x_j, y_k)</math>

entsprechend zu oben

<math>\operatorname{Cov}(X,Y) = \sum_j\sum_k x_j \, y_k \, f(x_j, y_k) - \operatorname{E}(X) \cdot \operatorname{E}(Y) \ ,</math>

mit <math>f(x_j, y_k)</math> als gemeinsamer Wahrscheinlichkeit, dass <math>X = x_j</math> und <math>Y = y_k</math> ist.

Bei stetigen Zufallsvariablen ergibt sich mit <math>f(x,y)</math> als gemeinsamer Dichtefunktion von <math>X</math> und <math>Y</math> an der Stelle <math>x</math> und <math>y</math> für die Kovarianz

<math>\operatorname{Cov}(X,Y) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x - \operatorname{E}(X))(y - \operatorname{E}(Y)) \cdot f(x, y) \, \mathrm d y \, \mathrm d x </math>

entsprechend zu oben

<math>\operatorname{Cov}(X,Y) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x y \, f(x, y) \, \mathrm d y \, \mathrm d x - \operatorname{E}(X) \cdot \operatorname{E}(Y) \,</math>

Geschichte

Die Herkunft der Bezeichnung Satz von Steiner für den Verschiebungssatz ist unklar. Eine direkte Verbindung des Verschiebungssatzes zu dem Werk des Mathematikers Jacob Steiner besteht nicht.

Einzelnachweise