Quelltext der Seite Fisher-Information

Die '''Fisher-Information''' (benannt nach dem Statistiker [[Ronald Fisher]]) ist eine Kenngröße aus der [[mathematische Statistik|mathematischen Statistik]], die für eine Familie von [[Wahrscheinlichkeitsdichte]]n definiert werden kann und Aussagen über die bestmögliche Qualität von [[Parameter (Statistik)|Parameter]]schätzungen in diesem Modell liefert.
Die Fisher-Information spielt in der asymptotischen Theorie der [[Maximum-Likelihood]]-Schätzung eine wichtige Rolle und wird auch in der [[Bayes-Statistik]] bei der Berechnung von Priorverteilungen verwendet. Sie kann auch bei der Formulierung von Teststatistiken, wie beim Wald-Test verwendet werden.

== Definition ==
Gegeben sei ein [[Einparametriges Modell|einparametriges]] [[Statistisches Modell|statistisches Standardmodell]] <math> (X, \mathcal A, (P_\vartheta)_{\vartheta \in \Theta} )</math>, das heißt,
* es ist <math> \Theta \subset \R </math>,
* die <math> P_\vartheta </math> besitzen alle eine Dichtefunktion <math> f(x, \vartheta) </math> bezüglich eines festen [[σ-endliches Maß|σ-endlichen Maßes]] <math> \mu </math>, das heißt, sie bilden eine [[dominierte Verteilungsklasse]].

Des Weiteren sei <math> \Theta </math> eine [[offene Menge]] und es existiere die [[Score-Funktion]]
:<math> S_\vartheta(x):=\frac{\partial}{\partial\vartheta} \ln f(x,\vartheta)=\frac{\frac{\partial}{\partial\vartheta} f(x,\vartheta)}{f(x,\vartheta)} </math>

und sei endlich. Dann wird die Fisher-Information des Modells entweder definiert als <ref> Georgii: ''Stochastik.'' 2009, S. 210. </ref>
:<math> I(\vartheta):=\operatorname{Var}_\vartheta(S_\vartheta) </math>

oder als<ref> Czado Schmidt: ''Mathematische Statistik.'' 2011, S. 116. </ref>
:<math> I(\vartheta):=\operatorname E_\vartheta(S_\vartheta^2) </math>.

Dabei bezeichnet <math>\operatorname{E}_\vartheta </math> den [[Erwartungswert]] und <math>\operatorname{Var}_\vartheta </math> bezeichnet die [[Varianz (Stochastik)|Varianz]] bezüglich der [[Wahrscheinlichkeitsmaß|Wahrscheinlichkeitsverteilung]] <math> P_\vartheta </math>. Unter der [[Reguläres statistisches Modell|Regularitätsbedingung]]

:<math>
\int\frac{\partial}{\partial\vartheta}\, f(x,\vartheta) \, \mathrm d \mu(x) =
\frac{\partial}{\partial\vartheta} \int f(x,\vartheta) \, \mathrm d \mu(x)
</math>

fallen die beiden Definitionen zusammen. Gilt zusätzlich die Regularitätsbedingung
:<math>
\int\frac{\partial^2}{\partial\vartheta^2}\, f(x,\vartheta) \, \mathrm d \mu(x) =
\frac{\partial^2}{\partial\vartheta^2} \int f(x,\vartheta) \, \mathrm d \mu(x)
</math>,

so ist die Fisher-Information gegeben durch
:<math>I(\vartheta)=- \operatorname E_\vartheta\left( \frac{\partial}{\partial\vartheta} S_\vartheta \right) </math>.

== Bemerkungen zur Definition ==
Folgende Dinge sind bei der Definition zu beachten:
* Daraus, dass das Modell einparametrisch ist, folgt nicht, dass es sich um Wahrscheinlichkeitsverteilungen über einem eindimensionalen Grundraum handelt. Einparametrig bedeutet lediglich, dass die Verteilungen durch einen eindimensionalen Parameter bestimmt werden. An die Dimension des Grundraumes werden keine Anforderungen gestellt.
* In den meisten Fällen ist das Maß <math> \mu </math>, bezüglich dessen die Dichtefunktionen definiert sind, entweder das [[Lebesgue-Maß]] <math> \lambda </math> oder das [[Zählmaß (Maßtheorie)|Zählmaß]]. Handelt es sich um das Zählmaß, so sind die Dichtefunktionen [[Wahrscheinlichkeitsfunktion]]en, das Integral wird dementsprechend durch eine Summe ersetzt. Handelt es sich um das Lebesgue-Maß, so ist das Integral ein [[Lebesgue-Integral]], kann jedoch in den meisten Fällen durch das herkömmliche [[Riemann-Integral]] ersetzt werden. Man schreibt dann dementsprechend <math> \mathrm d x </math> anstelle von <math> \mathrm d \lambda(x) </math>.
* Hinreichend für die Existenz der Score-Funktion ist beispielsweise, dass <math> f(x, \vartheta) </math> auf ganz <math> X \times \Theta </math> positiv ist und stetig differenzierbar nach <math> \vartheta </math>.
* Die erste Regularitätsbedingung gilt beispielsweise per Definition in [[reguläres statistisches Modell|regulären statistischen Modellen]]. Meist zeigt man die Vertauschbarkeit von Integration und Differentiation mit den klassischen Aussagen der Analysis.
* Unter der ersten Regularitätsbedingung ist die Score-Funktion zentriert, das heißt, es ist <math> \operatorname E_\vartheta(S_\vartheta)=0 </math>. Daraus folgt mittels des Verschiebungssatzes der Varianz die Äquivalenz der ersten beiden Definitionen der Fisher-Information.

== Beispiele ==
=== Diskreter Grundraum: Poisson-Verteilung ===
Als statistisches Modell sei der Grundraum <math> X=\{0,1,2,\dots \} </math> gegeben, versehen mit der [[σ-Algebra]] <math> \mathcal A = \mathcal P(X) </math>, der [[Potenzmenge]]. Für <math> \lambda \in (0,\infty) </math> sei <math> P_\lambda </math> die [[Poisson-Verteilung]]. Demnach ist die Dichtefunktion, hier bezüglich des Zählmaßes, gegeben durch
:<math> f(x,\lambda)=\frac{\lambda^x}{x!}\, \mathrm{e}^{-\lambda} </math>.

Damit ergibt sich die Score-Funktion zu
:<math> S_\lambda(x)=\frac{\partial}{\partial\lambda} \ln f(x, \lambda)=\frac{\partial}{\partial\lambda}\left( x \ln (\lambda) - \ln(x!) - \lambda \right)= \frac x \lambda -1</math>

Damit ist die Fisher-Information nach den Rechenregeln für die Varianz unter [[Koordinatentransformation#Lineare Transformationen|linearen Transformationen]]
:<math> I(\lambda)=\operatorname{Var}_\lambda(S_\lambda)=\frac{1}{\lambda} </math>.

=== Stetiger Grundraum: Exponentialverteilung ===
Als statistisches Modell sei diesmal <math> X=(0,\infty) </math> und <math> \mathcal A=\mathcal B ((0,\infty)) </math> gewählt. Die <math> P_\lambda </math> seien [[Exponentialverteilung|Exponentialverteilt]] zum Parameter <math> \lambda \in (0,\infty) </math>. Somit besitzen sie die Dichtefunktion (bezüglich des Lebesgue-Maßes)
:<math> f(x, \lambda)= \lambda \exp (- \lambda x) </math>.

Demnach ist die Score-Funktion
:<math> S_\lambda(x)=\frac{\partial}{\partial\lambda} \ln f(x, \lambda)=\frac{\partial}{\partial\lambda}\left( \ln(\lambda) - \lambda x\right)=\frac 1 \lambda - x </math>,

folglich ist die Fisher-Information
:<math> I(\lambda)=\operatorname{Var}_\lambda(S_\lambda)= \frac{1}{\lambda^2}</math>

=== Fisher-Information einer Exponentialfamilie ===
Ist <math> P_\vartheta </math> durch eine einparametrige [[Exponentialfamilie]] gegeben, besitzt also die Dichtefunktion
:<math> f(x, \vartheta)=h(x) A(\vartheta) \exp(\eta(\vartheta) T(x) ) </math>,

so ist die Score-Funktion gegeben durch
:<math> S_\vartheta(x)=\eta'(\vartheta) T(x)+ \frac{A'(\vartheta)}{A(\vartheta)} </math>.

Daraus folgt für die Fisher-Information
:<math> I(\vartheta)= \left[ \eta'(\vartheta)\right]^2 \cdot \operatorname{Var}_\vartheta(T(x)) </math>.

Ist die Exponentialfamilie in der natürlichen Parametrisierung gegeben, als <math> \eta(\vartheta)=\vartheta </math>, so vereinfacht sich dies zu
:<math>S_\vartheta(x)= T(x)+ \frac{A'(\vartheta)}{A(\vartheta)} \text{ und } I(\vartheta)= \operatorname{Var}_\vartheta(T(x)) </math>

In diesem Fall ist also die Varianz der kanonischen Statistik <math> T </math> die Fisher-Information.

== Eigenschaften und Anwendungen ==
=== Additivität ===
Die Fisher-Information ist im Fall [[Unabhängig und identisch verteilte Zufallsvariablen|unabhängig und identisch verteilter Zufallsvariablen]] unter der ersten Regularitätsbedingung
additiv, das heißt, für die Fisher-Information <math>\mathcal{I}^{(n)}</math> einer Stichprobe <math>X_1,\dotsc,X_n</math> unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information <math>\mathcal{I}</math>
gilt
:<math>\mathcal{I}^{(n)}(\vartheta) = n \cdot \mathcal{I}(\vartheta)</math>.
Diese Eigenschaft folgt direkt aus der [[Gleichung von Bienaymé]]. Die Fisher-Information nimmt also proportional zur Anzahl <math>n</math> der Beobachtungen zu.

=== Suffizienz ===
Ferner gilt für [[Suffiziente Statistik|suffiziente]] Statistiken <math>T</math>, dass die Fisher-Information bezüglich <math>f_{\vartheta}(X)</math> dieselbe wie für <math>g_{\vartheta}(T(X))</math> ist, wobei <math>f_{\vartheta}(x) = h(x) g_{\vartheta}(T(x))</math> gilt.

=== Verwendung ===
Benutzt wird die Fisher-Information speziell in der [[Cramér-Rao-Ungleichung]], wo ihr [[Kehrwert]] bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für <math>\vartheta</math> liefert: Ist <math>T(X)</math>
ein [[Erwartungstreue|erwartungstreuer]] Schätzer für den unbekannten Parameter <math>\vartheta</math>, dann gilt <math>\operatorname{Var}_{\vartheta}(T(X)) \geq \mathcal{I}(\vartheta)^{-1}</math>.

== Erweiterungen auf höhere Dimensionen ==
Falls das Modell von mehreren Parametern <math>\vartheta_{i}</math> mit <math>1 \leq i \leq k</math> abhängt, lässt sich die Fisher-Information als [[symmetrische Matrix]] <math>\mathcal{I}(\vartheta) = (\mathcal{I}_{ij}(\vartheta))_{i,j=1,\dotsc,k}</math> definieren, wobei

:<math>
\mathcal{I}_{ij}(\vartheta)
=
\operatorname{E}_{\vartheta}
\left[
\frac{\partial}{\partial\vartheta_{i}} \log f_{\vartheta}(X) \cdot \frac{\partial}{\partial\vartheta_{j}} \log f_{\vartheta}(X)
\right]
</math>

gilt. Sie wird die '''Fisher-Informationsmatrix''' genannt. Die Eigenschaften bleiben im Wesentlichen erhalten. Unter der Regularitätsbedingung ist <math>\mathcal{I}(\vartheta)</math> die [[Kovarianzmatrix]] der Score-Funktion.

=== Beispiel: Normalverteilung ===
Ist <math>X</math> [[Normalverteilung|normalverteilt]] mit Erwartungswert <math>\vartheta</math> als Parameter und bekannter Varianz <math>v > 0</math>, dann ist <math>f_{\vartheta}(x) = \frac{1}{\sqrt{2 \pi v}} \mathrm{e}^{-\frac{(x-\vartheta)^2}{2v}}</math>.
Es folgt
:<math>\frac{\partial}{\partial \vartheta} \log f_{\vartheta}(x) = \frac{x-\vartheta}{v}</math>,
also
:<math>\mathcal{I}(\vartheta) = \operatorname{Var}\left(\frac{X - \vartheta}{v}\right) = \frac{1}{v}</math>.

Betrachtet man dagegen sowohl den Erwartungswert <math>\vartheta</math> als auch die Varianz <math>v</math> als unbekannte Parameter, so ergibt sich
:<math>\mathcal{I}(\vartheta,v) = \begin{pmatrix} \dfrac{1}{v} & 0 \\ 0 & \dfrac{1}{2v^2}\end{pmatrix}</math>
als Fisher-Informationsmatrix.

== Literatur ==
* {{Literatur|Autor=[[Hans-Otto Georgii]]|Titel=Stochastik|TitelErg=Einführung in die Wahrscheinlichkeitstheorie und Statistik|Auflage=4.|Verlag=Walter de Gruyter|Ort=Berlin|Jahr=2009|ISBN=978-3-11-021526-7 |DOI=10.1515/9783110215274}}
* {{Literatur|Autor=Ludger Rüschendorf|Titel=Mathematische Statistik|Verlag=Springer Verlag|Ort=Berlin Heidelberg|Jahr=2014|ISBN=978-3-642-41996-6|DOI=10.1007/978-3-642-41997-3}}
* {{Literatur|Autor=Claudia Czado, Thorsten Schmidt|Titel=Mathematische Statistik|Verlag=Springer-Verlag|Ort=Berlin Heidelberg|Jahr=2011|ISBN=978-3-642-17260-1|DOI=10.1007/978-3-642-17261-8}}
* Helmut Pruscha: ''Vorlesungen über Mathematische Statistik.'' B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.

== Einzelnachweise ==
<references />

{{Navigationsleiste Spezielle Matrizen in der Statistik}}{{Normdaten|TYP=s|GND=7576378-3}}
[[Kategorie:Stochastik]]
[[Kategorie:Schätztheorie]]