imported>Meinichselbst: Parameter fix

2025-05-25T11:07:21Z

Parameter fix

Neue Seite

In der [[Wahrscheinlichkeitstheorie]] und in der [[Statistik]] ist eine '''Exponentialfamilie''' (oder '''exponentielle Familie''') eine Klasse von [[Wahrscheinlichkeitsverteilung]]en einer ganz bestimmten Form. Man wählt diese spezielle Form, um bestimmte Rechenvorteile auszunutzen oder aus Gründen der Verallgemeinerung. Exponentialfamilien sind in gewissem Sinne sehr natürliche Verteilungen und eine [[dominierte Verteilungsklasse]], was viele Vereinfachungen in der Handhabung mit sich bringt. Das Konzept der Exponentialfamilien geht zurück auf<ref>{{cite journal
| last = Andersen
| first = Erling
| year = 1970
| month = September
| title = Sufficiency and Exponential Families for Discrete Sample Spaces
| journal = Journal of the American Statistical Association
| volume = 65
| issue = 331
| pages = 1248–1255
| doi = 10.2307/2284291 |language=en
}}</ref> [[E. J. G. Pitman]],<ref>{{cite journal
| last = Pitman
| first = E.
| year = 1936
| title = Sufficient statistics and intrinsic accuracy
| journal = Proc. Camb. phil. Soc.
| volume = 32
| pages = 567–579 |language=en
}}</ref> [[Georges Darmois|G. Darmois]],<ref>{{cite journal
| last = Darmois
| first = G.
| year = 1935
| title = Sur les lois de probabilites a estimation exhaustive
| journal = C.R. Acad. sci. Paris
| volume = 200
| pages = 1265–1266
| language = French
}}</ref>
und [[Bernard Koopman|B. O. Koopman]]<ref>{{cite journal
| last = Koopman
| first = B
| year = 1936
| title = On distribution admitting a sufficient statistic
| journal = Trans. Amer. math. Soc.
| volume = 39
| pages = 399–409
| doi = 10.2307/1989758 |language=en
}}</ref> (1935–6).

== Einparametrige Exponentialfamilie ==
=== Definition ===
Eine Familie von [[Wahrscheinlichkeitsmaß]]en <math> (P_\vartheta)_{\vartheta \in \Theta} </math> auf dem [[Messraum (Mathematik)|Messraum]] <math> (X, \mathcal A) </math> mit <math> \Theta \subset \R </math> heißt eine ''einparametrige Exponentialfamilie'', wenn es ein [[σ-endliches Maß]] <math> \mu </math> gibt, so dass alle <math> P_\vartheta </math> eine [[Dichtefunktion]] der Gestalt
:<math> f(x, \vartheta)=h(x) A(\vartheta) \exp(\eta(\vartheta) T(x) ) </math>

bezüglich <math> \mu </math> besitzen. Meist handelt es sich bei <math> \mu </math>
* um das [[Lebesgue-Maß]], die Dichtefunktionen sind dann herkömmliche [[Wahrscheinlichkeitsdichtefunktion]] (stetiger Fall).
* um das [[Zählmaß (Maßtheorie)|Zählmaß]], die Dichtefunktionen sind dann [[Zähldichte]]n (diskreter Fall).

Dabei ist
:<math> T: (X, \mathcal A) \to (\R , \mathcal B(\R))</math>

eine [[messbare Funktion]], die ''natürliche suffiziente Statistik'' oder ''kanonische Statistik'' der Exponentialfamilie. Ebenso ist
:<math> h: (X, \mathcal A) \to (\R , \mathcal B(\R))</math>

eine messbare Funktion. Die Funktion
:<math> A : \Theta \to \R </math>
wird ''Normierungsfunktion'' oder ''Normierungskonstante'' genannt und garantiert, dass die in der Definition eines Wahrscheinlichkeitsmaßes geforderte Normierung gegeben ist. Des Weiteren ist
:<math> \eta : \Theta \to \R </math>

eine beliebige reelle Funktionen des Parameters.

=== Alternative Definitionen ===
Die Definitionen einer Exponentialfamilie unterscheiden sich meist in den folgenden Punkten:
* Nicht alle Autoren schreiben die Funktionen <math> h </math> und <math> A </math> als Produkt vor die Exponentialfunktion, teilweise stehen sie auch als Summe ''in'' der Exponentialfunktion, manchmal mit negativem Vorzeichen. So finden sich die Definitionen
:<math> f(x, \vartheta)= \exp(\eta(\vartheta) T(x) + h^*(x) + A^*(\vartheta)) \text{ oder alternativ } f(x, \vartheta)=h(x) \exp(\eta(\vartheta) T(x) -\tilde A(\vartheta)) </math>.

:Diese unterschiedlich definierten Funktionen lassen sich meist problemlos ineinander umrechen. Dennoch ist bei einer Angabe der Funktionen <math> A </math> und <math> h </math> darauf zu achten, wie genau diese definiert werden.
* Manche Autoren versehen die Dichtefunktion noch mit einer [[Indikatorfunktion|charakteristischen Funktion]] bezüglich einer Menge <math> M </math>. Die Dichtefunktion ist dann gegeben als
:<math> f(x, \vartheta)=\chi_M(x) h(x) A(\vartheta) \exp(\eta(\vartheta) T(x) ) </math>.

:Dabei soll die Wahl der Menge <math> M </math> unabhängig vom Parameter <math> \vartheta </math> sein. Diese Definition ermöglicht es, gewisse Kriterien, die auf der Positivität der Dichtefunktion aufbauen, allgemeiner zu fassen. Solche Kriterien finden sich beispielsweise in [[Reguläres statistisches Modell|regulären statistischen Modellen]].

=== Beispiele ===
==== Binomialverteilung ====
Ein elementares Beispiel sind die [[Binomialverteilung]]en auf <math> X=\{1, \dots, n\} </math> mit <math> \mathcal A=\mathcal P(X) </math>. Sie besitzen die [[Wahrscheinlichkeitsfunktion]] (beziehungsweise die Dichtefunktion bezüglich des Zählmaßes)
:<math> f(x, \vartheta)=\binom nx \vartheta^x (1-\vartheta)^{n-x}=\binom nx (1-\vartheta)^n \exp \left( x \ln \left( \frac{\vartheta}{1-\vartheta} \right) \right)</math>

mit <math> \vartheta \in (0,1) </math>. Somit ist die Binomialverteilung Teil einer Exponentialfamilie und wird charakterisiert durch
:<math> T(x)=x, \quad, \eta(\vartheta)=\ln \left( \frac{\vartheta}{1-\vartheta} \right), \quad A(\vartheta)=(1-\vartheta)^n \text{ und } h(x)=\binom nx </math>.

==== Exponentialverteilung ====
Ein weiteres Beispiel sind die [[Exponentialverteilung]]en. Sie sind auf <math>([0,\infty), \mathcal B([0,\infty)) </math> definiert mit <math> \vartheta \in (0,\infty) </math> und besitzen die Wahrscheinlichkeitsdichtefunktion
:<math> f(x, \vartheta)=\vartheta \exp \left( - \vartheta x \right) </math>

Somit ist in diesem Fall
:<math> T(x)=x, \quad \eta(\vartheta)=- \vartheta \, \text{ sowie }A(\vartheta)=\vartheta </math>.

Zu beachten ist, dass eine einparametrige Exponentialfamilie durchaus eine [[multivariate Verteilung]] sein kann. Einparametrig bedeutet hier nur, dass die Dimensionalität des „Formparameters“ <math> \vartheta </math> eins ist. Ob die definierte Wahrscheinlichkeitsverteilung univariat oder multivariat ist, hängt von der Dimensionalität des Grundraumes <math> X </math> ab, an die keine Anforderungen gestellt sind.

== ''k''-parametrige Exponentialfamilie ==
=== Definition ===
Eine Familie von [[Wahrscheinlichkeitsmaß]]en <math> (P_\vartheta)_{\vartheta \in \Theta} </math> auf dem [[Messraum (Mathematik)|Messraum]] <math> (X, \mathcal A) </math> mit <math> \Theta \subset \R^k </math> heißt eine ''k-parametrige Exponentialfamilie'', wenn es ein [[σ-endliches Maß]] <math> \mu </math> gibt, so dass alle <math> P_\vartheta </math> die Dichtefunktion
:<math> f(x, \vartheta)=h(x) A(\vartheta) \exp \left(\sum_{i=1}^k\eta_i(\vartheta) T_i(x) \right) </math>

bezüglich <math> \mu </math> besitzen. Oftmals wird der Parameter <math> \vartheta=(\vartheta_1, \dots, \vartheta_k) </math> geschrieben. Dabei sind
:<math>h, T_1, \dots, T_k: (X, \mathcal A) \to (\R, \mathcal B (\R)) </math>

[[messbare Funktion]]en und
:<math> A, \eta_1, \dots, \eta_k: \R^k \supset \Theta \to \R </math>

Funktionen des k-dimensionalen Parameters <math> \vartheta </math>.
Hier wird wie im einparametrigen Fall die Funktion <math> T=(T_1,\dots, T_k) </math> die natürliche suffiziente Statistik oder die kanonische Statistik genannt.

=== Beispiel ===
==== Normalverteilung ====
Klassisches Beispiel für eine zweiparametrige Exponentialfamilie ist die [[Normalverteilung]]. Es ist <math> (X, \mathcal A)= (\R, \mathcal B (\R))</math> sowie <math> \Theta=\R \times (0, \infty) </math>. Jedes <math> \vartheta \in \Theta </math> ist dann von der Form <math> \vartheta=(\vartheta_1, \vartheta_2) </math>. Mit den Parametrisierungen <math> \mu=\vartheta_1 </math> sowie <math> \sigma^2=\vartheta_2^2 </math> erhält man aus der üblichen Dichtefunktion der Normalverteilung
:<math> f(x, \vartheta_1, \vartheta_2)= \frac{1}{\sqrt{2 \pi \vartheta_2^2}} \exp \left( - \frac{\vartheta_1^2}{2 \vartheta_2^2}\right) \exp \left( \frac{\vartheta_1}{\vartheta_2^2}x -\frac{1}{2 \vartheta_2^2}x^2\right) </math>.

Somit ist die Normalverteilung Teil einer zweiparametrigen Exponentialfamilie mit
:<math> A(\vartheta_1, \vartheta_2)= \frac{1}{\sqrt{2 \pi \vartheta_2^2}} \exp \left( - \frac{\vartheta_1^2}{2 \vartheta_2^2}\right), \quad T_1(x)=x, \quad T_2(x)=x^2, \quad \eta_1(\vartheta_1, \vartheta_2)=\frac{\vartheta_1}{\vartheta_2^2}, \quad \eta_2(\vartheta_1, \vartheta_2)= -\frac{1}{2 \vartheta_2^2} </math>.

Auch hier gilt wieder: eine k-parametrige Exponentialfamilie kann durchaus eine Wahrscheinlichkeitsverteilung in nur einer Dimension beschreiben. Die Zahl k gibt nur die Anzahl der Formparameter an, nicht die Dimensionalität der Verteilung. So ist im obigen Beispiel die Normalverteilung eindimensional, aber Teil einer zweiparametrigen Exponentialfamilie.

==== Gammaverteilung ====
Ein weiteres Beispiel für eine zweiparametrige Exponentialfamilie ist die [[Gammaverteilung]].

=== Alternative Definitionen ===
Für die k-parametrige Exponentialfamilie existieren dieselben Varianten in der Definition wie bereits im einparametrigen Fall besprochen wurden. Außerdem fordern manche Autoren noch zusätzlich in der Definition, dass folgende beide Eigenschaften gelten:
# Die Funktionen <math> \eta_1, \dots, \eta_k </math> sind [[Lineare Unabhängigkeit|linear unabhängig]]
# Die Funktionen <math> 1,T_1, \dots, T_k </math> sind für alle <math> P_\vartheta </math> [[fast sicher]] linear unabhängig.

Mit diesen zusätzlichen Forderungen lassen sich beispielsweise Aussagen über die [[Kovarianzmatrix]] von <math> T </math> treffen.

=== Die natürliche Parametrisierung ===
Sowohl im einparametrigen als auch im k-parametrig Fall sagt man, dass die Exponentialfamilie in der natürlichen Parametrisierung vorliegt, wenn <math> \eta(\vartheta)=\vartheta </math> ist.

== Eigenschaften ==
=== Suffizienz ===
Für die Exponentialfamilie ist die kanonische Statistik <math> T </math> immer eine [[suffiziente Statistik]]. Dies folgt direkt aus dem [[Neyman-Kriterium]] für die Suffizienz. Daher wird <math> T </math> auch als natürliche suffiziente Statistik bezeichnet.

=== Score-Funktion ===
Für eine einparametrige Exponentialfamilie ist die [[Score-Funktion]] gegeben durch
:<math> S_\vartheta(x):= \frac{\partial}{\partial\vartheta} \ln f(x,\vartheta)=\eta'(\vartheta) T(x)+ \frac{A'(\vartheta)}{A(\vartheta)} </math>.

Bei natürlicher Parametrisierung vereinfacht sich dies zu
:<math> S_\vartheta(x)=T(x)+ \frac{A'(\vartheta)}{A(\vartheta)} </math>.

=== Fisher-Information ===
Aus der Score-Funktion lässt sich die [[Fisher-Information]] ableiten. Sie lautet
:<math> I(\vartheta)= \operatorname{Var}_\vartheta(S_\vartheta)= \left[ \eta'(\vartheta)\right]^2 \cdot \operatorname{Var}_\vartheta(T(x)) </math>.

Bei natürlicher Parametrisierung ergibt sich für die Fisher-Information somit
:<math>I(\vartheta)= \operatorname{Var}_\vartheta(T(x)) </math>.

== Rolle in der Statistik ==
=== Klassisches Schätzen: Suffizienz ===
Nach dem ''Pitman-Koopman-Darmois-Theorem'' gibt es unter Wahrscheinlichkeitsfamilien, deren Träger nicht von den Parametern abhängt, nur bei den Exponentialfamilien [[Suffiziente Statistik|suffiziente Statistiken]], deren Dimension bei wachsender Stichprobengröße beschränkt bleibt. Etwas ausführlicher: Seien <math>X_n,\ n = 1, 2, 3, \dots</math> [[unabhängig und identisch verteilte Zufallsvariablen]], deren Wahrscheinlichkeitsverteilungsfamilie bekannt ist. Nur wenn diese Familie eine Exponentialfamilie ist, gibt es eine (möglicherweise vektorielle) [[suffiziente Statistik]] <math>T(X_1, \dots, X_n)</math>, deren Anzahl skalarer Komponenten nicht ansteigt, sollte der Stichprobenumfang <math>n</math> erhöht werden.

=== Bayessches Schätzen: konjugierte Verteilungen ===
Exponentialfamilien sind auch für die [[bayessche Statistik]] wichtig. In der bayesschen Statistik wird eine [[A-priori-Wahrscheinlichkeit]]sverteilung mit einer [[Likelihood-Funktion]] multipliziert und dann normiert, um auf die [[A-posteriori-Wahrscheinlichkeit]]sverteilung zu kommen (siehe [[Satz von Bayes]]). Falls die Likelihood zu einer Exponentialfamilie gehört, existiert auch eine Familie konjugierter A-priori-Verteilungen, die oft ebenfalls eine Exponentialfamilie ist. Eine konjugierte A-priori-Verteilung <math>\pi</math> für den Parameter <math>\eta</math> einer Exponentialfamilie ist definiert durch

:<math>\pi(\eta) \propto \exp(-\eta^{\top} \alpha - \beta\, A(\eta)),</math>

wobei <math>\alpha \in \mathbb{R}^n</math> und <math>\beta>0</math> [[Hyperparameter]] sind (Parameter, die im Rahmen des Modells nicht geschätzt, sondern festgelegt werden).

Im Allgemeinen gehört die Likelihood-Funktion keiner Exponentialfamilie an, deshalb existiert im Allgemeinen auch keine konjugierte A-priori-Verteilung. Die A-posteriori-Verteilung muss dann mit numerischen Methoden berechnet werden.

=== Hypothesentests: gleichmäßig bester Test ===
Die einparametrige Exponentialfamilie zählt zu den Verteilungsklassen mit [[Monotoner Dichtequotient|monotonem Dichtequotienten]] in der kanonischen Statistik <math> T </math>, wenn <math> \eta </math> monoton wachsend ist. Daher existiert für das [[Einseitiger Test|einseitige Testproblem]] mit
:<math> \Theta_0= \{\vartheta \in \Theta \, | \, \vartheta \leq \vartheta_0\} \quad \text{und} \quad \Theta_1 =\{\vartheta \in \Theta \, | \, \vartheta > \vartheta_0\} </math>

ein [[gleichmäßig bester Test]] zu einem vorgegebenen Niveau <math> \alpha </math>. Eine explizite Beschreibung des Tests mit skizzierter Herleitung aus dem [[Neyman-Pearson-Lemma]] findet sich [[Gleichmäßig bester Test#Einseitige Tests|hier]].

== Literatur ==
* {{cite book| last = Lehmann| first = E. L.| coauthors = Casella, G. | title = Theory of Point Estimation | year = 1998 | pages = 2nd ed., sec. 1.5 | isbn=0-387-98502-6 |language=en }}
* {{cite book | last = Keener | first = Robert W. | title = Statistical Theory: Notes for a Course in Theoretical Statistics | publisher = Springer | year = 2006 | pages = 27–28, 32–33 |language=en }}
*{{Literatur |Autor=[[Hans-Otto Georgii]] |Titel=Stochastik |TitelErg=Einführung in die Wahrscheinlichkeitstheorie und Statistik |Auflage=4. |Verlag=Walter de Gruyter |Ort=Berlin |Datum=2009 |ISBN=978-3-11-021526-7 |DOI=10.1515/9783110215274}}
*{{Literatur |Autor=Ludger Rüschendorf |Titel=Mathematische Statistik |Verlag=Springer Verlag |Ort=Berlin Heidelberg |Datum=2014 |ISBN=978-3-642-41996-6 |DOI=10.1007/978-3-642-41997-3}}
*{{Literatur |Autor=Claudia Czado, Thorsten Schmidt |Titel=Mathematische Statistik |Verlag=Springer-Verlag |Ort=Berlin Heidelberg |Datum=2011 |ISBN=978-3-642-17260-1 |DOI=10.1007/978-3-642-17261-8}}
== Einzelnachweise ==
<references />

{{Navigationsleiste Wahrscheinlichkeitsverteilungen}}

[[Kategorie:Mathematische Statistik]]
[[Kategorie:Verteilungsklasse]]

Exponentialfamilie - Versionsgeschichte

imported>Meinichselbst: Parameter fix