Quelltext der Seite Schätzfunktion

{{Belege fehlen}}
Eine '''Schätzfunktion''', auch '''Schätzstatistik''' oder kurz '''Schätzer''', dient in der [[Mathematische Statistik|mathematischen Statistik]] dazu, aufgrund von vorhandenen empirischen Daten einer [[Stichprobe]] einen '''Schätzwert''' zu ermitteln und dadurch Informationen über unbekannte [[Parameter (Statistik)|Parameter]] einer [[Grundgesamtheit]] zu erhalten.

Schätzfunktionen sind die Basis zur Berechnung von [[Punktschätzer|Punktschätzungen]] und zur Bestimmung von [[Konfidenzintervall]]en mittels [[Bereichsschätzer]]n und werden als [[Teststatistik]]en in [[Statistischer Test|Hypothesentests]] verwendet. Sie sind spezielle [[Stichprobenfunktion]]en und können durch [[Schätzverfahren]], z.&nbsp;B. die [[Methode der kleinsten Quadrate|Kleinste-Quadrate-Schätzung]], die [[Maximum-Likelihood-Schätzung]] oder die [[Momentenmethode]], bestimmt werden.

Im Rahmen der [[Entscheidungstheorie]] können Schätzfunktionen auch als [[Entscheidungsfunktion]]en bei [[Entscheidung unter Unsicherheit|Entscheidungen unter Unsicherheit]] betrachtet werden.

== Formale Definition ==
Es sei
:<math>T_{n} = h(X_1, \dots, X_n)</math>,
eine reellwertige [[Stichprobenfunktion]] (oder [[Statistik (Funktion)|Statistik]]) basierend auf einer [[Zufallsstichprobe]] <math>X_1,\dots,X_n</math> aus einer [[Wahrscheinlichkeitsverteilung]] mit einem unbekannten skalaren Parameter <math>\theta</math>.
Beachte, dass Großbuchstaben [[Zufallsvariable]]n anzeigen: Somit sind <math>T_{n}</math> und die <math>X_i</math> Zufallsvariablen.

Wenn die Stichprobenfunktion <math>T_{n}</math> verwendet wird, um statistische Inferenz bzgl. <math>\theta</math> durchzuführen, heißt sie '''Schätzfunktion''' oder '''Schätzer''' für den Parameter <math>\theta</math>. Der konkrete Wert <math>t_n = h(x_1,\dots, x_n)</math>, den ein Schätzer für eine [[Realisierung (Stochastik)|Realisierung]] <math>x_1,\dots, x_n</math> der Zufallsstichprobe <math>X_1,\dots,X_n</math> annimmt, ist eine [[Realisierung (Stochastik)|Realisierung]] der Zufallsvariablen <math>T_{n}</math>.
<math>t_n = h(x_1,\dots, x_n)</math> wird als '''Schätzwert''' für den Parameter <math>\theta</math> bezeichnet.<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S.&nbsp;52.</ref> Falls der [[Stichprobenumfang]] <math>n</math> nicht relevant ist, schreibt man auch <math>T</math> statt <math>T_{n}</math> und <math>t</math> statt <math>t_n</math>.

Der Begriff ''Schätzung'' ist nicht eindeutig, er bezeichnet teils das Verfahren zur Ermittlung eines Schätzers, teils die Durchführung des Verfahrens zur Ermittlung eines Schätzwertes und teils einen Schätzwert.

=== Beispiel ===
Die Zufallsvariablen <math>X_1, \dots, X_n</math> seien [[normalverteilt]] mit <math>X_i \sim\mathcal{N}(\theta,1)</math> für <math>i=1,\dots,n</math> mit unbekanntem Parameter <math>\theta \in \R</math>. Dann ist
:<math>T_n = \bar X_n = \frac{1}{n}\sum_{i=1}^n X_i </math>
eine Schätzfunktion für den Parameter <math>\theta</math>. Die Schätzfunktion <math>T_n</math> ist eine Zufallsvariable, deren Wahrscheinlichkeitsverteilung typischerweise vom Parameter <math>\theta</math> und vom [[Stichprobenumfang]] <math>n</math> abhängt. Beispielsweise gilt <math>\bar X_n \sim \mathcal{N}(\theta,1/n)</math>, falls die Zufallsvariablen <math>X_1, \dots, X_n</math> [[stochastisch unabhängig]] sind. Für realisierte Werte <math>x_1, \dots, x_n</math> ist
:<math>t_n = \bar x_n = \frac{1}{n}\sum_{i=1}^n x_i </math>
ein Schätzwert für den Parameter <math>\theta</math>. Die reelle Zahl <math>\bar x_n</math> ist ein realisierter Wert der Zufallsvariablen <math>\bar X_n</math>.

== Grundkonzepte: Stichprobenvariablen und -funktionen ==
In der Regel befindet sich der Experimentierende in der Situation, dass er anhand endlich vieler Beobachtungen (einer Stichprobe) Aussagen über die zugrunde liegende Verteilung oder deren Parameter in der Grundgesamtheit treffen möchte.

Nur in seltenen Fällen lässt sich die Grundgesamtheit vollständig erheben (Total- oder Vollerhebung), sodass sie dann exakt die gewünschten Informationen liefert. Ein Beispiel für eine Vollerhebung ist die Arbeitslosenstatistik der [[Amtliche Statistik|amtlichen Statistik]].

In den meisten Fällen kann jedoch die Grundgesamtheit nicht vollständig erhoben werden, z.&nbsp;B. weil sie zu groß ist. Interessiert man sich etwa für die mittlere Größe der 18-Jährigen in der EU, müsste man alle 18-Jährigen messen, was praktisch undurchführbar ist. Stattdessen wird nur eine [[Stichprobe]], eine zufällige Auswahl von <math>n</math> Elementen, erhoben (Teilerhebung).

=== Stichprobenvariable ===
An dieser Stelle setzt die statistische Modellierung an. Die '''Stichprobenvariable''' <math>X_i</math>, eine [[Zufallsvariable]], beschreibt mit ihrer Verteilung die [[Wahrscheinlichkeit]], mit der eine bestimmte [[Merkmalsausprägung]] bei der <math>i</math>-ten Ziehung aus der [[Grundgesamtheit]] auftritt. Jeder Beobachtungswert <math>x_i</math> ist die [[Realisierung (Stochastik)|Realisierung]] einer Stichprobenvariable <math>X_i</math>.

=== Stichprobenfunktion ===
{{Hauptartikel|Stichprobenfunktion}}
Die Definition von Stichprobenvariablen <math>X_i</math> erlaubt die Definition von Stichprobenfunktionen analog z.&nbsp;B. zu Kennwerten aus der deskriptiven Statistik:

{| class="wikitable zebra centered" style="text-align:center;"
! Arithmetisches Mittel
! Stichprobenfunktion
|- align="center"
|<math> \overline x := \frac{1}{n} (x_1 + x_2 + \ldots + x_n)</math>
|<math> \overline X := \frac{1}{n} (X_1 + X_2 + \ldots + X_n)</math>
|}

Da jede Stichprobe aufgrund der Zufälligkeit anders ausfällt, sind auch diese Stichprobenfunktionen Zufallsvariablen, deren Verteilung von

* der Art der [[Stichprobenziehung|Ziehung der Stichprobe]] aus der Grundgesamtheit und
* der Verteilung des Merkmals in der Grundgesamtheit

abhängt.

=== Stichprobenverteilung ===
[[Stichprobenverteilung]] ist eine Bezeichnung für die Wahrscheinlichkeitsverteilung einer Stichprobenfunktion.
{{Hauptartikel|Stichprobenverteilung}}

== Schätzfunktionen ==
=== Grundgedanke und Konzept der Schätzfunktion ===

Schätzfunktionen sind spezielle Stichprobenfunktionen, um Parameter oder Verteilungen der Grundgesamtheit zu bestimmen. Beeinflusst werden Schätzfunktionen unter anderem durch

* die Art der Ziehung der Stichprobe (z.&nbsp;B. Ziehen mit oder ohne Zurücklegen) und
* die Art der Schätzmethode (z.&nbsp;B. [[Methode der kleinsten Quadrate]], [[Maximum-Likelihood-Methode]] oder [[Momentenmethode]]).

Man möchte letztlich versuchen, ausschließlich anhand des Wissens um das zu Grunde liegende Modell und die beobachtete Stichprobe etwa Intervalle anzugeben, die mit größter [[Wahrscheinlichkeit]] den wahren Parameter enthalten. Alternativ möchte man auch bei einer bestimmten Fehlerwahrscheinlichkeit testen, ob eine spezielle Vermutung über den Parameter (zum Beispiel, dass zu viele Gläser Kerne enthalten) bestätigt werden kann. Schätzfunktionen bilden in diesem Sinne die Basis für jede begründete Entscheidung über die Ausprägungen der Grundgesamtheit, die bestmögliche Wahl solcher Funktionen ist das Ergebnis der mathematischen Untersuchung.

Trifft man auf dieser Basis eine Entscheidung, z.&nbsp;B. geht die Lieferung zurück, besteht die Möglichkeit, dass die Entscheidung falsch ist. Es gibt folgende Fehlerquellen:

# Die Stichprobe ist nicht repräsentativ für die Grundgesamtheit, d.&nbsp;h., sie spiegelt die Grundgesamtheit nicht wider.
# Das Modell für die Zufallsvariablen <math>X_i</math> ist falsch.
# Die Stichprobe könnte untypisch ausgefallen sein, so dass man die Lieferung fälschlicherweise ablehnt.

Dennoch besteht in der Praxis zumeist keine Alternative zu statistischen Verfahren dieser Art. Den zuvor genannten Problemen tritt man auf verschiedene Weisen entgegen:

# Man versucht möglichst eine einfache [[Zufallsstichprobe]] zu ziehen.
# Die Modelle für die Zufallsvariablen <math>X_i</math> werden zum einen möglichst groß gewählt (so dass das "richtige" Modell enthalten ist) und zum anderen wird die Schätzfunktion so gewählt, dass ihre Verteilung für viele Modelle berechenbar ist (siehe [[Zentraler Grenzwertsatz]]).
# Aufgrund der Schätzfunktion wird eine Irrtumswahrscheinlichkeit angegeben.

=== Formale Definition der Schätzfunktion ===
Grundlage einer jeden Schätzfunktion sind die Beobachtungen <math>x_i</math> eines statistischen Merkmals <math>X</math>. Modelltheoretisch wird dieses Merkmal idealisiert: Man geht davon aus, dass es sich bei den Beobachtungen in Wahrheit um Realisierungen von Zufallsvariablen <math>X_i</math> handelt, deren „wahre“ Verteilung und „wahre“ Verteilungsparameter unbekannt sind.

Um Informationen über die tatsächlichen Eigenschaften des Merkmals zu erhalten, erhebt man eine Stichprobe von <math>n</math> Elementen. Mit Hilfe dieser Stichprobenelemente schätzt man dann die gesuchten Parameter bzw. die gesuchte Verteilung (siehe [[Kerndichteschätzung]]).

Um also beispielsweise einen Parameter <math>\gamma</math> einer unbekannten Verteilung zu schätzen, hat man es formal mit einer Zufallsstichprobe vom Umfang <math>n</math> zu tun, es werden also <math>n</math> Realisierungen <math>x_i</math> (<math>i = 1, \dotsc, n</math>) der Zufallsvariablen <math>X_i</math> beobachtet. Die Zufallsvariablen <math>X_i</math> werden dann mittels einer Schätzmethode in einer geeigneten Schätzfunktion <math>g(X_1, X_2, \dotsc, X_n)</math> zusammengefasst. Formal wird dabei vorausgesetzt, dass <math>g</math> eine [[messbare Funktion]] ist.

Zur Vereinfachung der Berechnung der Schätzfunktion wird oft vorausgesetzt, dass die Zufallsvariablen <math>X_i</math> '''unabhängig''' voneinander und '''identisch verteilt''' sind, also die gleiche Verteilung und die gleichen Verteilungsparameter besitzen.

== Ausgewählte Schätzfunktionen ==
In der statistischen Praxis wird oft nach den folgenden Parametern der Grundgesamtheit gesucht:

* den Mittelwert <math>\mu</math> und
* der Varianz <math>\sigma^2</math> eines metrischen Merkmals sowie
* dem Anteilswert <math>\pi</math> einer dichotomen Grundgesamtheit.

=== Schätzfunktionen und Schätzwert für den Mittelwert ===
Der [[Erwartungswert]] <math>\mu</math> wird in der Regel mit dem arithmetischen Mittel der Stichprobe geschätzt:

{| class="wikitable centered" style="text-align:center;"
|-
! Schätzfunktion
! Schätzwert
|-
| <math>\overline{X}= \frac{1}{n}\sum_{i=1}^n X_i</math>
| <math>\hat{\mu} = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i</math>
|}

Ist die Verteilung [[Symmetrische Verteilung|symmetrisch]], kann auch der [[Median]] der Stichprobe als Schätzwert für den Erwartungswert verwendet werden:

{| class="wikitable centered" style="text-align:center;"
|-
! Schätzfunktion
! Schätzwert
|-
| <math>Z=X_{\left \lfloor \frac{n+1}{2} \right \rfloor}</math>
| <math>\hat{\mu} = z = x_{\left \lfloor \frac{n+1}{2} \right \rfloor}</math>
|}

wobei <math>\left\lfloor \; \right\rfloor</math> die [[Gaußklammer|untere Gaußklammer]] bezeichnet. Der Median ist also der Wert derjenigen Zufallsvariable, die nach Sortierung der Daten "in der Mitte" liegt. Es befinden sich also zahlenmäßig genauso viele Werte oberhalb wie unterhalb des Median.

Welche Schätzfunktion im Falle symmetrischer Verteilungen besser ist, hängt von der betrachteten Verteilungsfamilie ab.

=== Schätzfunktionen und Schätzwert für die Varianz ===
Für die [[Varianz (Stochastik)|Varianz]] der Grundgesamtheit <math>\sigma^2</math> verwendet man als Schätzfunktion meist die [[korrigierte Stichprobenvarianz]]:

{| class="wikitable centered" style="text-align:center;"
|-
! Schätzfunktion
! Schätzwert
|-
| <math>S_n^2=\frac{1}{n-1}\sum_{i=1}^n (X_i- \overline X)^2</math>
| <math>\hat{\sigma}^2 = s_n^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i- \overline{x})^2</math>
|}

Typische andere Vorfaktoren sind auch <math>\frac{1}{n}</math> und <math>\frac{1}{n+1}</math>. Alle diese Schätzer sind zwar [[Asymptote|asymptotisch]] äquivalent, werden aber je nach Art der Stichprobe unterschiedlich benutzt (siehe auch [[Stichprobenvarianz (Schätzfunktion)]]).

=== Schätzfunktionen und Schätzwert für den Anteilswert ===
Man betrachtet hier das [[Urnenmodell]] mit zwei Sorten Kugeln. Es soll der Anteilswert der Kugeln erster Sorte in der Grundgesamtheit geschätzt werden. Als Schätzfunktion verwendet man den Anteil der Kugeln erster Sorte in der Stichprobe.

{| class="wikitable centered" style="text-align:center;"
|-
! Schätzfunktion
! Schätzwert
|-
| <math>\Pi=\frac{X}{n}=\frac{1}{n}\sum_{i=1}^n X_i</math>
| <math>\hat{\pi}= \frac{1}{n}\sum_{i=1}^n x_i</math>
|}

mit <math>X</math>: Zahl der Kugeln erster Sorte in der Stichprobe und <math>X_i</math> eine binäre Zufallsvariable: Kugel der ersten Sorte in der <math>i</math>-ten Ziehung gezogen (<math>X_i=1</math>) oder nicht gezogen (<math>X_i=0</math>).

Die Verteilung von <math>\Pi</math> ist eine [[Binomialverteilung]] im Modell mit Zurücklegen und eine [[hypergeometrische Verteilung]] im Modell ohne Zurücklegen.

== Verteilung der Schätzfunktionen ==
{{Hauptartikel|Stichprobenverteilung}}
Die Verteilung der Schätzfunktionen hängt natürlich von der Verteilung des Merkmals in der [[Grundgesamtheit]] ab.

Seien <math> X_1, X_2, \dots, X_n </math> [[Unabhängig und identisch verteilte Zufallsvariablen|unabhängig und identisch normalverteilte Zufallsvariablen]] mit [[Erwartungswert]] <math>\mu</math> und [[Varianz (Stochastik)|Varianz]] <math>\sigma^2</math>. Der Schätzer <math>\overline X</math> ([[Stichprobenmittel]]) als [[lineare Transformation]] der <math>X_i</math> besitzt dann die Verteilung

:<math> \overline X\sim \mathcal{N}\left(\mu; \frac{\sigma^2}{n}\right)
 </math>.

Der Varianzschätzer <math>S_n^2</math> enthält eine [[Summe der Abweichungsquadrate|Quadratsumme]] von bezüglich <math> \overline X</math> [[Zentrierung (Statistik)|zentrierten]] normalverteilten Zufallsvariablen. Deshalb ist der Ausdruck

:<math> \frac{(n-1)S_n^2}{\sigma^2} \sim \chi^2(n-1)
</math>

[[Chi-Quadrat-Verteilung|Chi-Quadrat-verteilt]] mit <math>(n-1)</math> [[Anzahl der Freiheitsgrade (Statistik)|Freiheitsgraden]].

Ist die Verteilung des Merkmals unbekannt, kann bei Vorliegen der Voraussetzung des [[Zentraler Grenzwertsatz|zentralen Grenzwertsatzes]] die Verteilung der Schätzfunktion näherungsweise mit der Normalverteilung oder einer ihrer abgeleiteten Verteilungen angegeben werden.

== Gütekriterien von Schätzfunktionen ==
[[Datei:ConsistentEstimationFunction.png|mini|350px|Wahrscheinlichkeitsdichten für die konsistenten Schätzfunktionen <math>g_n</math> (<math>n=100,178,400</math>). Mit steigendem Stichprobenumfang wird der unbekannte Parameter <math>\gamma</math> immer genauer geschätzt.]]

=== Erwartungstreue ===
Eine [[erwartungstreue]] Schätzfunktion ist im Mittel (Erwartungswert) gleich dem wahren Parameter <math>\gamma</math>:

:<math>\ \operatorname{E}(g_n)=\gamma</math>.

Weicht <math>\ \operatorname{E}(g_n)</math> hingegen ''systematisch'' von <math>\gamma</math> ab, ist der Schätzer verzerrt ({{enS|biased}}). Die [[Verzerrung einer Schätzfunktion|Verzerrung eines Schätzers]] <math>\operatorname{Bias}(g_n)</math> errechnet sich dabei zu

:<math>\operatorname{Bias}(g_n)=\operatorname{E}(g_n)-\gamma=\operatorname{E}(g_n-\gamma)</math>.

Für eine lediglich [[Asymptotische Erwartungstreue|asymptotisch erwartungstreue]] Schätzfunktion dagegen muss nur gelten:

:<math>\lim_{n \to \infty} \operatorname{E}(g_n)=\gamma</math>

=== Konsistenz ===
Eine Schätzfunktion heißt [[Konsistente Schätzfolge|konsistent]], wenn für jedes <math>\varepsilon>0</math> gilt:

:<math> \lim_{n \to \infty}P(|g_n -\gamma|>\varepsilon)=0</math>.

mit <math>g_n = g(X_1, X_2,\dotsc, X_n)</math>. Man spricht hier von [[Konvergenz in Wahrscheinlichkeit|stochastischer Konvergenz]].

Die Grafik illustriert den Prozess: Für ''jedes'' <math>\varepsilon>0</math> müssen die ausgefüllten Flächen mit steigendem Stichprobenumfang immer kleiner werden.

Mit einfachen Worten: Eine konsistente Schätzfunktion nähert sich mit wachsendem <math>n</math> immer mehr dem wahren Parameter <math>\gamma</math> an (schätzt den wahren Parameter immer genauer).

Konsistente Schätzfunktionen müssen daher mindestens ''asymptotisch erwartungstreu'' (s.&nbsp;o.) sein.

Diese Eigenschaft ist grundlegend für die gesamte [[induktive Statistik]]; sie garantiert, dass eine Erhöhung des Stichprobenumfangs genauere Schätzungen, kleinere Konfidenzintervalle oder kleinere [[Annahmebereich]]e der <math>H_0</math> in Hypothesentests ermöglicht.

=== Minimale Varianz, Effizienz ===
Die Schätzfunktion soll eine möglichst kleine [[Varianz (Stochastik)|Varianz]] haben. Die Schätzfunktion <math>g_n^*</math> aus allen erwartungstreuen Schätzfunktionen <math>g_n</math>, welche die kleinste Varianz hat, wird dabei als '''[[Effizienz (Statistik)|effiziente]]''', '''beste''' oder '''wirksamste''' Schätzfunktion bezeichnet:

:<math>\operatorname{Var}(g_n^*)\leq \min_{g_n} \operatorname{Var}(g_n)</math>.

Unter bestimmten Bedingungen kann durch die [[Cramér-Rao-Ungleichung]] auch eine untere Grenze für <math>\operatorname{Var}(g_n)</math> angegeben werden. Das heißt, für eine Schätzfunktion kann gezeigt werden, dass es keine effizienteren Schätzfunktionen geben kann; höchstens noch genauso effiziente Schätzfunktionen.

=== Mittlerer quadratischer Fehler ===
Die [[Genauigkeit]] einer Schätzfunktion bzw. eines Schätzers wird oft durch seinen [[Mittlerer quadratischer Fehler|mittleren quadratischen Fehler]] ({{enS|mean squared error}}) ausgedrückt. Eine (dabei nicht notwendigerweise auch erwartungstreue) Schätzfunktion sollte daher stets einen möglichst kleinen mittleren quadratischen Fehler aufweisen, der sich rechnerisch als Erwartungswert der quadratischen Abweichung des Schätzers <math>g_n</math> vom wahren Parameter <math>\gamma</math> bestimmen lässt:

:<math>\mathrm{MSE}(g_n) = \operatorname{E}\bigl[ (g_n-\gamma)^2 \bigr] = \bigl( \operatorname{E}[g_n-\gamma] \bigr)^2 + \operatorname{E}\bigl[(g_n-E(g))^2 \bigr] = (\operatorname{Bias}(g_n))^2 + \operatorname{Var}(g_n)</math>

Wie zu sehen, ist der mittlere quadratische Fehler eines nicht erwartungstreuen Schätzers die Summe seiner [[Varianz (Stochastik)|Varianz]] und des Quadrats der Bias (Verzerrung); für erwartungstreue Schätzer dagegen sind Varianz und MSE gleich groß.

== Literatur ==
* Bol'shev, Login Nikolaevich (2001) [1994], ''"Statistical estimator"'', Encyclopedia of Mathematics, EMS Press.
* Jaynes, E. T. (2007), ''Probability Theory: The logic of science'' (5 ed.), Cambridge University Press, ISBN 978-0-521-59271-0.
* Kosorok, Michael (2008). ''Introduction to Empirical Processes and Semiparametric Inference.'' Springer Series in Statistics. Springer. [[doi:10.1007/978-0-387-74978-5]]. ISBN 978-0-387-74978-5.
* Lehmann, E. L.; Casella, G. (1998). ''Theory of Point Estimation'' (2nd ed.). Springer. ISBN 0-387-98502-6.
* Shao, Jun (1998), ''Mathematical Statistics'', Springer, ISBN 0-387-98674-X

== Weblinks ==
* Volker Schmidt: ''[https://www.mathematik.uni-ulm.de/stochastik/lehre/ss01/stochInfWi/vs1/node50.html Methoden der Statistik]'' aus dem Vorlesungsskript ''Stochastik für Informatiker, Physiker, Chemiker und Wirtschaftswissenschaftler''
{{Wikibooks|Statistik|Statistik}}

== Einzelnachweise ==
<references />

{{SORTIERUNG:Schatzfunktion}}
[[Kategorie:Schätztheorie]]
[[Kategorie:Stichprobentheorie]]