imported>Biggerj1: /* Beispiel */

2023-10-30T07:34:32Z

Beispiel

Neue Seite

Die '''Likelihood-Funktion''' (oft einfach nur '''Likelihood'''), gelegentlich auch '''Plausibilitätsfunktion''' oder ''Mutmaßlichkeitsfunktion'' genannt,<ref name="Georgii203" /> ist eine spezielle [[reellwertige Funktion]] in der [[mathematische Statistik|mathematischen Statistik]], die aus einer [[Wahrscheinlichkeitsdichtefunktion]] oder einer [[Zähldichte]] gewonnen wird, indem man einen Parameter der Dichte als Variable behandelt. Zentrale Verwendung der Likelihood-Funktion ist die Konstruktion von [[Schätzfunktion]]en durch die [[Maximum-Likelihood-Methode]]. Zudem werden aus ihr weitere Funktionen wie die '''Log-Likelihood-Funktion''' und die '''Score-Funktion''' abgeleitet, die beispielsweise als Hilfsfunktionen bei der Maximum-Likelihood-Methode oder zur Konstruktion von Optimalitätskriterien in der Schätztheorie verwendet werden.

Das Konzept stammt aus den 1920er Jahren von [[Ronald Aylmer Fisher]],<ref>Fisher, On the "probable error" of a coefficient of correlation deduced from a small sample, Metron, Band 1, 1921, S. 3–32.</ref><ref>Fisher, On the mathematical foundations of theoretical statistics, Philosophical Transactions of the Royal Society A, Band 222, 1922, S. 309–368.</ref> der glaubte, es sei ein in sich geschlossenes Rahmenwerk für statistische Modellierung und Inferenz. Später führten [[George Alfred Barnard]] und [[Allan Birnbaum]] eine [[Schule (Wissenschaft)|wissenschaftliche Schule]] an, die das [[Plausibilitätsprinzip]] vertrat, das postulierte, dass alle relevanten Informationen für die statistische Inferenz in der Likelihood-Funktion enthalten sind.

== Definition ==
Gegeben sei eine [[Wahrscheinlichkeitsdichtefunktion]] oder eine [[Zähldichte]]
:<math> f \colon \R^n \to \R </math>,

welche noch zusätzlich von einem oder mehreren Parametern <math> \vartheta </math> aus einer Parametermenge <math> \Theta </math> abhängt. Es ist also <math> f=f_\vartheta(x) </math>. Dann heißt die Funktion
:<math> L \colon \Theta \to \R </math>,

die durch
:<math> L_x(\vartheta)=f_\vartheta(x) </math>

definiert wird, die Likelihood-Funktion.<ref name="Rüschendorf162" /><ref name="Krengel62" />
Die Dichtefunktion wird somit zur Likelihood-Funktion, indem man den Parameter <math> \vartheta </math> als Variable auffasst und die Variable <math> x </math> als Parameter behandelt. Wird ein konkretes <math>\tilde x \in \R^n </math> fixiert, so nennt man auch <math> L_{\tilde x}(\vartheta ) </math> die Likelihood-Funktion zum Beobachtungswert <math> \tilde x </math>.<ref name="Georgii203" /> Im Falle einer Zähldichte gibt <math> L_{\tilde x}(\vartheta ) </math> somit die Wahrscheinlichkeit von <math> \tilde x </math> bei gegebenem Parameter <math> \vartheta </math> an.

== Beispiele ==
=== Wahrscheinlichkeitsdichte ===
Betrachtet man <math>n</math> [[Unabhängig und identisch verteilte Zufallsvariablen|unabhängig und identisch]] [[Normalverteilung|normalverteilte]] Zufallsvariablen <math> X_1, X_2, \dots, X_n </math> mit unbekanntem [[Erwartungswert]] <math>\mu \in (-\infty, \infty) </math> und unbekannter [[Varianz (Stochastik)|Varianz]] <math>\sigma^2>0</math>, so besitzt <math> X= (X_1, X_2, \dots, X_n) </math> aufgrund der Unabhängigkeitsannahme die Wahrscheinlichkeitsdichtefunktion
:<math> f_{\mu;\sigma^2}(x_1,x_2, \dots, x_n)= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\left(-\frac {(x_i-\mu)^2}{2\sigma^2} \right)} = \left( 2\pi\sigma^2 \right)^{- n/2} \exp \left( -\frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2\right)</math>

Somit ist der Parameter gegeben als <math> \vartheta=(\mu, \sigma^2) </math> und stammt aus der Parametermenge <math> \Theta=\R \times (0,\infty) </math>. Folglich ist die Likelihood-Funktion
:<math> L_x(\mu, \sigma^2)= \left( 2\pi\sigma^2 \right)^{- n/2} \exp \left( -\frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2\right)</math>,

sie stimmt also mit der Dichtefunktion überein, mit dem Unterschied, dass <math> \mu </math> und <math> \sigma^2 </math> die Variablen sind und <math> x =(x_1, x_2, \dots, x_n ) </math> als Parameter behandelt wird.
Für korrelierte Zufallsvariablen erhält man die Likelihood-Funktion nicht als einfaches Produkt und sie muss anders als oben dargestellt berechnet werden<ref>{{Literatur |Autor=Joseph L. Neuringer, Alan Kaplan |Titel=Maximum likelihood equations for a correlated multivariate normal distribution |Sammelwerk=International Journal of Mathematical Education in Science and Technology |Band=14 |Nummer=4 |Datum=1983-07-01 |ISSN=0020-739X |DOI=10.1080/0020739830140408 |Seiten=441–444}}</ref>.

Setzt man <math> n=2 </math> und <math> \tilde x=(1,2) </math>, so ist die Likelihood-Funktion unter Annahme von Unabhängigkeit zum Beobachtungswert <math> \tilde x </math>
:<math> L_{\tilde x}(\mu, \sigma^2)=\left( 2\pi\sigma^2 \right)^{- 1} \exp \left( -\frac{1}{2 \sigma^2} \left( (1-\mu)^2 + (2-\mu)^2\right) \right)</math>.

=== Zähldichte ===
Ist <math> X </math> eine zum Parameter <math> p </math> [[Binomialverteilung|binomialverteilte]] Zufallsvariable bei fixiertem <math> n </math>, also
:<math> X \sim \operatorname{Bin}_{n,p} </math>,

so besitzt sie die Zähldichte
:<math>f_p(k)=\binom nk p^k (1-p)^{n-k} </math>

für <math> k=0, 1, \dots, n </math>. Folglich ist die Likelihood-Funktion von der Form
:<math>L_k(p)=\binom nk p^k (1-p)^{n-k} </math>

mit <math> \vartheta = p </math> und <math>\Theta =(0,1) </math>. Die Likelihood-Funktion zum Beobachtungswert <math> k=2 </math> ist dann gegeben durch
:<math>L_2(p)=\binom n 2 p^2 (1-p)^{n-2} </math>.

== Verwendung ==
{{Hauptartikel|Maximum-Likelihood-Methode}}
Hauptverwendung findet die Likelihood-Funktion bei der Maximum-Likelihood-Methode, einer intuitiv gut zugänglichen [[Schätzmethode (Statistik)|Schätzmethode]] zur Schätzung eines unbekannten Parameters <math> \vartheta </math>. Dabei geht man bei einem Beobachtungsergebnis <math> \tilde x =(x_1, x_2, \dots, x_n) </math> davon aus, dass dieses ein „typisches“ Beobachtungsergebnis ist in dem Sinne, dass es sehr wahrscheinlich ist, solch ein Ergebnis zu erhalten. Die Wahrscheinlichkeit dafür, <math> \tilde x </math> zu erhalten hängt von der Wahrscheinlichkeitsdichtefunktion <math> f_\vartheta </math> und damit auch von <math> \vartheta </math> ab. Daher gibt man als Schätzung für den unbekannten Parameter denjenigen Parameter <math> \vartheta </math> an, für den die Wahrscheinlichkeit des Eintretens von <math> \tilde x </math> maximal ist. Dafür betrachtet man die Likelihood-Funktion zum Beobachtungswert <math> \tilde x </math> und sucht ein <math> \tilde \vartheta </math>, so dass
:<math> L_{\tilde x}( \tilde \vartheta) \geq L_{\tilde x}( \vartheta) \quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta </math>.

Dies entspricht der Bestimmung einer Maximalstelle der Likelihood-Funktion, welche meist durch Nullsetzen der Ableitung bestimmt wird:
:<math> \frac{{\rm d}}{{\rm d} \vartheta} L_{\tilde x}(\vartheta)= 0 </math>.

Ist diese Gleichung schwer zu lösen, bietet sich die Log-Likelihood-Funktion als Hilfsmittel an.

== Aufbauende Begriffe ==
=== Log-Likelihood-Funktion ===
==== Definition ====
Die Log-Likelihood-Funktion (auch '''logarithmische Plausibilitätsfunktion''' genannt<ref>Reinhard Viertl: [https://books.google.de/books?id=9Ze1BgAAQBAJ&pg=PA110&lpg=PA110&dq=logarithmische+plausibilitätsfunktion&source=bl&ots=0ykAs4XFOs&sig=JVvY_fgZG_wW4aA1F0LnSM1WCzI&hl=de&sa=X&ved=0ahUKEwjKqYnNwOXaAhVhwqYKHVRJCwAQ6AEIOjAB#v=onepage&q=logarithmische%20plausibilitätsfunktion&f=false "Einführung in die Stochastik: mit Elementen der Bayes-Statistik und Ansätzen für die Analyse unscharfer Daten."] Springer-Verlag, 2013, S. 110.</ref>) <math> \mathcal L_x </math> ist definiert als der (natürliche) Logarithmus aus der Likelihood-Funktion,<ref name="Krengel62" /> also (beachte [[Kalligrafie]] in der Formel)
:<math> \mathcal L_x(\vartheta) = \ln \left( L_x(\vartheta)\right) </math>.

Teils wird die Log-Likelihood-Funktion auch mit <math> \ell </math> oder <math> l </math> bezeichnet.<ref name="Czado85" />

==== Beispiele ====
Aufbauend auf den obigen beiden Beispielen für die Likelihood-Funktion gilt im Falle der unabhängig und identisch normalverteilten Zufallsvariablen für die Log-Likelihood-Funktion
:<math> \mathcal L_x(\mu, \sigma^2)= - \frac n 2 \ln \left( 2\pi\sigma^2\right) -\frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2</math>.

Im Falle der Binomialverteilung gilt für die Log-Likelihood-Funktion
:<math> \mathcal L_k(p)= \ln \left( \binom nk \right) + k \ln (p) + (n-k) \ln (1-p)</math>.

Beides folgt aus den Rechenregeln für den Logarithmus (siehe [[Logarithmus#Logarithmengesetze|Logarithmengesetze]]).

==== Eigenschaften ====
Da der Logarithmus eine [[streng monoton wachsende Funktion]] ist, ist jedes Minimum der Log-Likelihood-Funktion auch ein Minimum der Likelihood-Funktion. Ebenso ist jedes Maximum der Log-Likelihood-Funktion auch ein Maximum der Likelihood-Funktion.

Außerdem ist die Log-Likelihood-Funktion bei unabhängig und identisch verteilten Zufallsvariablen additiv. Das bedeutet, dass wenn <math> X_1, X_2, \dots, X_n </math> [[unabhängig und identisch verteilte Zufallsvariablen]] mit Dichte <math> f_\vartheta (x_i)</math> und Log-Likelihood-Funktion <math> \mathcal L_{x_i}(\vartheta) </math> sind, so besitzt <math> X=(X_1, X_2, \dots, X_n )</math> die Log-Likelihood-Funktion
:<math> \mathcal L^X_x(\vartheta)= \sum_{i=1}^n \mathcal L_{x_i}(\vartheta) </math>.

Dies folgt direkt aus der Tatsache, dass die Dichten von <math> X </math> als Produkt gebildet werden, und den Rechenregeln des Logarithmus.

==== Verwendung ====
Da die Log-Likelihood-Funktion dieselben Maximalstellen besitzt wie die Likelihood-Funktion, ist sie ein gängiges Hilfsmittel zur Lösung der Gleichung
:<math> \frac{{\rm d}}{{\rm d} \vartheta} L_{\tilde x}(\vartheta)= 0 </math>,

welche bei der Maximum-Likelihood-Methode anfällt. Anstelle dieser Gleichung wird dann die Gleichung
:<math> \frac{{\rm d}}{{\rm d} \vartheta} \mathcal L_{\tilde x}(\vartheta)= 0 </math>

gelöst. Insbesondere die Additivität der Log-Likelihood-Funktion bei unabhängig und identisch verteilten Zufallsvariablen erleichtert das Lösen der Gleichung in vielen Fällen.

=== Score-Funktion ===
==== Definition ====
In einparametrigen Modellen definiert man die Score-Funktion als erste Ableitung der Log-Likelihood-Funktion<ref name="Georgii210" />
:<math> S_\vartheta(x):= \frac{\partial}{\partial\vartheta} \ln ( L_x(\vartheta)) = \frac{1}{L_x(\vartheta)} \cdot \frac{{\rm d}}{{\rm d} \vartheta} L_x(\vartheta)</math>

Sie ist also die [[logarithmische Ableitung]] der Likelihood-Funktion. Die Score-Funktion gibt die Steigung der Log-Likelihood-Funktion an der jeweiligen Stelle an und muss nicht immer existieren. Sie taucht ebenfalls bei der [[Fisher-Information]] auf.

==== Beispiel ====
{{Siehe auch|Scoring rule}}
Für die Binomialverteilung wurde oben bereits gezeigt, dass die Likelihood-Funktion von der Form
:<math> L_k(p)= \binom nk p^k (1-p)^{n-k} </math>

ist. Daher ist
:<math> \ln \left( L_k(p)\right) = \mathcal L_x(p)= \ln \left( \binom nk \right) + k \ln (p) + (n-k) \ln (1-p)</math>.

Leitet man diese Funktion nach <math> p </math> ab, so fällt der erste Term als Konstante weg und mit den Ableiteregeln für den Logarithmus (siehe [[Logarithmus#Ableitung und Integral|Ableitung und Integral]]) folgt
:<math> S(k)= k \cdot \frac 1p + (n-k) \cdot \frac{-1}{1-p}= \frac{k - np}{p(1-p)} </math>

für die Score-Funktion.

==== Verteilung ====
Die Score-Funktion ist [[Asymptotische Normalität|asymptotisch normalverteilt]] mit [[Erwartungswert]] Null und [[Varianz (Stochastik)|Varianz]] als Erwartungswert der [[Fisher-Information]] <math>F(\vartheta)</math> (auch [[Erwartete Fisher-Information]] genannt):<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 87.</ref>

:<math> \frac{S(\vartheta)}{\sqrt{\operatorname{E}(F(\vartheta))}} \; \stackrel{a}{\sim} \; \mathcal N(0,1)\quad</math> bzw. <math>\quad S(\vartheta) \; \stackrel{a}{\sim} \; \mathcal N(0,\operatorname{E}(F(\vartheta)))</math>.

== Pseudo-Likelihood-Funktion ==
Für die Lösung des Maximum-Likelihood-Problems ist nur das Auffinden des Maximums der Likelihood-Funktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer '''Pseudo-Likelihood-Funktion''':
* die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: Man nennt dann die Likelihood-Funktion eine Pseudo-Likelihood-Funktion und
* die eigentliche Likelihood-Funktion oder Log-Likelihood-Funktion ist zu schwierig zu maximieren und wird z. B. durch eine geglättete Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

== Kern der Likelihood-Funktion ==
Den '''Kern der Likelihood-Funktion''' (''Kern der Plausibilitätsfunktion'') erhält man aus der Likelihood-Funktion, indem man alle multiplikativen Konstanten vernachlässigt. Für gewöhnlich wird mit <math> L_x(\vartheta)</math> sowohl die Likelihood-Funktion als auch deren Kern bezeichnet. Die Verwendung der Log-Likelihood-Funktion <math> \mathcal L_x(\vartheta) </math> ist häufig numerisch sinnvoll. Multiplikative Konstanten in <math> L_x(\vartheta) </math> wandeln sich dann in additive Konstanten in <math> \mathcal L_x(\vartheta) </math>, die wiederum häufig ignoriert werden können. Eine Log-Likelihood-Funktion ohne additive Konstanten wird '''Kern der Log-Likelihood-Funktion''' genannt. Auch hier wird gewöhnlich mit <math> \mathcal L_x(\vartheta)</math> sowohl die Log-Likelihood-Funktion als auch deren Kern bezeichnet.<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 15.</ref> Beispielsweise wäre der Kern der Log-Likelihood-Funktion einer Normalverteilung mit unbekanntem [[Erwartungswert]] <math>\mu</math> und bekannter [[Varianz (Stochastik)|Varianz]] <math>\sigma^2</math>:<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 27. ff.</ref>

:<math>\mathcal L_x(\mu) = - \frac{1}{2 \sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2</math>.

== Siehe auch ==
* [[Pseudo-R-squared]]

== Einzelnachweise ==
<references>
<ref name="Georgii203" >{{Literatur|Autor=Hans-Otto Georgii|Titel=Stochastik|TitelErg=Einführung in die Wahrscheinlichkeitstheorie und Statistik|Auflage=4.|Verlag=Walter de Gruyter|Ort=Berlin|Jahr=2009|ISBN=978-3-11-021526-7 |Seiten=203| DOI=10.1515/9783110215274}} </ref>
<ref name="Rüschendorf162" >{{Literatur|Autor=Ludger Rüschendorf|Titel=Mathematische Statistik|Verlag=Springer Verlag|Ort=Berlin Heidelberg|Jahr=2014|ISBN=978-3-642-41996-6|Seiten=162|DOI=10.1007/978-3-642-41997-3}} </ref>
<ref name="Krengel62" > {{Literatur|Autor=[[Ulrich Krengel]]|Titel=Einführung in die Wahrscheinlichkeitstheorie und Statistik|TitelErg=Für Studium, Berufspraxis und Lehramt|Auflage=8.|Verlag=Vieweg|Ort=Wiesbaden|Jahr=2005|ISBN=3-8348-0063-5 |Seiten=62|DOI=10.1007/978-3-663-09885-0}} </ref>
<ref name="Czado85" > {{Literatur|Autor=Claudia Czado, Thorsten Schmidt|Titel=Mathematische Statistik|Verlag=Springer-Verlag|Ort=Berlin Heidelberg|Jahr=2011|ISBN=978-3-642-17260-1|Seiten=85|DOI=10.1007/978-3-642-17261-8}} </ref>
<ref name="Georgii210" >{{Literatur|Autor=Hans-Otto Georgii|Titel=Stochastik|TitelErg=Einführung in die Wahrscheinlichkeitstheorie und Statistik|Auflage=4.|Verlag=Walter de Gruyter|Ort=Berlin|Jahr=2009|ISBN=978-3-11-021526-7 |Seiten=201|DOI=10.1515/9783110215274}} </ref>

</references>

[[Kategorie:Schätztheorie]]

Likelihood-Funktion - Versionsgeschichte

imported>Biggerj1: /* Beispiel */