imported>Sokrates 399: Typografie.

2026-02-15T14:23:52Z

Typografie.

Neue Seite

In der [[Statistik]] ist ein '''Informationskriterium''' ein [[Kriterium]] zur [[Modellauswahl]]. Man folgt dabei der Idee von [[Ockhams Rasiermesser]], dass ein Modell nicht unnötig komplex sein soll und balanciert die [[Anpassungsgüte]] des geschätzten Modells an die vorliegenden empirischen Daten ([[Stichprobe]]) und dessen Komplexität, gemessen an der Anzahl der [[Regressionsparameter|Parameter]], aus. Die Anzahl der Parameter wird dabei „strafend“ berücksichtigt, da sonst komplexe Modelle mit vielen Parametern bevorzugt würden. In diesem Sinne ist das [[Korrigiertes Bestimmtheitsmaß|korrigierte Bestimmtheitsmaß]], das auf [[Henri Theil]] (1970) zurückgeht, ein Vorläufer der heute bekannten Informationskriterien.

Allen heute verwendeten Informationskriterien ist gleich, dass sie in zwei verschiedenen Formulierungen vorliegen. Entweder ist das Maß für die Anpassungsgüte als die „[[Maximum-Likelihood-Methode|maximale Plausibilität]]“ oder als die „minimale [[Varianz (Stochastik)|Varianz]]“ der [[Störgröße und Residuum|Residuen]] formuliert. Hieraus ergeben sich unterschiedliche Interpretationsmöglichkeiten. Beim Ersteren ist das Modell „am besten“, bei dem das jeweilige Informationskriterium den höchsten Wert hat (die „strafende“ Anzahl der Parameter muss dabei abgezogen werden). Beim Letzteren ist das Modell mit dem niedrigsten Wert des Informationskriteriums am besten (die Anzahl der Parameter muss „strafend“ addiert werden).

== {{Anker|Akaikes Informationskriterium}} Akaike-Informationskriterium ==
Das historisch älteste Kriterium wurde im Jahr 1973 von [[Hirotsugu Akaike]] (1927–2009) als ''an information criterion'' vorgeschlagen und ist heute als '''Akaike-Informationskriterium'''<ref>{{Internetquelle |url=http://isi.cbs.nl/glossary/term81.htm |titel=Akaike's information criterion |titelerg=Glossary of statistical terms |werk=[[International Statistical Institute]] |datum=2011-06-01 |abruf=2020-07-04 |sprache=en}}</ref>, '''Informationskriterium nach Akaike''', oder '''Akaike’sches Informationskriterium''' ({{enS|Akaike information criterion}}, kurz: '''AIC''') bekannt. Das Akaike-Informationskriterium ist eines der am häufigsten verwendeten Kriterien für die Modellauswahl im Rahmen der Likelihood-basierten Inferenz.

In der [[Grundgesamtheit]] liegt eine Verteilung einer Variablen mit unbekannter [[Dichtefunktion]] <math>p</math> vor. Bei der [[Maximum-Likelihood-Methode|Maximum-Likelihood-Schätzung]] (ML-Schätzung) geht man von einer bekannten Verteilung mit einem unbekannten Parameter <math>\theta</math> aus; man nimmt also an, dass sich die Dichtefunktion als <math>q(\theta)</math> schreiben lässt. Die [[Kullback-Leibler-Divergenz]] wird als Entfernungsmaß zwischen <math>p</math> und <math>q(\hat{\theta})</math> genutzt. Dabei ist <math>\hat{\theta}</math> der geschätzte Parameter aus der Maximum-Likelihood-Schätzung. Je besser das ML-Modell ist, desto kleiner ist die Kullback-Leibler-Divergenz <math>D(P\|Q)</math>.

Für den Fall eines regulären und linearen Modells konnte Akaike zeigen, dass die negative [[log-Likelihood-Funktion]] (auch ''logarithmische Plausibilitätsfunktion'' genannt) <math>-\ell(\hat{\theta})</math> ein verzerrter Schätzer für die Kullback-Leibler-Divergenz <math>D(P\|Q)</math> ist und dass die Verzerrung asymptotisch (Stichprobenumfang strebt gegen unendlich) gegen die Zahl der zu schätzenden Parameter <math>p</math> konvergiert. Für ein Maximum-Likelihood-Modell mit einem ''p''-dimensionalen Parametervektor <math>\hat{\boldsymbol\theta}_{ML} = (\hat{\theta}_1,\hat{\theta}_2, \dotsc, \hat{\theta}_p)^\mathsf{T}</math>, ist das Akaike-Informationskriterium definiert als<ref>[[Ludwig Fahrmeir]], [[Thomas Kneib]], Stefan Lang, Brian Marx: ''Regression: models, methods and applications.'' Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 664.</ref>

:<math> AIC = -2\ell(\hat{\boldsymbol\theta}_{ML}) + 2p </math>,

wobei <math>\ell</math> die log-Likelihood-Funktion darstellt. Das Kriterium ist negativ orientiert, d. h. bei einer Auswahl von möglichen Kandidaten für Modelle ([[Modellauswahl]]) für die Daten ist das bevorzugte Modell dasjenige mit dem minimalen AIC-Wert. Das AIC belohnt die [[Anpassungsgüte]] (beurteilt durch die [[Likelihood-Funktion]]), aber es enthält auch einen [[Strafterm]] (auch ''Pönalisierungsterm'' oder ''Penalisierungsterm'' genannt) <math>2p</math>, der hierbei zu hohe Modellkomplexität bestraft. Er ist eine zunehmende Funktion in Abhängigkeit der Anzahl der geschätzten Parameter <math>p</math>. Der Strafterm verhindert [[Überanpassung]], denn die Erhöhung der Anzahl der Parameter im Modell verbessert fast immer die Anpassungsgüte.
Anstelle des AIC nach obiger Definition wird auch <math>AIC/n</math> verwendet, wobei <math>n</math> die [[Stichprobengröße]] ist.<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: ''Regression: models, methods and applications.'' Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 664.</ref>

=== Allgemeine Definition ===
Angenommen, es liegen <math>n</math> unabhängige Beobachtungen mit [[Erwartungswert]] <math>\operatorname{E}(y_{i}) = \mu_{i}</math> und [[Varianz (Stochastik)|Varianz]] <math>\operatorname{Var}(y_{i}) = \sigma^2</math> vor. Die Variablen <math>x_0 =1 , x_1 , x_2 , \ldots, x_k</math> sind verfügbar als potentielle Regressoren. Sei das [[Spezifikation (Statistik)|spezifizierte]] Modell definiert durch die [[Teilmenge]] <math>M\subset \{0,1,2,\ldots,k\}</math> von miteinbezogenen erklärenden Variablen mit der dazugehörigen [[Versuchsplanmatrix]] <math>\mathbf{X}_{M}</math>. Für den Kleinste-Quadrate-Schätzer erhält man <math>\hat\boldsymbol\beta_{M}=(\mathbf{X}^\mathsf{T}_{M}\mathbf{X}_{M})^{-1}\mathbf{X}^\mathsf{T}_{M}\mathbf{y}</math>.<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: ''Regression: models, methods and applications.'' Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 144</ref>

Im Allgemeinen ist das Akaike-Informationskriterium definiert durch

:<math> AIC = -2\ell(\hat{\boldsymbol\beta}_{M}, \hat\sigma^2;\mathbf y, \mathbf{X}_{M} ) + 2(\mid M \mid +1)</math>,

wobei <math>\ell(\hat{\boldsymbol\beta}_{M}, \hat \sigma^2)</math> der Maximalwert der log-Likelihood-Funktion ist, d. h., die log-Likelihood-Funktion wenn die ML-Schätzer <math>\hat{\boldsymbol\beta}_{M}</math> und <math> \hat \sigma^2</math> in die log-Likelihood-Funktion eingesetzt werden. Kleinere AIC-Werte gehen mit einer besseren Modellanpassung einher. Die Anzahl der Parameter ist hier <math>\mid M \mid +1</math>, da die Varianz der Störgrößen ebenfalls als ein Parameter gezählt wird. In einem [[Lineares Modell|linearen Modell]] mit [[Normalverteilung|normalverteilten]] Störgrößen ([[Klassisches lineares Modell der Normalregression]]) erhält man für die negative log-Likelihood-Funktion (für die Herleitung der log-Likelihood-Funktion, siehe [[Klassisches lineares Modell der Normalregression#Maximum-Likelihood-Schätzung|Maximum-Likelihood-Schätzung]])

:<math>\begin{align}-2\ell(\hat{\boldsymbol\beta}_{M}, \hat\sigma^2;\mathbf y, \mathbf{X}_{M} ) &= -2 \ln(L(\hat{\boldsymbol\beta}_{M},\hat\sigma^2;\mathbf y,\mathbf{X}_{M} )) = n \cdot \ln(2\pi) + n\cdot\ln(\hat\sigma^2) + \frac{(\mathbf y-\mathbf{X}_{M} \hat{\boldsymbol\beta}_{M})^\mathsf{T}(\mathbf y-\mathbf{X}_{M} \hat{\boldsymbol\beta}_{M})}{\hat\sigma^2} \\&\propto n\cdot\ln(\hat\sigma^2) + \frac{(\mathbf y-\mathbf{X}_{M} \hat{\boldsymbol\beta}_{M})^\mathsf{T}(\mathbf y-\mathbf{X}_{M} \hat{\boldsymbol\beta}_{M})}{\hat\sigma^2} \\&= n\cdot\ln(\hat\sigma^2) + \frac{n\hat\sigma^2}{\hat\sigma^2}\\&= n\cdot\ln(\hat\sigma^2) + n \\&\propto n\cdot\ln(\hat\sigma^2) \end{align}</math>

und damit

:<math>AIC = n\ln(\hat\sigma^2) + 2(\mid M \mid +1) </math>.

Hierbei ist <math>n</math> der Stichprobenumfang und <math>\hat\sigma^2</math> die Varianz der Störgrößen. Die Varianz der Störgrößen <math>\hat\sigma^2</math> wird mittels der [[Residuenquadratsumme]] aus dem Regressionsmodell geschätzt (siehe [[Erwartungstreue Schätzung der Varianz der Störgrößen]]). Allerdings ist zu beachten, dass <math>\hat\sigma^2</math> die verzerrte (und nicht wie gewöhnlich die [[erwartungstreue]]) Variante der Schätzung der Varianz der Störgrößen <math>\hat \sigma^2 = \tfrac{1}{n} \hat \boldsymbol \varepsilon^\mathsf{T}\hat \boldsymbol \varepsilon</math> ist.<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: ''Regression: models, methods and applications.'' Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 148</ref>

== Bayessches Informationskriterium ==
Der Nachteil des Akaike-Informationskriteriums ist, dass der Strafterm von der Stichprobengröße unabhängig ist. Bei großen Stichproben sind Verbesserungen der log-Likelihood bzw. der Residualvarianz „leichter“ möglich, weshalb das Kriterium bei großen Stichproben tendenziell Modelle mit verhältnismäßig vielen Parametern vorteilhaft erscheinen lässt. Deshalb empfiehlt sich die Verwendung des durch [[Gideon E. Schwarz]] 1978 vorgeschlagenen '''bayesschen Informationskriteriums'''<ref>{{Internetquelle |url=http://isi.cbs.nl/glossary/term277.htm |titel=Bayes information criterion |titelerg=Glossary of statistical terms |werk=[[International Statistical Institute]] |datum=2011-06-01 |abruf=2020-07-04 |sprache=en}}</ref>, auch '''Bayes-Informationskriterium''', '''Bayes’sches Informationskriterium''', '''bayesianisches Informationskriterium''', oder '''Schwarz-Bayes-Informationskriterium''' (kurz: '''SBC''') genannt ({{enS}} ''Bayesian Information Criterion'', kurz: '''BIC'''). Für ein Modell mit einem Parametervektor <math>\boldsymbol\theta</math>, log-Likelihood-Funktion <math>\ell(\boldsymbol\theta)</math> und dem Maximum-Likelihood-Schätzer <math>\hat\boldsymbol\theta_{ML}</math> ist das BIC definiert als<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014), ISBN 978-3-642-37886-7, S. 230.</ref><ref>Ludwig Fahrmeir, [[Thomas Kneib]], Stefan Lang, Brian Marx: ''Regression: models, methods and applications.'' Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 677.</ref>

:<math>BIC = -2\ell(\hat{\boldsymbol\theta}_{ML}) + p\ln(n)</math>.

bzw.

: <math>
BIC = n \ln({\hat{\sigma}}^2)+ p \ln(n)
</math>

Bei diesem Kriterium wächst der Faktor des Strafterms logarithmisch mit der Anzahl der Beobachtungen <math>n</math>. Bereits ab acht Beobachtungen (<math>\ln 8=2{,}07944>2</math>) bestraft das BIC zusätzliche Parameter schärfer als das AIC. Formal ist das BIC identisch zum AIC, bloß dass der Faktor 2 durch <math>\ln(n)</math> ersetzt wird.

Es hat die gleiche Ausrichtung wie AIC, sodass Modelle mit kleinerem BIC bevorzugt werden.<ref>Leonhard Held und Daniel Sabanés Bové: [https://www.springer.com/de/book/9783642378867 ''Applied Statistical Inference: Likelihood and Bayes.''] Springer Heidelberg New York Dordrecht London (2014), ISBN 978-3-642-37886-7, S. 230.</ref>

Letzteres Modell wird vor allem in der Soziologie häufig verwendet. Kuha (2004) weist auf die unterschiedlichen Ziele der beiden Kenngrößen hin: Während das BIC versucht dasjenige Modell auszuwählen, das [[A-posteriori-Wahrscheinlichkeit|A-posteriori]] die größte Plausibilität besitzt das [[Wahres Modell|wahre Modell]] zu sein, geht das AIC davon aus, dass es kein wahres Modell gibt.
Die Hälfte des negativen BIC wird auch als Schwarz-Kriterium bezeichnet.

== Weitere Informationskriterien ==
Daneben existieren weitere, seltener verwendete Informationskriterien, wie:
* das Hannan-Quinn-Informationskriterium ({{enS}} ''Hannan-Quinn Information Criterion'' kurz: ''HQIC''), benannt nach [[Edward James Hannan]] und [[Barry G. Quinn]] (1979)
* das [[Deviance Information Criterion|Devianz-Informationskriterium]] ({{enS}} ''Deviance Information Criterion'' kurz: ''DIC''), nach Spiegelhalter, Best, Carlin und van der Linde (2002)
* [[Erweitertes Informationskriterium]] ({{enS}} ''Extended Information Criterion'', kurz: ''EIC'') nach Ishiguro, Sakamoto, and Kitagawa (1997)
* [[Fokussiertes Informationskriterium]] ({{enS}} ''Focused Information Criterion'', kurz: ''FIC'') nach Wei (1992), [[Generalized Information Criterion]], kurz: ''GIC'' nach Nishii (1984)
* [[Netzwerkinformationskriterium]]<ref>[[Bastian Popp (Wirtschaftswissenschaftler)|Bastian Popp]]: [https://books.google.de/books?id=M8shBAAAQBAJ&pg=PR19&dq=Netzwerk+Informationskriterium&hl=de&sa=X&ved=0ahUKEwiklLaPwP7kAhXE6aQKHc15C3cQ6AEIMjAB#v=onepage&q=Netzwerk%20Informationskriterium&f=false ''Markenerfolg durch Brand Communities: Eine Analyse der Wirkung psychologischer Variablen auf ökonomische Erfolgsindikatoren.'']</ref> ({{enS}} ''Network Information Criterion'', kurz: ''NIC'') nach Murata, Yoshizawa und Amari (1991)
* [[Takeuchi-Informationskriterium]] ({{enS}} ''Takeuchi's Information Criterion'', kurz: ''TIC'') nach Takeuchi (1976)

Ein auf Informationskriterien basierender [[statistischer Test]] ist der [[Vuong-Test]].

== Literatur ==
* Hirotsugu Akaike: ''Information theory and an extension of the maximum likelihood principle.'' In: B. N. Petrov u. a. (Hrsg.): ''Proceedings of the Second International Symposium on Information Theory'' Budapest: Akademiai Kiado 1973. S. 267–281.
* Kenneth P. Burnham, David R. Anderson: ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach.'' Springer-Verlag, New York 2002, ISBN 0-387-95364-7.
* Kenneth P. Burnham/David R. Anderson (2004): ''Multimodel Inference: Understanding AIC and BIC in Model Selection.'' In: ''Sociological Methods and Research.'' Band 33, 2004, [[doi:10.1177/0049124104268644]], S. 261–304.
* Jouni Kuha (2004): ''AIC and BIC: Comparisons of Assumptions and Performance'', in: ''Sociological Methods and Research.'' Band 33, 2004, [[doi:10.1177/0049124103262065]], S. 188–229.
* [[Gideon Schwarz]]: ''Estimating the Dimension of a Model.'' In: ''Annals of Statistics.'' 2, Nr. 6, 1978, [[doi:10.1214/aos/1176344136]], {{JSTOR|2958889}}, S. 461–464.
* David L. Weakliem (2004): ''Introduction to the Special Issue on Model Selection.'' In: Sociological Methods and Research, Band 33, 2004, [[doi:10.1177/0049124104268642]], S. 167–187.

== Einzelnachweise ==
<references />

== Weblinks ==
* {{Internetquelle
|autor=Bernard Desgraupes
|url=https://cran.r-project.org/web/packages/clusterCrit/vignettes/clusterCrit.pdf
|titel=Clustering Indices
|hrsg=[[Universität Paris-Nanterre]]
|datum=2013-03
|format=PDF
|sprache=en
|abruf=2016-06-26
|abruf-verborgen=1}}

[[Kategorie:Zeitreihenanalyse]]
[[Kategorie:Regressionsanalyse]]
[[Kategorie:Ökonometrie]]
[[Kategorie:Globales Gütemaß]]

Informationskriterium - Versionsgeschichte

imported>Sokrates 399: Typografie.