imported>Biggerj1: /* Literatur */

2026-02-09T18:57:23Z

Literatur

Neue Seite

In der [[Entscheidungstheorie]] ist eine '''score function''' oder '''scoring rule''', zu deutsch eine '''Bewertungs-Regel''', ein Maß für die Performanz einer Wahrscheinlichkeitsvorhersage eines Modells, ohne dabei zu [[Dichotomisierung|dichotomisieren]]. Im Rahmen der [[Probabilistische Klassifikation|probabilistischen Klassifikation]] und der [[Empirische Risikominimierung|empirischen Risikominimierung]] können Scoring rules als [[Verlustfunktion (Statistik)|Verlustfunktionen]] eingesetzt werden.

== Motivation ==
Eine Dichotomisierung der Wahrscheinlichkeitsvorhersage wird häufig bei der [[Beurteilung eines binären Klassifikators]] angewandt.
Ein Vorteil von Scoring rules gegenüber [[Beurteilung eines binären Klassifikators|anderen Bewertungsmetriken wie Precision, Recall oder F-Score]], ist, dass eine schlechtere [[Wahrscheinlichkeitskalibrierung]] zu einem schlechteren scoring führt (was für die anderen Bewertungsmetriken nicht zwingend der Fall ist).

Daher werden in der [[Probabilistische Klassifikation|probabilistischer Klassifikation]], bei der es um gute [[Wahrscheinlichkeitskalibrierung]] geht (d. h. die vorhergesagten Wahrscheinlichkeiten mit den tatsächlichen übereinstimmen sollen), proper score functions zur Bewertung und als [[Verlustfunktion (Statistik)|Verlustfunktion]] herangezogen<ref>Greenberg, Spencer. "Calibration scoring rules for practical prediction training." arXiv preprint arXiv:1808.07501 (2018). https://arxiv.org/abs/1808.07501</ref>.
[[Datei:Calibration plot.png|mini|Mit einer Kalibrationskurve kann herausgefunden werden, wie gut die Vorhersagen eines Modells kalibriert sind.]]

== Definition ==
{{Überarbeiten}}
Eine Scoring rule ist eine Funktion, welche die Übereinstimmung einzelner Vorhersagen mit ihrer Beobachtung bewertet.
Die Scoring rule <math>u : \Omega \times \mathcal{F} \to \mathbb{R}</math> ist über dem zusammengesetzten Raum des [[Ergebnisraum]]es und der [[Wahrscheinlichkeitsmaß]]e <math>\mathcal{F}</math> definiert.
Die Scoring-Funktion liefert die Bewertung <math>u(x,q) \in \mathbb{R}</math> für die Vorhersage <math>q</math> bei Eintritt des Ereignisses <math>x</math>. Die [[Eintrittswahrscheinlichkeit]] des Ereignisses ist <math>P(X=x)</math>, d. h. <math>X \sim P(X)</math>.

Scoring rules werden in folgende Fälle unterschieden:
* positive Orientierung, das heißt größere Scores sind besser
* negative Orientierung, das heißt kleinere Scores sind besser

== Erwartungswert der Scoring rule ==
{{Siehe auch|Empirische Risikominimierung}}
Der [[Erwartungswert]] der Scoring rule <math>E_X[u(x,q)]= \sum_{x\in \Omega} \underbrace{p(X=x)}_{p_x} u(x,q)</math> kann mithilfe einer zufälligen Stichprobe und einer Realisierung des [[Stichprobenmittelwert]]es geschätzt werden (welcher nach dem [[Gesetz der großen Zahlen]] konvergiert):
:<math>\hat{E}_X[u(x,q)]= \frac{1}{N}\sum_{i=1}^N u(x_i,q(x_i)),</math>
die Werte <math>q(x_i)</math> sind die Wahrscheinlichkeitsvorhersagen für den Eintritt des realisierten Ereignisses <math>x_i \in \Omega</math>, <math>x_i \sim P(X)</math>.

== Einteilung ==
Eine Scoring rule <math>u</math> positiver Orientierung heißt (analog für negative Orientierung, aber mit umgedrehten Ungleichungen)<ref>Economic Value of Weather and Climate Forecasts. (1997). Vereinigtes Königreich: Cambridge University Press. Seite 36, [https://www.google.de/books/edition/Economic_Value_of_Weather_and_Climate_Fo/y9BmnTOxiSgC?hl=de&gbpv=1&dq=definition+expected+scoring+rules&pg=PA36 Google Books]</ref>:
* strictly proper, falls :<math> E_{X\sim p}[u(x,p)]>E_{X\sim p}[u(x,q)]</math> für alle <math>q \neq p</math>
* proper, falls :<math> E_{X\sim p}[u(x,p)]\geq E_{X\sim p}[u(x,q)]</math> für alle <math>q \neq p</math>
* improper, falls :<math>E_{X\sim p}[u(x,p)]< E_{X\sim p}[u(x,q)]</math> für manche <math>q \neq p.</math>

Eine scoring rule <math>u(x,q)</math> heißt somit proper, wenn der Vorhersagende motiviert wird, ehrlich und kohärent zu schätzen.

== Proper score functions ==
[[Datei:Scoring functions.gif|mini|Darstellung des erwarteten Scores <math>E_X[u(x,q)]</math> für verschiedene Wahrscheinlichkeiten <math>p_x</math> (vertikale Linie) verschiedener scoring functions. Die x-Achse ist die Prädiktion q. Rot: linear, orange: spherical, purple: quadratic, green: log.]]
=== Brier score ===
Die häufigste Definition<ref>Healthcare Data Analytics. (2015). USA: CRC Press. https://www.google.de/books/edition/Healthcare_Data_Analytics/Iun5CQAAQBAJ?hl=de&gbpv=1&dq=brier%20score%20definition%20most%20common&pg=PA366&printsec=frontcover</ref> des [[Brier score]] ist gegeben durch

<math>u(x,q)=(x-q)^2.</math>

Er sollte minimiert werden.

=== Logarithmische Score-Funktion ===
{{Siehe auch|Devianz (Statistik)}}
Die ''logarithmische Score-Funktion''.

::<math>u(x,q) =\begin{cases}
\log q & \text{falls } x = 1 \\
\log (1-q) & \text{falls } x = 0 \\
\end{cases}</math>
[[Datei:ExpectedLog.png|mini|hochkant=1.25|Erwartungswert der Logarithmische Score-Funktion unter Annahme, dass das Ereignis x=1 mit Wahrscheinlichkeit <math>p_1 = 0.8</math> erscheint. Die blaue Linie wird durch die Funktion <math>0.8 \log(q)+(1-0.8)\log(1-q)</math> beschrieben. Das Maximum liegt bei <math>q = 0.8</math>]]

=== Continuous ranked probability score ===
[[Datei:Illustration CRPS.png|mini|Illustration des Continuous ranked probability score (CRPS). Gegeben ist eine Stichprobe y und eine vorhergesagte kumulative Verteilung F. Der CRPS wird berechnet, indem man die Differenz zwischen den Kurven an jedem Punkt x des Trägers berechnet, diese Differenz quadriert und über den gesamten Träger integriert.]]
Der continuous ranked probability score (CRPS) ist eine strictly proper scoring rule.
Der CRPS vergleicht eine einzelne Beobachtung <math>y</math> mit der vorhergesagten Verteilung.
Er wird wie folgt definiert:

<math>CRPS(F,y)=\int_\mathbb{R} ( F(x) - \mathbb{1}(x \ge y) ) ^2 dx</math>

Dabei ist <math>F</math> die vorhergesagte kumulative Verteilungsfunktion über einem Träger, welcher durch <math>x</math> beschrieben wird und <math>y \in \mathbb R</math> ist die Beobachtung. Beachte, dass die Vorhersage mehrere Wahrscheinlichkeiten schätzt, sodass eine kumulative Verteilungsfunktion F entsteht.

Wenn die Vorhergesagte Dichte eine [[Delta-Distribution]] <math>p(z)=\delta(\hat{y}-z)</math> ist (also<math>F(x)= \int_{-\infty}^x \delta(\hat{y}-z) dz=\mathbb{1}(x \ge \hat{y})</math>) dann ist der CRPS äquivalent zum Mean absolute error (MAE):
<math>CRPS(F,y)=\int_\mathbb{R} ( \mathbb{1}(x \ge \hat{y}) - \mathbb{1}(x \ge y) ) ^2 dx=\begin{cases} \int_{\hat{y}}^y 1 dx \text{ für } y>\hat{y} \\ \int_y^{\hat{y}} 1 dx \text{ sonst} \end{cases}=|\hat{y}-y|</math>

CRPS ist auch bekannt als [[Cramér–von-Mises-Distanz]] und kann als eine Verbesserung der [[Wasserstein-Metrik]] angesehen werden (häufig im [[Maschinelles Lernen|Machine Learning]] verwendet). Außerdem zeigte die Cramér-Distanz in der [[ordinale Regression|ordinalen Regression]] eine bessere Leistung als die [[Kullback-Leibler-Distanz]] oder die Wasserstein-Metrik<ref>The Cramer Distance as a Solution to Biased Wasserstein Gradients https://arxiv.org/abs/1705.10743</ref>.

Eine multivariate Verallgemeinerung des CRPS ist der Energy Score<ref>Strictly Proper Scoring Rules, Prediction, and Estimation
Tilmann Gneiting & Adrian E Raftery https://www.tandfonline.com/doi/abs/10.1198/016214506000001437</ref><ref>Beyond Strictly Proper Scoring Rules: The Importance of Being Local, Hailiang Du, https://journals.ametsoc.org/view/journals/wefo/36/2/WAF-D-19-0205.1.xml</ref>.

=== Variogramm-basierte Proper Scoring Rule ===
Neben dem oben angesprochenen Energy Score als multivariate Verallgemeinerung des CRPS, kann mithilfe der Variogramm-basierten Proper Scoring Rules<ref>Variogram-Based Proper Scoring Rules for Probabilistic Forecasts of Multivariate Quantities, Michael Scheuerer, Thomas M. Hamill, Print Publication: 01 Apr 2015, DOI: https://doi.org/10.1175/MWR-D-14-00269.1, https://journals.ametsoc.org/view/journals/mwre/143/4/mwr-d-14-00269.1.xml</ref> bei multivariaten Vorhersagen explizit Wert auf die [[Korrelationssturktur]] gelegt werden (im Gegensatz zum Energy Score).

=== Sphärische scoring rule ===
Die [[Sphärische scoring rule]]:
::<math>u(x,q) = x/ \sqrt{q^2} </math>

== Beispiel Bernoulli-verteilte Zufallszahl ==
Betrachte die Aufgabe der [[Wettervorhersage]], bei der an jedem Tag eine Regenwahrscheinlichkeit q vorhergesagt wird und es an einem Tag entweder regnet (x = 1) oder nicht regnet (x = 0).
Die echte Wahrscheinlichkeit, dass es regnet, ist p und die Wahrscheinlichkeit, dass es nicht regnet, ist 1-p.
Wir betrachten somit eine [[Bernoulli-Verteilung|Bernoulli-verteilte Zufallszahl]] <math>X \sim \text{Ber}(p)</math>:
* <math>X\in \{0,1\}</math>
* <math>p(X=1)=p</math>
* <math>p(X=0)=1-p</math>

Durch eine Statistik der vorhergesagten Wahrscheinlichkeiten q kann die tatsächliche Regenhäufigkeit p mit der Vorhersage abgeglichen werden.
Besitzt die Vorhersage q oft eine große Abweichung zu p, so wird sie [[Wahrscheinlichkeitskalibrierung|schlecht kalibriert]] genannt.
Um den Vorhersagenden zu motivieren, die [[Wahrscheinlichkeitskalibrierung]] (seine Leistung) zu verbessern, kann ihm das Ziel gesetzt werden den Erwartungswert einer proper scoring rule positiver Orientierung <math>u(x,q)</math> zu maximieren (oder bei negativer Orientierung zu minimieren).

=== Logarithmischer Score ===
Betrachte die Scoring-Funktion <math>u(x,q)=\begin{cases}\log(q) \text{ für } x=1\\ \log(1-q) \text{ für } x=0\end{cases}</math> so ist <math>E_X[u(x,q)]=p\log(q)+(1-p)\log(1-q)</math>.
Maximierung des erwarteten Scores liefert:
:<math>\partial_q E_X[u(x,q)]|_{q^*} = \partial_q (\sum_{x\in \{0,1\}} p_x u(x,q))|_{q^*}= \partial_q ( p u(1,q)+(1-p) u(0,q))|_{q^*} = \frac{p-q}{q-q^2}|_{q^*}=0 \implies q^*=p</math>
Somit wird der erwartete Score durch die spezielle Wahl <math>q^*=p</math> maximiert und <math>u(x,q)=\begin{cases}\log(q) \text{ für } x=1\\ \log(1-q) \text{ für } x=0\end{cases}</math> ist eine proper scoring rule (positiver Orientierung).

Beachte: der negative Erwartungswert <math>-E_X[u(x,q)]=-p \log(q)+(1-p)\log(1-q)</math> entspricht der [[Kreuzentropie]].
Die Wahl einer logarithmischen scoring rule ist per-se willkürlich, kann jedoch durch [[Maximum-Likelihood-Methode#Definition|Maximierung der Likelihood-Funktion]] motiviert werden.

=== Quadratischer Score ===
Betrachte die Scoring-Funktion <math>u(x,q)=(x-q)^2,</math> so ist <math>E_X[u(x,q)]=p(1-q)^2+(1-p)(0-q)^2</math>.
Minimierung des erwarteten Scores liefert:
:<math>\partial_q E_X[u(x,q)]|_{q^*} =(2q-2p)|_{q^*}=0 \implies q^*=p</math>
Somit wird der erwartete Score durch die spezielle Wahl <math>q^*=p</math> minimiert und <math>u(x,q)=(x-q)^2</math> ist eine proper scoring rule (negativer Orientierung).

=== Absoluter Score ===
Betrachte die Scoring-Funktion <math>u(x,q)=|x-q|,</math> (mit <math>0\leq q \leq 1</math>), so ist <math>E_X[u(x,q)]=p|1-q|+(1-p)|0-q|=p(1-q)+(1-p)q</math>.
Minimierung des erwarteten Scores liefert:
:<math>\partial_q E_X[u(x,q)]|_{q^*}=1-2p =0,</math>
was nur für p = 0.5 wahr ist.
Somit wird der erwartete Score nicht durch die spezielle Wahl <math>q^*=p</math> minimiert und <math>u(x,q)=|x-q|</math> ist keine proper scoring rule.

== Probleme ==
Eine extreme Ungleichheit bei den Klassenhäufigkeiten macht die Schätzung von Wahrscheinlichkeiten schwer<ref>Wallace, Byron & Dahabreh, Issa. (2012). Class Probability Estimates are Unreliable for Imbalanced Data (and How to Fix Them). Proceedings - IEEE International Conference on Data Mining, ICDM. 695-704. {{Doi|10.1109/ICDM.2012.115}}</ref>.

== Literatur ==
* Some Comparisons among Quadratic, Spherical, and Logarithmic Scoring Rules, J. Eric Bickel, 7 https://doi.org/10.1287/deca.1070.0089
* Scoring rules for continuous probability distributions, James E. Matheson, Robert L. Winkler, (1976) Scoring Rules for Continuous Probability Distributions. Management Science 22(10):1087-1096. http://dx.doi.org/10.1287/mnsc.22.10.1087

== Weblinks ==
* [https://www.decisionsciencenews.com/?p=963 Video comparing spherical, quadratic and logarithmic scoring rules]
* [https://scoringrules.readthedocs.io/en/latest/theory.html Erklärung der Definition]

== Einzelnachweise ==
<references/>

[[Kategorie:Entscheidungstheorie]]

Scoring Rule - Versionsgeschichte

imported>Biggerj1: /* Literatur */