Score (statistiek)

In de wiskundige statistiek is de score, of scorefunctie (ook informant), de gradiënt van de natuurlijke logaritme van de aannemelijkheidsfunctie met betrekking tot de parameter. De score geeft dus de steilheid van de log-aannemelijkheidsfunctie aan en daarmee de gevoeligheid voor infinitesimale veranderingen van de parameterwaarden. Als de log-aannemelijkheidsfunctie continu is in de parameter, zal de score gelijk zijn aan 0 op een lokaal maximum of minimum. Dit feit wordt gebruikt bij de meest aannemelijke schatter om de waarde van de parameter te vinden die de grootste aannemelijkheid heeft. Ook is de score direct verbonden met het begrip fisherinformatie.

Definitie

Eenparametrisch model

Zij $\{f_{\vartheta }|\vartheta \in \Theta \}$ een familie kansdichtheden, geparametriseerd door $\vartheta \in \Theta$, met $\Theta$ een open verzameling.

De scorefunctie van deze familie is gedefinieerd door

$S(\vartheta ,x)={\frac {\partial }{\partial \vartheta }}\ln f_{\vartheta }(x)={\frac {{\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)}{f_{\vartheta }(x)}}$,

mits deze bestaat en eindig is.

Meerdere parameters

Als de parameter meerdimensionaal is: $\vartheta =(\vartheta _{1},\ldots ,\vartheta _{m})$, is de score:

$S(\vartheta ,x)=\mathrm {grad} (\ln f_{\vartheta }(x))={\frac {1}{f_{\vartheta }(x)}}\left({\frac {\partial }{\partial \vartheta _{1}}}f_{\vartheta }(x),\ldots ,{\frac {\partial }{\partial \vartheta _{m}}}f_{\vartheta }(x)\right)$

mits deze bestaat en eindig is.

Eigenschap

Onder de regulariteitsvoorwaarden dat differentiëren en integreren verwisseld mogen worden, is de verwachtingswaarde van de score gelijk aan 0, immers:

$\operatorname {E} {\frac {\partial }{\partial \theta }}\log f_{\vartheta }(X)=\int {\frac {{\frac {\partial }{\partial \theta }}f_{\vartheta }(x)}{f_{\vartheta }(x)}}f_{\vartheta }(x)\,\mathrm {d} x={\frac {\partial }{\partial \theta }}\int f_{\vartheta }(x)\,\mathrm {d} x={\frac {\partial }{\partial \theta }}1=0$

Voorbeelden

Discrete verdelingen

In het geval van een discrete verdeling betreft het dichtheden ten opzichte van de telmaat, dus kansfuncties.

Binomiale verdeling

Voor de binomiale verdeling met parameters $n$ en succeskans $p$ geldt:

$S(p,x)={\frac {\partial }{\partial p}}\ln \left({\tbinom {n}{x}}p^{x}(1-p)^{n-x}\right)={\frac {x}{p}}-{\frac {n-x}{1-p}}={\frac {x-np}{p(1-p)}}$

Inderdaad is:

$\operatorname {E} S(p,X)=\operatorname {E} {\frac {X-np}{p(1-p)}}=0$

Poissonverdeling

Voor de poissonverdeling met parameter $\lambda$ geldt:

$S(\lambda ,x)={\frac {\partial }{\partial \lambda }}\ln \left({\frac {\lambda ^{x}}{x!}}\,e^{-\lambda }\right)={\frac {\partial }{\partial \lambda }}\left(x\ln \lambda -\ln(x!)-\lambda \right)={\frac {x}{\lambda }}-1$

Ook is weer:

$\operatorname {E} S(\lambda ,X)={\frac {\operatorname {E} X}{\lambda }}={\frac {\operatorname {E} X}{\lambda }}-1=0$

Continue verdelingen

Exponentiële verdeling

Voor de exponentiële verdeling met parameter $\lambda$ geldt:

$S(\lambda ,x)={\frac {\partial }{\partial \lambda }}\ln \left(\lambda e^{-\lambda x}\right)={\frac {\partial }{\partial \lambda }}(\ln \lambda -\lambda x)={\frac {1}{\lambda }}-x$

Er geldt weer:

$\operatorname {E} S(\lambda ,X)={\frac {1}{\lambda }}-\operatorname {E} X=0$

Normale verdeling

Voor de normale verdeling met parameters 0 en $\sigma ^{2}=\vartheta$ geldt:

$S(\vartheta ,x)={\frac {\partial }{\partial \vartheta }}\ln \left({\frac {1}{\sqrt {2\pi \vartheta }}}e^{-{\frac {x^{2}}{2\vartheta }}}\right)={\frac {\partial }{\partial \vartheta }}\left(-{\tfrac {1}{2}}\ln \vartheta -{\frac {x^{2}}{2\vartheta }}\right)=-{\frac {1}{2\vartheta }}+{\frac {x^{2}}{2\vartheta ^{2}}}$,

dus

$S(\sigma ^{2},x)={\frac {x^{2}-\sigma ^{2}}{2\sigma ^{4}}}$

Er geldt weer:

$\operatorname {E} S(\vartheta ,X)=-{\frac {1}{2\vartheta }}+{\frac {\operatorname {E} X^{2}}{2\vartheta ^{2}}}=0$

Vat men $\sigma$ als parameter op, dan geldt:

$S(\sigma ,x)={\frac {\partial }{\partial \sigma }}\ln \left({\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {x^{2}}{2\sigma ^{2}}}}\right)={\frac {\partial }{\partial \sigma }}\left(-\ln \sigma -{\frac {x^{2}}{2\sigma ^{2}}}\right)={\frac {x^{2}-\sigma ^{2}}{\sigma ^{3}}}$

Als de verwachtingswaarde gelijk is aan $\mu$ geldt voor deze parameter:

$S(\mu ,x)={\frac {\partial }{\partial \mu }}\ln \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)={\frac {\partial }{\partial \mu }}\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)={\frac {x-\mu }{\sigma ^{2}}}$

Algemeen geldt:

$S((\mu ,\sigma ^{2}),x)=\left({\frac {x-\mu }{\sigma ^{2}}},{\frac {(x-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\right)$