Eenparametrisch model
bewerken
Zij
{
f
ϑ
|
ϑ
∈
Θ
}
{\displaystyle \{f_{\vartheta }|\vartheta \in \Theta \}}
een familie kansdichtheden, geparametriseerd door
ϑ
∈
Θ
{\displaystyle \vartheta \in \Theta }
, met
Θ
{\displaystyle \Theta }
een open verzameling .
De fisherinformatie
I
(
ϑ
)
{\displaystyle I(\vartheta )}
is gedefinieerd als de verwachtingswaarde van het kwadraat van de score
S
(
ϑ
,
x
)
{\displaystyle S(\vartheta ,x)}
voor de uitkomst
x
{\displaystyle x}
:
S
(
ϑ
,
x
)
=
∂
∂
ϑ
ln
f
ϑ
(
x
)
=
∂
∂
ϑ
f
ϑ
(
x
)
f
ϑ
(
x
)
{\displaystyle S(\vartheta ,x)={\frac {\partial }{\partial \vartheta }}\ln f_{\vartheta }(x)={\frac {{\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)}{f_{\vartheta }(x)}}}
en
I
(
ϑ
)
=
E
(
S
2
(
ϑ
,
X
)
)
{\displaystyle I(\vartheta )=\operatorname {E} (S^{2}(\vartheta ,X))}
,
waarin
X
{\displaystyle X}
de kansdichtheid
f
ϑ
{\displaystyle f_{\vartheta }}
heeft.
Onder bepaalde regulariteitsvoorwaarden is de verwachtingswaarde van de score gelijk aan 0, zodat de fisherinformatie dan ook gelijk is aan de variantie van de score:
I
(
ϑ
)
=
var
(
S
(
ϑ
,
X
)
)
{\displaystyle I(\vartheta )=\operatorname {var} (S(\vartheta ,X))}
Meerdere parameters
bewerken
Als de parameter meerdimensionaal is:
ϑ
=
(
ϑ
1
,
…
,
ϑ
m
)
{\displaystyle \vartheta =(\vartheta _{1},\ldots ,\vartheta _{m})}
, is de fisherinformatiematrix de generalisatie van de fisherinformatie. Deze is gedefinieerd als de symmetrische matrix
I
(
ϑ
)
{\displaystyle I(\vartheta )}
met als elementen:
[
I
(
ϑ
)
]
r
k
=
∂
∂
ϑ
r
ln
(
f
ϑ
(
x
)
)
∂
∂
ϑ
k
ln
(
f
ϑ
(
x
)
)
=
1
(
f
ϑ
(
x
)
)
2
∂
∂
ϑ
r
f
ϑ
(
x
)
∂
∂
ϑ
k
f
ϑ
(
x
)
{\displaystyle [I(\vartheta )]_{rk}={\frac {\partial }{\partial \vartheta _{r}}}\ln(f_{\vartheta }(x)){\frac {\partial }{\partial \vartheta _{k}}}\ln(f_{\vartheta }(x))={\frac {1}{(f_{\vartheta }(x))^{2}}}{\frac {\partial }{\partial \vartheta _{r}}}f_{\vartheta }(x){\frac {\partial }{\partial \vartheta _{k}}}f_{\vartheta }(x)}
Discrete verdelingen
bewerken
In het geval van een discrete verdeling betreft het dichtheden ten opzichte van de telmaat , dus kansfuncties .
Binomiale verdeling
Voor de binomiale verdeling met parameters
n
{\displaystyle n}
en succeskans
p
{\displaystyle p}
geldt:
S
(
p
,
x
)
=
x
−
n
p
p
(
1
−
p
)
{\displaystyle S(p,x)={\frac {x-np}{p(1-p)}}}
Er geldt:
E
S
(
p
,
X
)
=
E
X
−
n
p
p
(
1
−
p
)
=
0
{\displaystyle \operatorname {E} S(p,X)=\operatorname {E} {\frac {X-np}{p(1-p)}}=0}
,
zodat de fisherinformatie is:
I
(
p
)
=
var
S
(
p
,
X
)
=
var
(
X
−
n
p
p
(
1
−
p
)
)
=
n
p
(
1
−
p
)
{\displaystyle I(p)=\operatorname {var} S(p,X)=\operatorname {var} \left({\frac {X-np}{p(1-p)}}\right)={\frac {n}{p(1-p)}}}
Poissonverdeling
Voor de poissonverdeling met parameter
λ
{\displaystyle \lambda }
geldt:
S
(
λ
,
x
)
=
x
λ
−
1
{\displaystyle S(\lambda ,x)={\frac {x}{\lambda }}-1}
Ook is weer:
E
S
(
λ
,
X
)
=
E
X
λ
−
1
=
0
{\displaystyle \operatorname {E} S(\lambda ,X)={\frac {\operatorname {E} X}{\lambda }}-1=0}
De fisherinformatie is dus:
I
(
λ
)
=
var
S
(
λ
,
X
)
=
var
(
X
)
λ
2
=
1
λ
{\displaystyle I(\lambda )=\operatorname {var} S(\lambda ,X)={\frac {\operatorname {var} (X)}{\lambda ^{2}}}={\frac {1}{\lambda }}}
Continue verdelingen
bewerken
Exponentiële verdeling
Voor de exponentiële verdeling met parameter
λ
{\displaystyle \lambda }
geldt:
S
(
λ
,
x
)
=
∂
∂
λ
ln
(
λ
e
−
λ
x
)
=
∂
∂
λ
(
ln
λ
−
λ
x
)
=
1
λ
−
x
{\displaystyle S(\lambda ,x)={\frac {\partial }{\partial \lambda }}\ln \left(\lambda e^{-\lambda x}\right)={\frac {\partial }{\partial \lambda }}(\ln \lambda -\lambda x)={\frac {1}{\lambda }}-x}
Er geldt weer:
E
S
(
λ
,
X
)
=
1
λ
−
E
X
=
0
{\displaystyle \operatorname {E} S(\lambda ,X)={\frac {1}{\lambda }}-\operatorname {E} X=0}
De fisherinformatie is dus:
I
(
λ
)
=
var
(
S
(
λ
,
X
)
)
=
var
(
X
)
=
1
λ
2
{\displaystyle I(\lambda )=\operatorname {var} (S(\lambda ,X))=\operatorname {var} (X)={\frac {1}{\lambda ^{2}}}}
Normale verdeling
Voor de normale verdeling met parameters 0 en
σ
2
=
ϑ
{\displaystyle \sigma ^{2}=\vartheta }
geldt:
S
(
ϑ
,
x
)
=
−
1
2
ϑ
+
x
2
2
ϑ
2
{\displaystyle S(\vartheta ,x)=-{\frac {1}{2\vartheta }}+{\frac {x^{2}}{2\vartheta ^{2}}}}
Er geldt weer:
E
S
(
ϑ
,
X
)
=
−
1
2
ϑ
+
E
X
2
2
ϑ
2
=
0
{\displaystyle \operatorname {E} S(\vartheta ,X)=-{\frac {1}{2\vartheta }}+{\frac {\operatorname {E} X^{2}}{2\vartheta ^{2}}}=0}
De fisherinformatie is dus:
I
(
σ
2
)
=
I
(
ϑ
)
=
var
(
S
(
ϑ
,
X
)
)
=
var
(
X
2
)
4
ϑ
4
=
1
2
ϑ
2
=
1
2
σ
4
{\displaystyle I(\sigma ^{2})=I(\vartheta )=\operatorname {var} (S(\vartheta ,X))={\frac {\operatorname {var} (X^{2})}{4\vartheta ^{4}}}={\frac {1}{2\vartheta ^{2}}}={\frac {1}{2\sigma ^{4}}}}
Vat men
σ
{\displaystyle \sigma }
als parameter op, dan geldt:
S
(
σ
,
x
)
=
−
1
σ
+
x
2
σ
3
{\displaystyle S(\sigma ,x)=-{\frac {1}{\sigma }}+{\frac {x^{2}}{\sigma ^{3}}}}
Ook dan is:
E
S
(
σ
,
X
)
=
−
1
σ
+
E
X
2
σ
3
=
0
{\displaystyle \operatorname {E} S(\sigma ,X)=-{\frac {1}{\sigma }}+{\frac {\operatorname {E} X^{2}}{\sigma ^{3}}}=0}
zodat
I
(
σ
)
=
var
(
S
(
σ
,
X
)
)
=
var
(
X
2
)
σ
6
=
2
σ
2
{\displaystyle I(\sigma )=\operatorname {var} (S(\sigma ,X))={\frac {\operatorname {var} (X^{2})}{\sigma ^{6}}}={\frac {2}{\sigma ^{2}}}}
Als de verwachtingswaarde gelijk is aan
μ
{\displaystyle \mu }
geldt voor deze parameter:
S
(
μ
,
x
)
=
x
−
μ
σ
2
{\displaystyle S(\mu ,x)={\frac {x-\mu }{\sigma ^{2}}}}
Weer is
E
S
(
μ
,
X
)
=
E
x
−
μ
σ
2
=
0
{\displaystyle \operatorname {E} S(\mu ,X)=\operatorname {E} {\frac {x-\mu }{\sigma ^{2}}}=0}
en is:
I
(
μ
)
=
var
(
S
(
μ
,
X
)
)
=
var
(
X
)
σ
4
=
1
σ
2
{\displaystyle I(\mu )=\operatorname {var} (S(\mu ,X))={\frac {\operatorname {var} (X)}{\sigma ^{4}}}={\frac {1}{\sigma ^{2}}}}
Voor het parameterpaar
(
μ
,
σ
2
)
{\displaystyle (\mu ,\sigma ^{2})}
geldt:
S
(
(
μ
,
σ
2
)
,
x
)
=
(
x
−
μ
σ
2
,
(
x
−
μ
)
2
−
σ
2
2
σ
4
)
{\displaystyle S((\mu ,\sigma ^{2}),x)=\left({\frac {x-\mu }{\sigma ^{2}}},{\frac {(x-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\right)}
,
zodat de fisherinformatiematrix gelijk is aan:
I
(
μ
,
σ
2
)
=
E
[
(
X
−
μ
)
2
σ
4
X
−
μ
σ
2
(
X
−
μ
)
2
−
σ
2
2
σ
4
X
−
μ
σ
2
(
X
−
μ
)
2
−
σ
2
2
σ
4
(
(
X
−
μ
)
2
−
σ
2
)
2
4
σ
8
]
=
[
1
σ
2
0
0
1
2
σ
4
]
{\displaystyle I(\mu ,\sigma ^{2})=\operatorname {E} {\begin{bmatrix}{\frac {(X-\mu )^{2}}{\sigma ^{4}}}&{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\\{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}&{\frac {((X-\mu )^{2}-\sigma ^{2})^{2}}{4\sigma ^{8}}}\end{bmatrix}}={\begin{bmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{bmatrix}}}