Meest aannemelijke schatter

De methode van de grootste aannemelijkheid of maximum-likelihood-method is in de statistiek een schattingsmethode die als schatting van een parameter die waarde kiest, waarvoor de aannemelijkheidsfunctie maximaal is. De schatter heet meest aannemelijke schatter, of maximum-likelihood-schatter.

De schatting wordt daarom de meest aannemelijke schatting genoemd. Het is de parameterwaarde die gezien de steekproefuitkomst het meest aannemelijk is. Hoe aannemelijk een parameterwaarde is, wordt afgemeten aan de kans (of kansdichtheid) om bij die waarde van de parameter de steekproefuitkomst te vinden. Een voorbeeld zal dit verduidelijken.

Voorbeelden

Een vreemde munt ziet er in het geheel niet mooi symmetrisch uit. Wat zal bij werpen de kans $p$ op kop zijn? We gooien 10 keer met de munt en vinden 3 keer kop. De kans op deze uitkomst is nog een functie $L(p)$ van $p$; en wel is volgens de binomiale verdeling:

$L(p)=P(X=3)={10 \choose 3}p^{3}(1-p)^{7}$

De functie $L(p)$ is de aannemelijkheidsfunctie. Hoe groter de kans op de gebeurtenis die plaatsvond, hier de uitkomst $X=3$, is als functie van $p$, hoe 'aannemelijker' het ons lijkt dat die kans $p$ de werkelijke kans op kop was. We zoeken nu de waarde van $p$ die het 'meest aannemelijk' is, dus waar de aannemelijkheidsfunctie maximaal is. We zien gemakkelijk dat $L(0)=L(1)=0$ en dat verder $L(p)>0$. Het maximum van $L$ wordt (met enige wiskunde) gevonden bij $p=0{,}3$. Dus de meest aannemelijke schatting van $p$ is 0,3.

De uitkomst $x_{1},\ldots ,x_{n}$ van een aselecte steekproef is afkomstig uit een normale verdeling met parameters $\mu$ en $\sigma ^{2}$. De aannemelijkheidsfunctie is dus:

$L(\mu ,\sigma ^{2})=\prod _{i=1}^{n}\varphi (\mu +\sigma x_{i})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)$

Voor het bepalen van het maximum kan men ook de logaritme nemen:

$\log L(\mu ,\sigma ^{2})=-{\frac {n}{2}}\cdot \log \left(2\pi \sigma ^{2}\right)-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}$

De partiële afgeleiden naar $\mu$ en $\sigma ^{2}$ zijn:

${\frac {\partial }{\partial \mu }}\log L(\mu ,\sigma ^{2})=0-{\frac {-2\sum _{i=1}^{n}(x_{i}-\mu )}{2\sigma ^{2}}}={\frac {\sum _{i=1}^{n}(x_{i}-\mu )}{\sigma ^{2}}}={\frac {\sum _{i=1}^{n}x_{i}-n\cdot \mu }{\sigma ^{2}}}$

en

${\frac {\partial }{\partial \sigma ^{2}}}\log L(\mu ,\sigma ^{2})=-{\frac {n}{2\sigma ^{2}}}+{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2s^{4}}}$

Stelt men deze uitdrukkingen gelijk aan 0, dan krijgt men als oplossing:

${\hat {\mu }}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$

en

${\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}$

Omdat $L$ inderdaad voor deze waarden maximaal is, zijn ${\hat {\mu }}$ en ${\hat {\sigma }}^{2}$ dus de meest aannemelijke schatters van $\mu$ en $\sigma ^{2}$.

Geschiedenis

Ronald Fisher in 1913

De methode van de grootste aannemelijkheid werd gepropageerd en geanalyseerd - met overigens vruchteloze pogingen voor een bewijs - door Ronald Fisher tussen 1912 en 1922. Wel was de methode al eerder gebruikt door Gauss, Laplace, Thiele en Edgeworth.

De methode is uiteindelijk verder dan heuristische rechtvaardiging gekomen door een in 1938 bewijs gepubliceerd van Samuel S. Wilks, nu bekend als de Stelling van Wilks. De stelling laat zien dat de fout in de logaritme van de aannemelijkheidswaarden voor schattingen uit meerdere onafhankelijke steekproeven chi-kwadraatverdeeld is, waardoor het mogelijk is een betrouwbaarheidsgebied te bepalen rond de schattingen. Ironisch genoeg hangt het enige moeilijke deel van het bewijs af van de verwachtingswaarde van de Fisher informatiematrix, die wordt gegeven door een stelling van Fisher. Wilks bleef gedurende zijn leven voortdurend de algemeenheid van de stelling verbeteren, en zijn meest algemene bewijs is gepubliceerd in 1962.