|
De '''kleinste-kwadratenmethodekleinstekwadratenmethode''' is een rekenmethode om bij een gegeven [[verzameling (wiskunde)|verzameling]] [[punt (meetkunde)|puntenparen]] in het [[vlak (meetkunde)|vlak]] uit een verzameling curven de "best passende" te bepalen. De methode dankt zijn naam "kleinste kwadraten" aan het daarbij gehanteerde criterium voor "best passen", waarbij de mate van passen wordt afgemeten aan het totaal van de kwadratische afwijkingen (meestal in verticale zin) van de curve.
== Geschiedenis ==
De methode werd onafhankelijk van elkaar ontwikkeld door [[Carl Friedrich Gauss]] en [[Adrien Marie Legendre]]. In [[1801]] gebruikte Gauss de kleinste-kwadratenmethodekleinstekwadratenmethode om de [[baan (hemellichaam)|baan]] van de pas ontdekte [[planetoïde]] [[Ceres (planetoïde)|Ceres]] te schatten. Hij voorspelde nauwkeurig waar en wanneer Ceres weer zou verschijnen.
== Definitie ==
De kleinste-kwadratenmethodekleinstekwadratenmethode in z'n eenvoudigste, oorspronkelijke vorm is een methode om bij een gegeven [[verzameling (wiskunde)|verzameling]] [[punt (wiskunde)|punten]] in het [[xy-vlak]], die verondersteld worden (min of meer) op een rechte [[lijn (meetkunde)|lijn]] te liggen, de "best passende" lijn te bepalen. Best passen betekent dat het totaal van de [[kwadraat|gekwadrateerde]] afwijkingen in verticale zin van de punten t.o.v. de lijn zo klein mogelijk is.
Stellen we het ''i''-de meetpunt voor door <math>(x_i,y_i)</math>, en de gezochte lijn door:
== Generalisatie ==
De '''kleinste-kwadratenmethode'''kleinstekwadratenmethode is een methode om een model te passen aan een aantal meetwaarden. De parameters van het model waarvoor geldt dat de kwadraten van de afwijkingen van de meetwaarden ten opzichte van het model minimaal zijn, worden gezocht.
Als het model slechts onafhankelijke parameters kent, die daarnaast elk alleen in de eerste macht voorkomen, dan kan men de kleinste-kwadratenmethodekleinstekwadratenmethode in een keer toepassen: men verkrijgt in een enkele bewerking de optimale parameters. Deze variant noemt men de ''lineaire kleinste-kwadratenmethodekleinstekwadratenmethode''. Let op: dit wil dus niet zeggen dat het model een rechte lijn is! Veel gecompliceerdere modellen kunnen lineair worden opgelost.
Wanneer het model wel hogere machten heeft of correlaties tussen parameters kent, kan via een iteratieve procedure toch vaak een goed model worden gevonden. Hiervoor moet men een aantal keren een berekening maken waarbij de lokale [[afgeleide]] van de model-[[functie (wiskunde)|functie]] wordt gebruikt. Men moet daarvoor echter wel van tevoren weten waar men ongeveer zal uitkomen, anders kan men in een verkeerd (suboptimaal) minimum uitkomen.
waarin <math>\,f</math> een bekende familie van [[functie (wiskunde)|functies]] is, geparametriseerd door de ''m'' [[parameter]]s <math>\beta_1,\dots,\beta_m</math>, en <math>\,u_i</math> een storingsterm is.
De optimale waarden <math>b_1,\dots,b_m</math> van de parameters worden bepaald door het kleinste-kwadratencriteriumkleinstekwadratencriterium, dus zo dat de som van de kwadratische afwijkingen
:<math>S = \sum_{i=1}^n \left(y_i - f(x_1,\dots,x_n, b_1,\dots,b_m)\right)^2</math>
== Lineaire regressie ==
De kleinste-kwadratenmethodekleinstekwadratenmethode vindt onder meer toepassing bij [[lineaire regressie]].
Een vergelijkbare rekenmethode waarbij alle waarden niet vooraf bekend hoeven te zijn is het [[Kalman-filter]].
| 