Markovproces

In de kansrekening is een markovproces een stochastisch proces (opeenvolging van toevallige uitkomsten) waarvoor geldt dat het verleden irrelevant is om de toekomst te voorspellen als men het heden kent. Deze statistische eigenschap van een markovproces wordt de markoveigenschap genoemd. De eigenschap en het proces zijn genoemd naar de Russische wiskundige Andrej Markov, die de basis legde voor een grondige studie van dergelijke processen.

DefinitieBewerken

Een stochastisch proces   heet markovproces, als het de markoveigenschap heeft, wat inhoudt dat voor alle   en   geldt:

  

De verzameling   heet parameterruimte en het waardenbereik   toestandsruimte.

Het proces beschrijft de toestand   van een systeem op het tijdstip   De markoveigenschap luidt in woorden: de voorwaardelijke kans om het systeem op een tijdstip   aan te treffen in de toestand   gegeven de toestanden waarin het systeem zich op een willekeurig aantal voorgaande tijdstippen bevond, is alleen afhankelijk van de toestand   op het laatst gegeven tijdstip.

Men onderscheidt markovprocessen met

  • discrete parameterruimte, meestal als discrete tijd aangeduid
  • continue parameterruimte

en

  • eindige toestandsruimte
  • aftelbaar oneindige toestandsruimte
  • overaftelbare toestandsruimte

Een markovproces in discrete tijd en met eindige toestandsruimte heet een markovketen. Ook als de toestandsruimte niet eindig is, maar wel aftelbaar en discreet spreekt men wel van een markovketen. Zelfs wordt wel ieder markovproces in discrete tijd als keten aangeduid.