Markovketen
wiskundig model / Uit Wikipedia, de vrije encyclopedia
Een markovketen, genoemd naar de Russische wiskundige Andrej Markov, beschrijft een systeem dat zich door een aantal toestanden beweegt en stapsgewijs overgangen vertoont van de ene naar een andere (of dezelfde) toestand. De specifieke markov-eigenschap houdt daarbij in dat populair uitgedrukt: "de toekomst gegeven het heden niet afhangt van het verleden". Dat betekent dat als het systeem zich in een bepaalde toestand bevindt, het toekomstige gedrag van het systeem, dus de komende overgangen, slechts afhangen van de huidige toestand en niet van de weg waarlangs deze toestand tot stand is gekomen. De toestanden van het systeem worden beschreven door een rij stochastische variabelen met kansverdelingen , waarin de toestand van het systeem is na stappen. De markov-eigenschap wordt uitgedrukt in een eigenschap van de overgangskansen.
Een markovketen kan met een stochastische matrix worden weergegeven.