Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema que puede estar en uno de algunos estados (enumerados), y que puede pasar de un estado a otro durante cada instante de acuerdo a probabilidades determinadas.

Si un sistema de Markov está en estado i, Hay una determinada probabilidad, p_ij, de ir a estado j el próximo paso, y p_ij es llamado la probabilidad de transición.

Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicion de estados, que muestra todos los estados y las probabilidades de transición. (Ver el ejemplo opuesto.)

La matriz P cuya ij^o entrada p_ij se llama la matriz de transición asociada con el sistema. Las entradas en cada renglón suman en total 1. Por lo tanto, para este caso, una 22 matriz de transición P podría ser representado en la siguiente figura.

Diagrama de transición:
(Falta de flechas indican la probabilidad cero.)

Matriz:

Un vector de distribucíon es un vector reglón no negativa con una entrada para cada estado de la sistema. Las entradas pueden representar el número de individuos en cada estado del sistema.

Una vector probabilidad es un vector en la que las entradas son no negativa y agregar hasta 1. Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un sistema de cada uno de los estados.

Si v es el vector de distribucíon inicial y P es la matriz de transicíon de un sistema de Markov, entonces la vector de distribucíon a partir del paso 1 es el producto vP.

Distribución después de 1 paso:   vP

Distribucíon después del paso 2:   vP²

Distribucíon después de n pasos:   vPⁿ

P² es la matrtiz de transicíon 2-etapas del sistema de Markov. Del mismo modo, P³ es la matriz de transicíon 3-estapas, y Pⁿ es la matriz n-etapas de transicíon. Esto significa que la ij^a entrada de Pⁿ es la probabilidad de que el sistema pasará de estado i a estado j en n pasos.

Pruebe nuestra herramienta en-línea para calcular la matriz de transicíon y las vectores de distribución asociadas. Aún mejor (y mucho mas flexible) es nuestra herramienta de álgebra de matriz con la que se puede calcular simultáneamente varias expresiones algebráicas con matrices.

Sea

P =		0.2	0.8	0
		0.4	0	0.6
		0.5	0.5	0

y sea v = [ 100   200   300 ] una distribucíon inicial. A continuación, la distrubución después de un paso se expresa por

vP = [ 100   200   300 ]		0.2	0.8	0
		0.4	0	0.6
		0.5	0.5	0
= [ 250   230   120 ]

La distribución un paso más adelante se expresa por

vP2 = (vP)P
= [ 250   230   120 ]		0.2	0.8	0
		0.4	0	0.6
		0.5	0.5	0
= [ 202   260   138 ].

Para obtener la matriz 2-pasos de transicioón, calculamos
 

P2 =		0.2	0.8	0			0.2	0.8	0
		0.4	0	0.6			0.4	0	0.6
		0.5	0.5	0			0.5	0.5	0

=		0.36	0.16	0.48
		0.38	0.62	0
		0.3	0.4	0.3

Así, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la 3,1-entrada en P², es decir, 0.3.

Si P es una matriz de transición de un sistema de Markov, y si v es un vector de distribución con la propiedad que vP = v, entonces nos referimos a v como un vector (distribución) de estado de equilibrio.

Para encontrar un vector de estado de equilibrio para un sistema de Markov con matriz de transición P, resolvemos el sistema de ecuaciones dados por:

x + y + z + . . .	=	1
[x   y   z . . . ]P	=	[x   y   z . . .]

v = [x   y   z . . . ]

Comportamiento a largo plazo Si los poderes más y más altos de P se acercan a una matriz P, nos referimos a P como la matriz de equilibrio o como la matriz de transición largo plazo. Si es regular el sistema de Markov, entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyas reglones son iguales el uno a otro, y iguales al vector de estado de equilibrio

[x   y   z . . .].

Por el uso de la tecnología, es frecuentemente posible aproximar P con gran precisión por simplemente calcular un gran poder de P. ¿Qué tan grande? Sabe es suficiente grande cuando las filas sean los mismos con la precisión que desee. Para matrices pequeñas como en el libro de texto, P²⁵⁶ suele sea suficiente. (256 es una potencia de 2, por lo que el cálculo de P²⁵⁶ es especialmente rápido en nuestras herramienta de álgrebra de matriz . Pruébelo!)

Advertencia: Si no se estabiliza la matriz con bastante rapidez, entonces se corre el riesgo de significados errores computacionales: lo más grande el número de cálculos, lo más grande se vuelve el error.

La matriz de transición

P =		0.2	0.8	0
		0.4	0	0.6
		0.5	0.5	0

El ejemplo anterior es regular, ya que sólo P³ tiene cada entrada distinto de cero. (Puede comporbarlo en su graficador o en nuestra utilidad en-línea .)

El vector estado de equilibrio se expresa por

v = [35/99   40/99   24/99],

vP = [35/99   40/99   24/99]		0.2	0.8	0
		0.4	0	0.6
		0.5	0.5	0
= [35/99   40/99   24/99]
= v.

Por lo tanto, la matriz largo plazo de transición es

P =		35/99	40/99	24/99
		35/99	40/99	24/99
		35/99	40/99	24/99

(Para comprobar esto, calcular P²⁵⁶ en la utilidad en línea.)

Usar la herramienta álgebra matiz

Abra la herramienta álgebra matiz y ingrese P utilizando el siguiente formato (tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lo deseas, puede copiar el texto de la siguente figura en azul y pegarlo en la ventana de la herramienta.)

P = [0.2, 0.8, 0
0.4, 0, 0.6
0.5, 0.5, 0]

Unestado asorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidad de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene al menos un estado asorbente, tal que es posible llegar a un estado absorbente después de algun número de etapas comenzando en caulquier estado no absorbente.

En el análisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados absorbentes son los últimos. La matriz de transición Pde un sistema absorbente entonces se ve como sigue:

P =		S	T
		0	I

Aquí I está la matriz unidad mm (m = número de estados absorbentes), S es una matriz cuadrada (n-m) (n-m) (n = número total de estados, de modo n-m = el numero de estados absorbentes), 0 es un matriz cero y T es un matriz (n-m)m.

La matriz S es la matriz de transición para la circulación entre los estados de absorción. La matriz fundamental para el sistema absorbente es

Q = (I-S)^-1.

Diagrama de transición:
(Estados 3 y 4 están absorbiendo. Desapáreciendo flechas indican la probabilidad cero.)

Matriz:

El numero de veces, a partir del estado i, que se espera visitar el estado j antes de absoprción es la ij^o entrada de Q.

El número esperado total de pasos antes la absorción es igual a la suma de los números de visitas que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas del i^o reglón de Q.

El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por ejemplo, si el i^o reglón de QT es [x   y   z   t], entonces, a partir de estado i, hay una probabilidad de x en terminar en el primer estado de absorción, y una probabilidad de y en terminar en el segundo estado de absorción, y así sucesivamente.

En el ejemplo anterior,

Q = (I-S)-1 =		0.75	0		-1
		-0.2	0.8
=		4/3	0
		1/3	5/4

Asi, por ejemplo, el número de veces, a partir del estado 2, que se espera visita estado 1 antes de la absorción es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2, se puede esperar visitar estado1 1/3 veces antes de la absorción.

El producto QT es

QT =		2/3	1/3
		1/6	5/6

Pues la segunda fila es [1/6   5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6 de llegar en el primero estado de absorción (Estado 5), y en una probabilidad de 5/6 de llegar en el segundo estado de absorción (Estado 6).

Uso de la herramienta de álgebra de matriz

Calcular Q: Abra la herramienta de álgebra de la matriz y ingrese la matriz S con el formato siguiente (tenga en cuenta las comas entre cada par de las entradas en cada fila), (si lo deseas, puedes copiar el texto azul de la figura siguente y pegarlo en la ventana.)

S = [0.25, 0
0.2, 0.2]