Página Principal Todo para Matemáticas Finitas Todo para Cálculo Aplicado Todo Resumen de Temas Tutoriales En Línea Utilidades En Línea
← Tema anterior Tema siguiente → Ejercicios de repaso Libro de Texto Take me to the English page
Matemáticas finitas resumen del tema: sistemas markov

Herramientas: Herramienta de álgebra de matriz | Simulación del procesos de Markov | Herramienta para procesos Markov Process

Tópicos: Sistemas de Markov, Diagramas de transiciones de estados, matriz de transición | Vectores de distribución y potencias de la matriz de transición | Comportamiento de largo plazo de sistemas de Markov | Sistemas absorbentes de Markov | Calcular el valor esperado del número de pasos hasta la absorpción

Sistemas de Markov, Diagramas de transiciones de estados, matriz de transición

Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema que puede ser en uno de algunos estados (enumerados), y que puede pasar de un estado a otro durante cada instante de acuerdo a probabilidades determinadas.

Si un sistema de Markov está en estado i, Hay una determinada probabilidad, pij, de ir a estado j el próximo paso, y pij es llamado la probabilidad de transición.

Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicion de estados, que muestra todos los estados y las probabilidades de transición. (Ver el ejemplo opuesto.)

La matriz P cuya ijo entrada pij se llama la matriz de transición asociada con el sistema. Las entradas en cada renglon suman en total 1. Por lo tanto, para este caso, una a 2 matriz de transición P podría ser representado en la siguiente figura.

Top of Page
Ejemplo

Diagrama de transición:
(Falta de flechas indican la probabilidad cero.)

Matriz:

Inicio de la página
Distriducíon de vectores y de los poderes de la matriz de transicíon

Un vector distribucíon es un vector reglón no negativa con una entrada para cada estado de la sistema. Las entradas pueden representar el número de individuos en cada estado del sistema.

Una vector probabilidad es un vector en la que las entradas son no negativa y agregar hasta 1. Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un sistema de cada uno de los estados.

Si v es el vector distribucíon inicial y P es la matriz de transicíon de un sistema de Markov, entonces la distribucíon de vectores a partir del paso 1 es el producto mkatriz, vP.

    Distribución después de 1 paso:   vP
La distribución un paso más adelante, obtenido de nuevo a través de multiplicacíon por P, es dado por (vP)P = vP2.
    Distribucíon después del paso 2:   vP2
Del mismo , la distribucíon depués del paso n se puede obtener multiplicando v al derecho por P n veces, o multiplicando v por Pn.
    Distribucíon después de n pasos:   vPn

P2es la matrtiz de transicíon 2-etapas del sistema de Markov. Del mismo modo, P3 es la matriz de transicíon 3-estapas, y Pn es la matriz n-etapas de transicíon. Esto significa que la ijo entrada de Pn es la probabilidad de que el sistema pasará de estado i a estado j en n pasos.

Pruebe nuestra herramienta en-línea para calcular la matriz de trasicíon y las vectores istribución asociadas. Aún mejor (y mucho mas flexible) es nuestra herramienta de álgebra de matriz con la que se puede calcular simultáneamente varias expresiones algebráicas con matrices.

Principio de página
Ejemplo

Sea

    P =
    0.2
    0.8
    0
    0.4
    0
    0.6
    0.5
    0.5
    0

y sea v = [ 100   200   300 ] una distribucíon inicial. A continuación, la distrubución después de un paso se expresa por
  vP = [ 100   200   300 ]
0.2
0.8
0
0.4
0
0.6
0.5
0.5
0
= [ 250   230   120 ]

La distribución un paso más adelante se expresa por
vP2 = (vP)P
    = [ 250   230   120 ]
0.2
0.8
0
0.4
0
0.6
0.5
0.5
0
= [ 202   260   138 ].

Para obtener la matriz 2-pasos de transicioón, calculamos
 
P2 =
0.2
0.8
0
0.2
0.8
0
0.4
0
0.6
0.4
0
0.6
0.5
0.5
0
0.5
0.5
0
    =
0.36
0.16
0.48
0.38
0.62
0
0.3
0.4
0.3

Así, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la 3,1-entrada en P2, es decir, 0.3.

Principio de la página
Comportamiento a largo plazo de los sistemas de Markov

Si P es una matriz de transición de un sistema de Markov, y si v es un vector de distribución con la propiedad que vP = v, entonces nos referimos a v como un vector (distribución) de estado de equilibrio.

Para encontrar un vector de estado de equilibrio para un sistema de Markov com matriz de transición P, resolvemos el sistema de ecuaciones dados por:

    x + y + z + . . .=1
    [x   y   z . . . ]P=[x   y   z . . .]
donde su uso como muchas incógnitas, ya que hay estados en el sistema de Markov. Una costante vectorial de estado de probabilidades se da entonces por
v = [x   y   z . . . ]
Un sistema regular de Markov es un sistema cuya matriz de transición tiene algun poder con ningunas entradas de cero. Un sistema regular de Markov siempre tiene un solo vector de estado de equilibrio.

Comportamiento a largo plazo Si los poderes más y más altos de P se acercan a una matriz P, nos referimos a P como la matriz de equilibrio o como la matriz de transición largo plazo. Si es regular el sistema de Markov, entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyas reglones son iguales el uno a otro, y iguales al vector de estado de equilibrio

[x   y   z . . .].

Calcular la matriz de estado de equilibrio numérico

Por el uso de la tecnología, es frecuentemente posible aproximar P con gran precisión por simplemente calcular un gran poder de P. ¿Qué tan grande? Sabe es suficiente grande cuando las filas sean los mismos con la precisión que desee. Para matrices pequeñas como en el libro de texto, P256 suele sea suficiente. (256 es una potencia de 2, por lo que el cálculo de P256 es especialmente rápido en nuestras herramienta de álgrebra de matriz . Pruébelo!)

Advertencia: Si no se estabiliza la matriz con bastante rapidez, entonces se corre el riesgo de significados errores computacionales: lo más grande el número de cálculos, lo más grande se vuelve el error.

Principio de página
Ejemplo

La matriz de transición

    P =
    0.2
    0.8
    0
    0.4
    0
    0.6
    0.5
    0.5
    0

El ejemplo anterior es regular, ya que sólo P3 tiene cada entrada distinto de cero. (Puede comporbarlo en su graficador o en nuestra utilidad en-línea .)

El vector estado de equilibrio se expresa por

v = [35/99   40/99   24/99],
de mode que
  vP = [35/99   40/99   24/99]
0.2
0.8
0
0.4
0
0.6
0.5
0.5
0
    = [35/99   40/99   24/99]
    = v.

Por lo tanto, la matriz largo plazo de transición es

    P =
    35/99
    40/99
    24/99
    35/99
    40/99
    24/99
    35/99
    40/99
    24/99

(Para comprobar esto, calcular P256 en la utilidad en línea.)

Usar la herramienta álgebra matiz

Abra la herramienta álgebra matiz y ingrese P utilizando el siguiente formato (tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lo deseas, puede copiar el texto de la siguente figura en azul y pegarlo en la ventana de la herramienta.)

    P = [0.2, 0.8, 0
    0.4, 0, 0.6
    0.5, 0.5, 0]
Luego, en la fórmula, escriba la fórmula P^256 y pulse "Calcular". Si desea ver la respuesta en la forma de fracciones en vez de decimales, comprueba que "Fraction Mode" (ubicado debajo de los botones) está marcado.

Principio de página
Sistemas absorbentes de Markov

Unestado asorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidad de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene al menos un estado asorbente, tal que es posible llegar a un estado absorbente después de algun número de etapas comenzando en caulquier estado no absorbente.

En el análisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados absorbentes son los últimos. La matriz de transición Pde un sistema absorbente entonces se ve como sigue:

    P =
    S
    T
    0
    I

Aquí I está la matriz unidad mm (m = número de estados absorbentes), S es una matriz cuadrada (n-m) (n-m) (n = número total de estados, de modo n-m = el numero de estados absorbentes), 0 es un matriz cero y T es un matriz (n-m)m.

La matriz S es la matriz de transición para la circulación entre los estados de absorción. La matriz fundamental para el sistema absorbente es

    Q = (I-S)-1.

Principio de pagina
Ejemplo

Diagrama de transición:
(Estados 3 y 4 están absorbiendo. Desapáreciendo flechas indican la probabilidad cero.)

Matriz:

Principio de página
Calcular el valor esperado del número de pasos hasta la absorpción Para obtener información sobre el tiempo de absorción en un sistema absorbente de Markov, en primer lugar se calcula la matriz fundamental Q.

El numero de veces, a partir del estado i, que se espera visitar el estado j antes de absoprción es la ijo entrada de Q.

El número esperado total de pasos antes la absorción es igual a la suma de los números de visitas que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas del io reglón de Q.

El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por ejemplo, si el io reglón de QT es [x   y   z   t], entonces, a partir de estado i, hay una probabilidad de x en terminar en el primer estado de absorción, y una probabilidad de y en terminar en el segundo estado de absorción, y así sucesivamente.

Principio de página
Ejemplo

En el ejemplo anterior,

    Q = (I-S)-1 =
    0.75
    0
    -1
    -0.2
    0.8
    =
    4/3
    0
    1/3
    5/4

Asi, por ejemplo, el número de veces, a partir del estado 2, que se espera visita estado 1 antes de la absorción es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2, se puede esperar visitar estado1 1/3 veces antes de la absorción.

El producto QT es

    QT =
    2/3
    1/3
    1/6
    5/6

Pues la segunda fila es [1/6   5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6 de llegar en el primero estado de absorción (Estado 5), y en una probabilidad de 5/6 de llegar en el segundo estado de absorción (Estado 6).

Uso de la herramienta de álgebra de matriz

Calcular Q: Abra la herramienta de álgebra de la matriz y ingrese la matriz S con el formato siguiente (tenga en cuenta las comas entre cada par de las entradas en cada fila), (si lo deseas, puedes copiar el texto azul de la figura siguente y pegarlo en la ventana.)

    S = [0.25, 0
    0.2, 0.2]
Entonces, en el campo de fórmulas, introduzca la fórmula (I-S)^-1 y pulce "Calcular". (La utilidad es lo suficientemente hábiles como para saber cual matriz identidad quieren decir como "I", de modo que no es necesario especificarlo.) Si desea ver la respuesta en fracciones en lugar de decimales, asegúrese de que esta marcada "Fraction Mode".

Computación de QT: Abra la herramienta de álgebra de matriz y ingrese alli las matrices S y T usando el siguiente formato: (Si lo deseas, puedes copiar el texto de color azul de la figura siguente y pegarlo en la ventana.)

    S = [0.25, 0
    0.2, 0.2]

    T = [0.5, 0.25
    0, 0.6]

Luego, en el campo de fórmulas, escriba la formula (I-S)^-1*T y pulse "Calcular".

Principio de página

 

Última actualización: Febrero 2009
Derechos de autor © 2009 Stefan Waner

Principio de página