Здравствуйте!
Помогите пожалуйста с цепью Маркова.
Цепь Маркова имеет вид
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5.
Подскажите пожалуйста , с чего надо начать?

вероятность равна 1.
Граф нарисовал , получилось , что 2 3 4 6 могут переходить из одно в другое . а вот в 1 и 5 они могут только перейти , но не могут вернуться.

Но,
пусть шаг k
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66


вероятность перехода из 2 в 5 равна x25.


То есть я хочу сказать , что безусловно из состояний 2 3 4 6 когда-нибудь перейдут в 5 . Но вот например на k-ом шаге надо будет посчитать Pk из 2х в 5
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66

которое будет равно x25 , может есть закономерность между x25 на k-ом шаге и x25 на k+n. Тогда x25(k+n)=x25(k)/n например.