Здравствуйте!
Помогите пожалуйста с цепью Маркова.
Цепь Маркова имеет вид
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5.
Подскажите пожалуйста , с чего надо начать?

вероятность равна 1.
Граф нарисовал , получилось , что 2 3 4 6 могут переходить из одно в другое . а вот в 1 и 5 они могут только перейти , но не могут вернуться.

Но,
пусть шаг k
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66


вероятность перехода из 2 в 5 равна x25.


То есть я хочу сказать , что безусловно из состояний 2 3 4 6 когда-нибудь перейдут в 5 . Но вот например на k-ом шаге надо будет посчитать Pk из 2х в 5
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66

которое будет равно x25 , может есть закономерность между x25 на k-ом шаге и x25 на k+n. Тогда x25(k+n)=x25(k)/n например.

Слушайте, я балда. Про состояние 1-то мы совсем забыли, а ведь туда тоже можно уйти и там навсегда остаться, при этом в 5 мы ни в жисть не попадём... Поглощающих состояний не одно, а два, и они не сообщаются, что сильно меняет дело: в том рассуждении выше про "успех когда-нибудь наступит" успехом будет не уход в 5, а уход в 5 или 1.

Тогда всё хуже. Состояния 2,3,4,6 являются несущественными (из них когда-нибудь уйдём). Тогда вероятности p_i(5) того, что, выйдя из i=2,3,4,6, цепь в итоге окажется в состоянии 5, есть решение системы уравнений:

p_i(5)=sum(k=2,3,4,6) x_ik*p_k(5) + x_i5

Это просто формула полной вероятности по гипотезам о положении на следующем шаге после выхода из i: выйдя из i прийти в итоге в 5 можно либо сразу за шаг (с вероятностью x_i5), либо сначала попав в k, а из него с вероятностью p_k(5) прийти в итоге в 5.

Решив эту систему, получим нужные вероятности. Для попадания в 1 тоже такая же система.