Здравствуйте!
Помогите пожалуйста с цепью Маркова.
Цепь Маркова имеет вид
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5.
Подскажите пожалуйста , с чего надо начать?

вероятность равна 1.
Граф нарисовал , получилось , что 2 3 4 6 могут переходить из одно в другое . а вот в 1 и 5 они могут только перейти , но не могут вернуться.

Но,
пусть шаг k
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66


вероятность перехода из 2 в 5 равна x25.


То есть я хочу сказать , что безусловно из состояний 2 3 4 6 когда-нибудь перейдут в 5 . Но вот например на k-ом шаге надо будет посчитать Pk из 2х в 5
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66

которое будет равно x25 , может есть закономерность между x25 на k-ом шаге и x25 на k+n. Тогда x25(k+n)=x25(k)/n например.

Слушайте, я балда. Про состояние 1-то мы совсем забыли, а ведь туда тоже можно уйти и там навсегда остаться, при этом в 5 мы ни в жисть не попадём... Поглощающих состояний не одно, а два, и они не сообщаются, что сильно меняет дело: в том рассуждении выше про "успех когда-нибудь наступит" успехом будет не уход в 5, а уход в 5 или 1.

Тогда всё хуже. Состояния 2,3,4,6 являются несущественными (из них когда-нибудь уйдём). Тогда вероятности p_i(5) того, что, выйдя из i=2,3,4,6, цепь в итоге окажется в состоянии 5, есть решение системы уравнений:

p_i(5)=sum(k=2,3,4,6) x_ik*p_k(5) + x_i5

Это просто формула полной вероятности по гипотезам о положении на следующем шаге после выхода из i: выйдя из i прийти в итоге в 5 можно либо сразу за шаг (с вероятностью x_i5), либо сначала попав в k, а из него с вероятностью p_k(5) прийти в итоге в 5.

Решив эту систему, получим нужные вероятности. Для попадания в 1 тоже такая же система.

Это ж надо, давно не приходилось так накалываться (IMG:style_emoticons/default/sad.gif) Надо начать читать студентам ЦМ, а то навык уходит (IMG:style_emoticons/default/smile.gif) Спасибо за настойчивость (IMG:style_emoticons/default/smile.gif)))

Система уравнений у меня получилась такая, проверьте:
p_2(5)=0.5*p_2(5)+0.25*p_3(5);
p_3(5)=0.25*p_2(5)+0.25*p_3(5)+0.25*p_4(5)+1/8*p_6(5)+1/16;
p_4(5)=0.25*p_3(5)+0.5*p_4(5)+0.25;
p_6(5)=1*p_3(5).

=) хочу просто до конца разобраться))))

То есть мы здесь не используем 1-ый столбец , тк не нужен переход в 1?

Угу.

После решения системы получил следующее:
p2=0,5p3
p3=p2+0,25p4+1/16
p4=0,25p3+0,5p4+0,25
p6=p3

p2=0,5p3
0,5p3=0,25p4+1/16
p4=0,25p3+0,5p4+0,25
p6=p3

p2=0,5p3
0,5p3=0,25p4+1/16
p4=0,125p4+1/32+0,5p4+0,25
p6=p3

p2=0,5p3
0,5p3=0,25p4+1/16
p4=0,75
p6=p3

p2=0,25
p3=0,5
p4=0,75
p6=0,5

Тогда получается это и есть ответ?

Да, именно. Можно для развлечения составить такую же систему для ппопадания в единицу, решить и проверить - получаются ли дополнительные вероятности p_2(1)=0,75 и т.д.

Понятно , так щас и сделаю . Спасибо огромное!

Пожалуйста. И мои извинения за "запудривание мозгов" ночью (IMG:style_emoticons/default/smile.gif)

Полная вероятность P(A)=sum{ P(A| B ) P( B ) }
Где B- полный набор событий , A- необходимое событие.
Можете пожалуйста объяснить , откуда получилась p_i(5)=sum(k=2,3,4,6) x_ik*p_k(5) + x_i5 эта формула?

Выше всё объяснено. Перечислите гипотезы, которые выше описаны, событие А тоже там указано.