Здравствуйте!
Помогите пожалуйста с цепью Маркова.
Цепь Маркова имеет вид
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5.
Подскажите пожалуйста , с чего надо начать?

Дам неоригинальный совет: с определений (IMG:style_emoticons/default/wink.gif)
Что такое ЦМ, что за матрица тут у Вас нарисована (см. "матрица вероятностей перехода за один шаг"). Какой смысл имеют чиселки в этой матрице. Можно ли, выйдя из состояния 1, оказаться в состоянии 2, можно ли, выйдя из состояния 2, оказаться в состоянии 5 и т.д.

Матрица вероятностей перехода.
Числа в матрице - нача́лное распределе́ние цепи Маркова. При этом в строке их сумма не может превышать 1. Вероятность выхода из состояния 1 в 2 равна 0.

Вот если
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0
состояние 1, то ведь

1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0
*
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

состояние 2.

Неправильно. Числа в матрице СОВСЕМ не есть первоначальное распределение ЦМ. Первоначальное распределение задаётся вектором вероятностей p(k) того, что X(0)=k: (p(1),...,p(n)), где p(k)=P(X(0)=k).

Ищите, что такое матрица вероятностей ПЕРЕХОДА.

Матрицы вероятностей перехода являются средством описания поведения марковской цепи. Каждый элемент этой матрицы представляет собой вероятность перехода из заданного состояния (строка) к следущему состоянию (столбец). В этой матрице предусмотрены все возможные переходы данного множества состояний.
s1 s2 s3
p11 p12 p13
P = p21 p22 p23
p31 p32 p33

P - матрица переходных вероятностей, pi,j - вероятность перехода из состояний s1,s2.,s3


То есть вероятность p12 вероятность перехода из s1 в s2

Верно. Вы ещё забыли ключевые слова "за один шаг". Теперь остались ещё два вопроса (см. выше): "Можно ли, выйдя из состояния 1, оказаться в состоянии 2, можно ли, выйдя из состояния 2, оказаться в состоянии 5 и т.д."

Из состояния 1 в состояние 2 - вероятность перехода = 0
Из 2 в 5 , также равна 0.

Найдите где-нибудь в моём вопросе слова "за один шаг"! Их нет. Снова спрошу: можно ли, выйдя из состояния 1, оказаться в состоянии 2, можно ли, выйдя из состояния 2, оказаться в состоянии 5 и т.д.?

За n шагов , из 1 во 2 состояние перейти нельзя. А из 2-ого в 5-ое можно.
Тк , для 6 шагов 1 и 5 ая строки остаются неизменными, то есть
1)1 0 0 0 0 0
5)0 0 0 0 1 0

Так, а вернуться можно из 5-го обратно во 2-е?

Нельзя , тк p(5,2)=0.

А из третьего, 4-го в пятое и назад?

Пора делать выводы.

Из 3 и 4 в 5-ое можно , а назад нельзя.
Тогда вероятность что за k шагов система из 2,3,4,6 может переместится в 5 будет равна 1????Правильно?

Верно, но не за k, а за бесконечное. Какое бы k мы ни взяли, вероятность всё ещё не попасть в 5 положительна. Но вероятность никогда туда не попасть нулевая, а вероятность когда-нибудь туда попасть единичная.

Смотрите: каждый раз, когда мы попадаем в 2 (или 3,4), есть одна и та же положительная вероятность независимо от предыдущего пути (независимо - т.к. цепь Маркова) попасть в 5 за шаг или два. Например, из двойки в тройку, потом в пятёрку. Тем самым мы имеем независимые испытания (придя в двойку, попадём через два шага в 5, или нет) с одной и той же вероятностью успеха p. И ждём первого успеха. Вероятность того, что он никогда не наступит, равна нулю как предел (1-p)^n при n -> oo.

Отлично , понял , спасибо большое . Значит теперь надо найти положительную вероятность p????

Зачем её искать? Разве без этого не видно, что она положительна? Вы же ответили "да" на вопрос "можно ли попасть?". Тем самым обосновано, что рано или поздно цепь попадёт в пятёрку и там останется навсегда. Такое состояние ЦМ называется "поглощающим". Т.е. пятёрка - поглощающее состояние. А есть ли тут ещё поглощающие состояния?

"Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5."

То есть надо найти это p.

Вы ничего не поняли. Вернитесь к сообщению, где Вы сделали выводы, и прочтите дальше ещё раз.

то есть , теперь надо доказать , что матрица перехода будет на к - ом щаге будет иметь вид ( где x -любые числа
1 0 0 0 0 0
x21 x22 x23 x24 x25 x26
x31 x32 x33 x34 x35 x36
x41 x42 x43 x44 x45 x46
0 0 0 0 1 0
x61 x62 x63 x64 x65 x66
Тогда у меня пара вопрос( чтобы лучше разобраться) - P!=1????

Ничего тут доказывать не нужно. Всё доказано выше. Ещё раз: рано или поздно цепь, выйдя из 2,3,4,6, ПРИДЁТ в состояние 5. Какой тогда ответ на вопрос о том, с какой вероятностью цепь "завершит эволюцию в состоянии 5"?

Имеет смысл нарисовать себе граф из шести состояний цепи и возможных (ненулевых) переходов за шаг, чтобы хорошо представить эволюцию цепи.