Здравствуйте!
Помогите пожалуйста с цепью Маркова.
Цепь Маркова имеет вид
1 0 0 0 0 0
0.25 0.5 0.25 0 0 0
1/16 0.25 0.25 0.25 1/16 1/8
0 0 0.25 0.5 0.25 0
0 0 0 0 1 0
0 0 1 0 0 0

Надо найти вероятность того , что выходя из состояния 2,3,4,6 система завершит эволюцию в состоянии 5.
Подскажите пожалуйста , с чего надо начать?

Верно, но не за k, а за бесконечное. Какое бы k мы ни взяли, вероятность всё ещё не попасть в 5 положительна. Но вероятность никогда туда не попасть нулевая, а вероятность когда-нибудь туда попасть единичная.

Смотрите: каждый раз, когда мы попадаем в 2 (или 3,4), есть одна и та же положительная вероятность независимо от предыдущего пути (независимо - т.к. цепь Маркова) попасть в 5 за шаг или два. Например, из двойки в тройку, потом в пятёрку. Тем самым мы имеем независимые испытания (придя в двойку, попадём через два шага в 5, или нет) с одной и той же вероятностью успеха p. И ждём первого успеха. Вероятность того, что он никогда не наступит, равна нулю как предел (1-p)^n при n -> oo.