Это задача по какому-то стандартному курсу, или что-то типа курсовой? Если по стандартному курсу, какие учебники и т.п. были?

(с моей непросвещённой т.з., двумерная цепь Маркова - дело гиблое...)