Время t дискретно или непрерывно? Если дискретно, смотрите у себя в лекциях, как получить матрицу вероятностей перехода за несколько шагов из матрицы вероятностей перехода за один шаг.