Вероятности состояний цепи Маркова на n-ом шаге.

1Вероятности состояний цепи Маркова на n-ом шаге. Марковский случайный процесс с дискретными состояниями и дискретным временем называют марковской цепью. Для такого процесса моменты t1,t2,…, когда система S может менять свое состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время t, а номер шага 1, 2,…,k,…Случайный процесс в этом случае характеризуется последовательностью состояний S(0), S(1), S(2),…, S(k),…, где S(0) - начальное состояние системы (перед первым шагом); S(1) - состояние системы после первого шага; S(k) - состояние системы после k-го шага. Событие {S(k) =Si}, состоящее в том, что сразу после k-го шага система находится в состоянии Si (i = 1, 2,…), является случайным событием. Последовательность состояний S(0), S(1), S(2),…, S(k),… можно рассматривать как последовательность случайных событий. Такая случайная последовательность событий называется марковской цепью если для каждого шага вероятность перехода из любого состояния Si в любое Sj не зависит от того, когда и как система пришла в состояние Si. Начальное состояние S(0) может быть заданным заранее или случайным. Вероятностями состояний цепи Маркова называются вероятности Pi(k) того, что после k-го шага (и до (k+ 1)-го) система S будет находиться в состоянии Si (i = 1, 2,…n). Очевидно, что для любогоk n ∑Pi(k)=1. i = 1