Уравнение Колмогорова для вероятностей состояний[]
Уравнения Колмогорова - уравнения для переходной функции марковского случайного процесса.
Исчерпывающей количественной характеристикой Марковского процесса является совокупность вероятностей состояний, т.е. вероятностей pi(t) того, что в момент t процесс будет находиться в состоянии si(i =1…n).
Рассмотрим, как определяются вероятности состояний по приведенному на рис. графу состояний, считая все потоки простейшими. В случайный момент времени t система может находиться в одном из состояний si с вероятностью pi(t). Придадим t малое приращение ∆t и найдем, например, p2(t+∆t) - вероятность того, что в момент t+∆t система будет в с состоянии s2. Это может произойти, во-первых, если система в момент была в состоянии s2 и за время t не вышла из него; во-вторых, если в момент t система была в состоянии s1 или s5 и за время ∆t перешла в состояние s2.
В первом случае надо вероятность p2(t) умножить на вероятность того, что за время ∆t система не перейдет в состояние s1, s3 или s4. Суммарный поток событий, выводящий систему из состояния s2, имеет интенсивность λ21+ λ23+ λ24. Значит, вероятность того, что за время ∆t система выйдет из состояния s2, равна (λ21+ λ23+ λ24)∆t. Отсюда вероятность первого варианта p2.1(t+∆t)= p2(t)[1-(λ21+ λ23+ λ24)∆t].
Найдем вероятность перехода в состояние s2. Если в момент t система находилась в состоянии s1 с вероятностью pi(t), то вероятность перехода в состояние s1 за время ∆t равна p2.2(t+∆t)= p1(t)λ12∆t.
Аналогично для состояния s5. p2.3(t+∆t)= p1(t)λ52∆t.
Складывая вероятности p2.1(t+∆t) + p2.2(t+∆t) + p2.2(t+∆t), получим.
Раскроем квадратные скобки, перенесем p2(t) в левую часть и разделим обе части на ∆t:
Если устремить ∆t к нулю, то слева получим производную функции p2(t):
Аналогичные уравнения можно вывести для всех остальных состояний. Получается система дифференциальных уравнений:
Эта система линейных дифференциальных уравнений дает возможность найти вероятности состояний, если задать начальные условия. В левой части каждого уравнения стоит производная вероятности i-го состояния, а в правой – сумма произведений вероятностей всех состояний, из которых ведут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность i-го состояния.
Представим уравнения Колмогорова в общем виде
Здесь учтено, что для состояний, не имеющих непосредственных переходов, можно считать .
http://www.life-prog.ru/view_modelirovanie.php?id =20
Финальные вероятности состояний[]
Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей Pi(t) при t -> infinity. В некоторых случаях существуют финальные (предельные) вероятности состояний:
не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний Pi уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.
Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний P0(t), P1(t),..., Pn(t) в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности P0, P1, P2,...Pn.
Таким образом, для системы с n+1 состояниями получается система n+1 линейных однородных алгебраических уравнений с n+1 неизвестными P0, P1, P2,...Pn, которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие P0 + P1 + ... Pn = 1, пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.
http://www.stat-mat.com/?p=567