ФЭНДОМ



Уравнение Колмогорова для вероятностей состоянийПравить

Уравнения Колмогорова - уравнения для переходной функции марковского случайного процесса.

Исчерпывающей количественной характеристикой Марковского процесса является совокупность вероятностей состояний, т.е. вероятностей pi(t) того, что в момент t процесс будет находиться в состоянии si(i =1…n).

3

Граф состояний модели размножения и гибели

Рассмотрим, как определяются вероятности состояний по приведенному на рис. графу состояний, считая все потоки простейшими. В случайный момент времени t система может находиться в одном из состояний si с вероятностью pi(t). Придадим t малое приращение ∆t и найдем, например, p2(t+∆t) - вероятность того, что в момент t+∆t система будет в с состоянии s2. Это может произойти, во-первых, если система в момент  была в состоянии s2 и за время t не вышла из него; во-вторых, если в момент t система была в состоянии s1 или s5 и за время ∆t перешла в состояние s2.

В первом случае надо вероятность p2(t) умножить на вероятность того, что за время t система не перейдет в состояние s1, s3 или s4. Суммарный поток событий, выводящий систему из состояния s2, имеет интенсивность λ21+ λ23+ λ24. Значит, вероятность того, что за время ∆t система выйдет из состояния s2, равна 21+ λ23+ λ24)∆t. Отсюда вероятность первого варианта p2.1(t+∆t)= p2(t)[1-(λ21+ λ23+ λ24)∆t].

Найдем вероятность перехода в состояние s2. Если в момент t система находилась в состоянии s1 с вероятностью pi(t), то вероятность перехода в состояние s1 за время t равна p2.2(t+∆t)= p1(t12t.

Аналогично для состояния s5. p2.3(t+∆t)= p1(t52t.

Складывая вероятности p2.1(t+∆t) + p2.2(t+∆t) + p2.2(t+∆t), получим.

4

Раскроем квадратные скобки, перенесем p2(t) в левую часть и разделим обе части на t:

5

Если устремить t к нулю, то слева получим производную функции p2(t):

6

Аналогичные уравнения можно вывести для всех остальных состояний. Получается система дифференциальных уравнений:

7

Эта система линейных дифференциальных уравнений дает возможность найти вероятности состояний, если задать начальные условия. В левой части каждого уравнения стоит производная вероятности i-го состояния, а в правой – сумма произведений вероятностей всех состояний, из которых ведут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность i-го состояния.

Представим уравнения Колмогорова в общем виде

8

Здесь учтено, что для состояний, не имеющих непосредственных переходов, можно считать .

9

http://www.life-prog.ru/view_modelirovanie.php?id =20

Финальные вероятности состоянийПравить

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей Pi(t) при t -> infinity. В некоторых случаях существуют финальные (предельные) вероятности состояний:

$ P_i = \lim_{t \rightarrow \infty} P_i(t), i= 1,2,..., n $

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний Pi уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний P0(t), P1(t),..., Pn(t) в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности P0, P1, P2,...Pn.

Таким образом, для системы с n+1 состояниями получается система n+1 линейных однородных алгебраических уравнений с n+неизвестными P0, P1, P2,...Pn, которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие P0 + P1 + ... Pn = 1, пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.

http://www.stat-mat.com/?p=567