Уравнение Колмогорова для вероятностей состояний. Финальные вероятности состояний

Уравнение Колмогорова для вероятностей состояний

Уравнения Колмогорова - уравнения для переходной функции марковского случайного процесса.

Исчерпывающей количественной характеристикой Марковского процесса является совокупность вероятностей состояний, т.е. вероятностей p_i(t) того, что в момент t процесс будет находиться в состоянии s_i(i =1…n).

Граф состояний модели размножения и гибели

Рассмотрим, как определяются вероятности состояний по приведенному на рис. графу состояний, считая все потоки простейшими. В случайный момент времени t система может находиться в одном из состояний s_i с вероятностью p_i(t). Придадим t малое приращение ∆t и найдем, например, p₂(t+∆t) - вероятность того, что в момент t+∆t система будет в с состоянии s₂. Это может произойти, во-первых, если система в момент  была в состоянии s₂ и за время t не вышла из него; во-вторых, если в момент t система была в состоянии s₁ или s₅ и за время ∆t перешла в состояние s₂.

В первом случае надо вероятность p₂(t) умножить на вероятность того, что за время ∆t система не перейдет в состояние s₁, s₃ или s₄. Суммарный поток событий, выводящий систему из состояния s₂, имеет интенсивность λ₂₁+ λ₂₃+ λ₂₄. Значит, вероятность того, что за время ∆t система выйдет из состояния s₂, равна (λ₂₁+ λ₂₃+ λ₂₄)∆t. Отсюда вероятность первого варианта p_2.1(t+∆t)= p₂(t)[1-(λ₂₁+ λ₂₃+ λ₂₄)∆t].

Найдем вероятность перехода в состояние s₂. Если в момент t система находилась в состоянии s₁ с вероятностью p_i(t), то вероятность перехода в состояние s₁ за время ∆t равна p_2.2(t+∆t)= p₁(t)λ₁₂∆t.

Аналогично для состояния s₅. p_2.3(t+∆t)= p₁(t)λ₅₂∆t.

Складывая вероятности p_2.1(t+∆t) + p_2.2(t+∆t) + p_2.2(t+∆t), получим.

Раскроем квадратные скобки, перенесем p₂(t) в левую часть и разделим обе части на ∆t:

Если устремить ∆t к нулю, то слева получим производную функции p₂(t):

Аналогичные уравнения можно вывести для всех остальных состояний. Получается система дифференциальных уравнений:

Эта система линейных дифференциальных уравнений дает возможность найти вероятности состояний, если задать начальные условия. В левой части каждого уравнения стоит производная вероятности i-го состояния, а в правой – сумма произведений вероятностей всех состояний, из которых ведут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность i-го состояния.

Представим уравнения Колмогорова в общем виде

Здесь учтено, что для состояний, не имеющих непосредственных переходов, можно считать .

http://www.life-prog.ru/view_modelirovanie.php?id =20

Финальные вероятности состояний

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей Pi(t) при t -> infinity. В некоторых случаях существуют финальные (предельные) вероятности состояний:

$P_i = \lim_{t \rightarrow \infty} P_i(t), i= 1,2,..., n$

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний Pi уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний P0(t), P1(t),..., Pn(t) в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности P0, P1, P2,...Pn.

Таким образом, для системы с n+1 состояниями получается система n+1 линейных однородных алгебраических уравнений с n+1 неизвестными P0, P1, P2,...Pn, которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие P0 + P1 + ... Pn = 1, пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.

http://www.stat-mat.com/?p=567