Рассмотрим еще одну типичную схему непрерывных марковских цепей - так называемую схему гибели и размножения, часто встречающуюся в разнообразных практических задачах.
Марковский процесс с дискретными состояниями S 0 , S 1 , ..., S n
называется процессомгибели и размножения
,
если все состояния можно вытянуть в одну цепочку, в которой каждое из средних состояний (S 1 , S 2 , ...,
S n -1
) может переходить только в соседние состояния, которые, в свою очередь, переходят обратно, а крайние состояния (S 0 и S n
) переходят только в соседние состояния (рис. 3.7).
Название взято из биологических задач, где состояние популяции S k означает наличие в ней k единиц особей.
Переход вправо связан с размножением единиц, а влево - с их гибелью.
Рис. 3.7. Граф состояний для процесса гибели и размножения
l 0 (t), l 1 (t), l 2 (t), …, l n (t) - интенсивности размножения;
m 1 (t), m 2 (t), …, m n (t) - интенсивности гибели.
У l и μ индекс того состояния, из которою стрелка выходит.
С состоянием S k связана неслучайная величина Х k : если система S в момент времени t находится в состоянии S k , то дискретная случайная величина X(t) , связанная с функционированием системы, принимает значение k . Таким образом, получаем случайный процесс Х(t), который в случайные, заранее неизвестные моменты времени скачком изменяет свое состояние.
Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, который может принимать только целые неотрицательные значения. Изменения этого процесса могут происходить в любой момент времени, т. е. в любой момент времени он может либо увеличиться на единицу, либо уменьшиться на единицу, либо остаться неизменным.
В практике встречаются процессы чистого размножения и чистой гибели. Процессом чистого размножения называется такой процесс гибели и размножения, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой «гибели» называется такой процесс гибели и размножения, у которого интенсивности всех потоков размножения равны нулю.
Пример 1. Рассмотрим эксплуатацию моделей автомобилей одной марки в крупной транспортной фирме (на предприятии). Интенсивность поступления автомобилей на предприятие равна l(t) . Каждый поступивший на предприятие автомобиль списывается через случайное время T c . Срок службы автомобиля t распределен по показательному закону с параметром m . Процесс эксплуатации автомобилей является случайным процессом. A(t) - число автомобилей данной марки, находящихся в эксплуатации в момент t . Найдем одномерный закон распределения случайного процесса P i (t) = P{A(t) = i}, если: 1) нет ограничений на число эксплуатируемых машин, 2) на предприятии может эксплуатироваться не более n автомобилей.
Решение.
1. Случайный процесс эксплуатации автомобилей есть процесс гибели и размножения, размеченный граф которого представлен на рис. 3.8.
Рис. 3.8. Граф состояний
Система уравнений Колмогорова, соответствующая этому графу, имеет вид
где i = 1, 2, …
Если в начальный момент времени t = 0 на предприятии не было ни одного автомобиля, то решать эту систему уравнений нужно при начальных условиях P 0 (0) = 1, P i (0) = 0 (i = 1, 2, …). Если при t = 0 на предприятии было k автомобилей (k = 1, 2, ...), то начальные условия будут иметь вид
P k (0) = 1, P i (0) = 0 (i = 1, 2, …, i ¹ k ).
2. Если на предприятии может эксплуатироваться не более nавтомобилей моделей одной марки, то имеет место процесс гибели и размножения с ограниченным числом состояний, размеченный граф которого представлен на рис. 3.9.
Рис. 3.9. Граф состояний
Система уравнений Колмогорова для размеченного графа (рис. 3.9) имеет вид (3.4).
Эту систему надо решать при начальных условиях, рассмотренных выше. Решения систем уравнений (3.4) и (3.5) являются одномерными законами распределения Р i (t). Отыскание решений систем в общем виде при произвольном виде функции l(t) представляет значительные трудности и не имеет практических приложении.
При постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система S с конечным числом состояний (n + 1), в которой протекает процесс гибели и размножения с постоянными интенсивностями потоков гибели и размножения, является простейшей эргодической системой. Размеченный граф состояний для такой системы представлен на рис. 3.9.
Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:
Правило. Вероятность k -гo состояния в схеме гибели и размножения равна дроби, в числителе которой стоит произведение всех интенсивностей размножения, стоящих левее S k , а в знаменателе - произведение всех интенсивностей гибели, стоящих левее S k , умноженной на вероятность кранного левого состояния системы P 0 .
В предыдущем примере для стационарного режима если интенсивность поступления автомобилей постоянная (l(t) = l = const ), то финальные вероятности состояний при условии, что нет ограничений на число автомобилей на предприятии, равны
При этом математическое ожидание числа эксплуатируемых автомобилей равно его дисперсии:
M = D = l /m. (3.10)
Если существует ограничение по числу автомобилей на предприятии (не более n ), то финальные вероятности можно записать в таком виде:
где ρ = l /m .
где k = 0, 1, 2, ..., n .
Математическое ожидание числа эксплуатируемых автомобилей в стационарном режиме
Пример 2. В состав поточной лини входит четыре станка. Бригада в составе четырех человек обслуживающего персонала проводит профилактический ремонт каждого из них. Суммарный поток моментов окончания ремонтов для всей бригады - пуассоновский с интенсивностью l(t). После окончания ремонта станок проверяется; с вероятностью Р он оказывается работоспособным (время проверки мало, и им можно пренебречь по сравнению со временем профилактики). Если станок оказывается неработоспособным, то вновь проводится его профилактика (время на которую не зависит от того, проводилась ли она ранее) и т. д. В начальный момент все станки нуждаются в профилактическом ремонте. Требуется:
1. Построить граф состояний для системы S (четыре станка).
2. Написать дифференциальные уравнения для вероятностей состояний.
3. Найти математическое ожидание числа станков M t , успению прошедших профилактику к моменту t .
Решение.
Граф состояний показан на рис. 3.10, в котором:
S 0 – все четыре станка нуждаются в профилактическом ремонте;
S 1 – один станок успешно прошел профилактику, а три нуждаются в профилактическом ремонте;
S 2 – два станка успешно прошли профилактику, а два нуждаются в профилактическом ремонте;
S 3 – три станка успешно прошли профилактику, один нуждается в профилактическом ремонте;
S 4 – все четыре станка успешно прошли профилактику.
Рис. 3.10. Граф состояний системы
Каждый профилактический ремонт успешно заканчивается с вероятностью P , что равносильно P -преобразованию потока окончаний ремонтов, после которого он останется пуассоновским, но с интенсивностью Pl(t) . В этом примере мы имеем дело с процессом чистого размножения с ограниченным числом состояний.
Уравнения Колмогорова имеют следующий вид:
Начальные условия P 0 (0) = 1, P 1 (0) = … = P 4 (0) = 0. При постоянной интенсивности l(t) = l и вероятности состоянии определяются по следующим формулам:
Математическое ожидание числа дисков, успешно прошедших профилактику к моменту t, равно
где n = 4.
Пример 3. Рассмотрим производство автомобилей на заводе. Поток производимых автомобилей - нестационарный пуассоновский с интенсивностью l(t). Найдем одномерный закон распределения случайною процесса X(t) - число выпушенных автомобилей к моменту времени t , если в момент t = 0 начат выпуск автомобилей.
Решение
Очевидно, что здесь процесс чистого размножения без ограничения на число состояний, при этом l i (t) = l(t) , так как интенсивность выпуска автомобилей не зависит от того, сколько их уже выпушено. Граф состояний такого процесса показан на рис. 3.11.
Рис. 3.11. Граф состояний
Одномерный закон распределения случайного процесса Х(t) для графа, изображенного на рис. 3.11, определяется следующей системой уравнений Колмогорова:
Так как число выпушенных автомобилей X(t) на любой фиксированный момент t распределено по закону Пуассона с параметром
M = D = a(t).
Рассмотренный в этом примере процесс X(t) называетсянеоднородным процессом Пуассона. Если интенсивность l(t) = l = const , то получим однородный процесс Пуассона . Для такого процесса при P 0 (0) = 1, P i (0) = 0 (i > 0)
Характеристиками процесса Пуассона будут
M = D = l×t.
Задача 1. Имеется прибор, который состоит из четырех узлов; поток отказов – простейший, среднее время безотказной работы каждого узла равно 11 час. Отказавший узел сразу начинает ремонтироваться; среднее время ремонта узла равно 2 час. (поток восстановления простейший). Найти среднюю производительность прибора, если при четырех работающих узлах она равна 100%, при трех 60%, при двух и менее прибор вообще не работает.
В процессе Пуассона вероятность изменения за время (t, t~\~h) не зависит от числа изменений за время (0, t). Простейшее обобщение состоит в отказе от этого предположения. Предположим теперь, что если за время (0, t) осуществилось п изменений, то вероятность нового изменения за время (t, t h) равна \nh плюс слагаемое более высокого порядка малости по сравнению с /г; вместо одной постоянной X, характеризующей процесс, мы имеем последовательность постоянных Х0, Xj, Х2
Удобно ввести более гибкую терминологию. Вместо того чтобы говорить, что п изменений произошли за время (0, t), будем говорить, что система находится в состоянии Еп. Новое изменение вызывает тогда переход Еп->Еп+1. В процессе чистого размножения переход из Еп возможен только в Еп+1. Такой процесс характеризуют следующие постулаты.
Постулаты. Если в момент t система находится в состоянии Еп(п~ 0, 1, 2,...), то вероятность того, что за время (t, t -)- h) осуществится переход в Еп + 1, равна Хп/г-|~ о (А). Вероятность иных изменений имеет более высокий порядок малости, чем h.
") Так как мы считаем h положительной величиной, то, строго говоря, Рп (t) в (2.4) следует рассматривать как правую производную. Но в действительности это обычная двусторонняя производная. В самом деле, член о (К) в формуле (2.2) не зависит от t и потому не изменится, если t заменить на t - h. Тогда свойство (2.2) выражает непрерывность, а (2.3) дифферен- цируемос.ь в обычном смысле. Это замечание применимо и в дальнейшем и не будет повторяться.
Отличительной чертой этого предположения является то, что время, которое система проводит в любом индивидуальном состоянии, не играет роли: как бы долго система ни оставалась в одном состоянии, внезапный переход в другое состояние остается одинаково возможным.
Пусть снова P„(t) - вероятность того, что в момент t система находится в состоянии Еп. Функции Рп (t) удовлетворяют системе дифференциальных уравнений, которые могут быть выведены с помощью рассуждений предыдущего параграфа, с тем только изменением, что (2.2) заменяется на
Рп (t-\-h) = Рп (0(1- V0 + Рп-1 (0\-ih + 0 (А)- (3.1)
Таким образом, мы получаем основную систему дифференциальных уравнений:
p"n{t) = -lnPn{t) + ln_xPn_x{t) («> 1),
P"0(t) = -l0P0(t).
Мы можем вычислить P0(t) и затем последовательно все Pn(t). Если состояние системы представляет собой число изменений за время (0, (), то начальным состоянием является £0, так что PQ (0) = 1 и, следовательно, Р0 (t) - е~к«". Однако не обязательно, чтобы система исходила из состояния £0 (см. пример 3, б). Если в момент 0 система находится в состоянии £;, то
Р. (0) = 1. Рп (0) = 0 для п Ф I. (3.3)
Эти начальные условия единственным образом определяют решения }
