На практике мы почти никогда не имеем дела с марковскими процессами в чистом виде: реальные процессы почти всегда обладают тем или другим последействием. Для марковского процесса время пребывания системы подряд в каком-либо состоянии распределено по показательному закону; на самом деле это далеко не всегда бывает так. Например, если поток событий, переводящий систему из состояния в состояние есть поток отказов какого-то узла, то более естественно предположить, что оставшееся время безотказной работы узла зависит от того, сколько времени узел уже работал. При этом время пребывания узла в рабочем состоянии представляет собой случайную величину, распределенную не по показательному, а по какому-то иному закону. Возникает вопрос о том, можно ли приближенно заменять непуассоновские потоки - пуассоновскими и к каким ошибкам в предельных вероятностях состояний может привести подобная замена. Для этого необходимо уметь хотя бы приближенно исследовать случайные процессы, протекающие в системах с последействием.
Рассмотрим некоторую физическую систему S, в которой протекает случайный процесс, направляемый какими-то непуассоновскими потоками событий. Если мы попробуем для этого процесса написать уравнения, выражающие вероятности состояний как функции времени, мы увидим, что в общем случае это нам не удастся. Действительно, для марковской системы мы вычисляли вероятность того, что в момент система будет в состоянии учитывая только то, в каком состоянии система была в момент t, и не учитывая, сколько времени она была в этом состоянии. Для немарковской системы этот прием уже непригоден: вычисляя вероятность перехода из одного состояния в другое за время мы должны будем учитывать, сколько времени система уже провела в данном состоянии. Это приводит, вместо обыкновенных дифференциальных уравнений, к уравнениям с частными производными, то есть к гораздо более сложному математическому аппарату, с помощью которого только в редких случаях можно получить нужные результаты.
Возникает вопрос: а нельзя ли свести искусственно (хотя бы приближенно) немарковский процесс к марковскому?
Оказывается, в некоторых случаях это возможно: а именно, если число состояний системы не очень велико, а отличающиеся от простейших потоки событий, участвующие в задаче, представляют собой (точно или приближенно) потоки Эрланга. Тогда, вводя в схему возможных состояний системы некоторые фиктивные «псевдосостояния», удается свести немарковский процесс к марковскому и описать его с помощью обыкновенных дифференциальных уравнений, которые при переходят в алгебраические уравнения для предельных вероятностей состояний.
Поясним идею метода «псевдосостояний» на конкретном примере.
Пример 1. Рассматривается система S - Техническое устройство, которое может выходить из строя под влиянием простейшего потока неисправностей с интенсивностью к. Отказавшее устройство немедленно начинает восстанавливаться. Время восстановления (ремонта) Т распределено не по показательному закону (как надо было бы для того, чтобы процесс был марковским), а по закону Эрланга порядка:
Требуется свести данный немарковский процесс к марковскому и найти для него предельные вероятности состояний.
Решение. Случайная величина Т - время восстановления - распределена по закону Эрланга и, значит, представляет собой сумму трех случайных величин распределенных по показательному закону (см. § 5 гл. 4) с параметром
Истинных состояний системы всего два:
Устройство исправно;
Устройство восстанавливается.
Граф этих состояний показан на (он относится к циклической схеме).
Однако в виду того, что переход по стрелке происходит под влиянием не простейшего, а эрланговского потока событий, процесс, происходящий в системе, марковским не является, и для него мы не можем написать ни дифференциальных, ни алгебраических уравнений.
Чтобы искусственно свести это процесс к марковскому, введем в цепочку состояний, вместо одного состояния три последовательных «псевдосостояния».
Ремонт начинается;
Ремонт продолжается;
Ремонт заканчивается, т. е. разделим ремонт на три этапа или «фазы», причем время пребывания системы в каждой из фаз будем считать распределенным по показательному закону (10.2). Граф состояний будет иметь вид, показанный на рис. 4.48, где роль одного состояния будут играть три псевдосостояния Процесс, протекающий в такой системе, уже будет марковским.
Обозначим - предельные вероятности пребывания системы в псевдосостояниях тогда
Обозначая
можем сразу написать (как для обычной циклической схемы) предельные вероятности состояний:
Заметим, что величина представляет собой не что иное, как среднее время восстановления (ремонта) - оно равно сумме средних времен пребывания системы в каждой фазе ремонта.
Переходя в формулах для от средних времен к интенсивностям потоков, по формулам получим:
Таким образом, получен вывод: для нашего элементарного примера вероятность пребывания в каждом из двух состояний, как и для марковского цикла, равна относительному среднему времени пребывания подряд в каждом из состояний.
Следующий пример будет несколько сложнее.
Пример 2. Техническое устройство S состоит из двух одинаковых узлов, каждый из которых может выходить из строя (отказывать) под влиянием простейшего потока неисправностей с интенсивностью 1. Отказавший узел немедленно начинает ремонтироваться. Время ремонта Т распределено по закону Эрланга второго порядка:
Требуется найти предельные вероятности состояний системы.
Решение. Истинных состояний системы три (нумеруем их по числу отказавших узлов).
Оба узла работают;
Один узел работает, другой ремонтируется;
Оба узла ремонтируются.
Разделим условно ремонт на две фазы: ремонт начинается и ремонт заканчивается.
Один узел работает, другой начинает ремонтироваться;
Один узел работает, другой кончает ремонтироваться;
Оба узла начинают рамонтироваться;
Один узел начинает ремонтироваться, а другой кончает;
Оба узла кончают ремонтироваться.
Граф состояний системы с псевдосостояниями показан на рис. 4.49. На стрелках, ведущих из и из написано а не потому что перейти в следующую фазу ремонта (окончание ремонта) может любой из двух узлов.
Уравнения для предельных вероятностей состояний имеют вид:
Из третьего, пятого и шестого уравнений (10.4) имеем:
что дает возможность уменьшить число неизвестных: подставляя (10.5) в оставшиеся три уравнения (10.4), получим:
Из этих трех уравнений с тремя неизвестными можно по произволу отбросить любое, например, последнее, и добавить нормировочное условие:
или, с учетом (10.5),
Вычислительные технологии
Том 13, Специальный выпуск 5, 2008
Исследование полумарковского потока событий
А. А. Назаров, С. В. Лопухова Томский государственный университет, Россия e-mail: nazarov@f pmk. tsu. ru, lopuchovasv@mail. ru
И.Р. Гарайшина
Филиал Кемеровского государственного университета в г. Анжеро-Судженске, Россия e-mail: [email protected]
In the submitted work, the semimarkovian process is considered. Limiting model is considered. Results of analytical treatment of limiting model are compared with results, obtained by the asymptotical method.
Введение
Существует проблема расширения класса математических моделей потоков однородных событий. Зачастую классические модели случайных потоков событий не могут быть адекватны реальным информационным, телекоммуникационным потокам. Моделей пуассоповского и простейшего потоков часто бывает недостаточно для более правдоподобного, приближенного к реальности описания входящих потоков для систем массового обслуживания. Несмотря на то что существуют потоки фазового типа и модулированные пуассоновские потоки, которые более адекватны реальным ситуациям, большой интерес представляют модели полумарковского потока, частным случаем которых являются потоки марковского восстановления и все вышеперечисленные потоки. Методы исследования таких моделей достаточно сложны и приводят к значительным математическим проблемам. Поэтому наряду с задачей расширения классов потоков существует проблема развития методов их исследования.
1. Математическая модель
Случайным потоком однородных событий (потоком) будем называть упорядоченную последовательность
t\ < ¿2 < ■ ■ ■ случайных величин tm - моментов наступления событий в потоке. Пусть задана полумарковская матрица A(x) с элемента ми Aklk2 (x), Матрн ца P = lim A(x) является стохастической, поэтому при заданном начальном распределении она определяет некоторую цепь Маркова k (tm) с дискретным временем, которую будем называть вложенной в полумарковский поток цепью Маркова, © Институт вычислительных технологий Сибирского отделения Российской академии наук, 2008. А. А. Назаров, С. В. Лопухова, И. Р. Гарайшина Случайный поток однородных событий будем называть полумарковским, если вероятностный закон формирования последовательности (1) определяется начальным распределением и равенствами Ак1к2 (х) = Р {к(Ьт+1) = к2, Ьт+1 - Ьт < х ^^т) = к\ } при всех т > 1. Обозначим п(Ь) число событий полу марко веко го потока, наетуп ивших за время Ь па интервале . Задачей исследования данной работы является установление распределения вероятностей Р(п, Ь) = Р{п(Ь) = п} при стационарном функционировании эргодичеекой цепи Маркова к (1т). Очевидно, процесс п(Ь) - немарковский, поэтому определим еще два случайных процесса: г(Ь) - длину интервала от момента времени Ь до момента наступления очередного события в рассматриваемом потоке, к(Ь) - непрерывный слева процесс с непрерывным временем, значение которого на интервале (Ьт,Ьт+1] постоянны и определяются равенствами к (Ь) = к (Ьт+1). В силу сделанных определений случайный процесс {к(Ь), п(Ь), г(Ь)} является трехмерным марковским процессом с непрерывным временем. Заметим, что случайный процесс к(Ь) не является полумарковским в классическом определении , так как полумарковский процесс Б(Ь) непрерывен справа и, как указано в , для его переходных вероятностей не существует дифференциальных эволюционных уравнений Колмогорова, в то время как предложенный выше процесс {к(Ь), п(Ь), г(Ь)} - марковский, поэтому для его распределения вероятностей Р (к, п, г,Ь) = Р {к(Ь) = к, п(Ь) = п, г(Ь) < г} (2) нетрудно составить систему дифференциальных уравнений Колмогорова дР (к,п,г,Ь) дР (к,п,г,Ь) дР (к,п, 0,Ь) ^ дР (и,п - 1,0,Ь) ^ дГ (и,1Ь - 1, 0,Ь) А (\ 2-^- дЬ дг дг ^ дг Обозначим Н(к, и, г, г) = ^ е"иПР(к,п,г,Ь), где ] = ¡~ ~~ мнимая единица. Для этих функций из системы дифференциальных уравнений Колмогорова можно записать дН (к,и,г,Ь) дН (к,и,г,Ь) дН (к, и, 0,Ь) ,и ^ дН (и, и, 0,Ь) дЬ дг дг ^ дг Обозначим Н (и,г,Ь) = {Н (1,и,г,Ь) ,Н (2,и,г,Ь),...} строку вектор-функции, тогда систему уравнений (3) перепишем в матричном виде дН{и,г,г) _ дН{и,г,г) дН{и,0,г) Мц,г ч п т дг дг + дг 1 [) "" [ } решение которой удовлетворяет начальному условию H(u,z, 0) = R(z), где I - единичная матрица, а стационарное распределение R(z) двумерного марковского процесса {k(t), z(t)} является решением задачи Коши <Ш = <Ш(1-Мг)), и определяется равенством R{z) = seiт / (Р - A(x))dx, где aei = Здесь г - вектор- строка стационарного распределения вероятностей значений вложенной цепи Маркова k(tm); E - единичный вектор-столбец и матрица A = (P - A(x))dx. 2. Допредельная модель Пусть имеем дифференциальное уравнение (4), решение H (u,z,t) которого удовлетворяет начальному условию H(u, z, 0) = R(z). Тогда преобразование Фурье - Стилтьесса ф>(u,a,t) = / ejaz dz H (u, z, t) вектор-функ ции H (u,z,t) удовлетворяет уравнению дф(и,а,Ь) . . дН (и, 0,Ь) , .*. . гЛ, . т = ~заф{щ а, +-(е?иА*{а) - /) (5) и начальному условию ф(и,а, 0) = R*(a) = ^ ё>а2 где А*(а) = J е>а"2dA(z). Решение уравнения (5) имеет вид о ф(и, а,1) = е~заЬ [ II*{а) + I (¿>иА*{а) - I) dт ] . (6) Устремив Ь в бесконечность в выражении (6), получим преобразование Фурье по т дН (и, 0,т) ^ ^ " л от вектор-функции---. Выполнив обратное преобразование Фурье, определим, I e-j А. А. Назаров, С. В. Лопухова, И. Р. Рарайшшиа Теперь равенство (6) можно записать в виде ф(ща,г) = е-аЬ Я*(а) + + - / е]ат I е~зутК*(у) (/ - е>иА*(у)) 1 Ау (е"иА*(а) - /) <*г). (7) Зная, что Н(и, ж,г) = Н(и,г) = ф(и, 0,1), получим выражение для вектор-функции Н (и,г): Тогда распределение вероятностей Р(п, г) числа событий, наступивших за время г, явля- ции Н(и,Ь) = МеЭип(Ь = Н(и,Ь)Е, оно имеет вид 1 С а1 Г 1 - е-™Ь Р(п,1) = - е~зипНШ)Е(1и = - / -^-5 I - А* (у) А*(у)п-1Ейу, (8) I - А* (у) Е<1у Заключение Выполняя асимптотические исследования полу марко веко го потока событий, аналогичные исследованию потоков марковского восстановления , получим, что асимптотику третьего порядка для характеристической функции можно записать в виде МеГап(1) = ^«(ге^+^ае^+^аез*) где коэффициенты 831, а2, аз3 для полумарковского потока определяются аналогично тому, как это сделано в работах . Полученные равенства (8) определяют распределение вероятностей Р(п,г) числа событий, наступивших в стационарном полумарковском потоке, заданном полумарковской матрицей А(х) и ее преобразованием А*(х) Фурье - Стилтьесса, Численная реализация формул (8) позволяет находить численные значения вероятностей Р(п, г) для достаточно широкого клаееа матриц А* (х) и значений г. Но возможности численной реализации ограничены вычислительными ресурсами. Для достаточно больших значений г естественно применить метод асимптотического анализа полумарковского потока аналогично тому, как это выполнено для потока марковского восстановления в работе и просеянного потока марковского восстановления в работе . Наличие численного алгоритма (8) позволяет определить область применения асимптотических результатов. Для рассмотренных потоков с тремя состояниями вложенной цепи Маркова расстояние Колмогорова - Смирнова между распределениями, полученными асимптотически и по формулам (8), не превосходит 2-3 % для определенных значений t = Т, это позволяет утверждать, что при t > Т эффективно применение асимптотических результатов, а при t < Т целесообразно использовать формулы (8), полученные в данной работе. Список литературы Королюк B.C. Стохастические модели систем. Киев: Наук, думка, 1989. 208 с. Назаров A.A., Лопухова C.B. Исследование потока марковского восстановления асимптотическим методом второго порядка // Матер. Междунар. науч. конф. "Математические методы повышения эффективности функционирования телекоммуникационных сетей". Гродно, 2007. С. 170-174. Лопухова C.B. Исследование полумарковского потока асимптотическим методом третьего порядка // Матер. VI Междунар. научно-практ. конф. "Информационные технологии и математическое моделирование". Томск: Изд-во Том. ун-та, 2007. Ч. 2. С. 30-34. Марковские процессы были выведены учеными в 1907 году. Ведущие математики того времени развивали эту теорию, некоторые совершенствуют ее до сих пор. Эта система распространяется и в других научных областях. Практические цепи Маркова применяются в различных сферах, где человеку необходимо прибывать в состоянии ожидания. Но, чтобы четко понимать систему, нужно владеть знаниями о терминах и положениях. Главным фактором, который определяет Марковский процесс, считаются случайности. Правда, он не схож с понятием неопределенности. Для него присущи определенные условия и переменные. Это условие подчиняется статической устойчивости, точнее, ее закономерностям, которые не учитываются при неопределенности. В свою очередь, данный критерий позволяет использовать математические методы в теории Марковских процессов, как отмечал ученый, изучавший динамику вероятностей. Созданная им работа касалась непосредственно этих переменных. В свою очередь, изученный и развившийся случайный процесс, имеющий понятия состояния и перехода, а также применяемый в стохастических и математических задачах, при этом дает возможность этим моделям функционировать. Кроме всего прочего, он дает возможность совершенствоваться другим важным прикладным теоретическим и практическим наукам: Этот Марковский процесс обусловлен случайной функцией, то есть любое значение аргумента считается данной величиной или той, что принимает заранее заготовленный вид. Примерами служат: Также принято считать, что фактом случайной функции выступает время, то есть происходит индексация. Классификация имеет вид состояния и аргумент. Этот процесс может быть с дискретными, а также непрерывными состояниями или временем. Причем случаи разные: все происходит или в одном, или в другом виде, или одновременно. Построить математическую модель с необходимыми показателями эффективности в явно аналитическом виде было достаточно сложно. В дальнейшем реализовать данную задачу стало возможно, ведь возник Марковский случайный процесс. Разбирая детально это понятие, необходимо вывести некоторую теорему. Марковский процесс - это физическая система, изменившая свое положение и состояние, которые заранее не были запрограммированы. Таким образом, выходит, что в ней протекает случайный процесс. Например: космическая орбита и корабль, который выводится на нее. Результат достигнут лишь благодаря каким-то неточностям и корректировкам, без этого не реализуется заданный режим. Большинству происходящих процессов присущи случайность, неопределенность. По существу вопроса, практически любой вариант, который можно рассмотреть, будет подвержен этому фактору. Самолет, техническое устройство, столовая, часы - все это подвержено случайным изменениям. Причем данная функция присуща любому происходящему процессу в реальном мире. Однако пока это не касается индивидуально настроенных параметров, происходящие возмущения воспринимаются как детерминированные. Проектировка какого-либо технического или механического прибора, устройства вынуждает создателя учитывать различные факторы, в частности неопределенности. Вычисление случайных колебаний и возмущений возникает в момент личной заинтересованности, например, при реализации автопилота. Некоторые процессы, изучаемые в науках вроде физики и механики, являются таковыми. Но обращать на них внимание и проводить скрупулезные исследования следует начинать в тот момент, когда это непосредственно нужно. Марковский случайный процесс имеет следующее определение: характеристика вероятности будущего вида зависит от состояния, в котором он находится в данный момент времени, и не имеет отношения к тому, как выглядела система. Итак, данное понятие указывает на то, что результат можно предсказать, учитывая лишь вероятность и забыв про предысторию. В настоящий момент система находится в определенном состоянии, она переходит и меняется, предсказать, что будет дальше, по сути, невозможно. Но, учитывая вероятность, можно сказать, что процесс будет завершен в определенном виде или сохранит предыдущий. То есть будущее возникает из настоящего, забывая о прошлом. Когда система или процесс переходит в новое состояние, то предысторию обычно опускают. Вероятность в Марковских процессах играет немаловажную роль. Например, счетчик Гейгера показывает число частиц, которое зависит от определенного показателя, а не от того, в какой именно момент оно пришло. Здесь главным выступает вышеуказанный критерий. В практическом применении могут рассматриваться не только Марковские процессы, но и подобные им, к примеру: самолеты участвуют в бою системы, каждая из которых обозначена каким-либо цветом. В данном случае главным критерием вновь выступает вероятность. В какой момент произойдет перевес в числе, и для какого цвета, неизвестно. То есть этот фактор зависит от состояния системы, а не от последовательности гибели самолетов. Марковским процессом называется любое состояние системы без вероятностного последствия и без учета предыстории. То есть, если включить будущее в настоящее и опустить прошлое. Перенасыщение данного времени предысторией приведет к многомерности и выведет сложные построения цепей. Поэтому лучше эти системы изучать простыми схемами с минимальными числовыми параметрами. В результате эти переменные считаются определяющими и обусловленными какими-либо факторами. Пример Марковских процессов: работающий технический прибор, который в этот момент исправен. В данном положении вещей интерес представляет вероятность того, что устройство будет функционировать еще длительный период времени. Но если воспринимать оборудование как отлаженное, то этот вариант уже не будет принадлежать к рассматриваемому процессу ввиду того, что нет сведений о том, сколько аппарат работал до этого и производился ли ремонт. Однако если дополнить эти две переменные времени и включить их в систему, то ее состояние можно отнести к Марковскому. Модели Марковских процессов применяются в тот момент, когда необходимо пренебречь предысторией. Для исследования в практике наиболее часто встречаются дискретные, непрерывные состояния. Примерами такой ситуации являются: в структуру оборудования входят узлы, которые в условиях рабочего времени могут выйти из строя, причем происходит это как незапланированное, случайное действие. В результате состояние системы подвергается ремонту одного или другого элемента, в этот момент какой-то из них будет исправен или они оба будут отлаживаться, или наоборот, являются полностью налаженными. Дискретный Марковский процесс основан на теории вероятности, а также является переходом системы из одного состояния в другое. Причем данный фактор происходит мгновенно, даже если происходят случайные поломки и ремонтные работы. Чтобы провести анализ такого процесса, лучше использовать графы состояний, то есть геометрические схемы. Системные состояния в таком случае обозначены различными фигурами: треугольниками, прямоугольниками, точками, стрелками. Марковские процессы с дискретными состояниями - возможные видоизменения систем в результате перехода, осуществляющегося мгновенно, и которые можно пронумеровать. Для примера можно построить график состояния из стрелок для узлов, где каждая будет указывать путь различно направленных факторов выхода из строя, рабочего состояния и т. д. В дальнейшем могут возникать любые вопросы: вроде того, что не все геометрические элементы указывают верное направление, ведь в процессе способен испортиться каждый узел. При работе важно учитывать и замыкания. Марковский процесс с непрерывным временем происходит тогда, когда данные заранее не фиксируются, они происходят случайно. Переходы ранее были не запланированы и происходят скачками, в любой момент. В данном случае вновь главную роль играет вероятность. Однако, если сложившаяся ситуация относится к указанной выше, то для описания потребуется разработать математическую модель, но важно разбираться в теории возможности. Данные теории рассматривают вероятностные, имеющие характерные признаки вроде случайного порядка, движения и факторов, математические задачи, а не детерминированные, которые являются определенными сейчас и потом. Управляемый Марковский процесс имеет фактор возможности и основан на нем. Причем данная система способна переходить в любое состояние мгновенно в различных условиях и временном промежутке. Чтобы применять эту теорию на практике, необходимо владеть важными знаниями вероятности и ее применения. В большинстве случаев каждый пребывает в состоянии ожидания, которое в общем смысле и есть рассматриваемая теория. Примерами Марковских процессов в данной ситуации могут выступать: Как правило, люди ежедневно сталкиваются с этой системой, сегодня она носит название массового обслуживания. На объектах, где присутствует подобная услуга, есть возможность требования различных запросов, которые в процессе удовлетворяются. Такие модели являются статическими и копируют работу оригинального процесса. В данном случае основной особенностью является функция наблюдения за неизвестными параметрами, которые должны быть разгаданы. В результате эти элементы могут использоваться в анализе, практике или для распознавания различных объектов. Обычные Марковские процессы основаны на видимых переходах и на вероятности, в скрытой модели наблюдаются только неизвестные переменные, на которые оказывает влияние состояние. Также она имеет распределение вероятности среди других значений, в результате исследователь увидит последовательность символов и состояний. Каждое действие имеет распределение по вероятности среди других значений, ввиду этого скрытая модель дает информацию о сгенерированных последовательных состояниях. Первые заметки и упоминания о них появились в конце шестидесятых годов прошлого столетия. Затем их стали применять для распознавания речи и в качестве анализаторов биологических данных. Кроме того, скрытые модели распространились в письме, движениях, информатике. Также эти элементы имитируют работу основного процесса и пребывают в статике, однако, несмотря на это, отличительных особенностей значительно больше. В особенности данный факт касается непосредственного наблюдения и генерирования последовательности. Данное условие существует при однородной переходной функции, а также при стационарном распределении, считающимся основным и, по определению, случайным действием. Фазовым пространством для данного процесса является конечное множество, но при таком положении вещей начальная дифференциация существует всегда. Переходные вероятности в данном процессе рассматриваются при условиях времени или дополнительных элементах. Детальное изучение Марковских моделей и процессов выявляет вопрос об удовлетворении равновесия в различных сферах жизни и деятельности общества. С учетом того, что данная отрасль затрагивает науку и массовое обслуживание, ситуацию можно исправить, проанализировав и спрогнозировав исход каких-либо событий или действий тех же неисправных часов или техники. Чтобы полностью использовать возможности Марковского процесса, стоит детально в них разбираться. Ведь этот аппарат нашел широкое применение не только в науке, но и в играх. Эта система в чистом виде обычно не рассматривается, а если и используется, то только на основе вышеупомянутых моделей и схем. Процесс работы СМО представляет собой случайный процесс. Под случайным (вероятностным или стохастическим) процессом понимается процесс изменения во времени состояния какой-либо системы в соответствии с вероятностными закономерностями. Процесс называется процессом с дискретными состояниями, если его возможные состояния S1, S2, S3… можно заранее перечислить, а переходы системы из состояния в состояние происходит мгновенно (скачком). Процесс называется процессом с непрерывным временем, если моменты возможных переходов системы из состояния в состояние не фиксированы заранее, а случайны. Процесс работы СМО представляет собой случайный процесс с дискретными состояниями и непрерывным временем. Случайный процесс называется марковским или случайным процессом без последствия, если для любого момента времени t0 вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t0 и не зависят от того, когда и как система пришла в это состояние. Пример марковского процесса: система S - счетчик в такси. Состояние системы в момент t характеризуется числом километров, пройденных автомобилем до данного момента. Пусть в момент t0 счетчик показывает S0. Вероятность того, что в момент t>t0 счетчик покажет то или иное число километров (точнее соответствующее число рублей) S1 зависит от S0, но не зависит от того, в какие моменты времени изменялись показания счетчика до момента t0. В ряде случаев предысторией рассматриваемых процессов можно просто пренебречь и применять для их изучения марковские модели. При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой - так называемой графом состояний. Обычно состояния системы изображаются прямоугольниками (кружками), а возможные переходы из состояния в состояние - стрелками (ориентированными дугами), соединяющими состояния (рис. 1). Рисунок 1 - Граф состояний Для математического описания марковского случайного процесса с дискретными состояниями и непрерывным временем, протекающего в СМО, познакомимся с одним из важных понятий теории вероятности - понятием потока событий. Под потоком событий понимается последовательность однородных событий, следующих одно за другим в какие-то случайные моменты времени Примерами могут быть: Поток характеризуется интенсивностью л - частотой появления событий или средним числом событий, поступающих в СМО в единицу времени. Поток событий называется регулярным, если события следуют одно за другим через определенные промежутки времени. Такой поток сравнительно редко встречается на практике, но представляет определенный интерес как предельный случай. Поток событий называется стационарным, если его вероятностные характеристики не зависят от времени. В частности, интенсивность стационарного потока есть величина постоянная: . Поток событий называется потоком без последействия, если для любых двух непересекающихся участков времени и _ число событий, попадающих на один из них, не зависит от числа событий, попадающих на другие. Например, поток пассажиров, входящих в метро, практически не имеет последствия. А, скажем, поток покупателей, отходящих с покупками от прилавка, уже имеет последствия (хотя бы потому, что интервал времени между отдельными покупателями не может быть меньше, чем минимальное время обслуживания каждого из них). Поток событий называется ординарным, если вероятность попадания на малый (элементарный) участок времени?t двух и более событий пренебрежимо мала по сравнению с вероятностью попадания одного события. Другими словами, поток событий ординарен, если события появляются в нем поодиночке, а не группами. Поток событий называется простейшим (или стационарным пуассоновским), если он одновременно стационарен, ординарен и не имеет последствия. Простейший поток в качестве предельного возникает в теории случайных процессов столь же естественно, как в теории вероятностей нормальное распределение получается при наложении (суперпозиции) достаточно большого числа n независимых, стационарных и ординарных потоков (сравнимых между собой по интенсивностям) получается поток, близкий к простейшему с интенсивностью л, равной сумме интенсивностей входящих потоков: Рассмотрим на оси времени простейший поток событий как неограниченную последовательность случайных точек. (Рис. 2) Рисунок 2 - Поток событий Можно показать, что для простейшего потока число m событий (точек), попадающих на произвольный участок времени ф, распределено по закону Пуассона для которого математическое ожидание случайной величины равно ее дисперсии: В частности, вероятность того, что за время ф не произойдет ни одного события (m = 0), равна Найдем распределение интервала времени T между произвольными двумя соседними событиями простейшего потока. В соответствии с формулой вероятность того, что на участке времени длиной t не появится ни одного из последующих событий, равна а вероятность противоположного события, т.е. функция распределения случайной величины T, есть Плотность вероятности случайной величины есть производная ее функции распределения: Распределение, задаваемое плотностью вероятности или функцией распределения, называется показательным (или экспоненциальным). Таким образом, интервал времени между двумя соседними произвольными событиями имеет показательное распределение, для которого математическое ожидание равно среднему квадратическому отклонению случайной величины и обратно по величине интенсивности потока л. Важнейшее свойство показательного распределения (присуще только показательному распределению) состоит в следующем: если промежуток времени, распределенный по показательному закону, уже длился некоторое время ф, то это никак не влияет на закон распределения оставшейся части промежутка (Т-ф): он будет таким же, как и закон распределения всего промежутка Т. Иначе говоря, для интервала времени Т между двумя последовательными соседними событиями потока, имеющего показательное распределение, любые сведения о том, сколько времени протекал этот интервал, не влияют на закон распределения оставшейся части. Для простейшего потока с интенсивностью л вероятность попадания на элементарный (малый) отрезок времени?t хотя бы одного события потока равна согласно
4. Моделирование по схеме марковских случайных процессов
Для вычисления числовых параметров, характеризующих стохастические объекты, нужно построить некоторую вероятностную модель явления, учитывающую сопровождающие его случайные факторы. Для математического описания многих явлений, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов. Поясним это понятие. Пусть имеется некоторая физическая система S
, состояние которой меняется с течением времени (под системой S
может пониматься что угодно: техническое устройство, ремонтная мастерская, вычислительная машина и т. д.). Если состояние S
меняется по времени случайным образом, говорят, что в системе S
протекает случайный процесс. Примеры: процесс функционирования ЭВМ (поступление заказов на ЭВМ, вид этих заказов, случайные выходы из строя), процесс наведения на цель управляемой ракеты (случайные возмущения (помехи) в системе управления ракетой), процесс обслуживания клиентов в парикмахерской или ремонтной мастерской (случайный характер потока заявок (требований), поступивших со стороны клиентов). Случайный процесс называется марковским процессом (или «процессом без последствия»), если для каждого момента времени t0 вероятность любого состояния системы в будущем (при t
>
t
0
) зависит только от её состояния в настоящем (при t
=
t
0
) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом). Пусть S
техническое устройство, которое характеризуется некоторой степенью изношенности S
. Нас интересует, как оно будет работать дальше. В первом приближении характеристики работы системы в будущем (частота отказов, потребность в ремонте) зависят от состояния устройства в настоящий момент и не зависят от того, когда и как устройство достигло своего настоящего состояния. Теория марковских случайных процессов – обширный раздел теории вероятности с широким спектром приложений (физические явления типа диффузии или перемешивания шихта во время плавки в доменной печи, процессы образования очередей). 4.1. Классификация марковских процессов
Марковские случайные процессы делятся на классы. Первый классификационный признак – характер спектра состояний. Случайный процесс (СП) называется процессом с дискретными состояниями, если возможные состояния системы S1,
S2,
S3…
можно перечислить, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое. Пример. Техническое устройство состоит из двух узлов I и II, каждый из которых может выйти из строя. Состояния: S1
– оба узла работают; S2
– первый узел отказал, второй рабочий; S
3 – второй узел отказал, первый рабочий; S4
– оба узла отказали. Существуют процессы с непрерывными состояниями (плавный переход из состояния в состояние), например, изменение напряжения в осветительной сети. Будем рассматривать только СП с дискретными состояниями. В этом случае удобно пользоваться графом состояний, в котором возможные состояния системы обозначаются узлами, а возможные переходы - дугами. Второй классификационный признак – характер функционирования во времени. СП называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: t1,
t2…
. Если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент, то говорят о СП с непрерывным временем. 4.2. Расчет марковской цепи с дискретным временем
S
с дискретными состояниями S1,
S2, …
Sn
и дискретным временем t1,
t2, … ,
tk, …
(шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S1
®
S1
®
S2
®
S3
®
S4
®
S1
® …
в моменты t1,
t2,
t3 …
. Будем обозначать событие, состоящее в том, что после k
– шагов система находится в состоянии Si
. При любом k
события https://pandia.ru/text/78/060/images/image004_39.gif" width="159" height="25 src=">. Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k
- шагов система находится в состоянии Si
. Легко видеть, что "
k
DIV_ADBLOCK389">
Особенности фактора случайности
Сущностные особенности не запланированного фактора
Детальный разбор понятия случайности
Понятие Марковского случайного процесса
Подробное токование понятия
Структурный разбор процессов
Описание дискретного состояния и непрерывности времени
Моделирование данного процесса
Вероятностные теории
Примеры теории вероятности
Скрытые модели процесса
Сущностное раскрытие скрытых Марковских моделей
Стационарный Марковский процесс
.
Пользуюсь введенными выше событиями https://pandia.ru/text/78/060/images/image008_34.gif" width="119" height="27 src=">. Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P11=1-(P12+ P13) ). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p1(k), p2(k),… pn(k) " k.
Пусть начальное состояние системы Sm , тогда
p1(0)=0 p2(0)=0… pm(0)=1… pn(0)=0.
Первый шаг:
p1(1)=Pm1 , p2(1)=Pm2 ,…pm(1)=Pmm ,… ,pn(1)=Pmn .
После второго шага по формуле полной вероятности получим:
p1(2)=p1(1)P11+p2(1)P21+…pn(1)Pn1,
pi(2)=p1(1)P1i+p2(1)P2i+…pn(1)Pni или https://pandia.ru/text/78/060/images/image010_33.gif" width="149" height="47"> (i=1,2,.. n).
Для неоднородной МЦ
переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через
.
Тогда формула для расчета вероятностей состояний приобретает вид:
.
4.3. Марковские цепи с непрерывным временем
4.3.1. Уравнения Колмогорова
На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={ S1, S2,… Sn}. Обозначим через pi(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t pi(t) . Вместо переходных вероятностей Pij введем в рассмотрение плотности вероятностей перехода
.
Если не зависит от t , говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p1(t), p2(t).. pn(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).
 |
Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p1+ p2+ p3+ p4=1 и можно обойтись тремя уравнениями.
Правила составления уравнений Колмогорова . В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.
4.3.2. Поток событий. Простейший поток и его свойства
При рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто бывает удобно представить себе процесс так, как будто переходы системы из состояния в состояние происходят под действием каких-то потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то, вообще говоря, случайные моменты времени. (Поток вызовов на телефонной станции; поток неисправностей (сбоев) ЭВМ; поток грузовых составов, поступающих на станцию; поток посетителей; поток выстрелов, направленных на цель). Будем изображать поток событий последовательностью точек на оси времени ot . Положение каждой точки на оси случайно. Поток событий называется регулярным , если события следуют одно за другим через строго определенные промежутки времени (редко встречается на практике). Рассмотрим специального типа потоки, для этого введем ряд определений. 1. Поток событий называется стационарным , если вероятность попадания того или иного числа событий на участок времени длиной зависит только от длины участка и не зависит от того, где именно на оси ot расположен этот участок (однородность по времени) – вероятностные характеристики такого потока не должны меняться от времени. В частности, так называемая интенсивность (или плотность) потока событий (среднее число событий в единицу времени) постоянна.
2. Поток событий называется потоком без последствия , если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой (или другие, если рассматривается больше двух участков). Отсутствие последствия в потоке означает, что события, образующие поток, появляются в последовательные моменты времени независимо друг от друга.
3. Поток событий называется ординарным , если вероятность попадания на элементарный участок двух или более событий пренебрежительно мала по сравнению с вероятностью попадания одного события (события в потоке приходят поодиночке, а не парами, тройками и т. д.).
Поток событий, обладающий всеми тремя свойствами, называется простейшим (или стационарным пуассоновским ). Нестационарный пуассоновский поток обладает только свойствами 2 и 3. Пуассоновский поток событий (как стационарный, так и нестационарный) тесно связан с известным распределением Пуассона. А именно, число событий потока, попадающих на любой участок, распределено по закону Пуассона. Поясним это подробнее.
Рассмотрим на оси о t , где наблюдается поток событий, некоторый участок длины t, начинающийся в момент t 0 и заканчивающийся в момент t 0 + t. Нетрудно доказать (доказательство дается во всех курсах теории вероятности), что вероятность попадания на этот участок ровно m событий выражается формулой:
(m =0,1…),
где а – среднее число событий, приходящееся на участок t.
Для стационарного (простейшего) пуассоновского потока а= l t , т. е. не зависит от того, где на оси ot взят участок t. Для нестационарного пуассоновского потока величина а выражается формулой
и значит, зависит от того, в какой точке t 0 начинается участок t.
Рассмотрим на оси ot
простейший поток событий с постоянной интенсивностью l. Нас будет интересовать интервал времени T между событиями в этом потоке. Пусть l - интенсивность (среднее число событий в 1 времени) потока. Плотность распределения f
(t
)
случайной величины Т
(интервал времени между соседними событиями в потоке) f
(t
)=
l
e
-
l
t
(t
>
0)
. Закон распределения с такой плотностью называется показательным (экспоненциальным). Найдем численные значения случайной величины Т
: математическое ожидание (среднее значение) 
и дисперсию left">
Промежуток времени Т между соседними событиями в простейшем потоке распределен по показательному закону; его среднее значение и среднее квадратичное отклонение равны , где l - интенсивность потока. Для такого потока вероятность появления на элементарном участке времени ∆t ровно одного события потока выражается как . Эту вероятность мы будем называть «элементом вероятности появления события».
Для нестационарного пуассоновского потока закон распределения промежутка Т уже не будет показательным. Вид этого закона будет зависеть, во первых, от того, где на оси ot расположено первое из событий, во вторых, от вида зависимости . Однако, если меняется сравнительно медленно и его изменение за время между двумя событиями невелико, то закон распределения промежутка времени между событиями можно приближенно считать показательным, полагая в этой формуле величину равной среднему значению на том участке, который нас интересует.
4.3.3. Пуассоновские потоки событий и
непрерывные марковские цепи
Рассмотрим некоторую физическую систему S={ S1, S2,… Sn} , которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.
Пусть система S в момент времени t находится в состоянии Si и может перейти из него в состояние Sj под влиянием какого-то пуассоновского потока событий с интенсивностью l ij : как только появляется первое событие этого потока, система мгновенно переходит из Si в Sj ..gif" width="582" height="290 src=">
4.3.4. Предельные вероятности состояний
Пусть имеется физическая система S={ S1, S2,… Sn} , в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что l ij= const , т. е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p1(t), p2(t),… pn(t), при любом t . Поставим следующий вопрос, что будет происходить с системой S при t ® ¥. Будут ли функции pi(t ) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,… n), .
Таким образом, при t ® ¥ в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления pi в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .
4.3.5. Схема гибели и размножения
Мы знаем, что имея в распоряжении размеченный граф состояний, можно легко написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».
https://pandia.ru/text/78/060/images/image044_6.gif" width="73" height="45 src="> (4.4)
Из второго, с учетом (4.4), получим:
https://pandia.ru/text/78/060/images/image046_5.gif" width="116" height="45 src="> (4.6)
и вообще, для любого k (от 1 до N):
https://pandia.ru/text/78/060/images/image048_4.gif" width="267" height="48 src=">
отсюда получим выражение для р0.
(4. 8)
(скобку мы возвели в степень -1, чтобы не писать двухэтажных дробей). Все остальные вероятности выражены через р0 (см. формулы (4.4) - (4.7)). Заметим, что коэффициенты при p0 в каждой из них представляют собой не что иное, как последовательные члены ряда, стоящего после единицы в формуле (4.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.
Полученные формулы очень полезны при решении простейших задач теории массового обслуживания.