Моделирование цепей Маркова с дискретным временем
В предыдущем пункте были рассмотрены алгоритмы моделирования случайной величины, распределенной по тому или иному закону. Под случайной величиной понималась величина, которая в результате опыта может принять то или иное значение. Неизвестно заранее, какое именно. На практике часто приходится иметь дело со случайными величинами, изменяющимися в процессе исследований (опыта). Такие случайные величины, которые в процессе опыта изменяются и могут принять тот или иной конкретный вид, неизвестно заранее какой, называются случайными функциями. Изучению случайных функций посвящена отрасль теории вероятностей — теория случайных процессов.
Из множества видов исследованных ныне случайных процессов важное место занимают марковские процессы, которые характеризуются свойством отсутствия последействия. Это свойство проявляется в том, что для предсказания вероятностного характера в будущем достаточно знать состояние процесса в настоящий момент независимо от того, когда и как процесс перевел в это (настоящее) состояние.
Различают марковские процессы с дискретным и непрерывным временем. Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные дискретные моменты времени, а в цепи Маркова с непрерывным временем изменения состояний могут происходить в любые случайные моменты.
Рассмотрим систему, состоящую из трех измерительных комплектов (Ж), контролирующих параметры технологического процесса. Результаты измерений подаются в центральный управляющий вычислительный комплекс АСУ через фиксированные интервалы времени Т. В момент передачи измерительных сигналов система может находиться в различных состояниях, характеризующихся количеством неисправных ИК (рис. 2. 15). Состояние Е0 соответствует исправному состоянию всех трех ПК. За время Т система может остаться в этом состоянии с вероятностью P00 или же
перейти в другие состояния Еi,
(i =1, 2, 3), при которых неисправны i измерительных комплектов с соответствующими вероятностями Р0i.
При нахождении системы в состоянии еi она может перейти в другое состояние с вероятностью Pij или остаться в прежнем состоянии с вероятностью Pij.
Система считается работоспособной, если исправны не менее двух приборов. В этом случае из трех потоков сигналов методом выбора по большинству выбираются идентичные сигналы, которые принимаются за истинные. При наличии хотя бы двух исправных ПК измерительные сигналы с их выходов будут идентичными. Сигналы третьего ИК при этом в расчет приниматься не будут. Такая система является реализацией так называемого метода мажоритарного резервирования, применяемого для повышения надежности работы системы. Очевидно, состояния Е0, Е1 будут соответствовать случаю, когда система работоспособна, а состояния Е2, Е3— случаю отказа системы.
Описанный процесс является марковским с дискретным временем переходов из одного состояния в другое. Следует иметь в виду относительную условность такого рассмотрения. Отказы в отдельных ИК могут наступать в любые случайные непрерывные моменты времени. Если эту систему рассматривать с точки зрения организации ремонтных работ, то она должна рассматриваться как цепь Маркова с непрерывным временем, когда сразу же после возникновения неисправности необходимо приступать к восстановлению отказавшего комплекта. В рассматриваемом же случае нас интересуют лишь состояния системы в фиксированные моменты времени, когда надо передавать результаты измерений. Промежуточные состояния и переходы системы внутри интервала t i - t i + 1 (t i + 1 – t i = Т), нас не интересуют. С этой точки зрения рассматриваемая система относится к цепи Маркова с дискретным временем. Таким образом, рассматривае
мая система, в зависимости от методов ее анализа, может рассматриваться как цепь Маркова с непрерывным или дискретным временем.
Для определения марковской цепи необходимо знать совокупность начальных состояний Р i, соответствующих нахождению системы в начальный момент времени в состоянии Еi. Кроме того, для установления зависимостей, связывающих каждую пару состояний (Еi
, Еj), составляется матрица вероятностей переходов:
|
P = |
Р11 |
Р12 |
... |
Р1n |
|
|
Р21 |
Р22 |
... |
Р2n |
||
|
... |
... |
... |
... |
, |
|
|
Рn1 |
Рn2 |
... |
Рnn |
Данная матрица называется стохастической. Если характеристики установившегося режима не зависят от начальных вероятностей Рi (0), то такая марковская цепь называется эргодической.
Процесс моделирования рассмотренной цепи Маркова состоит в получении последовательности состояний Е1 , Е2 ... Еn в соответствии с заданной матрицей переходов. Алгоритм моделирования будет основан на определении марковской цепи, а именно на том, что исход каждого последующего перехода зависит только от результата предыдущего. При моделировании необходимо взять (n+1) участков (0, 1). Первый участок разбивается на отрезки в соответствии с вероятностями начальных состояний системы Pi
(0),
При моделировании вначале определяется начальное состояние
системы. Для этого разыгрывается случайное число r , равномерно распределенное на участке (0, 1), Затем, согласно вышеописанной процедуре моделирования дискретной случайной величины, определяется состояние Sk
, исходя из условия рк (0) < r < Pk+1 (0) для первого участка. Вновь разыгрывается следующее случайное число и сравнивается с вероятностями К, строки матрицы Рki . Состояние системы не изменится при условии Рк,к < r < Рк,к+1 или осуществится переход в следующее состояние при условии
pkj < r < pkj + i .
Дальнейшие шаги моделирования идентичны. При большом числе испытаний N система Lk раз будет находиться в К состоянии.Отношение Lk /N будет соответствовать вероятности К состояния (P(Sk) = Lk /N). Коэффициент готовности системы для рассматриваемого примера будет определяться суммой вероятностей Кr = Р (S0) + Р ( S1 ).
Таким образом, путем статистического моделирования можно определить вероятности отдельных состояний дискретной цепи Маркова, а на основе этих вероятностей — необходимые характеристики системы.
