Преобразования случайных величин

И сущность метода Монте-Карло

1. Задача установления закона распределения и числовых характеристик функций от случайных величин представляет собой один из основных элементов статистического моделирования. Для простоты рассмотрим только случай функций c ограниченным количеством интервалов монотонности.

Пусть СВ X и Y связаны между собой соотношением Y=X² . В этом случае получим

    (1.1.1)

Для обратного преобразования Y=  будем иметь

.                          (1.1.2)

Эти соотношения используются при построении многих важных для практического применения композиционных законов распределения. В частности, если СВ X имеет стандартное нормальное распределение, то СВ Y=X ² , имеющая плотность распределения           

 ,                            (1.1.3)

представляет собой  (Хи-квадрат) с одной степенью свободы и широко применяется в математической статистике. Среднее и дисперсия СВ с плотностью (1.1.3) равны: M[Y]=1; D[Y]=2.     

Пусть случайные величины и  связаны соотношением . Найдем ПР :

                                         .      (1.1.4)

Для показательного преобразования , обращая (1.1.4), получим

.                             (1.1.5)

Рассмотрим преобразование  Для ПР  получаем

(1.1.6)

2. Применим к непрерывной СВ Х собственную ФР, т.е. рассмотрим преобразование . В силу первого свойства ФР величина Y будет сосредоточена на отрезке [0,1]. Для ПР f_Y(y) полу чим

,

где  – функция, обратная к ФР  , существование которой следует из монотонности .

Продолжив преобразование, получим

. (1.1.7)

Таким образом, автопреобразование переводит любую непрерывную СВ в . Отсюда с очевидностью вытекает и обратное утверждение: преобразование  переводит СВ  в СВ с ФР . Полученное тождество используется при статистическом моделировании случайных процессов методом «Монте-Карло».

Генератор псевдослучайных чисел в серии повторных обращений выдает последовательную выборку из  (имитирует рулетку с единичной окружностью). Преобразованием  получается выборка из совокупности с ФР . Например, преобразование  дает СВ с показательным распределением  , . Все типовые ПР реализованы в качестве стандартных функций в [6].

3. Моделирование целочисленных случайных величин осуществляется путем разбиения единичного отрезка на интервалы, равные вероятностям их возможных значений. Пусть, например, требуется смоделировать (разыграть) полиномиальную СВ, у которой три

возможных значения реализуются с вероятностями: . Разбивая единичный отрезок на три интервала:

,

интерпретируем попадание равномерной на [0,1] СВ Y в каждый из интервалов как реализацию соответствующего исхода. Если дискретная СВ имеет N равновероятных значений, то моделирующим соотношением будет [NY]+1 , где [·] означает целую часть числа, заключенного в скобки. В качестве примера рассмотрим виртуальный лототрон, реализующий в пакете Mathcad-2001 последовательность независимых тиражей «Спортлото 6 из 49» (рис. 1.1.1). Более содержательные примеры приведены в приложении I.

Рис. 1.1.1. Текст программы-имитатора и таблица 10 тиражей

Системы случайных величин

1.На практике часто бывает необходимо определять вероятности совместной реализации нескольких СВ. Например, если известно, что двигатель автомобиля безотказно работает 100 тыс. км с вероятностью р₁, а ходовая часть с вероятностью р₂, то какова вероятность их совместной безотказной работы?

Если эти два события независимы (обозначим их А и В), то вероятность совместного осуществления определяется формулой

.                             (1.2.1)

Если события не являются независимыми, то вероятность их совместного появления определяется через условную вероятность:

.             (1.2.2)

Под условной вероятностью понимается вероятность наступления события  при условии, что событие  произошло. Для независимых событий . 

Установление независимости событий, либо определение условных вероятностей, часто делается из соображений по существу исследуемого процесса.

Рассмотрим пример. В механизм входят две одинаковые шестерни. Технические условия нарушаются, если они обе окажутся с плюсовыми отклонениями по толщине зуба. У сборщика имеется 10 шестерен, из которых 3 «+» и 7 «-». Определим вероятность нарушения технических условий при сборке. Пусть событие А ~ {первая шестерня «+»}, событие В ~ {вторая шестерня «-»}. По правилу умножения находим . Непосредственным подсчетом находим .

Если же шестерни последовательно устанавливаются на двух рабочих местах и у двух сборщиков одинаковые партии шестерен, то А и В можно считать независимыми. В этом случае

Из соотношения (1.2.2) следует формула Байеса:

 .                          (1.2.3)

Пусть событие А по условиям опыта может осуществляться только совместно с каким-нибудь из событий полной группы (одной

из гипотез) , удовлетворяющих условиям  при .

Безусловные вероятности  и априорные условные вероятности  предполагаются известными. Тогда вероятность события А определяется формулой полной вероятности:

.                      (1.2.4)

Апостериорные условные вероятности гипотез Р(Н_k/A), то есть правдоподобие гипотез при условии, что событие А зафиксировано, определяются по формуле вероятностей правдоподобия гипотез

Байеса:

 .              (1.2.5)

Пусть в партии смешаны изделия от трех поставщиков в количестве n₁,n₂,n₃. Известно, что вероятности дефектности для изделия 1-го, 2-го, 3-го поставщиков равны соответственно q₁,q₂,q₃. Взятое наугад изделие оказалось дефектным. Требуется найти вероятность того, что оно принадлежит 1-му, 2-му и 3-му поставщикам.

Пусть событие А ~{изделие оказалось дефектным}. Гипотезы, образующие полную группу, заключаются в следующем:

~{изделие 1-го поставщика}; ~{изделие 2-го поставщика}; ~{изделие 3-го поставщика}. Их вероятности равны:
.

Из контекста задачи условные вероятности события А

составляют:   .

Апостериорные вероятности гипотез, вычисленные по формуле Байеса, после элементарных преобразований будут иметь вид

.

2. Пусть совокупность объемом N образуется по схеме Бернулли с вероятностью успеха p. Для наглядности представим, что корзина последовательно заполняется N шарами, которые независимо друг от друга могут быть черными с вероятностью p и белыми с вероятностью 1-р. Ряд распределения числа черных шаров, будет иметь вид

.

Из корзины извлекается безвозвратная выборка объемом n< N. Пусть Y число черных шаров в выборке. Ряд условного выборочного распределения согласно п.1.1 составит

                  (1.2.6)

Найдем ряд безусловного распределения Р{X = m}. Применяя формулу полной вероятности, получим

Комбинаторный множитель в последнем выражении после элементарных преобразований составит . Продолжив преобразования, получим

Сумма в последнем выражении представляет собой полную сумму биноминального ряда В (p, N-n), стало быть равна 1.

Таким образом доказана следующая теорема:

Безвозвратная выборка из конечной биноминальной совокупности сохраняет биноминальный закон распределения с той же вероятностью успеха: .

3. Рассмотрим другую ситуацию. Пусть имеется двухзвенная технологическая цепь с вероятностями успешного завершения операций p₁ и p₂ соответственно. Положим, что результаты последовательного прохождения компонентов полуфабриката (заготовок) независимы в совокупности, т.е. реализуется схема Бернулли. Пусть n – число заготовок, поступивших на вход первого звена. Тогда Y₁ – число бездефектных полуфабрикатов на выходе первого звена будет подчиняться биноминальному закону P{Y₁=m₁}~B(p_1,n). Выход первого звена является входом второго, и условное распределение P{Y₂=m₂ | Y₁=m₁}, m₁ ≥ m₂, также будет биноминальным: B(p₂ ,m₁). Безусловное распределение P{Y₂ =m} согласно формуле полной вероятности составит:

Объединяя комбинаторные множители и перегруппировывая факториальные сомножители, получаем тождество

.

Далее, вынося из под знака суммы множители, не зависящие от m₁, искомые вероятности получим в виде  

Совершив замену индекса , сумму в последнем выражении преобразуем к виду

       (1.2.8)

Возвращая (1.2.8) в (1.2.7), окончательно получаем следующее тождество:

,

что является доказательством следующей теоремы:

Число успехов при испытаниях по двухзвенной схеме Бернулли подчиняется биноминальному закону с вероятностью успеха, равной произведению вероятностей успеха составляющих звеньев:

 B{p_1,n} B{p_2,n p₁}→ B{p₁p₂,n).

Из этой теоремы вытекает доказываемое с помощью элементарной индукции следствие: для любого числа последовательных звеньев схемы Бернулли число успехов на выходе подчиняется биноминальному закону с вероятностью успеха, равной произведению вероятностей составляющих звеньев.

4. При совместном рассмотрении нескольких СВ следует разли­чать два принципиально различных типа взаимодействия.

Пусть имеется партия подшипниковых шариков, состоящая из продукции двух различных автоматов. Фактический диаметр шариков первого автомата имеет нормальное распределение с параметрами , второго - . Доли шариков первого и второго сорта равны со­ответственно . Плотность распределения диаметра шариков в репрезентативной выборке из такой партии по формуле полной вероятности будет равна:

.             (1.2.9)

Если при этом > , то кривая плотности распределения будет иметь двухмодальный (двухгорбый) вид. Такой тип взаимодействия, когда с вероятностью появляется СВ X₁, a с вероятностью -СВ Х₂, называется суперпозицией законов распределения. Если же продукцией автоматов являются, скажем, электрические сопротивления, которые затем соединяются в последовательную цепь, то номинальное сопротивление составных резисторов будет иметь ПР

 .                 (1.2.10)

Такой тип взаимодействия, представляющий собой сложение независимых СВ, называется композицией.

При этом, если резисторы с двух линий смешиваются в общем накопителе в пропорции , а затем соединяются в цепь, то номинал составных резисторов будет иметь трехмодальное распределение с плотностью

                              (1.2.11)

В данном случае имеет место совместное проявление суперпозиции и композиции двух СВ. Из этого простого примера ясно, что для результативности и эффективности любого статистического анализа необходимо детальное предметное рассмотрение схемы возникновения и взаимодействия СВ, что на практике нередко упускается из виду.

5. В приложениях математической статистики часто встречается задача установления закона распределения функции нескольких СВ. Сумма двух СВ Y=X₁+X₂ является частным случаем функции двух СВ. Исчерпываю­щей характеристикой пары СВ является функция их совместного распределе­ния, которая определяется как вероятность совместности выполнения двух неравенств:

.                         (1.2.12)

Функция распределения (1.2.12) обладает свойствами, аналогичными свойствам функции распределения одной СВ. Однако знание функций распределения F₁(x₁) и F₂(x₂) недостаточно для описания совместного распределения X₁ и Х₂, так как между ними возможно наличие стохастической зависимости — связи. При условии независимости X₁ и Х₂, что эквивалентно независимости событий A₁@{X₁<х₁} и А₂@{Х₂<х₂}, функция совместного распределения факторизуется и для ее определения достаточно знать функции распределения компонент

F(x₁,x₂)=F(x₁)F(x₂).                           (1.2.13)

Точно так же факторизуется и плотность совместного распределения:

(1.2.14)

Функция распределения СВ Y=X₁+X₂ представляет собой интеграл

               ,  (1.2.15)

где D(y) - область плоскости х₁оx₂, определяемая из условия х₁+х₂<у (рис. 1.2.1).

Рис. 1.2.1. Область интегрирования для определения ПР суммы двух СВ

Дифференцируя (1.2.15) по у, находим плотность распределения суммы:

           (1.2.16)

или, учитывая симметрию функции Y=X₁+Х₂,

 .                    (1.2.17)

Интеграл (1.2.16) и эквивалентный ему (1.2.17) называется сверткой и обозначается символом

g=f₁*f₂.                                    (1.2.18)

При композиции двух дискретных СВ интегралы (1.2.16) и (1.2.17) преобразуются в суммы:

 . (1.2.19)

В примере, приведенном в предыдущем пункте, был использован тот факт, что сумма двух нормальных величин также является нормальной, среднее значение и дисперсия которой равны соответственно сумме средних и сумме дисперсий слагаемых: m=m₁+m₂ ,  То же самое справедливо для любого числа независимых нормальных СВ. При этом плотность распределения суммы из n слагаемых будет представлять собой результат n-кратной последовательной свертки. Суммы непрерывных СВ с распределением, отличным от нормального, уже не сохраняют закон распределения слагаемых, даже если слагаемые распределены одинаково. Однако с увеличением числа слагаемых сумма всякий раз достаточно быстро нормализуется, что напрямую следует из центральной предельной теоремы.

Для иллюстрации центральной предельной теоремы рассмотрим сумму независимых СВ с равномерным распределением на отрезке . Последовательно производя преобразования (1.2.16), получим для ПР  следующие рекуррентные соотношения:

                         (1.2.20)

                      (1.2.21)

Графики функций  изображены на рис. 1.2.2.

Рис. 1.2.2. Нормализация суммы случайных слагаемых R(0,1)

Как видно, последовательность  достаточно быстро приближается к кривой плотности нормального распределения с параметрами , . Если ввести нормированную величину , то при n 6 получим кривую, практически не- отличимую от стандартной нормальной кривой Гаусса: .

6. В п. 1.1 была найдена плотность распределения квадрата стандартной нормальной СВ. Используя соотношение (1.2.16), найдем плотность распределения суммы квадратов двух независимых стандартных нормальных СВ: :

.          (1.2.22)

При произвольном k>2, разделяя образующуюся последовательность по четным/нечетным номерам, ПР  по индукции получаем в виде

,                               (1.2.23)

где  – гамма-функция Эйлера, обладающая следующими свойствами:

, , Г (1)=1.

Для целого аргумента

Распределение  играет очень важную роль при решении многих прикладных задач математической статистики. Среднее и дисперсия  равны:

;  .                         (1.2.24)

В приложениях часто встречаются распределения, получающиеся из  путем его преобразования. Например, . Плотность распределения  найдем, используя полученное в п. 1.1 соотношение (1.1.2):

.                           (1.2.25)

При k=2 возникает распределение Рэлея – распределение эксцентриситета параллельных осей вала и отверстия: .

При k=3 возникает распределение Максвелла – распределение величины скорости молекулы газа в трехмерном пространстве: .                                          

Среднее и дисперсия величины равны:

.

7.Пусть СВ  имеют ПР совместного распределения , а  - их произведение. Область , удовлетворяющая условию , показана на рис.1.2.3.

Рис.1.2.3. Область интегрирования для определения произведения двух СВ

Интегрируя ПР совместного распределения по области , находим ФР :

.     (1.2.26)

Дифференцируя по , находим ПР произведения:

.    (1.2.27)

Если  и  независимы и симметричны относительно нуля, то (1.2.27) преобразуется к виду

.       (1.2.28)

Если же  независимые положительно–определенные СВ, то множитель 2 исчезает.

8.Для преобразования   область   показана на

рис. 1.2.4.

Рис.1.2.4. Область интегрирования для определения

отношения двух СВ

Интегрируя, получаем ФР  в виде

.  (1.2.29)

Дифференцируем по , находим ПР :

.  (1.2.30)

Для пары независимых и положительных СВ (1.2.30) преобразуется к виду

.               (1.2.31)

Пусть,  Подставляя в (1.2.31) ПР (1.2.23), получим             (1.2.32)

Для отношения средних квадратов , связанного

с  линейным соотношением  , будем иметь                  (1.2.33)

Соотношение (1.2.33) есть ПР диперсионного отношения Фишера – основной инструмент дисперсионного анализа.

8.Найдем дисперсию суммы двух СВ, полагая наличие связи между ними. Используя свойства средних и дисперсий, получим

 (1.2.34)

С помощью тождественного преобразования вида  получаем, что последнее слагаемое в (1.2.34) представляет собой смешанный второй центральный момент . Таким образом, окончательно дисперсию суммы получаем в виде

                (1.2.35)

где - ковариация, служащая мерой линейной зависимости между Х и Y. Удельная мера, или коэффициент корреляции, определяется как

 .

Подставив (1.2.34) в (1.2.35), для дисперсии суммы будем иметь

.            (1.2.36)

Коэффициент корреляции, очевидно, сохраняет постоянное значение при масштабировании , , где a и b – произвольные положительные константы. Полагая , , получим . Так как , . Левая часть последнего соотношения неотрицательна, следовательно .

Множественная ковариация системы СВ  задается симметричной ковариационной матрицей n×n. На главной диагонали стоят дисперсии . Внедиагональные элементы представляют собой соответствующие ковариации . Путем деления ковариационной матрицы на соответствующие дисперсии образуется корреляционная матрица, сохраняющая симметрию. На ее главной диагонали стоят 1, внедиагональными элементами являются коэффициенты корреляции .