Числовые характеристики случайных величин с примерами решения и образцами выполнения

Если — случайная величина (может быть, и векторная), наблюдаемая в эксперименте , то, как мы видели выше, исчерпывающую информацию о ней дает ее закон распределения . Однако довольно часто можно, описывая случайную величину, ограничиться менее подробной, чем закон распределения, информацией, указав в каком-то смысле ее характерные значения и оценив, насколько наблюдаемая случайная величина может от этих значений уклоняться. Например, если — результат измерения напряжения в бытовой электросети, то сказав, что это напряжение равно 220 В с возможными отклонениями плюс-минус 40 В, мы удовлетворим подавляющее большинство запросов пользователей этой сети.

Для некоторых случайных величин подобное описание может оказаться и неинформативным. Как правило, это происходит тогда, когда возможное рассеяние значений случайной величины оказывается значительным и соизмеримым со всем диапазоном принимаемых ею значений.

Мы рассмотрим здесь некоторые числовые показатели, называемые числовыми характеристиками случайной величины, которые отражают характерные для данной случайной величины аспекты ее поведения и позволяют описывать случайную величину в компактной форме. Важнейшими среди них являются характеристики положения, характеристики рассеяния и характеристики связи.

Характеристики положения

Неслучайные числа, дающие представление о наиболее характерных значениях, принимаемых случайной величиной, будем называть характеристиками положения. К ним относятся математическое ожидание (центр распределения), мода (наиболее вероятное значение) и медиана (срединное значение). С точки зрения теории и ее приложений, важнейшей среди перечисленных характеристик является математическое ожидание, на изучении свойств которого мы и остановимся ниже.

Математическое ожидание случайной величины

Пусть — обобщенная плотность распределения случайной величины . Математическим ожиданием, или средним, случайной величины назовем число, обозначаемое в дальнейшем , определяемое соотношением:

Если интеграл (1) расходится, будем говорить, что у случайной величины математическое ожидание отсутствует.

Для непрерывных случайных величин с плотностью математическое ожидание дается равенством

для дискретных, с рядом распределения равенством

Если интерпретировать распределение вероятностей как распределение единичной вероятностной массы по всей числовой прямой, то соотношения (1), (2) и (3) суть формулы для вычисления центра тяжести этой единичной массы. Именно это и имеют в виду, когда говорят, что математическое ожидание — это центр распределения.

Пример:

Математическое ожидание экспоненциальной случайной величины.

Пусть Тогда

и для получаем

Пример:

Математическое ожидание нормальной случайной величины. Пусть т. е.

Для имеем

Пример:

Математическое ожидание бернуллиевой случайной величины.

Бернуллиевая случайная величина задается рядом распределения

Для нее соотношение (3) дает

Пример:

Математическое ожидание случайной величины распределенной по Коши.

Плотность распределения Коши задается соотношением

Из (2) получаем, что

Легко установить, что последний интеграл расходится. У случайной величины, распределенной по Коши, математическое ожидание не существует.

Теорема о математическом ожидании функции от случайных величин. Свойства математического ожидания

Важнейшие свойства математического ожидания являются следствиями следующей фундаментальной теоремы, которую мы примем без доказательства.

Теорема. Пусть — случайный вектор с законом распределения и функция такова, что интеграл

сходится. Тогда

Отметим следующие, важные для дальнейшего частные случаи формулы (4): — непрерывная скалярная случайная величина с плотностью

— дискретная скалярная случайная величина с рядом распределения

— дискретно непрерывная:

— непрерывная с плотностью

— дискретно непрерывная с обобщенной плотностью

Из соотношения (4) и его вариантов (5)-(9) легко получаем следующие утверждения.

1. Математическое ожидание постоянной — постоянная

2. Если существуют — произвольные числа, то существует и

3. Если существуют а случайные величины — независимы, то существует и

4. Если существует неотрицательна, то

5. Если существуют , то

6. Если существуют , то существует и

(неравенство Коши—Буняковского).

◄ Для доказательства последнего соотношения заметим, что в силу свойства 4 для любого

Откуда для всех

а это возможно лишь, если дискриминант квадратного трехчлена неположителен

откуда следует искомое. ►

Пример:

Найдем математическое ожидание биномиальной случайной величины. Напомним, что — количество успехов в серии из n независимых испытаний с неизменной вероятностью успеха р в каждом. Поэтому представима в виде

где — независимые случайные величины с рядом распределения Из свойства 2 для математического ожидания следует

Заметим, что мы одновременно доказали комбинаторное тождество

Пример:

Для нахождения математического ожидания случайной величины, имеющей распределение с n степенями свободы, воспользуемся тем же свойством 2. Так как по определению

где — независимые (0,1)-нормальные случайные величины, то

Из того, что получаем окончательно

Другие характеристики положения

Коротко остановимся еще на двух числовых характеристиках положения, описывающих «характерные» значения случайной величины.

Медианой случайной величины называется число, обозначаемое в дальнейшем и обладающее тем свойством, что

Медиана может быть однозначно определена не для любой случайной величины. (Медиана распределения Коши равна нулю, в то время как ее математическое ожидание не существует; медиана нормального распределения и его математическое ожидание совпадают, аналогично для равномерного на [а, b] и симметричного распределения.) Медиана может и не быть одним из возможных значений случайной величины.

Модой случайной величины называется число, обозначаемое в дальнейшем и обладающее тем свойством, что это наиболее вероятное значение среди всех возможных значений случайной величины.

Для непрерывных случайных величин — точка максимального значения плотности

для дискретных — значение с наибольшей вероятностью,

Если таковых (наиболее вероятных значений) у распределения несколько, то оно называется полимодальным, если оно единственно, то унимодальным. Если наибольшее значение плотности достигается в концах промежутка множества значений случайной величины, а внутри этого промежутка имеется единственный минимум, то такое распределение называется антимодальным.

Отметим, что для симметричных унимодальных распределений мода, медиана и математическое ожидание (если последнее существует) совпадают. В общем случае между перечисленными характеристиками определенных соотношений нет.

Пример:

Пусть — биномиальная случайная величина с параметрами (n,р). Если m = , то по определению должны выполняться соотношения

Поэтому

откуда

Вспоминая, что , получаем:

или

Из (12) следует, что мода у биномиальной случайной величины всегда есть и, при выполнении условия р(n +1) — нецелое, она единственна; если же р(n +1) — целое, то модой будут два соседних (равновероятных!) значения случайной величины

Пример:

Аналогичные рассуждения для пуассоновой с параметром случайной величины приведет к неравенству

Выводы из соотношения (13) аналогичны приведенным в вышеизложенном примере.

Характеристики рассеяния

Характеристики положения дают усредненное представление о характерных значениях, принимаемых случайными величинами. Информации в этих характеристиках тем больше, чем меньшие отклонения от них могут наблюдаться в реальном эксперименте.

Показатели, описывающие возможные отклонения значений случайной величины от «средних», называются характеристиками рассеяния. К ним относятся дисперсия, среднеквадратичное отклонение, срединное отклонение, коэффициент вариации и некоторые другие.

Дисперсия и ее свойства

Важнейшей из них является дисперсия.

Дисперсией случайной величины (обозначение D>[]) называется математическое ожидание квадрата отклонения случайной величины от своего среднего

Отметим некоторые свойства дисперсии.

◄ Из того, что , используя свойства математического ожидания, получаем

Отметим, что если случайные величины — независимы, то из свойства 3 математического ожидания следует, что

и указанное свойство выглядит так:

6. Если — обобщенная плотность распределения случайной величины , то D[] может быть вычислена из соотношения

в частности, если — непрерывная случайная величина с плотностью , то

если же — дискретная случайная величина с рядом распределения то

Пример:

Дисперсия бернуллиевой случайной величины.

Пусть — бернуллиева случайная величина, В соответствие с соотношением (4), получаем

Пример:

Дисперсия биномиальной случайной величины.

Если — биномиальная с параметрами (n, р), то, как было отмечено выше, представима в виде

где — независимые одинаково распределенные бернуллиевы с параметром р случайные величины. Поэтому (свойство дисперсии 5)

Одновременно доказано комбинаторное тождество

Пример:

Дисперсия равномерной на [а, b] случайной величины.
Пусть . Имеем

Пример:

Дисперсия нормальной с параметрами случайной величины. Пусть Тогда

Характеристикой рассеяния, тесно связанной с дисперсией, является среднее квадратическое отклонение случайной величины:

Обладая тем же качественным наполнением (содержа в себе ту же информацию), что и дисперсия, среднее квадратическое отклонение имеет то преимущество, что измеряется в тех же единицах, что и рассматриваемая случайная величина. Отметим, что из свойств дисперсии с очевидностью следует:

если только — независимы.

В заключение заметим, что если у случайной величины существуют то можно построить случайную величину , обладающую теми же свойствами, что и , но имеющую стандартные числовые характеристики: М = 0 и D = 1. Достаточно положить

Переход от носит название центрирование случайной величины , а переход от — нормирование. Таким образом, соотношение (6) описывает процедуру нормирования и центрирования случайной величины . Очевидно, что центрирование не меняет дисперсии, в то время как нормирование, носящее характер масштабного преобразования, изменяет математическое ожидание в а раз.

Неравенство Чебышева

Из определения дисперсии (1) ясно, что она призвана качественно описывать рассеяние значений случайной величины относительно математического ожидания. Точный вероятностный смысл этого описания дается неравенством Чебышева, которое мы здесь рассмотрим.

Теорема:

Пусть случайная величина обладает математическим ожиданием дисперсией . Тогда каково бы ни было

◄ Рассмотрим вспомогательную случайную величину , заданную соотношением

Заметим, что , и потому

По теореме о математическом ожидании функции от случайной величины получаем

откуда

или

чем и завершается доказательство. ►

Отметим, что неравенство (7) часто используется в эквивалентной форме

получающейся из (7) применением очевидного соотношения

Неравенство Чебышева показывает, что чем меньше дисперсия, тем реже значения случайной величины «сильно» (больше чем на ) отклоняются от среднего m. При фиксированной дисперсии вероятности отклонений на величину, большую, чем , тем меньше, чем больше .

Неравенство (7) универсально. Оно не предъявляет никаких требований к характеру распределения случайной величины — достаточно существования m и .

В силу своей универсальности оно малоинформативно количественно — для разумных значений є оценки вероятностей крайне грубы.

Пример:

Для нормальной случайной величины с параметрами (0, 1) имеем

в то время как неравенство Чебышёва дает

что верно, но тривиально.

Для этой же случайной величины при точное значение вероятности а соотношение (8) приводит к оценке

которая уже значительно лучше предыдущей.

Несмотря на достаточно грубый характер оценок (7)-(8), без дополнительных предположений о характере распределения случайной величины , неравенство Чебышёва, как показывает следующий пример, улучшить нельзя — оно точное.

Пример:

Пусть —дискретная случайная величина, принимающая значения -1, 0 и 1 с вероятностями соответственно 1/4, 1/2, 1/4. Легко видеть, что Положим и найдем значение вероятности . Имеем

Неравенство (7) в этой ситуации дает оценку

которая совпадает с точным значением оцениваемой вероятности.

Другие характеристики рассеяния

Из других характеристик рассеяния, часто используемых в приложениях, отметим коэффициент вариации и срединное отклонение (среднее арифметическое отклонение).

Пусть у случайной величины существует . Коэффициентом вариации случайной величины называется величина

Из (9) легко усмотреть, что описывает рассеяние случайной величины в долях по отношению к среднему. Как абсолютный показатель рассеяния коэффициент вариации не очень удобен, однако для совместно центрированных случайных величин (т. е. имеющих одинаковые математические ожидания) он позволяет эффективно сравнивать диапазоны изменения.

Пусть у случайной величины существует

Срединным отклонением случайной величины £ называется величина U, задаваемая соотношением

Срединное отклонение качественно имеет тот же смысл, что и среднеквадратическое отклонение — чем больше срединное отклонение, тем больше рассеяние, чем меньше срединное отклонение — тем меньше рассеяние.

Для конкретных классов распределений связь между этими показателями может быть установлена, однако в общем случае удобных для использования на практике соотношений между U и нет.

Пример:

Пусть — нормально распределенная случайная величина. Тогда

В этом случае

Пример:

Пусть — равномерно распределенная случайная величина. Тогда U = а/2.

Отметим, что и в этом случае

Замеченное свойство U < не случайно — оно имеет место для любых случайных величин (конечно, обладающих дисперсией).

Теорема:

Если у случайной величины существует , то

◄ В неравенстве Коши—Буняковского (свойство 6 математического ожидания) положим Тогда

откуда

Характеристики связи

Рассмотрим теперь двумерную случайную величину с компонентами . Ясно, что для решения задачи компактного описания поведения этой пары случайных величин указания средних значений компонент и характеристик их рассеяния недостаточно — здесь важную роль играют, во-первых, факт наличия или отсутствия связи между компонентами, а во-вторых, характер связи.

Анализ свойств математического ожидания и дисперсии показывает, что описание взаимодействия компонент случайной величины в какой-то степени может быть получено за счет изучения величины . Действительно, вспомним, что дисперсия суммы двух случайных величин дается соотношением

и в случае независимости

Аналогичное положение и с математическим ожиданием произведения: в случае независимости имеем

в противном случае

И вновь равенство возникает как следствие независимости и . Эти соображения мотивируют более тщательное изучение указанной величины с целью установления степени ее «ответственности» за независимость компонент

Ковариация и корреляция

Ковариацией случайных величин называется число

Свойства ковариации:

1. — обобщенный закон распределения случайной величины

3. Если случайные величины независимы, то

4. Если — дисперсии случайных величин соответственно, то

◄ Последнее неравенство следует из неравенства Коши—Буняковского (свойство 6 математического ожидания). ►

Нормированной ковариацией, или коэффициентом корреляции, случайных величин называется число

Наряду с очевидной переформулировкой отмеченных выше свойств ковариации отметим еще следующие:

◄ Очевидно следует из соотношения (1) и определения (2). ►

6. тогда и только тогда, когда компоненты линейно зависимы, при этом

где |р| = 1.

◄ Утверждение о линейной зависимости случайных величин немедленно следует из того, что знак равенства в формуле (1) достигается в том и только в том случае, когда с вероятностью 1 случайные величины линейно связаны, т. е. существуют постоянные такие, что

Взяв математическое ожидание от обеих частей последнего равенства, заключаем, что . Для нахождения постоянной а перепишем упомянутое равенство в виде

и найдем дисперсию от обеих частей этого соотношения. Имеем

Учитывая, что (это следует из равенства ), заключаем, что

Суммируя вышеизложенное, констатируем, что ковариация (коэффициент корреляции) пары случайных величин является надежным индикатором наличия между компонентами жесткой линейной связи в случае |р| = 1. В то же время у нас нет оснований рассматривать ковариацию (коэффициент корреляции) как индикатор наличия или отсутствия какой-нибудь (не обязательно линейной) зависимости. Свойство 3 показывает, что ковариация обращается в нуль, если зависимость между отсутствует. Как свидетельствуют приводимые ниже примеры, обратное утверждение, вообще говоря, неверно.

Пример:

Пусть — равномерно распределенная в круге с центром в начале координат и радиусом 1 двумерная случайная величина. Легко сообразить, что компоненты этой случайной величины зависимы. Действительно, закон распределения одной из компонент (например, 7) зависит от значения, принятого другой: при = 0 диапазон изменения от -1 до 1, при = 1 принимает только нулевое значение. Ковариация же величин , как показывают несложные выкладки, равна нулю: действительно, и

Может показаться, что зависимость между в рассмотренном примере не замечена ковариацией, потому что она (зависимость) в некотором смысле «ненастоящая». Однако следующий пример демонстрирует нам пару жестко связанных функциональной зависимостью случайных величин, ковариация которых также равна нулю.

Пример:

Пусть Имеем

но по теореме о математическом ожидании функции от случайной величины

Чтобы понять роль ковариации (коэффициента корреляции) как показателя зависимости между случайными величинами , рассмотрим следующую задачу: среди всех линейных функций от случайной величины найти ту, которая наилучшим образом описывает связь между величинами .

Другими словами, следует найти такую, что

здесь — остаток, обладающий тем свойством, что

Докажем следующее утверждение.

Теорема:

Если существуют то соотношение (4) принимает вид

при этом

◄ В силу имеем

и далее

Этот квадратный (относительно А) трехчлен достигает своего наименьшего значения в точке

Последнее соотношение вместе с ранее полученным выражением для В и доказывает зависимость (5). Равенство (6) немедленно получается подстановкой в выражение для ►

Вернемся к обсуждению роли коэффициента корреляции, как показателя зависимости между случайными величинами.

Соотношение (6) показывает, что если а формула (5) принимает вид

т. е. линейной составляющей в описании случайной величины нет и вся изменчивость случайной величины сосредоточена в «остатке»

Если же , то для дисперсии получаем

где первое слагаемое отвечает линейной составляющей зависимости (5), а второе — «остатку» Чем ближе значение р к нулю, тем хуже линейная часть (5) описывает тенденции в изменении величины (рис. 1).

Чем ближе значение |р| к 1, тем большая часть изменчивости случайной величины описывается линейной составляющей соотношения (5); при |р| = 1 зависимость линейная, разброса у точек относительно прямой (5) нет, величина с вероятностью 1 равна нулю (рис. 2).

В случае р > 0 говорят о положительной коррелированности случайных величин : с ростом одной из них почти линейно растет и другая, в случае р < 0 — об отрицательной (рис. 2 а, b).

Окончательно заключаем: ковариация {коэффициент корреляции) является мерилом степени линейной зависимости между случайными величинами. Равенство ковариации (коэффициента корреляции) нулю свидетельствует лишь об отсутствии линейной связи между ними. Отличие ковариации (коэффициента корреляции) от нуля свидетельствует о наличии связи между случайными величинами, причем, чем ближе коэффициент корреляции к единице, тем ближе эта связь к линейной.

Корреляционное отношение

Для получения числовой характеристики, подобной коэффициенту корреляции, но охватывающей уже не только линейные, но и другие виды функциональных связей между случайными величинами, рассмотрим аналог задачи о представлении случайной величины в виде (4): найдем функцию такую, что

где

Можно показать, что решение этой задачи существует и дается так называемым условным математическим ожиданием относительно , если последнее определено. Для нас же важно, что представление (8) сопровождается аналогом дисперсионного разложения (7), а именно, дисперсия величины раскладывается в сумму двух дисперсий и так,что величина каждой из них описывает вклад соответствующего слагаемого соотношения (8) в изменчивость

По аналогии с соотношением (6) введем в рассмотрение величину такую, что

Отметим некоторые свойства показателя

◄ Следует из неотрицательности слагаемых в соотношении (9). ►

3. Если = 0, то изменение случайной величины не связано с изменением . (Заметим, что это не означает стохастической независимости случайных величин (см. пример 2), а говорит лишь об отсутствии тенденции к закономерному (описываемому функциональной зависимостью) изменению с изменением .

4. Если = 1, то между случайными величинами существует жесткая функциональная связь, описываемая функцией .

Промежуточные значения показателя (между нулем и единицей) дают представление о ширине корреляционного поля разброса точек относительно линии (рис. 3).

5. Если р — коэффициент корреляции пары , то

◄ Для доказательства достаточно сравнить дисперсию остатка для и линейной функции . Если линейна, то в силу (6). Если же линейной функцией не является, то

в силу оптимальности , откуда следует искомое. ►

Величина называется корреляционным отношением, а функция линией регрессии

Заметим, что регрессия — это, вообще говоря, различные линии! И корреляционное отношение несимметрично относительно компонент . Величина, которую мы определили выше, является корреляционным отношением величины относительно величины и, чтобы подчеркнуть это обстоятельство, обычно используют следующее обозначение

аналогично для корреляционного отношения относительно

Уже в случае линейной регрессии можно было заметить, что регрессия на , задаваемая соотношением

и регрессия на , задаваемая аналогичным уравнением

это различные прямые, совпадающие лишь в случае |р| = 1.

Определенных соотношений между в общем случае нет. Как показывает рассмотренный выше пример 2, при возможно даже .

Старшие моменты. Асимметрия и эксцесс

Начальным моментом случайной величины порядка s называется число

центральным моментом случайной величины порядка s называется число

Формулы (1)-(2) имеют смысл, если соответствующие интегралы сходятся. В противном случае говорят, что моменты не существуют.

Начальные и центральные моменты связаны между собой простыми соотношениями

Со старшими моментами (порядок которых выше второго) связаны две характеристики распределения, часто использующиеся в приложениях — асимметрия и эксцесс.

Асимметрией распределения случайной величины называется число

Смысл асимметрии легко усматривается из формулы (3): если — распределение имеет правую асимметрию, если — левую, при — распределение симметрично относительно прямой (рис. 4).

Четвертый центральный момент, нормированный четвертой степенью среднеквадратичного отклонения, называется эксцессом распределения

Эксцесс характеризует сглаженность кривой плотности распределения в сравнении со стандартным нормальным распределением (для него ) (рис. 5).

Однако это утверждение справедливо лишь для распределений, похожих на нормальные.

Дополнение к числовым характеристикам случайных величин

Смотрите также:

• Решение экономико математических методов

Основные теоремы теории вероятностей	Законы распределения случайных величин
Случайные величины и их характеристика	Теория массового обслуживания (теория очередей). Метод Монте-Карло

Числовые характеристики функций случайных величин

При решении различных задач, связанных со случайными явлениями, современная теория вероятностей широко пользуется аппаратом случайных величин. Для того чтобы пользоваться этим аппаратом, необходимо знать законы распределения фигурирующих в задаче случайных величин. Вообще говоря, эти законы могут быть определены из опыта, но обычно опыт, целью которого является определение закона распределения случайной величины или системы случайных величин (особенно в области военной техники), оказывается и сложным и дорогостоящим. Естественно возникает задача — свести объем эксперимента к минимуму и составлять суждение о законах распределения случайных величин косвенным образом, на основании уже известных законов распределения других случайных величин. Такие косвенные методы исследования случайных величин играют весьма большую роль в теории вероятностей. При этом обычно интересующая нас случайная величина представляется как функция других случайных величин; зная законы распределения аргументов, часто удаётся установить закон распределения функции. С рядом задач такого типа мы встретимся в дальнейшем (см. главу 12).

Однако на практике часто встречаются случаи, когда нет особой надобности полностью определять закон распределения функции случайных величин, а достаточно только указать его числовые характеристики: математическое ожидание, дисперсию, иногда —некоторые из высших моментов. К тому же очень часто самые законы распределения аргументов бывают известны недостаточно хорошо. В связи с этим часто возникает задача об определении только числовых характеристик функций случайных величин.

Рассмотрим такую задачу: случайная величина Y есть функция нескольких случайных величин

Пусть нам известен закон распределения системы аргументов ; требуется найти числовые характеристики величины К, в первую очередь — математическое ожидание и дисперсию. Представим себе, что нам удалось тем или иным способом найти закон распределения g(y) величины У. Тогда задача об определении числовых характеристик становится тривиальной; они находятся по формулам:

и т. д. Однако самая задача нахождения закона распределения g(y) величины Y часто оказывается довольно сложной. К тому же для решения поставленной нами задачи нахождение закона распределения величины Y как такового вовсе и не нужно: чтобы найти только числовые характеристики величины Y , нет надобности знать её закон распределения; достаточно знать закон распределения аргументов Более того, в некоторых случаях, для того чтобы найти числовые характеристики функции, не требуется даже знать закона распределения её аргументов; достаточно бывает знать лишь некоторые числовые характеристики аргументов.

Таким образом, возникает задача определения числовых характеристик функций случайных величин помимо законов распределения этих функций.

Рассмотрим задачу об определении числовых характеристик функции при заданном законе распределения аргументов. Начнём с самого простого случая — функции одного аргумента — и поставим следующую задачу.

Имеется случайная величина X с заданным законом распределения; другая случайная величина У связана с X функциональной за- зависимостью:

Требуется, не находя закона распределения величины У, определить её математическое ожидание:

Рассмотрим сначала случай, когда Х есть прерывная случайная величина с рядом распределения:

Выпишем возможные значения величины Y и вероятности этих значений:

Таблица (10.1.2) не является в строгом смысле слова рядом распределения величины У, так как в общем случае некоторые из значений

могут совпадать между собой; к тому же эти значения в верхнем столбце таблицы (10.1.2) не обязательно идут в возрастающем порядке. Для того чтобы от таблицы (10.1.2) перейти к подлинному ряду распределения величины Y, нужно было бы расположить значения (10.1.3) в порядке возрастания, объединить столбцы, соответствующие равным между собой значениям Y , и сложить соответствующие вероятности. Но в данном случае нас не интересует закон распределения величины Y как таковой; для наших целей — определения математического ожидания — достаточно такой «неупорядоченной» формы ряда распределения, как (10.1.2). Математическое ожидание величины Y можно определить по формуле

Очевидно, величина определяемая по формуле (10.1.4), не может измениться от того, что под знаком суммы некоторые члены будут объединены заранее, а порядок членов изменён.

В формуле (10.1.4) для математического ожидания функции не содержится в явном виде закона распределения самой функции, а содержится только закон распределения аргумента. Таким образом, для определения математического ожидания функции вовсе не требуется знать закон распределения этой функции, а достаточно знать закон распределения аргумента.

Заменяя в формуле (10.1.4) сумму интегралом, а вероятность — элементом вероятности, получим аналогичную формулу для непрерывной случайной величины:

где f (x) — плотность распределения величины X.

Аналогично может быть определено математическое ожидание функции от двух случайных аргументов X и Y. Для прерывных величин

где — вероятность того, что система (X, Y) примет значения

Для непрерывных величин

где f (x, у) — плотность распределения системы (X, Y).

Совершенно аналогично определяется математическое ожидание функции от произвольного числа случайных аргументов. Приведём соответствующую формулу только для непрерывных величин:

где —плотность распределения системы .

Формулы типа (10.1.8) весьма часто встречаются в практическом применении теории вероятностей, когда речь идёт об осреднении каких-либо величин, зависящих от ряда случайных аргументов.

Таким образом, математическое ожидание функции любого числа случайных аргументов может быть найдено помимо закона распределения функции. Аналогично могут быть найдены и другие числовые характеристики функции — моменты различных порядков. Так как каждый момент представляет собой математическое ожидание некоторой функции исследуемой случайной величины, то вычисление любого момента может быть осуществлено приёмами, совершенно аналогичными вышеизложенным. Здесь мы приведём расчётные формулы только для дисперсии, причём лишь для случая непрерывных случайных аргументов.

Дисперсия функции одного случайного аргумента выражается формулой

где — математическое ожидание функции f (х) — плотность распределения величины X. Аналогично выражается дисперсия функции двух аргументов:

где —математическое ожидание функции f(x у) — плотность распределения системы (X, У). Наконец, в случае произвольного числа аргументов, в аналогичных обозначениях:

Заметим, что часто при вычислении дисперсии бывает удобно пользоваться соотношением между начальным и центральным моментами второго порядка (см. главу 5) и писать:

Формулы (10.1.12) — 10.1.14) можно рекомендовать тогда, когда они не приводят к разностям близких чисел, т. е. когда сравнительно невелико.

Рассмотрим несколько примеров, иллюстрирующих применение изложенных выше методов для решения практических задач.

Пример:

На плоскости задан отрезок длины l (рис. 10.1.1), вращающийся случайным образом так, что все направления его одинаково вероятны. Отрезок проектируется на неподвижную ось АВ. Определить среднее значение длины проекции отрезка.

Решение:

Длина проекции равна:

где угол а —случайная величина, распределённая с равномерной плотностью на участке . По формуле (10.1.5) имеем:

Пример:

Удлинённый осколок снаряда, который можно схематически изобразить отрезком длины /, летит, вращаясь вокруг центра массы таким образом, что все его ориентации в пространстве одинаково вероятны. На своём пути осколок встречает плоский экран, перпендикулярный к направлению его движения, и оставляет в нем пробоину. Найти математическое ожидание длины этой пробоины.

Решение:

Прежде всего дадим математическую формулировку утверждения, заключающегося в том, что «все ориентации осколка в пространстве одинаково вероятны». Направление отрезка l будем характеризовать единичным вектором (рис. 10.1.2).

Направление вектора в сферической системе координат, связанной с плоскостью Р, на которую производится проектирование, определяется двумя углами: углом , лежащим в плоскости Р, и углом лежащим в плоскости, вероятности всех направлений вектора все положения его конца на поверхности сферы единичного радиуса С должны обладать одинаковой плотностью вероятности; следовательно, элемент вероятности

где — плотность распределения углов должен быть пропорционален элементарной площадке ds на сфере С; эта элементарная площадка равна перпендикулярной

откуда

где А — коэффициент пропорциональности. Значение коэффициента А найдём из соотношения

откуда

Таким образом, плотность распределения углов выражается формулой

Спроектируем отрезок на плоскость Р;

Рассматривая У как функцию двух аргументов в и <р « применяя формулу (10.1.7), получим:

Таким образом, средняя длина пробоины, оставляемой осколком в экране, равна 0,785 длины осколка.

Пример:

Плоская фигура площади S беспорядочно вращается в пространстве так, что все ориентации этой фигуры одинаково вероятны. Найти среднюю площадь проекции фигуры S на неподвижную плоскость Р (рис; 10.1.3).

Решение:

Направление плоскости фигуры S в пространстве будем характеризовать направлением нормали N к этой плоскости. С плоскостью Р свяжем ту же сферическую систему координат, что в предыдущем примере. Направление нормали N к площадке S характеризуется случайными углами в и распределёнными с плотностью (10.1.5). Площадь Z проекции фигуры S на плоскость Р

а средняя площадь проекции

Таким образом, средняя площадь проекции произвольно ориентированной плоской фигуры на неподвижную плоскость равна половине площади этой фигуры.

Пример:

В процессе слежения радиолокатором за определённым объектом пятно, изображающее объект, все время удерживается в пределах экрана. Экран представляет собой круг К радиуса R. Пятно занимает на экране случайное положение с постоянной плотностью вероятности. Найти среднее расстояние от пятна до центра экрана.

Решение:

Обозначая расстояние D, имеем , где X, Y— координаты пятна; в пределах круга К и равна нулю за его пределами. Применяя формулу 10.1.7) и переходя в интеграле к полярным координатам, имеем:

Пример:

Надёжность (вероятность безотказной работы) технического устройства есть определённая функция р (X, Y, Z) трёх параметров, характеризующих работу регулятора. Параметры X, Y, Z представляют собой случайные величины с известной плотностью распределения f (х, у, z). Найти среднее значение (математическое ожидание) надёжности устройства и среднее квадратическое отклонение, характеризующее её устойчивость.

Решение:

Надёжность устройства р (X, Y, Z) есть функция трёх случайных величин (параметров) X, У, Z. Её среднее значение (математическое ожидание) найдётся по формуле 10.1.8):

По формуле (10.1.14) имеем:

Формула (10.1.16), выражающая среднюю (полную) вероятность безотказной работы устройства с учётом случайных величин, от которых зависит эта вероятность в каждом конкретном случае, представляет собой частный случай так называемой интегральной формулы полной вероятности, обобщающей обычную формулу полной вероятности на случай бесконечного (несчётного) числа гипотез.

Выведем здесь эту формулу в общем виде.

Предположим, что опыт, в котором может появиться или не появиться интересующее нас событие А, протекает в случайных, заранее неизвестных условиях. Пусть эти условия характеризуются непрерывными случайными величинами

плотность распределения которых

Вероятность появления события А есть некоторая функция случайных величин (10.1.17):

Нам нужно найти среднее значение этой вероятности или, другими словами, полную вероятность события А:

Применяя формулу (10.1.8) для математического ожидания функции, найдём:

Формула (10.1.19) называется интегральной формулой полной вероятности. Нетрудно заметить, что по своей структуре она сходна с формулой полной вероятности, если заменить дискретный ряд гипотез непрерывной гаммой, сумму — интегралом, вероятность гипотезы — элементом вероятности:

а условную вероятность события при данной гипотезе—условной вероятностью события при фиксированных значениях случайных величин:

Не менее часто, чем интегральной формулой полной вероятности, пользуются интегральной формулой полного математического ожидания. Эта формула выражает среднее (полное) математическое ожидание случайной величины Z, значение которой принимается в опыте, условия которого заранее неизвестны (случайны). Если эти условия характеризуются непрерывными случайными величинами

с плотностью распределения

а математическое ожидание величины Z есть функция от величин

то полное математическое ожидание величины Z вычисляется по формуле

которая называется интегральной формулой полного математического ожидания.

Пример:

Математическое ожидание расстояния D, на котором будет обнаружен объект с помощью четырёх радиолокационных станций, зависит от некоторых технических параметров этих станций:

которые представляют собой независимые случайные величины с плотностью распределения

При фиксированных значениях параметров математическое ожидание дальности обнаружения равно

Найти среднее (полное) математическое ожидание дальности обнаружения.

Решение:

По формуле (10.1.20) имеем:

Теоремы о числовых характеристиках

В предыдущем п° мы привели ряд формул, позволяющих находить числовые характеристики функций, когда известны законы распределения аргументов. Однако во многих случаях для нахождения числовых характеристик функций не требуется знать даже законов распределения аргументов, а достаточно знать только некоторые их числовые характеристики; при этом мы вообще обходимся без каких бы то ни было законов распределения. Определение числовых характеристик функций по заданным числовым характеристикам аргументов широко применяется в теории вероятностей и позволяет значительно упрощать решение ряда задач. По преимуществу такие упрощённые методы относятся к линейным функциям; однако некоторые элементарные нелинейные функции также допускают подобный подход.

В настоящем п° мы изложим ряд теорем о числовых характеристиках функций, представляющих в своей совокупности весьма простой аппарат вычисления этих характеристик, применимый в широком круге условий.

1. Математическое ожидание неслучайной величины Если с — неслучайная величина, то М[с] — с.

Сформулированное свойство является достаточно очевидным; доказать его можно, рассматривая неслучайную величину с как частный вид случайной, при одном возможном значении с вероятностью единица; тогда по общей формуле для vатематического ожидания: М[с] = с*1=с.

2. Дисперсия натуральной величины Если с — неслучайная величина, то D[c] = 0. Доказательство. По определению дисперсии

3. Вынесение неслучайной величины за знак математического ожидания Если с — неслучайная величина, а X — случайная, то М[сХ] = сМ[Х],

т. е. неслучайную величину можно выносить за знак математического ожидания.

Доказательство:

а) Для прерывных величин

б) Для непрерывных величин

4. Вынесение неслучайной величины за знак дисперсии и среднего квадратического отклонения

Если с — неслучайная величина, а X — случайная, то

т. е. неслучайную величину можно выносить за знак дисперсии, возводя её в квадрат.

Доказательство. По определению дисперсии

Следствие

т. е. неслучайную величину можно выносить за знак среднего квадратического отклонения её абсолютным значением. Доказательство получим, извлекая корень квадратный из формулы (10.2.2) и учитывая, что с.к.о.—существенно положительная величина.

5. Математическое ожидание суммы случайных величин

Докажем, что для любых двух случайных величин X и У

т. е. математическое ожидание суммы двух случайных величин равно сумме их математических ожиданий.

Это свойство известно под названием теоремы сложения математических ожиданий.

Доказательство:

а) Пусть (X, Y) — система прерывных случайных величин. Применим к сумме случайных величин общую формулу (10.1.6) для математического ожидания функции двух аргументов:

Но представляет собой не что иное, как полную вероятность того, что величина X примет значение

следовательно,

Аналогично докажем, что

и теорема доказана.

б) Пусть (X, К) — система непрерывных случайных величин. По формуле (10.1.7)

Преобразуем первый из интегралов (10.2.4):

аналогично

и теорема доказана.

Следует специально отметить, что теорема сложения математических ожиданий справедлива для любых случайных величин— как зависимых, так и независимых.

Теорема сложения математических ожиданий обобщается на произвольное число слагаемых:

т. е. математическое ожидание суммы нескольких случайных величин равно сумме их математических ожиданий.

Для доказательства достаточно применить метод полной индукции.

6. Математическое ожидание линейной функции Рассмотрим линейную функцию нескольких случайных аргументов

где — неслучайные коэффициенты. Докажем, что

т. е. математическое ожидание линейной функции равно той же линейной функции от математических ожиданий аргументов.

Доказательство:

Пользуясь теоремой сложения м. о. и правилом вынесения неслучайной величины за знак м. о., получим:

7. Дисперсия суммы случайных величин Дисперсия суммы двух случайных величин равна сумме их дисперсий плюс удвоенный корреляционный момент:

Доказательство:

Обозначим Z = X + Y. (10.2.8)

По теореме сложения математических ожиданий

Перейдём от случайных величин X, Y, Z к соответствующим центрированным величинам Вычитая почленно из равенства (10.2.8) равенство (10.2.9), имеем:

По определению дисперсии

что и требовалось доказать.

Формула (10.2.7) для дисперсии суммы может быть обобщена на любое число слагаемых:

где — корреляционный момент величин знак под суммой обозначает, что суммирование распространяется на все в возможные попарные сочетания случайных величин

Доказательство аналогично предыдущему и вытекает из формулы для квадрата многочлена. Формула (10.2.10) может быть записана ещё в другом виде:

где двойная сумма распространяется на все элементы корреляционной матрицы системы величин содержащей как корреляционные моменты, так и дисперсии.

Если все случайные величины входящие в систему, некоррелированы формула (10.2.10) принимает вид:

т. е. дисперсия суммы некоррелированных случайных величин равна сумме дисперсий слагаемых. Это положение известно под названием теоремы сложения дисперсий.

8. Дисперсия линейной функции

Рассмотрим линейную функцию нескольких случайных величин

где — неслучайные величины.

Докажем, что дисперсия этой линейной функции выражается формулой

где — корреляционный момент величин

Доказательство:

Введём обозначение:

Тогда

Применяя к правой части выражения (10.2.14) формулу (10.2.10) для дисперсии суммы и учитывая, что D [b] = 0, получим:

где — корреляционный момент величин

Вычислим этот момент. Имеем:

аналогично

Отсюда

Подставляя это выражение в (10.2.15), приходим к формуле (10.2.13). В частном случае, когда все величины некоррелированны, формула (10.2.13) принимает вид:

т.е. дисперсия линейной функции некоррелированных случайных величин равна сумме произведений квадратов коэффициентов на дисперсии соответствующих аргументов

9.Математическое ожидание произведения случайных величин

Математическое ожидание произведения двух случайных величин равно произведению их математических ожиданий плюс корреляционный момент:

Доказательство:

Будем исходить из определения корреляционного момента:

где

Преобразуем это выражение, пользуясь свойствами математического ожидания:

что, очевидно, равносильно формуле (10.2.17),

Так как независимые величины всегда являются некоррелированными, то все свойства, доказываемые в данном п° для некоррелированных величин, справедливы для независимых величин.

Если случайные величины (X, Y) некоррелированны то формула (10.2.17) принимает вид:

т. е. математическое ожидание произведения двух некоррелированных случайных величин равно произведению их математических ожиданий.

Это положение известно под названием теоремы умножения математических ожиданий.

Формула (10.2.17) представляет собой не что иное, как выражение второго смешанного центрального момента системы через второй смешанный начальный момент и математические ожидания:

Это выражение часто применяется на практике при вычислении корреляционного момента аналогично тому, как для одной случайной величины дисперсия часто вычисляется через второй начальный момент и математическое ожидание.

Теорема умножения математических ожиданий обобщается и на произвольное число сомножителей, только в этом случае для её применения недостаточно того, чтобы величины были некоррелированны, а требуется, чтобы обращались в нуль и некоторые высшие смешанные моменты, число которых зависит от числа членов в произведении. Эти условия заведомо выполнены при независимости случайных величин, входящих в произведение. В этом случае

т. е. математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

Это положение легко доказывается методом полной индукции.

10.Дисперсия произведения независимых случайных величин

Докажем, что для независимых величин

X. У

Доказательство:

Обозначим XY = Z. По определению дисперсии

Так как величины X, У независимы, и

При независимых X, У величины тоже независимы ; следовательно,

и

Но есть не что иное, как второй начальный момент величины X, и, следовательно, выражается через дисперсию:

аналогично

Подставляя эти выражения в формулу (10.2.22) и приводя подобные члены, приходим к формуле (10.2.21).

В случае, когда перемножаются центрированные случайные величины (величины с математическими ожиданиями, равными нулю), формула (10.2.21) принимает вид:

т. е. дисперсия произведения независимых центрированных случайных величин равна произведению их дисперсий:

11. Высшие моменты суммы случайных величин

В некоторых случаях приходится вычислять высшие моменты суммы независимых случайных величин. Докажем некоторые относящиеся сюда соотношения.

1) Если величины X, Y независимы, то

Доказательство:

Можно доказать, что любые функции от независимых случайных величин также независимы.

откуда по теореме умножения математических ожиданий

Но первый центральный момент для любой величины равен нулю; два средних члена обращаются в нуль, и формула (10.2.24) доказана. Соотношение (10.2.24) методом индукции легко обобщается на произвольное число независимых слагаемых:

2) Четвёртый центральный момент суммы двух независимых случайных величин выражается формулой

где Dx, Dy— дисперсии величин X и Y.

Доказательство совершенно аналогично предыдущему.

Методом полной индукции легко доказать обобщение формулы (10.2.26) на произвольное число независимых слагаемых:

Аналогичные соотношения в случае необходимости легко вывести и для моментов более высоких порядков.

12. Сложение некоррелированных случайных векторов

Рассмотрим на плоскости хОу два некоррелированных случайных вектора: вектор с составляющими и вектор с составляющими (рис. 10.2.1).

Рассмотрим их векторную сумму:

т. е. вектор с составляющими:

Требуется определить числовые характеристики случайного вектора — математические ожидания , дисперсии и корреляционный момент составляющих:

По теореме сложения математических ожиданий:

По теореме сложения дисперсий

Докажем, что корреляционные моменты также складываются:

где — корреляционные моменты составляющих каждого из векторов и .

Доказательство. По определению корреляционного момента:

Так как векторы некоррелированны, то два средних члена в формуле (10.2.29) равны нулю; два оставшихся члена представляют собой и формула (10.2.28) доказана.

Формулу (10.2.28) иногда называют «теоремой сложения корреляционных моментов».

Теорема легко обобщается на произвольное число слагаемых. Если имеется две некоррелированные системы случайных величин, т. е. два n -мерных случайных вектора:

с составляющими

с составляющими

то их векторная сумма

имеет корреляционную матрицу, элементы которой получаются суммированием элементов корреляционных матриц слагаемых:

где обозначают соответственно корреляционные моменты величин

Формула (10.2.30) справедлива как при так и при Действительно; составляющие вектора равны:

По теореме сложения дисперсий

или в других обозначениях

По теореме сложения корреляционных моментов при

В математике суммой двух матриц называется матрица, элементы которой получены сложением соответствующих элементов этих матриц. Пользуясь этой терминологией, можно сказать, что корреляционная матрица суммы двух некоррелированных случайных векторов равна сумме корреляционных матриц слагаемых:

Это правило по аналогии с предыдущими можно назвать «теоремой сложения корреляционных матриц».

Применения теорем о числовых характеристиках

В данном п° мы продемонстрируем применение аппарата числовых характеристик к решению ряда задач. Некоторые из этих задач имеют самостоятельное теоретическое значение и найдут применение в дальнейшем. Другие задачи носят характер примеров и приводятся для иллюстрации выведенных общих формул на конкретном цифровом материале.

Задача:

Коэффициент корреляции линейно зависимых случайных величин. Доказать, что если случайные величины X и Y связаны линейной функциональной зависимостью

то их коэффициент корреляции равен +1 или —1, смотря по знаку коэффициента а.

Решение:

Имеем:

где Dx — дисперсия величины X. Для коэффициента корреляций имеем выражение:

Для определения найдём дисперсию величины У:

Подставляя в формулу A0.3.1), имеем:

Величина равна +1, когда а положительно, и —1, когда а отрицательно, что и требовалось доказать.

Задача:

Границы коэффициента корреляции. Доказать, что для любых случайных величин

Решение:

Рассмотрим случайную величину:

где — средние квадратические отклонения величин X, Y. Определим дисперсию величины Z. По формулe (10.2.13) имеем:

или

Так как дисперсия любой случайной величины не может быть отрицательна, то

или

откуда

следовательно

что и требовалось доказать.

Задача:

Проектирование случайной точки на плоскости на произвольную прямую

Дана случайная точка на плоскости с координатами (X, Y) (рис. 10.3.1). Спроектируем эту точку на ось Oz, проведённую через начало координат под углом а к оси Ох. Проекция точки (X, У) на ось Oz также есть случайная точка; её расстояние Z от начала координат есть случайная величина. Требуется найти атематическое ожидание и дисперсию величины Z.

Решение:

Имеем

Так как Z есть линейная функция аргументов X и Y, то

где —дисперсии и корреляционный момент величин (X, Y). Переходя к средним квадратическим отклонениям, получим:

В случае некоррелированных случайных величин

Задача:

Математическое ожидание числа появлений события при нескольких опытах.

Производится п опытов, в каждом из которых может появиться или не появиться событие А. Вероятность появления события А і-м опыте равна Найти математическое ожидание числа появлений события.

Решение:

Рассмотрим прерывную случайную величину X — число появлений события во всей серии опытов. Очевидно,

где — число появлений события в первом опыте, — число появлений события во втором опыте,

— число появлений события в n -м опыте, или, короче,

где —число появлений события в i-м опыте

Каждая из величин есть прерывная случайная величина с двумя возможными значениями: 0 и 1. Ряд распределения величины имеет вид:

где — вероятность непоявления события А в i-м опыте.

Иначе — характеристическая случайная величина события А в i-м опыте.

По теореме сложения математических ожиданий

где —математическое ожидание величины

Вычислим математическое ожидание величины По определению математического ожидания

Подставляя это выражение в формулу (10.3.5), имеем

т. е. математическое ожидание числа появлений события при нескольких опытах равно сумме вероятностей события в отдельных опытах.

В частности, когда условия опытов одинаковы и

формула (10.3.5) принимает вид

Так как теорема сложения математических ожиданий применима к любым случайным величинам — как зависимым, так и независимым, формулы (10.3.6) и (10.3.7) применимы к любым опытам—зависимым и независимым.

Выведенная теорема часто применяется в теории стрельбы, когда требуется найти среднее число попаданий при нескольких выстрелах— зависимых или независимых. Математическое ожидание числа попаданий при нескольких выстрелах равно сумме вероятностей попадания при отдельных выстрелах.

Задача:

Дисперсия числа появлений события при нескольких независимых опытах.

Производится п независимых опытов, в каждом из которых может появиться событие А, причём вероятность появления события А в i-м опыте равна Найти дисперсию и среднее квадратическое отклонение числа появлений события А.

Решение:

Рассмотрим случайную величину X — число появлений события А. Так же как d предыдущей задаче, представим величину X в виде суммы:

где — число появлений события в i-м опыте.

В силу независимости опытов случайные величины независимы и к ним применима теорема сложения дисперсий:

Найдём дисперсию случайной величины . Из ряда распределения (10.3.4) имеем:

откуда

т. е. дисперсия числа появлений события при нескольких независимых опытах равна сумме вероятностей появления и непоявления события в каждом опыте.

Из формулы (10.3.8) находим среднее квадратическое отклонение числа появлений события А:

При неизменных условиях опытов, когда формулы (10.3.8) и (10.3.9) упрощаются и принимают вид:

Задача:

Дисперсия числа появлений события при зависимых опытах.

Производится п зависимых опытов, в каждом из которых может появиться событие А, причём вероятность события А в i-м опыте равна Определить дисперсию числа появлений события.

Решение:

Для того чтобы решить задачу, снова представим число появлений события X в виде суммы:

Так как опыты зависимы, то нам недостаточно задать вероятности

того, что событие А произойдёт в первом, втором, третьем и т. д. опытах. Нужно ещё задать характеристики зависимости опытов. Оказывается, для решения нашей задачи достаточно задать вероятности совместного появления события А как в i-м, так и в j-м опыте: Предположим, что эти вероятности заданы. Применим к выражению (10.3.11) теорему о дисперсия суммы (формулу (10.2.10)):

где — корреляционный момент величин

По формуле (10.2.19)

Рассмотрим случайную величину . Очевидно она равна нулю, если хотя бы одна из величин равна нулю, т. е. хотя бы в одном из опытов (i-м или j-м) событие А не появилось. Для того чтобы величина была равна единице, требуется, чтобы в обоих опытах (i-м или j-м) событие А появилось. Вероятность этого равна . Следовательно,

и

Формула (10.3.14) и выражает дисперсию числа появлений события при зависимых опытах. Проанализируем структуру этой формулы. Первый член в правой части формулы представляет собой дисперсию числа появлений события при независимых опытах, а второй даёт «поправку на зависимость». Если вероятность равна то эта поправка равна нулю. Если вероятность больше, чем это значит, что условная вероятность появления события А в j-м опыте при условии, что в i-м опыте оно появилось, больше, чем простая (безусловная) вероятность появления события в j-м опыте , (между появлениями события в i-м и j-м опытах имеется положительная корреляция). Если это так для любой пары опытов, то поправочный член в формуле (10.3.14) положителен и дисперсия числа появлений события при зависимых опытах больше, чем при независимых.

Если вероятность меньше, чем (между появлениями события в i-м и j-м опытах существует отрицательная корреляция), то соответствующее слагаемое отрицательно. Если это так для любой пары опытов, то дисперсия числа появлений события при зависимых опытах меньше, чем при независимых.

Рассмотрим частный случай, когда т. е. условия всех опытов одинаковы. Формула (10.3.14) принимает вид:

где Р — вероятность появления события А сразу в паре опытов (все равно каких). В этом частном случае особый интерес представляют два подслучая: 1. Появление события А в любом из опытов влечёт за собой с достоверностью его появление в каждом из остальных. Тогда Р = р, и формула (10.3.15) принимает вид:

2. Появление события А в любом из опытов исключает его появление в каждом из остальных. Тогда Р = 0, и формула (10.3.15) принимает вид:

Задача:

Математическое ожидание числа объектов, приведённых в заданное состояние.

На практике часто встречается следующая задача. Имеется некоторая группа, состоящая из п объектов, по которым осуществляется какое-то воздействие. Каждый из объектов в результате воздействия может быть приведён в определённое состояние S (например, поражён, исправлен, обнаружен, обезврежен и т. п.). Вероятность того, что і-й объект будет приведён в состояние S, равна Найти математическое ожидание числа объектов, которые в результате воздействия по группе будут приведены в состояние S .

Решение:

Свяжем с каждым из объектов случайную величину , которая принимает значения 0 или 1:

Случайная величина X — число объектов, приведённых в состояние S , — может быть представлена в виде суммы;

Отсюда, пользуясь теоремой сложения математических ожиданий, получим:

Математическое ожидание каждой из случайных величин известно:

Следовательно,

т. е. математическое ожидание числа объектов, приведённых в состояние S, равно сумме вероятностей перехода в это состояние для каждого из объектов.

Особо подчеркнём, что для справедливости доказанной формулы вовсе не нужно, чтобы объекты переходили в состояние S независимо друг от друга. Формула справедлива для любого вида воздействия.

Задача:

Дисперсия числа объектов, приведённых в заданное состояние.

Если в условиях предыдущей задачи переход каждого из объектов в состояние S происходит независимо от всех других, то, применяя теорему сложения дисперсий к величине

получим дисперсию числа объектов, приведённых в состояние S:

Если же воздействие по объектам производится так, что переходы в состояние S для отдельных объектов зависимы, то дисперсия числа объектов, переведённых в состояние S, выразится формулой (см. задачу 6)

где — вероятность того, что в результате воздействия i-й и j-й объекты вместе перейдут в состояние S.

Задача:

Математическое ожидание числа опытов до k-го появления события.

Производится ряд независимых опытов, в каждом из которых может с вероятностью р появиться событие А. Опыты проводятся до тех пор, пока событие А не появится k раз, после чего опыты прекращаются. Определить математическое ожидание, дисперсию и с. к. о. числа опытов X, которое будет произведено.

Решение:

В примере 3 п° 5.7 были определены математическое ожидание и дисперсия числа опытов до первого появления события А:

где р— вероятность появления события в одном опыте, q = 1 — р — вероятность непоявления.

Рассмотрим случайную величину X — число опытов до k-ro появления события А. Её можно представить в виде суммы:

где — число опытов до первого появления события А, — число опытов от первого до второго появления события А (считая второе).

— число опытов от (k— 1)-го до k-ro появления события А (считая k-е).

Очевидно, величины независимы; каждая из них распределена по тому же закону, что и первая из них (число опытов до первого появления события) и имеет числовые характеристики

Применяя теоремы сложения математических ожиданий и дисперсий, получим:

Задача:

Средний расход средств до достижения заданного результата.

В предыдущей задаче был рассмотрен случай, когда предпринимается ряд опытов с целью получения вполне определённого результата — k появлений события А, которое в каждом опыте имеет одну и ту же вероятность. Эта задача является частным случаем другой, когда производится ряд опытов с целью достижения любого результата В, вероятность которого с увеличением числа опытов п возрастает по любому закону Р(п). Предположим, что на каждый oпыт расходуется определённое количество средств а. Требуется найти математическое ожидание количества средств, которое будет израсходовано.

Решение:

Для того чтобы решить задачу, сначала предположим, что число производимых опытов ничем не ограничено, и что они продолжаются и после достижения результата В. Тогда некоторые из этих опытов будут излишними. Условимся называть опыт «необходимым», если он производится при ещё не достигнутом результате В, и «излишним», если он производится при уже достигнутом результате В.

Свяжем с каждым (і-м) опытом случайную величину которая равна нулю или единице в зависимости от того, «необходимым» или «излишним» оказался этот опыт. Положим

Рассмотрим случайную величину X — число опытов, которое придётся произвести для получения результата В. Очевидно, её можно представить в виде суммы:

Из величин в правой части (10.3.20) первая () является неслучайной и всегда равна единице (первый опыт всегда «необходим»). Каждая из остальных — случайная величина с возможными значениями 0 и 1. Построим ряд распределения случайной величины (i > 1). Он имеет вид:

где P(i — 1)—вероятность достижения результата В после i — 1 опытов.

Действительно, если результат В уже был достигнут при предыдущих i — 1 опытах, то (опыт излишен), если не достигнут, то (опыт необходим).

Найдём математическое ожидание величины . Из ряда распределения (10.3.21) имеем:

Нетрудно убедиться, что та же формула будет справедлива и при і =1, так как Р(0) —0.

Применим к выражению (10.3.20) теорему сложения математических ожиданий. Получим:

или, обозначая і —l = k,

Каждый опыт требует затраты средств а. Умножая полученную величину на а, определим среднюю затрату средств на достижение результата В:

Данная формула выведена в предположении, что стоимость каждого опыта одна и та же. Если это не так, то можно применить другой приём — представить суммарную затрату средств как сумму затрат на выполнение отдельных опытов, которая принимает два значения: если і -й опыт «необходим», и нуль, если он «излишен». Средний расход средств представится в виде:

Задача:

Математическое ожидание суммы случайного числа случайных слагаемых.

В ряде практических приложений теории вероятностей приходится встречаться с суммами случайных величин, в которых число слагаемых заранее неизвестно, случайно.

Поставим следующую задачу. Случайная величина Z представляет собой сумму Y случайных величин:

причём Y — также случайная величина. Допустим, что нам известны математические ожидания всех слагаемых:

и что величина Y не зависит ни от одной из величин . Требуется найти математическое ожидание величины Z.

Решение:

Число слагаемых в сумме есть дискретная случайная величина. Предположим, что нам известен её ряд распределения:

где — вероятность того, что величина У приняла значение k. Зафиксируем значение Y = k и найдём при этом условии математическое ожидание величины Z (условное математическое ожидание):

Теперь применим формулу полного математического ожидания, для чего умножим каждое условное математическое ожидание на вероятность соответствующей гипотезы и сложим:

Особый интерес представляет случай, когда все случайные величины … имеют одно и то же математическое ожидание:

Тогда формула (10.3.26) принимает вид:

и

Сумма в выражении (10.3.28) представляет собой не что иное, как математическое ожидание величины Y:

Отсюда

т. е. математическое ожидание суммы случайного числа случайных слагаемых с одинаковыми средними значениями (если только число слагаемых не зависит от их значений) равно произведению среднего значения каждого из слагаемых на среднее число слагаемых.

Снова отметим, что полученный результат справедлив как для независимых, так и для зависимых слагаемых , …. лишь бы число слагаемых Y не зависело от самих слагаемых.

Ниже мы решим ряд конкретных примеров из разных областей практики, на которых продемонстрируем конкретное применение общих методов оперирования с числовыми характеристиками, вытекающих из доказанных теорем, и специфических приёмов, связанных с решёнными выше общими задачами.

Пример:

Монета бросается 10 раз. Определить математическое ожидание и среднее квадратическое отклонение числа X выпавших гербов. Решение. По формулам (10.3.7) и (10.3.10) найдём:

Пример:

Производится 5 независимых выстрелов по круглой мишени диаметром 20 см. Прицеливание — по центру мишени, систематическая ошибка отсутствует, рассеивание — круговое, среднее квадратическое отклонение а = 16 см. Найти математическое ожидание и с. к. о. числа попаданий.

Решение:

Вероятность попадания в мишень при одном выстреле вычислим по формуле (9.4.5):

Пользуясь формулами (10.3.7) и (10.3.10), получим:

Пример:

Производится отражение воздушного налёта, в котором участвует 20 летательных аппаратов типа 1 и 30 летательных аппаратов типа 2. Летательные аппараты типа 1 атакуются истребительной авиацией. Число атак, приходящееся на каждый аппарат, подчинено закону Пуассона с параметром = 2,5. Каждой атакой истребителя летательный аппарат типа 1 поражается с вероятностью = 0,6. Летательные аппараты типа 2 атакуются зенитными управляемыми ракетами. Число ракет, направляемых на каждый аппарат, подчинено закону Пуассона с параметром = 1,8, каждая ракета поражает летательный аппарат типа 2 с вероятностью = 0,8. все аппараты, входящие в состав налёта, атакуются и поражаются независимо друг от друга. Найти:

1) математическое ожидание, дисперсию и с. к. о. числа поражённых летательных аппаратов типа 1; 2) математическое ожидание, дисперсию и с. к. о. числа поражённых летательных аппаратов типа 2; 3) математическое ожидание, дисперсию и с. к. о. числа поражённых летательных аппаратов обоих типов.

Решение:

Рассмотрим вместо «числа атак» на каждый аппарат типа I «число поражающих атак», тоже распределённое по закону Пуассона, но с другим параметром:

Вероятность поражения каждого из летательных аппаратов типа 1 будет равна вероятности того, что на него придётся хотя бы одна поражающая атака:

Вероятность поражения каждого из летательных аппаратов типа 2 найдём аналогично:

Математическое ожидание числа поражённых аппаратов типа 1 будет:

Дисперсия к с. к. о. этого числа:

Математическое ожидание, дисперсия числа и с. к. о. поражённых аппаратов типа 2:

Математическое ожидание, дисперсия и с. к. о. общего числа поражённых аппаратов обоих типов:

Пример:

Случайные величины X и Y представляют собой элементарные ошибки, возникающие на входе прибора. Они имеют математические ожидания = — 2 и = 4, дисперсии и коэффициент корреляции этих ошибок равен Ошибка на входе прибора связана с ошибками на входе функциональной зависимостью:

Найти математическое ожидание ошибки на выходе прибора.

Решение:

Пользуясь связью между начальными и центральными моментами и формулой (10.2.17), имеем:

откуда

Пример:

Самолёт производит бомбометание по автостраде, ширина которой 30 м (рис. 10.3.2).

Направление полёта составляет угол 30° с направлением автострады. Прицеливание — по средней линии автострады, систематические ошибки отсутствуют. Рассеивание задано главными вероятными отклонениями: по направлению полёта = 50 м и в боковом направлении = 25 м. Найти вероятность попадания в автостраду при сбрасывании одной бомбы.

Решение:

Спроектируем случайную точку попадания на ось перпендикулярную к автостраде и применим формулу (10.3.3). Она, очевидно, остаётся справедливой, если в неё вместо средних квадратических подставить вероятные отклонения:

Отсюда

Вероятность попадания в автостраду найдём по формуле (6.3.10):

Примечание. Применённый здесь приём пересчёта рассеивания к другим осям пригоден только для вычисления вероятности попадания в область, имеющую вид полосы; для прямоугольника, стороны которого повёрнуты под углом к осям рассеивания, он уже не годится. Вероятность попадания в каждую из полос, пересечением которых образован прямоугольник, может быть вычислена с помощью этого приёма, однако вероятность попадания в прямоугольник уже не равна произведению вероятностей попадания в полосы, так как эти события зависимы.

Пример:

Производится наблюдение с помощью системы радиолокационных станций за группой объектов в течение некоторого времени; группа состоит из четырёх объектов; каждый из них за время t обнаруживается с вероятностью, равной соответственно:

Найти математическое ожидание числа объектов, которые будут обнаружены через время t.

Решение:

По формуле (10.3.16) имеем:

Пример:

Предпринимается ряд мероприятий, каждое из которых, если оно состоится, приносит случайный чистый доход X, распределённый по нормальному закону со средним значением m= 2 (условных единиц). Число мероприятий за данный период времени случайно и распределено по закону

причём не зависит от доходов, приносимых мероприятиями. Определить средний ожидаемый доход за весь период.

Решение:

На основе задачи 11 данного п° находим математическое ожидание полного дохода Z:

где —средний доход от одного мероприятия, — среднее ожидаемое число мероприятий. Имеем:

Пример:

Ошибка прибора выражается функцией

где X, Y, Z — так называемые «первичные ошибки», представляющие собой систему случайных величин (случайный вектор).

Случайный вектор {X, Y, Z) характеризуется математическими ожиданиями

и корреляционной матрицей:

Определить математическое ожидание, дисперсию и среднее квадратическое отклонение ошибки прибора.

Решение:

Так как функция (10.3.30) линейна, применяя формулы (10.2.6) и (10.2.13), находим:

Пример:

Для обнаружения источника неисправности в вычислительной машине проводятся пробы (тесты). В каждой пробе неисправность независимо от других проб локализуется с вероятностью р = 0,2. На каждую пробу в среднем уходит 3 минуты. Найти математическое ожидание времени, которое потребуется для локализации неисправности.

Решение:

Пользуясь результатом задачи 9 данного п° (математическое ожидание числа опытов до k —го появления события А), полагая k= 1, найдём среднее число проб

На эти пять проб потребуется в среднем 5 • 3 = 15 (минут).

Пример:

Производится стрельба по резервуару с горючим. Вероятность попадания при каждом выстреле равна 0,3. Выстрелы независимы. При первом попадании в резервуар появляется только течь горючего, при втором попадании горючее воспламеняется. После воспламенения горючего стрельба прекращается. Найти математическое ожидание числа произведённых выстрелов.

Решение:

Пользуясь той же формулой, что и в предыдущем примере, найдём математическое ожидание числа выстрелов до 2-го попадания:

Пример:

Вероятность обнаружения объекта радиолокатором с ростом числа циклов обзора растёт по закону:

где п — число циклов, начиная с начала наблюдения.

Найти математическое ожидание числа циклов, после которого объект будет обнаружен.

Решение:

Пользуясь результатами задачи 10 данного параграфа получим:

Пример:

Для того чтобы выполнить определённую задачу по сбору информации, в заданный район высылается несколько разведчиков. Каждый посланный разведчик достигает района назначения с вероятностью 0,7. Для выполнения’ задачи достаточно наличия в районе трёх разведчиков. Одни разведчик с задачей вообще справиться не может, а два разведчика выполняют её с вероятностью 0,4. Обеспечена непрерывная связь с районом, и дополнительные разведчики посылаются, только если задача ещё не выполнена.

Требуется найти математическое ожидание числа разведчиков, которые будут посланы.

Решение:

Обозначим X — число прибывших в район разведчиков, которое оказалось достаточным для выполнения задачи. В задаче 10 данного п° было найдено математическое ожидание числа опытов, которое нужно для того, чтобы достигнуть определённого результата, вероятность которого с увеличением числа опытов возрастает по закону Р (п). Это математическое ожидание равно:

В нашем случае

Математическое ожидание величины X равно:

Итак, для того чтобы задача была выполнена, необходимо, чтобы в район прибыло в среднем 2,6 разведчика.

Теперь решим следующую задачу. Сколько разведчиков придётся в среднем выслать в район для того, чтобы их в среднем прибыло ?

Пусть послано Y разведчиков. Число прибывших разведчиков можно представить в виде

где случайная величина принимает значение 1, если i-й разведчик прибыл, и 0, если не прибыл. Величина X есть не что иное, как сумма случайного числа случайных слагаемых (см. задачу 11 данного п°). С учётом этого имеем:

но , где р — вероятность прибытия отправленного разведчика (в нашем случае р = 0,7). Величина нами только что найдена и равна 2,6. Имеем:

Пример:

Радиолокационная станция просматривает область пространства, в которой находится N объектов. За один цикл обзора она обнаруживает каждый из объектов (независимо от других циклов) с вероятностью р. На один цикл требуется время

Сколько времени потребуется на то, чтобы из N объектов обнаружить в среднем k?

Решение:

Найдём прежде всего математическое ожидание объектов после п циклов обзора. За п циклов один (любой) из объектов обнаруживается

а среднее число объектов, обнаруженных за п циклов, по теореме сложения математических ожиданий (см. задачу 5 данного п°) равно:

Полагая

получим необходимое число циклов п из уравнения

решая которое, найдём:

откуда время, необходимое для обнаружения в среднем k объектов, будет равно:

Пример:

Изменим условия примера 13. Пусть радиолокационная станция ведёт наблюдение за областью только до тех пор, пока не будет обнаружено k объектов, после чего наблюдение прекращается или продолжается в новом режиме. Найти математическое ожидание времени, которое для этого понадобится.

Для того чтобы решить эту задачу, недостаточно задаться вероятностью обнаружения одного объекта в одном цикле, а надо ещё указать, как растёт с увеличением числа циклов вероятность того, что из N объектов будет обнаружено не менее k . Проще всего вычислить эту вероятность, если предположить, что объекты обнаруживаются независимо друг от друга. Сделаем такое допущение и решим задачу.

Решение:

При независимых обнаружениях можно наблюдение за N объектами представить как N независимых опытов. После п циклов каждый из объектов обнаруживается с вероятностью

Вероятность того, что после п циклов будет обнаружено не менее k объектов из N, найдём по теореме о повторении опытов:

Среднее число циклов, после которых будет обнаружено не менее к объектов, определится по формуле (10.3.22):

Пример:

На плоскости хОу случайная точка М с координатами (Х, Y) отклоняется от требуемого положения (начало координат) под влиянием трёх независимых векторных ошибок и Каждый из векторов характеризуется двумя составляющими:

(рис. 10.3.3). Числовые характеристики этих трёх векторов равны:

Найти характеристики суммарной ошибки (вектора, отклоняющего точку М от начала координат).

Решение:

Применяя теоремы сложения математических ожиданий, дисперсий и корреляционных моментов, получим:

где

откуда

и

Пример:

Тело, которое имеет форму прямоугольного параллелепипеда с размерами а, Ь, с, летит в пространстве, беспорядочно вращаясь вокруг центра массы так, что все его ориентации одинаково вероятны. Тело находится в потоке частиц, и среднее число частиц, встречающихся с телом, пропорционально средней площади, которую тело подставляет потоку. Найти математическое ожидание площади проекции тела на плоскость, перпендикулярную направлению его движения.

Решение:

Так как все ориентации тела в пространстве одинаково вероятны, то направление плоскости проекций безразлично. Очевидно, площадь проекции тела равна половине суммы проекций всех граней параллелепипеда (так как каждая точка проекции представляет собой проекцию двух точек на поверхности тела). Применяя теорему сложения математических ожиданий и формулу для средней площади проекции плоской фигуры (см. пример 3 п° 10.1), получим:

где — полная площадь поверхности параллелепипеда.

Заметим, что выведенная формула справедлива не только для параллелепипеда, но и для любого выпуклого тела: средняя площадь проекции такого тела при беспорядочном вращении равна одной четверти полной его поверхности. Рекомендуем читателю в качестве упражнения доказать это положение.

Пример:

На оси абсцисс Ох движется случайным образом точка х по следующему закону. В начальный момент она находится в начале координат и начинает двигаться с вероятностью — вправо и с вероятностью — влево. Пройдя единичное расстояние, точка с вероятностью р продолжает двигаться в том же направлении, а с вероятностью q = 1 — р меняет его на противоположное. Пройдя единичное расстояние, точка снова с вероятностью р продолжает движение в том направлении, в котором двигалась, а с вероятностью 1 — р меняет его на противоположное и т. д.

В результате такого случайного блуждания по оси абсцисс точка х после п шагов займёт случайное положение, которое мы обозначим . Требуется найти характеристики случайной величины : математическое ожидание и дисперсию.

Решение:

Прежде всего, из соображений симметрии задачи ясно, что Чтобы найти представим в виде суммы п слагаемых:

где — расстояние, пройденное точкой і-м шаге, т. е. + 1, если точка двигалась на этом шаге вправо, и —1, если она двигалась влево. По теореме о дисперсии суммы (см. формулу (10.2.10)) имеем:

Ясно, что так как величина принимает значения +1 и —1 с одинаковой вероятностью (из тех же соображений симметрии). Найдём корреляционные моменты

Начнём со случая j = i + 1, когда величины и стоят рядом в сумме (10.3.31). Ясно, что принимает значение +1 с вероятностью р и значение —1 с вероятностью q. Имеем:

Рассмотрим, далее, случай j = i + 2. В этом случае произведение равно +1, если оба перемещения — на i -м и i + 2-м шаге — происходят в одном и том же направлении. Это может произойти двумя способами. Или точка х все три шага — i -й, ( i +1)-й и ( i + 2)-й — двигалась в одном и том же направлении, или же она дважды изменила за эти три шага своё направление. Найдём вероятность того, что

Найдём теперь вероятность того, что Это тоже может произойти двумя способами: или точка изменила своё направление пои переходе от i -го шага к ( i + 1)-му, а при переходе от ( i +1)-го шага к ( i + 2)-му сохранила его, или наоборот. Имеем:

Таким образом, величина имеет два возможных значения +1 и —1, которые она принимает с вероятностями соответственно и 2pq. Её математическое ожидание равно:

Легко доказать по индукции, что для любого расстояния к между шагами в ряду справедливы формулы:

и, следовательно,

Таким образом, корреляционная матрица системы случайных величин будет иметь вид:

Дисперсия случайной величины будет равна:

или же, производя суммирование элементов, стоящих на одном расстоянии от главной диагонали,

Пример:

Найти асимметрию биномиального распределения

Решение:

Известно, что биномиальное распределение (10.3.32) представляет собой распределение числа появлений в п независимых опытах некоторого события, которое в одном опыте имеет вероятность р. Представим случайную величину X — число появлений события в п опытах — как сумму п случайных величин:

где

По теореме сложения третьих центральных моментов

Найдём третий центральный момент случайной величины Она имеет ряд распределения

Третий центральный момент величины равен:

Подставляя в (10.3.33), получим:

Чтобы получить асимметрию, нужно разделить третий центральный момент величины X на куб среднего квадратического отклонения:

Пример:

Имеется я положительных, одинаково распределённых независимых случайных величин:

Найти математическое ожидание случайной величины

Решение:

Ясно, что математическое ожидание величины существует, так как она заключена между нулём и единицей. Кроме того, легко видеть, что закон распределения системы величин каков бы он ни был, симметричен относительно своих переменных, т. е. не меняется при любой их перестановке. Рассмотрим случайные величины:

Очевидно, их закон распределения тоже должен обладать свойством симметрии, т. е. не меняться при замене одного аргумента любым другим и наоборот. Отсюда, в частности, вытекает, что

Вместе с тем нам известно, что в сумме случайные величины образуют единицу, следовательно, по теореме сложения математических ожиданий,

откуда

Что такое числовые характеристики случайных величин

Мы теперь знаем, что каждая случайная величина характеризуется своей функцией распределения. С точки зрения наблюдателя, две случайные величины, имеющие одинаковые функции распределения, неразличимы, несмотря на то, что они могут быть заданы на различных вероятностных пространствах и описывать разные явления. Так, при игре в «орлянку» все равно, какая (симметричная) монета бросается, и, если кто из играющих и пытается сменить монету, то это скорее дань предрассудку, нежели возможность поправить свои дела. Однако в том случае, когда случайные величины имеют различные функции распределения и их необходимо сравнить, возникает определенная трудность. Иногда эта трудность легко преодолима. Например, если в схеме Бернулли нас интересует число успехов, то из двух схем Бернулли естественно выбрать ту, в которой больше вероятность успеха. В общем же случае непонятно, как сравнивать две функции распределения, а поэтому хотелось бы характеризовать каждую случайную величину некоторым (неслучайным) числом (возможно, несколькими числами), которое и позволило бы произвести упорядочение случайных величин в определенном смысле.

Такие числовые характеристики будут рассмотрены нами в этой главе. Отметим, что основную роль на практике играют математическое ожидание, характеризующее «центральное» значение случайной величины, и дисперсия, характеризующая «разброс» вокруг математического ожидания; их роль более подробно будет выяснена в следующей главе. Среди остальных характеристик можно выделить те, которые применяются в специальных вероятностных дисциплинах (например, квантили широко используются в математической статистике), и те, которые носят ярко выраженный теоретический характер (моменты высших порядков).

Математическое ожидание случайной величины

Математическим ожиданием (средним значением) дискретной случайной величины называется сумма произведений значений случайной величины на вероятности с которыми эти значения принимаются:

При этом, если случайная величина принимает счетное число значений, то необходимо, чтобы

в противном случае говорят, что математическое ожидание случайной величины не существует.

Математическое ожидание дискретной случайной величины имеет аналог в теоретической механике. Пусть на прямой расположена система материальных точек с массами и пусть — координата i-й точки. Тогда центр тяжести системы будет иметь координату

совпадающую с математическим ожиданием случайной величины

Пример:

Пусть — число угаданных номеров в «Спортлото 6 из 49» (см. пример 8 в гл. 5). В соответствии с рядом распределения в табл. 7 гл. 5 имеем

Таким образом, среднее число угаданных номеров равно 0,735.

Пример:

Найдем математическое ожидание случайной величины распределенной по биномиальному закону (число успехов в п испытаниях Бернулли с вероятностью успеха р):

Пример:

Пусть имеет распределение Пуассона. Тогда

Таким образом, параметр пуассоновского распределения совпадает с математическим ожиданием.

Пример:

Математическое ожидание геометрически распределенной случайной величины имеет вид

Пример:

Положительная целочисленная случайная величина имеет закон распределения Тогда

и, значит, математическое ожидание случайной величины не существует.

Для определения математического ожидания непрерывной случайной величины имеющей плотность распределения р(х), заметим, допуская некоторую вольность изложения, что случайная величина принимает значение х с вероятностью Заменяя сумму на интеграл, получаем: математическим ожиданием (средним значением) непрерывной случайной величины называется интеграл

В этом случае условием существования математического ожидания является

Так же, как и в дискретном случае, математическое ожидание непрерывной случайной величины можно интерпретировать как центр тяжести стержня, плотность массы которого в точке х равна р(х).

Пример:

Найдем математическое ожидание равномерно распределенной на отрезке [а, b] случайной величины Поскольку в этом случае при то

Как и следовало ожидать. совпадает с центром отрезка [а, b].

Пример:

Математическое ожидание случайной величины распределенной по нормальному закону со средним т и средним квадратичным отклонением определяется формулой

Делая замену получаем

Нетрудно видеть, что первый интеграл равен нулю, а второй равен единице как интеграл от плотности стандартного нормального распределения. Таким образом, откуда и пошло название параметра т — среднее значение (второе название математического ожидания).

Пример:

Пусть — случайная величина, распределенная по закону Вейбулла. Тогда, поскольку р(х) = 0 при х < 0, то

Делая замену получаем

Пример:

Математическое ожидание случайной величины имеющей гамма-распределение, задается выражением

Делая замену получаем

Пример:

Случайная величина имеет плотность распределения Коши Тогда

и математическое ожидание не существует.

В общем случае математическое ожидание случайной величины задается выражением

где интеграл понимается в так называемом смысле Стилтьеса. Поскольку мы рассматриваем только дискретные и непрерывные случайные величины, последнее выражение можно трактовать как обобщенную запись формул для математических ожиданий дискретной и непрерывной случайных величин.

Математическое ожидание функции от случайной величины. Свойства математического ожидания

Прежде чем переходить к описанию свойств математического ожидания случайной величины, позволяющих, как будет видно из примеров, в ряде случаев существенно упростить его вычисление, определим математическое ожидание функции от случайной величины (случайного вектора). Итак, пусть — функция от случайной величины. Для определения можно было бы сначала по формулам параграфа 5 гл. 5 найти распределение случайной величины и затем уже, воспользовавшись определениями предыдущего параграфа, вычислить Однако мы применим другой, более удобный подход. Рассмотрим сначала дискретную случайную величину принимающую значения Тогда случайная величина как мы знаем, принимает значения с теми же вероятностями и ее математическое ожидание определяется формулой

Если случайная величина принимает счетное число значений, то математическое ожидание определяется формулой

но при этом для существования математического ожидания необходимо выполнение условия

Пример:

Определим математическое ожидание выигрыша в «Спортлото 6 из 49» (см. пример 9 в гл. 5). Поскольку является функцией от случайной величины — числа угаданных номеров, то, воспользовавшись формулой для математического ожидания функции от случайной величины и рядом распределения в табл. 7 из гл. 5, имеем

Таким образом, математическое ожидание выигрыша отрицательно и равно примерно 18 коп., а это значит, что играющий в среднем проигрывает больше половины стоимости билета (30 коп.). Естественно, мы получим то же значение если воспользуемся рядом распределения случайной величины представленным в табл. 10 из гл. 5.

Аналогично, для непрерывной случайной величины имеющей плотность распределения р(х), математическое ожидание случайной величины определяется выражением

причем и здесь должно быть выполнено условие

В дальнейшем, чтобы каждый раз не оговаривать условие существования математического ожидания, будем предполагать, что соответствующие сумма или интеграл сходятся абсолютно.

Математическое ожидание функции от многомерной случайной величины определяется точно так же. Так, математическое ожидание функции от дискретной и непрерывной двумерных случайных величин задается выражениями

Теперь мы в состоянии вывести свойства математического ожидания.

Если случайная величина принимает всего одно значение с с вероятностью, равной единице (т. е. по сути дела является неслучайной величиной), то

Далее, найдем математическое ожидание случайной величины Рассматривая, например, непрерывный случай, имеем

т. е.

Аналогично свойство 2 доказывается для дискретной случайной величины

Пусть теперь Тогда (теперь уже на примере дискретной случайной величины)

и, значит,

К свойству 3 можно сделать следующее замечание: математическое ожидание суммы случайных величин может существовать даже тогда. когда математические ожидания обоих слагаемых не существуют. Так, несмотря на то, что может и не существовать. Очевидно также, что свойство 3 обобщается на случай произвольного числа п слагаемых.

Наконец, если независимы, то для математического ожидания их произведения имеет место формула (снова обращаясь к непрерывному случаю)

Поэтому

для независимых случайных величин

И это свойство допускает обобщение на произведение любого числа независимых (в совокупности) сомножителей.

Пример:

Математическое ожидание случайной величины распределенной по стандартному нормальному закону, имеет вид

В примере 13 из гл.5 показано, что случайная величина распределена по нормальному закону с параметрами Таким образом, по свойству 2 математического ожидания и соответственно параметр т нормального закона является математическим ожиданием. Этот же результат был нами получен прямыми вычислениями в примере 7.

Пример:

Представим число успехов в схеме Бернулли из п испытаний в виде — число успехов в i-м испытании. Нетрудно видеть, что

Значит, по свойству 3, что совпадает с результатами примера 2, но получено с минимальными вычислениями.

Дисперсия. Моменты высших порядков

Математическое ожидание не всегда является достаточно удовлетворительной характеристикой случайной величины. Например, играть в орлянку можно по копейке, по рублю и даже по 1000 руб. При любой (одинаковой) ставке игроков и симметричной монете математическое ожидание выигрыша каждого игрока равно нулю, однако далеко не каждый не только рискнет, но и просто сможет вверить «глупой» монете 1000 руб. Поэтому наряду со средним значением нужно иметь и число, характеризующее «разброс» случайной величины вокруг своего среднего. Такой характеристикой обычно служит дисперсия. И дело тут не только в том, что дисперсия является единственной мерой степени разброса (существует бесконечно много таких характеристик, в частности, центральные моменты любого четного порядка, которые также будут определены в этом параграфе; кроме того, сама дисперсия не всегда является хорошим показателем степени разброса). Использование дисперсии и других характеристик второго порядка (ковариаций) позволяет применить в теории вероятностей сильно развитый аппарат гильбертовых пространств. Особо важную роль этот аппарат играет в теории так называемых стационарных в широком смысле случайных процессов, которые в свою очередь являются основной математической моделью в ряде практических приложений.

Вторым (начальным) моментом случайной величины называется математическое ожидание квадрата

для дискретной величины и

— для непрерывной.

Дисперсия дискретной и непрерывной случайных величин определяется соответственно формулами

и

Дисперсия представляет собой второй момент случайной величины из которой вычтено ее математическое ожидание т. е. центрированной (имеющей нулевое математическое ожидание) случайной величины Поэтому иногда дисперсию называют вторым центральным моментом.

Дисперсия также имеет аналог в теоретической механике — центральный (относительно центра тяжести) момент инерции, характеризующий разброс массы относительно центра тяжести.

Выведем некоторые свойства дисперсии.

Если случайная величина с вероятностью, равной единице, принимает всего одно значение с, то из свойства 1 математического ожидания получаем

Можно показать, что справедливо и обратное: дисперсия случайной величины равна нулю тогда и только тогда, когда с вероятностью, равной единице, принимает всего одно значение.

Определим дисперсию случайной величины Используя свойство 2 математического ожидания, имеем

Поэтому

Далее из свойств 2 и 3 математического ожидания получаем

т.е.

Свойство 3 дает весьма удобную формулу для расчета дисперсии дискретной случайной величины с помощью ЭВМ или микрокалькулятора. Действительно, если бы мы производили вычисления дисперсии по первоначальной формуле, нам пришлось бы два раза суммировать по г: первый раз при подсчете математического ожидания и второй — дисперсии. Свойство 3 позволяет обходиться одним циклом: мы можем одновременно суммировать с весами и сами значения случайной величины, и их квадраты.

Наконец, пусть — независимые случайные величины. Тогда, используя независимость случайных величин а также свойства 2-4 математического ожидания, получаем

Значит,

для независимых случайных величин

Очевидно, что свойство 4 справедливо для суммы не только двух,но и любого числа п попарно независимых слагаемых.

Заметим, что дисперсия имеет размерность квадрата размерности случайной величины Для практических же целей удобно иметь меру разброса, размерность которой совпадает с размерностью В качестве такой меры естественно использовать которую называют средним квадратичным отклонением случайной величины (иногда также стандартом или стандартным отклонением).

Пример:

Найдем дисперсию случайной величины распределенной по закону Пуассона. Для этого воспользуемся свойством 3 дисперсии. Математическое ожидание было найдено в примере 3. Определим второй момент:

Таким образом,

и, значит, дисперсия так же, как и математическое ожидание, совпадает с параметром

Пример:

Пусть — число успехов в п испытаниях Бернулли. Дисперсию можно подсчитать так же, как в примере 2 было подсчитано математическое ожидание: воспользовавшись непосредственным определением дисперсии. Однако мы поступим другим образом. Для этого снова (см. пример 13) представим в виде суммы Дисперсия каждого слагаемого равна

Учитывая, что независимы, и воспользовавшись свойством 4 дисперсии, получаем

Пример:

Дисперсия равномерно распределенной на отрезке [а,b] случайной величины определяется формулой

Пример:

Дисперсия случайной величины распределенной по нормальному закону с параметрами имеет вид

Делая замену получаем

Полагая и интегрируя по частям, находим

Таким образом, дисперсия нормально распределенной случайной величины совпадает с квадратом второго параметра. Этого и следовало ожидать, поскольку носит название среднего квадратичного отклонения.

Пример:

Для определения дисперсии случайной величины имеющей гамма-распределение, воспользуемся свойством 3 дисперсии. Тогда

или после замены

Вспоминая (см. пример 9), что окончательно получаем

Пример:

Пусть — случайная величина, имеющая дисперсию Введем новую случайную величину Найдем число а, доставляющее минимум Воспользовавшись свойствами 2 и 3 дисперсии, имеем

Первое слагаемое от а не зависит, а второе принимает минимальное значение, равное 0, при Таким образом, в качестве а нужно взять само минимальное значение совпадает с дисперсией

В некоторых теоретических исследованиях встречаются моменты высших порядков.

Моментом порядка k (k-м моментом) называется математическое ожидание k-й степени случайной величины

если — дискретная случайная величина, и

если непрерывна. Иногда k-й момент называют также начальным моментом k-го порядка.

Центральным моментом порядка k (k-м центральным моментом) называется математическое ожидание k-й степени случайной величины

и

соответственно для дискретной и непрерывной случайных величин

Момент первого порядка совпадает с математическим ожиданием, центральный момент первого порядка равен нулю, центральный момент второго порядка является дисперсией. Отметим также, что в теоретических изысканиях рассматриваются моменты не обязательно целого порядка k.

Ковариация и корреляция случайных величин

Пусть — двумерный случайный вектор. Будем называть ковариацией случайных величин математическое ожидание произведения центрированных случайных величин

Как обычно, выпишем последнее выражение для дискретного и непрерывного случайных векторов

Ковариация обладает следующими свойствами:

Если независимы (и имеют математические ожидания), то

и, значит,

для независимых случайных величин

Как видно из свойства 2, ковариация независимых случайных величин равна нулю. Однако обратное, вообще говоря, неверно. Существуют зависимые случайные величины, ковариация которых также равна нулю.

Далее, пусть Тогда

Поэтому

Наконец, рассмотрим дисперсию случайной величины где х — произвольное число. По свойствам дисперсии

Как функция от х дисперсия представляет собой квадратный трехчлен. Но дисперсия любой случайной величины не может быть меньше нуля, а это означает, что дискриминант квадратного трехчлена неположителен, т.е.

Более того, если дискриминант равен нулю, то уравнение

имеет решение Тогда и, значит, В этом случае нетрудно видеть из свойства 3, что если коэффициент пропорциональности положителен, то а если отрицателен, то Таким образом,

тогда и только тогда, когда случайные величины линейно зависимы.

Наконец, раскрывая скобки в формуле, определяющей ковариацию, и используя свойства математического ожидания, получаем

Последнее свойство часто бывает полезным при численном подсчете ковариации.

Заметим теперь, что введение ковариации позволяет выписать выражение для дисперсии произвольных (а не только независимых) случайных величин и к четырем уже известным свойствам дисперсии (см. параграф 3) можно добавить еще одно:

справедливое для произвольных (а не только независимых) случайных величин

В общем случае n-мерного случайного вектора матрицей ковариаций (ковариационной матрицей) называется матрица состоящая из ковариаций случайных величин

Пример:

Рассмотрим двумерную случайную величину распределенную по нормальному закону (см. пример 16 в гл. 6). Тогда

Делая замену получаем

Внутренний интеграл равен pu. Поэтому

Поскольку то матрица A представляет собой ковариационную матрицу (в данном случае название «ковариационная матрица» мы ввели раньше, нежели выяснили смысл этого понятия).

Аналогично, в общем случае n-мерного нормального случайного вектора элементы ковариационной матрицы А являются ковариациями случайных величин

Пример:

Пусть — число очков, выпавших на одной игральной кости, а на другой. Рассмотрим случайные величины (сумма очков на обеих костях) и (разность очков). Тогда

Случайные величины одинаково распределены (и даже независимы), и, значит, Однако несмотря на это зависимы, поскольку, например, из равенства (такое может произойти только при выпадении по одному очку на каждой кости) обязательно следует равенство

Итак, ковариацию можно считать мерой независимости случайных величин (хотя и не очень хорошей, так как можно ввести другие, заведомо лучшие показатели независимости; оправданием повсеместного применения ковариации служит то, что она также относится к числу характеристик второго порядка). Существенным недостатком ковариации является то, что ее размерность совпадает с произведением размерностей случайных величин. Естественно, нужно иметь безразмерную характеристику независимости. Ее очень просто получить, для этого достаточно поделить ковариацию на произведение средних квадратичных отклонений.

Коэффициентом корреляции случайных величин называется число определяемое выражением

Коэффициент корреляции является уже безразмерной величиной.

Выпишем его свойства, аналогичные свойствам ковариации:

Если независимы (и существуют то

Далее, пусть Тогда

При этом знак плюс надо брать тогда, когда имеют одинаковые знаки, и минус — в противном случае.

Наконец,

тогда и только тогда, когда случайные величины линейно зависимы.

Можно сказать, что коэффициент корреляции p отражает степень линейной зависимости случайных величин С возрастанием случайная величина имеет тенденцию к увеличению при и к уменьшению при Поэтому при говорят о положительной корреляционной зависимости при — об отрицательной. Например, рост и вес человека связаны положительной корреляционной зависимостью, а температура и время сохранности продукта — отрицательной. Если р = 0, то случайные величины называются некоррелированными.

Пример:

Найдем коэффициент корреляции случайных величин — числа очков, выпавших на верхней грани игральной кости, и — на нижней (пример 7 из гл.6). Для этого сначала вычислим Воспользовавшись табл. 3 из гл. 6, имеем:

Таким образом, Впрочем, это мы могли бы установить и без всяких вычислений по свойству 5 коэффициента корреляции, если бы вспомнили, что сумма чисел очков на противоположных гранях равна семи и, значит, связаны линейной зависимостью с отрицательным коэффициентом пропорциональности).

Пример:

Задача о наилучшем линейном прогнозе. Пусть двумерная случайная величина. Рассмотрим новую случайную величину

Попытаемся подобрать числа х и а, доставляющие минимальное значение. Из свойств дисперсии и математического ожидания имеем

Дифференцируя по x и приравнивая производную нулю, получаем, что минимальное значение достигается при и равно

Полагая теперь получаем минимальное значение второго слагаемого, равное нулю.

Окончательно имеем: минимальное значение равное

достигается при

Таким образом, коэффициент корреляции тесно связан с задачей наилучшего линейного приближения одной случайной величины другой, о чем говорилось выше.

Замечание. Рассмотренная задача имеет очень простую трактовку в терминах наилучшего линейного прогноза. Действительно, пусть нам известно значение случайной величины и мы хотим построить по этому значению наилучший в смысле среднего квадратичного отклонения линейный прогноз случайной величины Тогда этот прогноз определяется формулой определены выше и выражаются только через моменты случайных величин первого и второго порядка. В частности, при прогноз будет точным — состоит только в указании среднего значения Это еще раз подтверждает тезис о том, что коэффициент корреляции является мерой линейной зависимости случайных величин

Условное математическое ожидание. Регрессия

Пусть — двумерная случайная величина. В соответствии с результатами параграфа 5 гл. 6 (так как мы рекомендовали при первом прочтении пропустить этот параграф, то необходимо вернуться к нему и изучить изложенный там материал) можно определить условную функцию распределения случайной величины при условии, что случайная величина приняла определенное значение у. Поскольку условная функция распределения обладает всеми свойствами обычной (безусловной) функции распределения, то по ней можно определить математическое ожидание, которое естественно назвать условным математическим ожиданием. Для простоты изложения ограничимся здесь только случаями дискретной и непрерывной двумерных случайных величин

Начнем со случая дискретной случайной величины Пусть случайная величина может принимать только значения а случайная величина — только значения При каждом j рассмотрим условные вероятности случайной величине принять значение при условии (см. параграф 5 гл. 6). Назовем значением условного математического ожидания случайной величины при условии число

По аналогии с (безусловным) математическим ожиданием значение условного математического ожидания при условии описывает «среднее» значение случайной величины но только при условии, что случайная величина приняла значение

Из приведенного определения видно, что значение условного математического ожидания зависит только от значения случайной величины Поэтому само условное математическое ожидание случайной величины относительно случайной величины естественно определить как функцию от случайной величины, т. е. тоже как случайную величину. Область определения функции совпадает со значениями случайной величины а каждому значению аргумента у ставится в соответствие число

Пример 24. Пусть — числа успехов в первом и втором испытаниях Бернулли с вероятностью успеха р. Найдем Воспользовавшись табл. 5 из гл. 6, имеем

Пример:

Найдем условное математическое ожидание случайной величины — числа очков, выпавших на верхней грани игральной кости, относительно случайной величины — числа очков, выпавших на нижней грани (см. пример 13 из гл.6). В соответствии с приведенной там же табл.6, получаем:

Условное математическое ожидание обладает следующими свойствами:

Они аналогичны свойствам безусловного математического ожидания (разумеется, арифметические действия понимаются теперь уже не как действия над числами, а как действия над функциями, определенными для всех значений случайной величины Свойство

также имеет место, но при этом требование независимости случайных величин нужно заменить требованием, которое называется условной независимостью случайных величин при условии случайной величины

Кроме того, справедливы дополнительные свойства:

— (произвольные) функции от случайных величин

если независимы.

Докажем последние три свойства.

Действительно, из определений математического ожидания и условного математического ожидания имеем

что доказывает свойство 5.

Далее, случайная величина принимает значение когда принимает значение — значение и, следовательно, для каждого j

откуда вытекает свойство 6.

Наконец, используя условие независимости случайных величин выраженное в терминах условного распределения (см. параграф 6 гл. 6), находим

откуда следует справедливость свойства 7.

Пример:

Еще раз вычислим (см. пример 24), но теперь уже воспользуемся свойством 7 условного математического ожидания. Тогда, поскольку независимы, то

Пример:

Снова обратимся к примеру 25. Так как сумма очков на противоположных гранях игральной кости равна 7, то Представим в виде Воспользовавшись теперь свойством 6, в котором положено получаем

т. е. мы пришли к тому же результату, что и ранее, но практически без вычислений.

В случае непрерывной двумерной случайной величины значение условного математического ожидания случайной величины при условии определяется формулой

где — условная плотность распределения случайной величины при условии И в этом случае условное математическое ожидание случайной величины относительно случайной величины определяется как функция от случайной величины принимающая значение при Читателю советуем самостоятельно проверить, что свойства условного математического ожидания, выведенные для дискретного случая, остаются справедливыми и в непрерывном.

Пример:

Пусть — двумерная нормальная случайная величина (пример 16 из гл.6). Найдем условное математическое ожидание Тогда, как было показано в том же примере, условное распределение при условии является нормальным со средним значением и, согласно определению,

Резюмируя вышеизложенное, можно сказать, что зависимость поведения «в среднем» случайной величины от значения случайной величины характеризуется функцией Функция g(у) называется также функцией регрессии или просто регрессией случайной величины на случайную величину а ее график — линией регрессии (случайной величины) на (случайную величину) Линия регрессии дает наглядное изображение зависимости «в среднем» случайной величины от значения случайной величины

Пример:

Регрессия случайной величины на случайную величину для двумерной нормальной случайной величины (см. пример 28) является линейной функцией Очевидно, линия регрессии представляет собой прямую.

Другие числовые характеристики случайных величин

В этом параграфе мы дадим краткое описание некоторых других применяемых на практике числовых характеристик случайных величин. Отметим, что эти характеристики, как и все остальные, рассматриваемые в настоящей главе, по сути дела являются характеристиками распределений случайных величин.

Асимметрией случайной величины называется отношение третьего центрального момента к кубу среднего квадратичного отклонения Нетрудно видеть, что (при условии существования третьего момента) для симметрично распределенной относительно математического ожидания для любого х) случайной величины асимметрия равна нулю.

Эксцессом случайной величины называется отношение четвертого центрального момента к квадрату дисперсии за вычетом числа 3:

Ясно, что асимметрия и эксцесс являются безразмерными величинами.

Пример:

Вычислим асимметрию и эксцесс нормального закона. По определению,

Делая замену имеем

откуда в силу нечетности подынтегральной функции следует, что и асимметрия

Для того чтобы найти применим формулу интегрирования по частям. Полагая имеем

Воспользовавшись теперь результатом примера 17, окончательно получаем, что и, следовательно, эксцесс

Таким образом, для нормального закона асимметрия и эксцесс равны нулю. В математической статистике асимметрия и эксцесс обычно служат для первой проверки распределения случайной величины на нормальность.

а-квантилью случайной величины называется число, удовлетворяющее неравенствам Квантили находят самое широкое применение в математической статистике при построении доверительных интервалов и проверке статистических гипотез. 1/2-квантиль называется также медианой М случайной величины

Пример:

Найдем a-квантиль экспоненциального распределения. В этом случае представляет собой решение уравнения т.е. уравнения (рис. 1). Поэтому Ясно, что медиана экспоненциального распределения Если трактовать экспоненциальное распределение как распределение времени распада атома (см. параграф 4 гл. 5), то медиана представляет собой период полураспада.

Пример:

Пусть случайная величина представляет собой число успехов в одном испытании Бернулли с вероятностью успеха р. Тогда (рис. 2) а q-квантилью является любое число от 0 до 1.

Этот пример показывает, что, во-первых, квантили могут совпадать для разных а, во-вторых, для некоторых а соответствующие квантили могут определяться неоднозначно.

Модой непрерывной случайной величины называется точка (локального) максимума плотности распределения р(х). Различают унимодальные (имеющие одну моду), бимодальные (имеющие две моды) и мультимодальные (имеющие несколько мод) распределения.

Для определения моды дискретной случайной величины предположим сначала, что ее значения расположены в порядке возрастания. Тогда модой дискретной случайной величины называется такое значение что И в дискретном случае распределения могут быть унимодальными, бимодальными и мульти-модальными.

Наивероятнейшим значением называется мода, доставляющая глобальный максимум вероятности (дискретной случайной величины) или плотности распределения (непрерывной случайной величины). Если распределение унимодально, то мода также будет наивероятнейшим значением.

Мода и наивероятнейшее значение введены скорее для наглядности, чем для каких-то практических целей.

Пример:

Плотность нормального распределения имеет единственный максимум в точке т. Поэтому мода нормального закона совпадает с математическим ожиданием. Она же является наивероятнейшим значением и медианой.

Пример:

Найдем моду биномиального распределения. Для этого заметим, что

Отсюда нетрудно вывести, что отношение меньше 1 при и больше 1 при Таким образом, если не является целым, то максимальное i, для которого является модой и наивероятнейшим значением. Если же — целое, то биномиальный закон имеет две моды и два наивероятнейших значения:

Энтропия дискретной случайной величины определяется формулой

Отметим, что энтропия не зависит от значений случайной величины а зависит только от вероятностей с которыми эти значения принимаются. Энтропия является мерой априорной неопределенности случайной величины. Максимальное значение энтропия дискретной случайной величины достигает тогда, когда все п возможных значений случайная величина принимает с одной и той же вероятностью минимальное — когда случайная величина принимает единственное значение с вероятностью, равной единице.

Энтропия двумерной дискретной случайной величины определяется формулой

Поскольку для независимых случайных величин то, как нетрудно видеть, энтропия случайной величины с независимыми компонентами представляет собой сумму энтропий: в случае зависимости энтропия всегда меньше суммы

Энтропия играет важную роль в теории информации, она в некотором смысле представляет собой минимальный объем памяти, необходимый для записи информации, содержащейся в случайной величине.

Поскольку информация записывается обычно в двоичной системе, то основанием логарифма берется число 2.

Энтропия непрерывной случайной величины и энтропия двумерной непрерывной случайной величины задаются выражениями

И в непрерывном случае энтропия двумерной случайной величины совпадает с суммой энтропий компонент тогда и только тогда, когда независимы; иначе Однако в отличие, например, от математического ожидания энтропию непрерывной случайной величины нельзя получить предельным переходом от дискретного случая. Отметим также, что при заданной дисперсии максимальную энтропию имеет нормально распределенная случайная величина.

Решение заданий и задач по предметам:

• Теория вероятностей
• Математическая статистика

Дополнительные лекции по теории вероятностей:

1. Случайные события и их вероятности
2. Случайные величины
3. Функции случайных величин
4. Законы больших чисел
5. Статистические оценки
6. Статистическая проверка гипотез
7. Статистическое исследование зависимостей
8. Теории игр
9. Вероятность события
10. Теорема умножения вероятностей
11. Формула полной вероятности
12. Теорема о повторении опытов
13. Нормальный закон распределения
14. Определение законов распределения случайных величин на основе опытных данных
15. Системы случайных величин
16. Нормальный закон распределения для системы случайных величин
17. Вероятностное пространство
18. Классическое определение вероятности
19. Геометрическая вероятность
20. Условная вероятность
21. Схема Бернулли
22. Многомерные случайные величины
23. Предельные теоремы теории вероятностей
24. Оценки неизвестных параметров
25. Генеральная совокупность