Статистическая проверка гипотез с примерами решения и образцами выполнения

Мы познакомимся с элементами статистической проверки гипотез, т. е. с процедурой построения некоторых правил, позволяющих по результатам эксперимента высказывать суждение о природе явлений, обусловливающих изучаемый эксперимент.

Статистическая проверка гипотез

Пусть высказано некоторое предположение (гипотеза) Н о природе явления, которое мы наблюдаем в эксперименте. Чтобы проверить справедливость Н, следует либо изучить всю совокупность следствий, которые должны иметь место, если гипотеза Н верна, либо указать некоторое событие S, невозможное при верной гипотезе Н. В первом случае (если все эти следствия наблюдаются) гипотезу Н можно считать верной, во втором (если событие наблюдается в эксперименте) гипотеза Н неверна. Это самая простая ситуация и рассуждения здесь проводятся по следующей схеме: гипотеза Н эквивалентна полному набору следствий, поэтому

или: если Н верна, то событие S невозможно; поэтому

Проверка гипотез подобного рода не представляет для исследователя никаких затруднений, но на практике такая ситуация встречается редко.

Первая сложность, с которой приходится сталкиваться, состоит в том, что в большинстве действительно интересных для исследователя случаев проверить все следствия из гипотезы Н не представляется возможным и приходится ограничиваться проверкой только части следствий. Но заключение о справедливости гипотезы, сделанное по неполному набору следствий из нее по схеме (1), уже не является достоверным. В то же время заключение о несправедливости гипотезы Н, сделанное по схеме (2), все еще достоверно. Поэтому, находясь в указанной выше ситуации, можно только отвергнуть гипотезу по схеме (2), наблюдая событие S, невозможное в случае ее справедливости, но нельзя гипотезу подтвердить. Можно лишь высказать суждение о правдоподобии гипотезы. Причем степень нашей уверенности в справедливости высказанного суждения будет тем выше, чем больший набор следствий из гипотезы Н удалось проверить.

Классическим примером подобных гипотез являются естественно-научные гипотезы, которые всегда подвергаются указанной выше проверке и либо становятся теориями (если нет противоречащих рассматриваемой гипотезе явлений), либо отвергаются (если таковые есть).

Хотелось бы подчеркнуть вот какое обстоятельство: до тех пор, пока не обнаружено явление, противоречащее проверяемой гипотезе, ее отвергнуть нельзя. Поэтому если мы располагаем двумя гипотезами, одинаково подтверждающимися в эксперименте, то у нас нет никаких оснований для предпочтения одной из гипотез другой, и в то же время мы не в состоянии (поскольку располагаем неполным набором следствий) утверждать, что обе гипотезы справедливы!

Дальнейшее усложнение связано с тем, что в основе изучаемых нами явлений могут лежать случайные воздействия, и мало того, что мы располагаем неполным набором следствий и не можем достоверно подтвердить гипотезу, мы теперь не можем ее и отвергнуть, ибо довольно трудно указать событие S, невозможное в случае справедливости гипотезы Н. Можно лишь указать событие S такое, которое происходит редко, если гипотеза Н верна. Схема (2) в этом случае уже неприменима, ибо из того, что гипотеза Н верна, мы можем сделать заключение лишь о редкости события S, но не о его возможности. Поэтому наблюдение события S в эксперименте гипотезу Н не опровергает.

Рассмотрим пример. Пусть производится контроль качества партии продукции, причем характер продукции таков, что сплошной контроль невозможен или нерационален Для решения вопроса о качестве всей партии, содержащей N изделий, отберем n < N изделий и тщательно исследуем их качество. Пусть в выборке оказалось дефектных изделий. Какое заключение можно сделать по этой выборке о качестве всей исследуемой партии? Видимо, единственное, что можно сказать наверняка, так это то, что исследуемая партия содержит не менее, чем , и не более, чем , дефектных изделий. Результаты произведенного исследования выборки, однако, позволяют надеяться, что доля дефектных изделий в партии близка к . Утверждать же это наверняка нельзя, ибо совершенно ясно, что и любое другое допустимое (не меньшее и не большее ) количество дефектных изделий в партии может привести к полученной нами выборке. Пусть гипотеза состоит в том, что исследуемая партия содержит долю дефектных изделий. Для проверки этой гипотезы рассмотрим еще одну выборку из совокупности в N изделий. Пусть доля дефектных изделий в этой выборке оказалась равной . Если разница между не очень велика, то отсюда еще не следует, что проверяемая гипотеза верна, хотя можно ожидать, что в большинстве случаев так оно и будет. Точно также, значительное различие не обусловливает неверности гипотезы , но приводит нас к мысли, что гипотеза все же малоправдоподобна. Это связано с тем, что при верной гипотезе мы должны чаще получать выборки, доля дефектных изделий в которых близка к qo, нежели выборки, доля дефектных изделий в которых значительно отличается от .

Возвращаясь к обсуждению общей ситуации, несколько видоизменим правила (1) и (2) принятия решений, предварительно формализовав рассматриваемые понятия.

Пусть в эксперименте наблюдается случайная величина (или несколько случайных величин ).

Любой непротиворечивый набор суждений о законе распределения случайной величины (или совокупности ) будем называть гипотезой. Гипотезу будем называть простой, если она однозначно указывает закон распределения случайной величины (или совокупности )- В противном случае гипотеза называется сложной.

Пример:

Пусть случайная величина — количество дефектных изделий в партии. Гипотеза состоит в том, что доля дефектных изделий в партии равна . Это простая гипотеза. Примером сложной гипотезы в данной ситуации может служить гипотеза о том, что доля брака в партии не превышает .

Пример:

По выборке получена оценка неизвестного математического ожидания случайной величины . Гипотеза о равенстве некоторому числу а является простой.

Пример:

Пусть в эксперименте рассматривается пара независимых случайных величин. Гипотеза о равенстве их математических ожиданий является сложной.

Пример:

Пусть закон распределения случайной величины известен, но неизвестны значения параметров, его определяющих, . Тогда гипотеза о том, что параметры принимают известные значения

является простой. Гипотеза же, указывающая только возможную область значений параметров

будет сложной.

Критерием проверки гипотезы будем называть любое правило, позволяющее по выборке делать заключение о справедливости или несправедливости проверяемой гипотезы.

Как уже было отмечено выше, мы не можем построить логически безупречного критерия в случае гипотезы, связанной с законом распределения случайной величины. Поступать в этом случае будем следующим образом: пусть М — множество событий наблюдаемого эксперимента. Выделим в М множество S событий, происходящих редко в случае справедливости проверяемой гипотезы Н. Пусть — результат эксперимента. Тогда

Множество S называется критическим множеством критерия. Здесь возможны четыре случая.

I. Гипотеза Н верна и признана согласно критерию правдоподобной.
II. Гипотеза Н неверна и признана согласно критерию неправдоподобной.
III. Гипотеза Н верна, но согласно критерию признана неправдоподобной.
IV. Гипотеза Н неверна, но согласно критерию признана правдоподобной.

Случаи III и IV описывают ошибки, возможные при проверке гипотезы статистическими критериями. Они носят название соответственно ошибок 1 и 2-го рода.

Хотелось бы, чтобы применяемые нами критерии как можно чаще приводили к случаям I или II и как можно реже к ошибкам (случаи III и IV). Поэтому критическое множество S обычно выбирают так, чтобы при правильной гипотезе Н вероятность получения в эксперименте исхода была как можно меньше. Эта вероятность (вероятность ошибки 1-го рода) носит название уровня значимости критерия. Как следует из вышеизложенного, мы не можем указать множество S, соответствующее нулевому уровню значимости. Поэтому будем довольствоваться критическими множествами, соответствующими хоть и не нулевому, но довольно близкому к нулю уровню значимости. Обычно в качестве уровня значимости берут значения 0,05; 0,01; 0,001, хотя в зависимости от конкретной ситуации могут употребляться и другие близкие к нулю вероятности.

Для того чтобы свести к минимуму ошибки 2-го рода, следует, наряду с исследуемой гипотезой Н, рассмотреть конкурирующие с ней гипотезы. Действительно, пусть верна какая-либо из альтернативных простых гипотез . Тогда неверная гипотеза Н будет признана верной в том случае, когда множество событий, имеющих место в случае справедливости гипотезы , пересекается с множеством событий, частых в случае справедливости проверяемой гипотезы Н.

Вероятность принять гипотезу Н в случае, когда верна гипотеза , называется оперативной характеристикой критерия относительно гипотезы .

Вероятность отвергнуть гипотезу Н в случае, когда верна гипотеза , называется мощностью критерия относительно гипотезы .

Таким образом, выбор критической области S диктуется минимизацией вероятностей ошибок первого и второго рода. Если удается построить критическую область так, что мощность критерия принимает наибольшее значение для данной простой альтернативной гипотезы , то соответствующий критерий называется наиболее мощным при данном уровне значимости.

Равномерно наиболее мощным критерием называется критерий, наиболее мощный относительно всех допустимых альтернативных гипотез при данном уровне значимости.

Рассмотрим пример, иллюстрирующий введенные выше понятия.

Пусть — случайная величина, описывающая число появлений герба в n последовательных независимых испытаниях, вероятность появления герба в каждом из которых неизменна. Гипотеза, которую мы хотим проверить, состоит в том, что вероятность появления герба в отдельном испытании равна 0,5. Альтернативные гипотезы — вероятность выпадения герба в отдельном испытании равна . Легко видеть, что как проверяемая, так и альтернативные гипотезы являются простыми. Для проверки гипотезы проведено n экспериментов и отмечено, что герб появился раз. Множество М исходов эксперимента состоит из всех возможных наборов , описывающих число появления герба Критическое множество S, определяющее критерий, будет подмножеством множества исходов М. Зададим уровень значимости и определим S так, что если гипотеза верна, то

или

Суммирование ведется здесь по всем k таким, что значение принадлежит критическому множеству S. Легко видеть, что при заданном уровне значимости можно указать довольно много различных множеств S, удовлетворяющих соотношению (3). Каждое из этих множеств будет определять критерий для проверки нашей гипотезы. Возьмем, к примеру, в качестве S множество , где однозначно определяется из соотношения

как наибольшее из возможных . Критерий , построенный на основании , будет признавать гипотезу неверной, если , и верной в противном случае. Ясно, что это должен быть не очень хороший критерий. Критерий построим на основании множества . Этот критерий будет признавать гипотезу верной, если , и неверной в противном случае. Он уже кажется лучшим, чем .

Действительно, рассмотрим мощности критериев относительно какой-либо из альтернативных гипотез Пусть верна гипотеза . Мощность критерия относительно гипотезы

Для критерия

В этом равенстве определяется из соотношения

как наибольшее из возможных .

Зависимость мощности (5) и (6) критериев соответственно от альтернативной гипотезы схематично представлена на рис. 1. Отсюда легко усмотреть, что критерий будет неплох, если альтернативная гипотеза такова, что р < 0,5. Если же р > 0,5, то согласно критерию мы будем почти всегда проверяемую гипотезу считать верной. Впрочем, это было очевидно с самого начала: выбранная нами критическая область совершенно нечувствительна к отклонениям числа появившихся в эксперименте гербов В сторону чисел, больших 0,5n. Критерий же строился на основании отклонений как в ту, так и в другую сторону от наиболее вероятного при верной гипотезе числа 0,5n и потому оказался чувствительным ко всем альтернативным гипотезам. Однако и он не лишен недостатков. Его чувствительность падает с приближением р к 0,5 (см. рис. 1). Но (ясно из постановки задачи) это вполне естественно, и ничего лучшего в данной ситуации предложить нельзя.

Легко проверить, что критерий будет более мощным, чем критерий , для любой альтернативной гипотезы такой, что р > 0,5.

В дальнейшем мы не будем останавливаться на исследовании мощности того или иного критерия, ибо сама постановка задачи обычно определяет, какая из возможных при данном уровне значимости критических областей S будет наилучшей.

В заключение отметим важное обстоятельство: проверяемая нами при помощи статистических критериев гипотеза не подлежит вероятностной оценке. Поскольку она описывает некоторые объективные стороны исследуемого процесса, то может быть либо верной, либо неверной, и высказывание типа: «Гипотеза верна с вероятностью такой-то» бессмысленно. В связи с этим полезно иметь в виду, что уровень значимости критерия, мощность критерия, оперативная характеристика критерия не являются условными вероятностями описанных выше событий «при условии, что верна гипотеза ». Эти характеристики критерия описывают вероятность встретить в эксперименте ту или иную выборку в предположении, что истинная природа явлений, наблюдаемых нами, описывается гипотезой или какой-нибудь альтернативной гипотезой Н. Мы не можем говорить об условной вероятности , так как не в состоянии осмысленно приписать какую-либо вероятность гипотезе .

Параметрические гипотезы.
Лемма Неймана—Пирсона

Пусть случайная величина имеет распределение , известное с точностью до вектора параметров . Назовем гипотезу параметрической, если она состоит в предположении, что вектор р принимает значения из некоторого множества W,

При построении критериев проверки параметрических гипотез важную роль играет принцип отношения правдоподобия, позволяющий в подавляющем большинстве важных для приложений ситуаций строить критические области критериев.

Для упрощения дальнейшего изложения будем считать непрерывной с плотностью .

Напомним, что процедура проверки подобной гипотезы против альтернативы Н: требует указания критического множества S такого, что если — гипотеза принимается, в противном же случае — отвергается.

Положим

где — функция правдоподобия выборки , и рассмотрим отношение

которое называется отношением правдоподобия. Ясно, что находится в пределах от 0 до 1. Далее заметим, что при фиксированной_выборке предпочтительными являются те значения параметров , для которых больше; поэтому чем ближе величина к единице, тем «более правдоподобно», что гипотеза верна, если же значения — маленькие, то скорее всего гипотеза неверна, так как более «весомой» представляется одна из альтернативных гипотез, значительно увеличивающая знаменатель отношения правдоподобия в сравнении с числителем.

Приведенные выше интуитивные соображения удается аккуратно формализовать в виде следующего утверждения.

Теорема:

Принцип отношения правдоподобия Неймана—Пирсона. Для любого 0 < а < 1 критическое множество S критерия проверки параметрической гипотезы с уровнем значимости а дается соотношением

где — постоянная, определяемая условием

Можно доказать, что так построенный критерий обладает определенными оптимальными свойствами, в частности, если гипотеза — простая и строится критерий проверки против гипотезы Н — также простой, то критерий отношения правдоподобия оказывается равномерно наиболее мощным критерием.

В качестве примера использования сформулированного выше принципа рассмотрим процедуры построения критического множества S для проверки различных, часто встречающихся гипотез.

Проверка гипотезы о равенстве математического ожидания нормальной случайной величины числу

Постановка задачи. В эксперименте наблюдается случайная величина , распределенная по нормальному закону с неизвестными параметрами Получена выборка из распределения случайной величины . Требуется выяснить, справедлива ли гипотеза о равенстве

Вектор параметров в этой задаче двумерен

нулевая гипотеза состоит в том, что — полупрямая на полуплоскости . Функция правдоподобия выборки будет иметь вид

Для и получим соответственно

Несложные выкладки по нахождению экстремумов (11) приводят к формулам

Отношение правдоподобия (7) принимает вид

Заметим, что так как

то

Отсюда, разделив последнее соотношение на его левую часть, получим

где — случайная величина, имеющая распределение Стьюдента с n — 1 степенью свободы.
Поэтому критическая область (8) в рассматриваемом случае имеет вид

где значение дается соотношением

Мы пришли к хорошо известному критерию Стьюдента проверки рассматриваемой гипотезы, который, впрочем, легко мог бы быть получен прямыми рассуждениями, не связанными с использованием, отношения правдоподобия.

Действительно, по выборке, полученной в результате эксперимента, мы можем построить точечную оценку неизвестного параметра

Результаты предыдущей главы позволяют утверждать, что оценка (13) похожа на истинное значение , но не обязательно с ним совпадает. Поэтому из того, что мы еще не можем сделать заключения, что Если вспомнить аналогию с пещерным человеком Платона, то — это наблюдаемая нами «тень» и мы должны, сравнивая «тень» и известное нам число а, высказать суждение, верна гипотеза или неверна.

Если принять, что гипотеза верна, то величина

оказывается распределенной по закону Стьюдента с n — 1 степенью свободы.

Зададим некоторый уровень значимости а и определим критическое множество S как множество таких отклонений от а, вероятность встретить которые в эксперименте (в случае справедливости гипотезы ) не превышает . Здесь заложена следующая идея: если гипотеза верна, то отклонения чаще будут малыми, а реже большими. Поэтому малыми считаем те отклонения, которые встречаются часто!

Поскольку

где — функция распределения Стьюдента с n — 1 степенью свободы, то пограничная величина может быть определена из соотношения

Для проверки гипотезы по конкретному набору , полученному в эксперименте, вычислим оценку и найдем отклонение Если оно попадает во множество S, то гипотеза о равенстве считается несогласующейся с экспериментом и отвергается на уровне значимости а, в противном случае гипотеза принимается на уровне значимости а.

Пример:

Станок настроен на выпуск деталей размером d. Размеры деталей, изготавливаемых на данном станке, не будут в точности равны d, а будут иметь размер

где можно считать нормальной случайной величиной с математическим ожиданием 0 и некоторой дисперсией . Деталь считается бездефектной, если отклонение ее размера от заданного заключены в пределах

Таким образом, хорошо настроенный станок будет в среднем давать долю q бездефектных изделий, где

В процессе изготовления деталей станок может разладиться — центр настройки d может сместиться, при этом размер детали будет выражаться соотношением

Здесь а — смещение центра настройки станка. Отклонение размера детали от заданного будет в этом случае случайной величиной с нормальным законом распределения и с математическим ожиданием . Доля бездефектных изделий, изготовленных на станке, при этом уменьшится

т. е. увеличится доля брака (рис. 2). Важная задача —
своевременно установить момент смещения центра настройки.

Берется некоторое количество деталей (обычно 3-4) и находится средний размер, а затем отклонение этого среднего размера от предполагаемого d. Сравнив полученное отклонение с границами для отклонения, которые должны иметь место в случае, если смещение центра настройки не произошло, можно выяснить, справедлива ли гипотеза о смещении центра настройки станка.

Проверка гипотезы о равенстве дисперсии нормальной случайной величины числу

Постановка задачи. В эксперименте наблюдается случайная величина , распределенная по нормальному закону с параметрами , которые неизвестны. Получена выборка из распределения случайной величины . Требуется выяснить, равно ли число некоторому наперед заданному числу b?

Аналогично тому, как это было сделано в предыдущем пункте, можно показать, что принцип отношения правдоподобия приводит к критическому множеству S, определяемому статистикой

где — несмещенная оценка дисперсии. А именно, если гипотеза справедлива, то величина (15) имеет распределения с n — 1 степенью свободы и для у значимости а критическое множество S может быть определено как множество таких значений , вероятность встретить которые в эксперименте не больше а,

В силу несимметричности распределения мы используем для построения области S несимметричные доверительные границы.

Получаем

Здесь — функция -распределения с n — 1 степенью свободы.

Решая уравнения

находим числа такие, что

откуда критическое множество S имеет вид

Для проверки гипотезы по конкретному набору значений случайной величины , полученному в эксперименте, вычислим оценку дисперсии. Если полученное число попадает в критическую область S, гипотеза отвергается на уровне значимости а, в противном случае гипотеза принимается.

Пример:

Станок настроен на выпуск деталей некоторого наперед заданного размера d, причем точность работы станка описывается дисперсией случайной величины — отклонения размера детали от заданного среднего d:

где — нормально распределенная случайная величина с . Деталь считается бездефектной, если отклонение удовлетворяет условию

Если смещение центра настройки не наблюдается, то в среднем мы будем получать долю q бездефектных изделий

В процессе изготовления деталей точность может снизиться, т. е. может увеличиться дисперсия наблюдаемых отклонений от заданного размера d. Если смещение центра при этом не произошло, то отклонение будет описываться случайной величиной , дисперсия которой . Доля дефектных изделий при этом увеличится (рис. 3).

Для того чтобы вовремя обнаружить разладки станка, возьмем некоторое количество деталей (3-4) и найдем оценку . Сравнив полученную оценку с границами, которые должны иметь место, если разладки нет, мы сможем выяснить справедливость наших подозрений относительно снижения точности изготовления деталей на данном станке.

В заключение этого пункта отметим, что при проверке гипотезы о равенстве дисперсии пары независимых нормальных случайных величин по независимым выборкам объемов n и m соответственно, принцип отношения правдоподобия в качестве статистики для построения критической области дает величину Z — отношение Фишера—Снедекера

имеющую, в случае справедливости гипотезы о равенстве дисперсий, распределение Фишера с (n — 1, m — 1) степенями свободы.

Зададим уровень значимости а и определим критическое множество S как множество таких значений , вероятность встретить которые в эксперименте не больше а,

Напомним, что распределение Фишера асимметрично и при n > 2 унимодально.

Если наша гипотеза справедлива, то в большинстве случаев отношение должно быть близко к единице, т. е. отношение (17) должно быть близко к (n — 1)/(m — 1). Учитывая асимметрию, выберем числа так, чтобы

Если — функция распределения случайной величины Z, то числа являются решениями уравнений

Для проверки гипотезы по выборкам, полученным в результате эксперимента, находим отношение . Если оно попадает в критическую область, гипотеза о равенстве дисперсий считается несогласующейся с опытными данными на уровне значимости а, в противном случае гипотеза принимается.

Проверка гипотезы о равенстве средних нормальных случайных величин

Постановка задачи. Рассмотрим пару независимых нормально распределенных случайных величин с параметрами соответственно. В результате эксперимента получены две независимые выборки из распределения случайных величин

Требуется выяснить, совпадают ли математические ожидания

1. По выборкам строим оценки дисперсий и, как это указано в предыдущем пункте, проверяем гипотезу о равенстве . Пусть гипотеза о равенстве дисперсии согласуется с экспериментальными данными:

Лемма:

Случайная величина

является несмещенной оценкой общей неизвестной дисперсии случайных величин

◄ Заметим, что

Поэтому

Но — несмещенные оценки , а потому , откуда

что и требовалось доказать. ►

Теорема:

Случайная величин

имеет распределение Стьюдента с n + m- 2 степенями свободы, если только верна гипотеза о том, что

Здесь — несмещенная оценка (18) общей дисперсии

◄ Поскольку выборки из нормальных законов, то разность распределена по нормальному закону с (в случае верной гипотезы ). Поэтому величина распределена нормально с параметрами 0 и Случайные величины независят от и распределены каждая по закону с n — 1 и m — 1 степенями свободы соответственно. Поэтому величина

имеет распределение с n + m -2 степенями свободы и не зависит от . Отсюда отношение

имеет распределение Стьюдента с n + m — 2 степенями свободы. ►

Как и выше, можно показать, что принцип отношения правдоподобия приводит к критической области, определяемой статистикой (19) (для фиксированного уровня значимости а область S определяется из условия

2. Если же гипотеза о равенстве дисперсий не подтверждается, то случайную величину, описывающую отклонения х и у, закон распределения которой не зависит от параметров распределения случайных величин , построить уже не удается.

Проверку гипотезы о равенстве средних двух независимых нормальных совокупностей проводят в этом случае следующим образом: рассматривается случайная величина

которая имеет нормальное распределение с параметрами 0 и 1. Если п и т достаточно велики, то замена точных значений их оценками не очень нарушает распределения случайной величины и можно считать, что случайная величина

имеет приблизительно нормальное распределение с параметрами 0 и 1 (при верной гипотезе . Этим удобно воспользоваться при построении критической области S, описывающей редкие отклонения

Критерии согласия

Другую важную группу гипотез образуют непараметрические гипотезы, из которых мы остановимся здесь на гипотезах о законах распределения.

Очень часто из тех или иных соображений может быть высказана гипотеза о характере закона распределения наблюдаемой случайной величины. К примеру, если случайная величина обусловлена суммарным воздействием большого числа приблизительно одинаковых факторов, то, руководствуясь центральной предельной теоремой, разумно предполагать, что имеет нормальное распределение.

Как мы уже знаем, представление об истинной функции распределения случайной величины можно составить по эмпирической функции распределения. Поэтому если высказана гипотеза о том, что истинная функция распределения случайной величины есть , то естественно изучать поведение отклонения предполагаемой функции от наблюдаемой эмпирической . Если отклонение от окажется значительным, то не может быть функцией распределения случайной величины . Причем значительными будем считать такие отклонения, вероятность наблюдения которых в эксперименте при верной гипотезе очень мала.

Построим случайную величину , описывающую различие между гипотетической функцией и наблюдаемой . Задавая уровень значимости , определяем число такое, что

Тогда гипотеза о виде закона распределения считается согласующейся с экспериментальными данными, если . В противном случае гипотеза считается плохо согласующейся с экспериментом и отвергается на уровне значимости .

Выбирая ту ил и иную меру отличия , будем получать для проверки изучаемой гипотезы различные критерии.

Критерий Колмогорова-Смирнова

Пусть в качестве d взята величина

Теорема Гливенко—Кантелли утверждает, что , если объем выборки неограниченно возрастает. Рассмотрим

Имеет место следующая

Теорема:

Пусть гипотетическая функция непрерывна. Тогда функция распределения случайной величины не зависит от вида.

◄ Пусть — выборка объема п из закона распределения случайной величины . Рассмотрим набор случайных величин

Лемма:

Если — случайная величина с законом распределения , причем непрерывна, то случайная величина равномерно распределена на [0,1], т. е.

Так как функция распределения монотонно возрастает и , то

На отрезке

На основании леммы, набор случайных величин образует выборку объема n из равномерного распределения. Пусть — функция равномерного распределения, — эмпирическая функция равномерного распределения, построенная на выборке

и х таково, что . Рассмотрим

Вследствие монотонности функции

Учитывая это, получаем

Отсюда

Но левая часть последнего соотношения не зависит от вида функции , следовательно, не зависит и правая. ►

Таким образом, введенная нами мера , описывающая различия эмпирической и гипотетической функций распределения, не зависит от вида гипотетической функции распределения, а определяется лишь объемом выборки n.

Если объем выборки неограниченно возрастает, то функция распределения случайной величины мало отличается от некоторой фиксированной функции. А именно, имеет место теорема Колмогорова

Независимость предельного распределения от гипотетической функции позволяет построить критерий для проверки гипотезы о согласованности эмпирических данных с гипотетическим распределением.

Пусть гипотеза верна, тогда (если n достаточно велико, )

Задавая уровень значимости а, определяем из уравнения

В соответствии с общей установкой гипотезу считаем согласующейся с эмпирическими данными, если полученное по конкретным данным значение

не превышает , в противном случае гипотезу отвергаем.

Критерий X2 Пирсона

Критерий Пирсона

Одним из наиболее часто употребляемых на практике критериев согласия является критерий Пирсона. В качестве меры несогласованности гипотетического и эмпирического распределений рассмотрим следующую величину.

Пусть — выборка из закона распределения случайной величины .

Разобьем числовую прямую на s разрядов и найдем частоту попадания случайной величины в і-й разряд разбиения

Пусть — гипотетическое распределение случайной величины . Тогда вероятность того, что случайная величина принимает значения в i-м разряде разбиения , равна

Здесь — концы i-го разряда разбиения (рис. 4).

Рассмотрим величину

Если наша гипотеза верна, то отклонения в большинстве случаев должны быть малы, поэтому в качестве меры различия эмпирического и теоретического законов распределения целесообразно взять величину (21).

Имеет место теорема о независимости предельного распределения для от вида гипотетической функции распределения.

Теорема Пирсона

Здесь распределение с s — 1 степенью свободы.

При достаточно большом числе наблюдений эта теорема может быть использована для построения критерия согласия. Пусть а — уровень значимости. Решив уравнение

найдем пограничное значение сравнивая с которым экспериментальное значение (21), будем делать заключение о согласованности или несогласованности нашей гипотезы с экспериментом.

Остановимся на чувствительности критерия несколько подробнее. Пусть наша гипотеза ошибочна и истинные значения вероятностей попадания в i-й разряд разбиения отличны от найденных нами вероятностей . Тогда случайная величина (21) уже не будет следовать распределению с s — 1 степенью свободы и для математического ожидания величины (21) получим

Но , и поскольку хотя бы одна из вероятностей Поэтому

Тем самым, с ростом объема выборки указанная величина неограниченно возрастает, если только наша гипотеза неверна. Таким образом, на практике, если число наблюдений достаточно велико, неверная гипотеза будет отвергнута.

Практические рекомендации к применению критерия Пирсона следующие: желательно, чтобы разбиения на разряды проводились таким образом, чтобы . Число разрядов разбиения при этом должно быть не менее 7 — 8. Если же эмпирических данных очень много (скажем, число разрядов превышает s — 30), то целесообразно
2 воспользоваться для построения критерия не распределением , а предельным для него при нормальным.

Сравнивая критерий Колмогорова и критерий Пирсона, заметим, что первый более точен и приводит на практике к менее громоздким вычислениям, чем второй.

Следует, однако, отметить, что в практической ситуации гипотетический закон распределения может быть точно указан крайне редко. Более реальной является такая ситуация, когда можно лишь высказать предположение о целой группе гипотетических законов , каждый из которых определяется фиксированным набором параметров . В этом случае гипотеза выглядит следующим образом:

распределение случайной величины описывается законом при некотором наборе параметров

При замене неизвестных параметров их оценками, найденными по выборке, следует иметь в виду, что для одного и того же параметра можно указать очень много различных оценок. Поэтому, заменяя истинные значения неизвестных параметров их оценками, мы портим предельные распределения рассмотренных нами мер отличия — основные теоремы предыдущего и настоящего параграфов становятся неверными.

В этом случае описанными критериями пользоваться, вообще говоря, уже нельзя. Так, например, применение в указанной ситуации критерия Колмогорова приводит к тому, что чем больше параметров мы оценили по выборке, тем лучшее согласие он покажет даже при неверной гипотезе, тогда как критерий Пирсона допускает некоторое видоизменение таким образом, что он остается пригодным и в описанной выше ситуации.

Теорема:

Пусть — оценки максимального правдоподобия или оценки, полученные по методу моментов. Тогда случайная величина (21) имеет распределение с s — k — 1 степенями свободы, т. е. число степеней свободы распределения случайной величины (21) уменьшается на число оцениваемых по выборке параметров.

Пример:

Пусть в эксперименте получена выборка объема nиз распределения случайной величины

и высказана гипотеза о нормальности распределения случайной величины

Применим критерий . Производя разбиение числовой прямой на разряды, вычисляем значения эмпирических частот попадания случайной величины в i-й разряд разбиения. Для подсчета теоретических вероятностей попадания в г-й разряд разбиения необходимо знать параметры m и нормального распределения. Заменим их оценками

и вычислим вероятности

Находим

Для того чтобы определить пограничное значение заметим, что число степеней свободы случайной величины равно s — 3, так как мы оценили по выборке два неизвестных параметра распределения: m и . Поэтому ищем из уравнения

Здесь -распределение с s — 3 степенями свободы.

В заключение отметим, что если по выборке оценено значительное количество неизвестных параметров, то тем самым гипотетическая функция распределения искусственно приближена к эмпирической и критерий в этих случаях дает неоправданно высокую степень согласованности. Поэтому, если число степеней свободы оказывается малым (3-4 и меньше), то для повышения уровня достоверности допускаемых нами выводов наряду с критерием следует использовать и другие критерии и оценки.

Дополнение к проверке статистических гипотез

Смотрите также:

• Решение задач по статистике

Оценки максимального правдоподобия	Лемма Неймана—Пирсона
Метод Монте-Карло в модели сдвига-масштаба	Сложные гипотезы

Если вам потребуется заказать статистику вы всегда можете написать мне в whatsapp.

Проверка статистических гипотез

В этой главе мы обратимся ко второму направлению в математической статистике — проверке статистических гипотез. Сначала определим понятия статистической гипотезы и критерия, а затем рассмотрим некоторые наиболее часто встречающиеся на практике гипотезы и приведены критерии для их проверки.

Статистическая гипотеза и критерий

Снова предположим, что в результате эксперимента мы получили выборку из генеральной совокупности с неизвестной теоретической функцией распределения F(x). Статистической гипотезой (в дальнейшем для краткости вместо «статистическая гипотеза» будем говорить просто «гипотеза») назовем любое предположение о виде теоретической функции распределения F(x). Так, в схеме Бернулли гипотезами будут являться следующие предположения: «вероятность успеха равна 1/2»; «вероятность успеха больше 1/3»; «вероятность успеха заключена между 0,4 и 0,7» и т. д. С нормальным распределением можно связать такие гипотезы: «теоретическая функция распределения нормальна со средним, равным нулю»; «теоретическая функция распределения нормальна с дисперсией, не превосходящей квадрата среднего значения», и т.д. Все перечисленные выше гипотезы являются параметрическими, поскольку в них предположения делаются относительно области изменения неизвестного параметра (или нескольких параметров) для заданных параметрических семейств функций распределения. Примерами непараметрических гипотез служат высказывания: «теоретическая функция распределения является нормальной»; «теоретическая функция распределения не является нормальной»; «теоретическая функция распределения имеет положительное математическое ожидание». Гипотезы будем обозначать буквой Н, снабжая при необходимости индексами.

Всюду в дальнейшем будем предполагать, что у нас имеются две непересекающиеся гипотезы: Гипотезу будем называть основной, а гипотезу — конкурирующей или альтернативной. Выбор названия условен, но, как правило, удобно основной гипотезой называть более конкретное предположение о виде теоретической функции распределения или предположение, влекущее за собой более важные практические последствия. Задача проверки статистических гипотез состоит в том, чтобы на основе выборки принять (т. е. считать справедливой) либо основную гипотезу либо конкурирующую гипотезу

Различают простую и сложную гипотезы. Простая гипотеза полностью определяет теоретическую функцию распределения F(x). Так, простыми будут гипотезы: «вероятность успеха в схеме Бернулли равна 1/2»; «теоретическая функция распределения является нормальной с нулевым средним и единичной дисперсией». Гипотеза, не являющаяся простой, носит название сложной. Примерами сложных гипотез будут: «вероятность успеха в схеме Бернулли заключена между 0,4 и 0,7»; «теоретическая функция распределения является нормальной с нулевым средним, но произвольной дисперсией»; «теоретическая функция распределения не является нормальной». Сложная гипотеза среди возможных функций распределения выделяет некоторое подмножество содержащее более одной функции распределения. При этом если мы имеем сложную параметрическую гипотезу, то заранее в силу каких-то уже проверенных соображений ограничиваемся рассмотрением некоторого параметрического семейства функций распределения с неизвестным параметром (или параметрами) сама гипотеза выделяет среди всех функций распределения данного семейства те, у которых в свою очередь — некоторое подмножество области всех возможных значений неизвестного параметра

Статистическим критерием (или просто критерием) называется правило, позволяющее, основываясь только на выборке принять либо основную гипотезу либо конкурирующую Каждый критерий характеризуется допустимой областью т. е. областью в n-мерном пространстве попадание в которую выборки влечет за собой принятие основной гипотезы Дополнительная область попадание в которую выборки приводит к принятию конкурирующей гипотезы носит название критической области.

Предположим теперь, что у нас имеется две гипотезы т.е. в множестве всех функций распределения выделены два непересекающихся подмножества при этом основная гипотеза заключается в том, что выборка произведена из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей подмножеству а конкурирующая гипотеза — с теоретической функцией распределения F(x), принадлежащей подмножеству Пусть также задан критерий для проверки этих гипотез, т.е. разбиение n-мерного пространства на две области: допустимую и критическую В силу случайности выборки какой бы критерий мы не взяли, обязательно возможно появление ошибок двух родов.

Ошибка первого рода возникает тогда, когда имеет место основная гипотеза но выборка попадает в критическую область и мы принимаем конкурирующую гипотезу Вероятность а ошибки первого рода называется уровнем значимости критерия и определяется формулой

в дискретном случае и

в непрерывном, где Р(х) или р(х) — ряд распределения или плотность распределения наблюдаемой случайной величины X при условии справедливости основной гипотезы а суммирование или интегрирование, как обычно, ведется по всем точкам (в дискретном случае каждое может принимать только значения В случае, когда гипотеза сложная, уровень значимости естественно, будет зависеть от реальной теоретической функции распределения F(x) из подмножества Кроме того, если гипотеза параметрическая, т. е. подмножество представляет собой параметрическое семейство функций распределения зависящее от неизвестного параметра с областью изменения являющейся подобластью области всех возможных значений параметра то будем вместо записи употреблять запись предполагая при этом, что

Пусть теперь справедлива конкурирующая гипотеза но выборка попала в допустимую область и мы приняли основную гипотезу Тогда мы имеем дело с ошибкой второго рода. Вероятность ошибки второго рода носит название оперативной характеристики критерия. Однако обычно в статистике предпочитают иметь дело с мощностью критерия (т. е. вероятностью того, что при справедливой конкурирующей гипотезе мы ее примем), задаваемой формулой

в дискретном случае и

в непрерывном, где так же, как и при определении уровня значимости, суммирование или интегрирование ведется по всем однако ряд распределения Р(x) или плотность распределения р(x) берутся при условии справедливости конкурирующей гипотезы Разумеется, в случае сложной гипотезы мощность будет зависеть от реального теоретического распределения F(x) из подмножества Если конкурирующая гипотеза параметрическая, то вместо будем писать считая при этом, что где — область изменения неизвестного параметра при условии справедливости гипотезы

Таким образом, и уровень значимости, и мощность критерия задаются одной и той же формулой и их различие состоит в том, что уровень значимости определяется только для теоретических функций распределения F(x), принадлежащих подмножеству а мощность — подмножеству Впрочем, иногда эти два понятия объединяют в одно, называя функцией мощности критерия величину, равную уровню значимости при и мощности Отметим, что уровень значимости и оперативная характеристика критерия могут иметь совершенно разную физическую природу. Так, пропуск партии бракованных изделий влечет за собой, как правило, более тяжелые последствия, чем выбраковка партии годных изделий.

Естественное желание каждого исследователя состоит в предоставлении ему такого критерия, который позволил бы как можно реже делать ошибки и первого и второго рода (в идеале — совсем не ошибаться!), т. е. минимизировал бы и уровень значимости и оперативную характеристику Но такое желание невыполнимо, поскольку требование делать реже ошибку первого рода влечет за собой увеличение допустимой области в то время как требование реже делать ошибку второго рода предписывает увеличить критическую область Поэтому обычно поступают следующим образом: фиксируют уровень значимости (как более важный с практической точки зрения) и среди нескольких критериев, имеющих заданный уровень значимости, предпочтение отдают более мощному.

Остановимся на этом несколько подробнее. Назовем размером критерия максимальное значение вероятности ошибки первого рода при использовании данного критерия, т.е.

Отметим, что в дальнейшем нам довольно часто будут встречаться критерии, уровень значимости которых не зависит от конкретной функции распределения F(x) (из подмножества и, естественно, совпадает с размером критерия В таких случаях мы будем говорить просто об уровне значимости, не связывая его с конкретным распределением F(x), а в скобках писать «размер».

Равномерно наиболее мощным критерием заданного размера будем называть критерий, имеющий среди всех критериев размера наибольшую мощность при любом распределении Равномерно наиболее мощные критерии существуют в крайне редких случаях, наиболее известными из которых являются случай простых гипотез и случай односторонней и двусторонней параметрических гипотез для некоторых однопараметрических семейств (см. параграфы 2 и 3 данной главы).

В ряде задач, хотя и не существует равномерно наиболее мощный критерий, можно построить равномерно наиболее мощный несмещенный критерий. Критерий называется несмещенным, если его уровень значимости ни в коем случае не превосходит мощности, т.е. для любых (невыполнение требования несмещенности ведет к парадоксальной ситуации: в некоторых случаях мы будем чаще браковать партии годных изделий, чем негодных). Критерий, имеющий при любом наибольшую мощность среди всех несмещенных критериев размера носит название равномерно наиболее мощного несмещенного критерия размера Естественно, равномерно наиболее мощный критерий является также равномерно наиболее мощным несмещенным, что вытекает из сравнения его с тривиальным рандомизированным критерием (о понятии рандомизированного критерия см. ниже), который независимо от выборки предписывает случайным образом с вероятностью принять конкурирующую гипотезу очевидно, и мощность, и уровень значимости такого критерия тождественно равны

Наконец, еще один класс критериев представляют так называемые инвариантные критерии. Критерий называется инвариантным относительно группы преобразований G выборки если он не зависит от преобразований из этой группы. В частности, от любых критериев, проверяющих гипотезы о теоретической функции распределения F(x), разумно потребовать инвариантность относительно всех перестановок элементов выборки иначе сам критерий зависел бы от того, в каком порядке проводились наблюдения. Обычно группа преобразований G естественным образом определяется рассматриваемыми гипотезами и поэтому говорят просто об инвариантных критериях. Критерий, имеющий при заданном размере наибольшую мощность среди всех инвариантных критериев, называется равномерно наиболее мощным инвариантным критерием. Поскольку понятие инвариантного критерия является сложным, мы в дальнейшем в основном тексте не будем его использовать, отсылая читателя к специальной литературе (например, [11, 12]), хотя это понятие и прояснило бы смысл построения некоторых критериев.

В общем случае, когда не существует ни равномерно наиболее мощного, ни даже равномерно наиболее мощного несмещенного или равномерно наиболее мощного инвариантного критерия, критерии обычно строят, опираясь на интуитивные соображения разумности. К таким соображениям относятся: простота и наглядность критерия, независимость уровня значимости критерия от вида теоретической функции распределения, асимптотическая эффективность критерия и т.д.

Как правило, критерии строят, основываясь на статистике критерия. Пусть — произвольная (одномерная) статистика. Тогда неравенство определяет критерий, критическая область которого состоит из всех точек п-мерного пространства для которых

Заставляя критическое значение пробегать все числа от получим семейство критериев, имеющих различные уровни значимости и мощности. Теперь, если, например, мы хотим получить критерий заданного размера то должны выбрать такое значение С, которое давало бы нам критерий требуемого размера Обычно критерии строят таким образом, чтобы статистика S при условии справедливости основной гипотезы имела (хотя бы асимптотически при одно из распределений, описанных в параграфе 4 гл. 1. Тогда критическое значение С определяется как -квантиль соответствующего распределения. Разумеется, как уже говорилось ранее, статистика S должна по возможности обеспечивать меньший уровень значимости и большую мощность построенного на ее основе критерия.

В заключение этого параграфа скажем несколько слов о рандомизированных критериях. Рандомизированные критерии возникают (обычно в случае дискретной наблюдаемой случайной величины X) тогда, когда критерий, определяемый неравенством

имеет размер больше требуемого, а неравенством

— уже меньше требуемого. В этом случае наряду с критической и допустимой областями вводят область рандомизации при попадании выборки в область производят дополнительное испытание типа подбрасывания несимметричной монеты и по его исходу принимают либо основную гипотезу либо конкурирующую Здесь в основном тексте мы не будем рассматривать рандомизированные критерии.

Простые гипотезы

Изучение статистических критериев начнем со случая двух простых гипотез. Пусть выборка произведена из генеральной совокупности с теоретической функцией распределения F(x), относительно которой имеются две простые гипотезы: основная и конкурирующая — известные функции распределения. Поскольку гипотезы простые, уровень значимости и мощность каждого критерия для проверки этих гипотез будут представлять собой два числа: Оказывается, в данном случае существует наиболее мощный критерий (при двух простых гипотезах вместо «равномерно наиболее мощный критерий» говорят просто «наиболее мощный критерий»), т.е. критерий, имеющий при заданном уровне значимости а наибольшую мощность Этот критерий называется критерием отношения правдоподобия и описывается следующим образом.

Введем статистику

где

в случае дискретной наблюдаемой величины X и

в случае непрерывной X представляет собой функцию правдоподобия при условии справедливости гипотезы а

в дискретном случае и

в непрерывном — ту же самую функцию правдоподобия, но при условии справедливости гипотезы Статистика носит название отношения правдоподобия и является отношением вероятностей (или плотностей распределения) получить выборку при условиях справедливости гипотез Естественно предположить (и это подтверждается леммой Неймана-Пирсона, которую мы докажем ниже), что чем больше отношение правдоподобия, тем большее предпочтение мы должны оказать гипотезе Таким образом, критическая область критерия отношения правдоподобия состоит из всех тех точек для которых больше критического значения С. Критерий отношения правдоподобия подобен рачительной хозяйке, которая всегда на имеющиеся деньги старается купить как можно больше товаров.

Теорема:

Лемма Неймана-Пирсона. Среди всех критериев заданного уровня значимости а, проверяющих две простые гипотезы критерий отношения правдоподобия является наиболее мощным.

Доказательство:

Пусть критерий отношения правдоподобия уровня значимости а для проверки задается критической областью Рассмотрим любой другой критерий того же уровня значимости для проверки тех же гипотез и обозначим через его критическую область. Тогда при попадании выборки в область мы должны принять гипотезу по критерию отношения правдоподобия, но отвергнуть в соответствии со вторым критерием, а при попадании в область — наоборот, отвергнуть по критерию отношения правдоподобия, но принять в соответствии со вторым критерием (рис. 1). Тогда, поскольку оба критерия имеют одинаковый уровень значимости,

то вероятности попадания выборки в области при условии справедливости основной гипотезы равны, т.е.

Далее, мощность критерия отношения правдоподобия задается как суммарная вероятность попадания выборки в пересечение областей и область при условии справедливости конкурирующей гипотезы

Аналогично определяется мощность второго критерия:

Вспоминая теперь, что по построению критерия отношения правдоподобия отношение правдоподобия

в области V больше С, а в области не превосходит С, получаем из (1)-(3):

Значит, мощность второго критерия не больше мощности критерия отношения правдоподобия.

Замечание:

Нетрудно видеть, что мощности критерия отношения правдоподобия и второго критерия совпадают тогда и только тогда, когда т. е. вероятности попадания в области при условии справедливости как основной, так и конкурирующей гипотез равны нулю. Поэтому критерий отношения правдоподобия единственен (с точностью до множества, вероятность попадания в которое равна нулю).

Замечание:

Мы рассмотрели критерий отношения правдоподобия, критическая область которого задается неравенством Аналогично можно было бы ввести критерий отношения правдоподобия с критической областью имеющий то же самое свойство оптимальности.

Пусть нам теперь нужно построить наиболее мощный критерий заданного уровня значимости а. Может случиться так, что, определив критическое значение С, мы придем к следующей ситуации: критерий, задаваемый неравенством будет иметь уровень значимости меньше а задаваемый неравенством — уровень значимости уже больше

Возможный способ устранить возникшее затруднение — добавить к критической области задаваемой неравенством некоторую «лишнюю» подобласть области определяемой равенством с таким расчетом, чтобы вероятность попадания в при справедливой равнялась Нетрудно видеть, что если это удастся сделать, то построенный критерий будет наиболее мощным критерием уровня значимости а.

Но, с одной стороны, подобласть вообще говоря, можно выбрать не единственным способом, поэтому могут появляться различные наиболее мощные критерии, отличающиеся друг от друга только при попадании в область С другой стороны, в дискретном случае этого, как правило, вообще нельзя сделать, поскольку область состоит из конечного числа точек. Поэтому обычно идут более простым путем: при попадании выборки в область которую называют областью рандомизации, проводят дополнительный независимый эксперимент с двумя исходами типа подбрасывания несимметричной монеты с вероятностью выпадения «цифры» При этом если выпадает «герб», то принимают гипотезу «цифра» — гипотезу Такой критерий называется рандомизированным. В соответствии с формулой полной вероятности уровень значимости рандомизированного критерия равен Очевидно также, что рандомизированный критерий отношения правдоподобия будет наиболее мощным. Естественно, в наше время при дополнительном эксперименте не бросают монету, а моделируют на ЭВМ псевдослучайное число.

В дальнейшем, как уже говорилось, мы не будем рассматривать рандомизированные критерии, хотя это и вызовет у нас определенные трудности при формулировке и доказательстве некоторых результатов.

При практической реализации критерия отношения правдоподобия обычно удобно пользоваться не отношением правдоподобия а его логарифмом В этом случае мы должны принять гипотезу если и отвергнуть ее (принять гипотезу если В соответствии с общим правилом уровень значимости а и мощность критерия отношения правдоподобия в зависимости от критического значения с определяются формулами

в дискретном случае, где сумма берется по всем значениям принадлежащим множеству и удовлетворяющим условию и

в непрерывном. В этих формулах запись обозначает вероятность статистике принять значение больше С при условии справедливости гипотезы

Если задан уровень значимости а, то критическое значение с определяется из решения относительно с уравнения

Аналогично поступают и в том случае, когда задана мощность

Наконец, встречаются задачи, в которых одновременно заданы и уровень значимости а, и мощность а требуется определить минимальный объем выборки п, при котором можно разделить гипотезы с такими значениями В этом случае заметим, что функции зависят, разумеется, и от объема выборки п. Необходимый объем выборки определяется как минимальное значение п, при котором существуют решения неравенств и

Пример:

Пусть выборка произведена из нормальной генеральной совокупности с известной дисперсией и неизвестным средним относительно которого имеются две гипотезы: основная конкурирующая (для определенности пусть

Построим критерий отношения правдоподобия для проверки гипотез Для этого выпишем функции правдоподобия и

и определим логарифм отношения правдоподобия

Таким образом, мы должны принять гипотезу если

или, вводя обозначение

если и отвергнуть в противном случае.

Для того чтобы при заданном найти уровень значимости критерия а, заметим, что при условии справедливости гипотезы статистика распределена по нормальному закону с параметрами Поэтому

где, как обычно, Ф(x) — функция стандартного нормального распределения. Аналогично определяется мощность критерия

Если задан уровень значимости а, то критическое значение определяется формулой

где — a-квантиль стандартного нормального закона.

Наконец, если заданы уровень значимости а и мощность и требуется найти минимальный объем выборки п, позволяющий разделить гипотезы с такими должно удовлетворять двум равенствам:

Вычитая второе равенство из первого, получаем

Разумеется, реальный объем выборки должен быть ближайшим к п сверху целым числом.

Зададим вопрос: а можно ли для проверки двух простых гипотез построить критерий с заданным уровнем значимости а и мощностью который потребовал бы меньшего объема выборки, чем критерий отношения правдоподобия? Очевидно, среди критериев с фиксированным объемом выборки такого нет. Однако можно рассматривать последовательные критерии, в которых испытания проводятся последовательно, и после каждого испытания мы вправе либо прекратить испытания и принять одну из гипотез либо продолжить наблюдения. При последовательном проведении испытаний после первого же испытания могут появиться столь серьезные основания в пользу той или иной гипотезы, что дальнейшие наблюдения становятся просто бессмысленными. Так, хороший врач по одному ярко выраженному признаку может поставить точный диагноз пациенту. Ясно, что у последовательного критерия число наблюдений случайно и поэтому вместо объема выборки следует оперировать средним числом наблюдений, которое, естественно, будет различным при условиях справедливости гипотез Оказывается, среди последовательных критериев также существует наилучший, который мы сейчас и опишем.

Последовательный критерий отношения правдоподобия (критерий Вальда) строят, опираясь на логарифм отношения правдоподобия (и это естественно, поскольку отношение правдоподобия — наиболее объективная мера различия гипотез). Сама процедура принятия решения реализуется следующим образом. Задаются критические значения Проводят первое испытание и по его результату определяют логарифм отношения правдоподобия

в дискретном случае или

в непрерывном. Если то принимают гипотезу если — гипотезу если же то проводят второе испытание. Снова определяют логарифм отношения правдоподобия

и сравнивают его с Если то принимают гипотезу если — гипотезу если то переходят к третьему испытанию, по результатам которого определяют

и т.д. Графическая схема проведения испытаний приведена на рис.2. Нахождение уровня значимости а и мощности последовательного

критерия отношения правдоподобия представляет собой весьма сложную задачу (задача выхода случайного блуждания из полосы), все имеющиеся решения которой (за исключением некоторых частных случаев) нужно признать неудовлетворительными в смысле методов вычисления. Обычно используют следующие приближенные оценки:

точность которых, как правило, увеличивается с ростом и уменьшением Из этих оценок можно при заданных найти приближенные выражения для критических значений

Другими важными характеристиками последовательного критерия отношения правдоподобия являются средние числа наблюдений при условиях справедливости гипотез которые можно приближенно вычислить по формулам

где

в дискретном случае и

в непрерывном.

Оптимальные свойства последовательного критерия отношения правдоподобия задаются следующей теоремой.

Теорема Вальда:

Среди всех критериев (последовательных или нет) с заданными уровнем значимости а и мощностью и конечными средними числами наблюдений при условии справедливости гипотезы при условии справедливости гипотезы последовательный критерий отношения правдоподобия минимизирует как так и

Доказательство теоремы наиболее просто получается с использованием байесовского подхода. Пусть гипотезы появляются случайным образом с известными вероятностями появления гипотезы гипотезы Пусть также задана стоимость d каждого наблюдения и при неправильном отклонении гипотезы мы несем потери Тогда для любого (в том числе последовательного) критерия К общий байесовский риск (общие средние потери) определяются формулой

где — вероятность неправильного отклонения гипотезы а — среднее число наблюдений при условии справедливости гипотезы

Доказательство состоит из двух основных частей. Первая часть, представленная леммой 2.1, определяет байесовскую процедуру, минимизирующую (4). Отметим, что интерпретация (4) как байесовского риска помогает лучше понять доказательство и приводит к задачам, представляющим самостоятельный интерес.

Прежде чем сформулировать лемму 2.1, произведем некоторые дополнительные рассмотрения. Обозначим через минимальный байесовский риск для всех критериев, требующих хотя бы одного наблюдения (класс таких критериев обозначим через Тогда в силу линейности байесовского риска и любого справедливо соотношение

Следовательно, — выпуклая (вверх) функция (рис. 3).

Рассмотрим критерий отвергающий без проведения испытаний. Имеем

Если

то определим из решения следующих уравнений (см. рис. 3):

в противном случае положим

В силу свойств выпуклости и положительности функции числа удовлетворяющие уравнениям (5) или (6), определяются единственным образом.

Лемма:

Если то при всех байесовский риск (4) минимизирует последовательный критерий отношения правдоподобия с критическими значениями

Доказательство леммы 2.1. Заметим прежде всего, что если или то вообще не имеет смысла проводить испытания. Поэтому оптимальный критерий состоит в следующем поведении на первом шаге: мы принимаем гипотезу если отвергаем, если и производим первое наблюдение, если

Доказательство леммы 2.1 завершается теперь по индукции. Действительно, если уже сделано п наблюдений то мы попадаем в ту же ситуацию, что и перед первым наблюдением: либо не производить дополнительные наблюдения и принять с потерями в случае неправильного решения, либо произвести наблюдение. Наличие предыдущих наблюдений в силу аддитивности потерь никак не влияет на решение задачи, поскольку их вклад в общие потери последующими испытаниями уже нельзя ни увеличить, ни уменьшить. Итак, процедура принятия решения прежняя: если то испытания прекращаются и принимается а если то производится дополнительное наблюдение. Однако при этом мы должны оперировать уже не априорной вероятностью а апостериорной вероятностью справедливости гипотезы при условии выборки определяемой формулой Байеса

Оптимальный байесовский критерий, таким образом, требует продолжения наблюдений только в случае или после проведения элементарных преобразований в случае

Вторая часть доказательства теоремы 2 устанавливает связь между параметрами основной и байесовской задач и состоит в доказательстве следующей леммы.

Лемма:

Для любых найдутся числа такие, что решение байесовской задачи с потерями стоимостью одного испытания d и априорной вероятностью появления гипотезы задается последовательным критерием отношения правдоподобия с границами

Доказательство леммы 2.2 представляет, по сути дела, доказательство существования обратного отображения для двумерного вектора как функции от Оно носит чисто аналитический характер и основывается на таких почти очевидных свойствах как монотонность, непрерывность и т.д. Поэтому мы его здесь не приводим, отправляя заинтересованного читателя к [12]. Отметим, что требование леммы нисколько не ограничивает общности задачи, поскольку этого всегда можно добиться линейной заменой «масштаба цен» («денежной реформой»),

Для окончания доказательства теоремы 2 рассмотрим последовательный критерий отношения правдоподобия с границами Для любого числа положим

Эти значения удовлетворяют равенствам (7) и неравенствам Поэтому, по леммам 2.1 и 2.2, найдутся такие что рассматриваемый критерий будет являться решением байесовской задачи с априорной вероятностью потерями и стоимостью одного наблюдения d. Обозначим через вероятности ошибок и средние числа наблюдений данного последовательного критерия отношения правдоподобия. Кроме того, рассмотрим любой другой критерий для проверки гипотез с вероятностями ошибок и средними числами наблюдений Поскольку последовательный критерий отношения правдоподобия минимизирует байесовский риск, то применяя к байесовской задаче и второй критерий, имеем

откуда получаем

Из справедливости последнего неравенства при всех вытекают, в частности, соотношения что и доказывает теорему.

Замечание к теореме 2. Анализируя доказательство леммы 2.1, нетрудно заметить, что если на первом шаге то у нас имеются две (а с учетом рандомизации и больше) идентичные с точки зрения байесовского риска возможности: принять или продолжить испытания; такая же ситуация может возникнуть и после любого наблюдения. В том случае, когда отношение правдоподобия

может равняться только с нулевой вероятностью, последнее обстоятельство не влияет на последовательный критерий отношения правдоподобия. Если же эта вероятность не равна нулю, то можно предложить, по крайней мере, две модификации критерия, одна из которых будет предписывать прекращение испытаний при равенстве отношения правдоподобия соответствующей константе, а другая, наоборот, продолжение наблюдений. Обе эти модификации, как уже говорилось, имеют одинаковый байесовский риск. Однако другие характеристики для них будут различными; в частности, вторая модификация требует большего числа наблюдений. Впрочем, никакого противоречия с изложенной теорией здесь нет, поскольку увеличение количества наблюдений компенсируется уменьшением уровня значимости и увеличением мощности. Поэтому для построения последовательного критерия отношения правдоподобия, имеющего заданные уровень значимости и мощность, необходимо, вообще говоря, привлекать рандомизацию. Подробнее на этом мы останавливаться не будем.

Пример:

Пусть наблюдается нормально распределенная случайная величина X с известной дисперсией и неизвестным средним относительно которого имеются две простые гипотезы: Как показано в примере 1, отношение правдоподобия имеет вид

При применении последовательного критерия отношения правдоподобия наблюдения продолжаются, пока в противном случае принимается либо гипотеза (если либо гипотеза (если

Вычислим Поскольку а то

Предположим теперь, что заданы конкретные значения: Тогда откуда определяем средние числа наблюдений Для сравнения, подставив в примере 1 значения находим, что при использовании обычного критерия отношения правдоподобия для разделения гипотез с уровнем значимости и мощностью необходимо иметь выборку объема п = 9. Значит, применение последовательного критерия отношения правдоподобия в случае справедливости гипотезы позволяет в среднем сократить число наблюдений более чем в 2 раза, а в случае справедливости гипотезы — почти в 2 раза.

У последовательного критерия отношения правдоподобия можно отметить два основных недостатка.

Первым является невозможность одновременного проведения нескольких испытаний.

Второй связан с тем, что если произошла ошибка в определении гипотез и истинная теоретическая функция распределения F(x) заключена между гипотетическими то потребуется очень большое число наблюдений, поскольку логарифм отношения правдоподобия будет колебаться вокруг нуля, не выходя ни на одну из границ или Для того чтобы компенсировать этот второй недостаток, на практике часто принудительно ограничивают число наблюдений.

Однопараметрические гипотезы. Равномерно наилучшие критерии

Пусть выборка извлечена из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей одно-параметрическому семейству с неизвестным параметром область возможных значений которого будем обозначать через (обычно представляет собой либо всю прямую либо полупрямую либо отрезок Предположим, что в выделено некоторое подмножество дополнение к нему в обозначим через Относительно неизвестного параметра имеются две гипотезы: основная и конкурирующая Задача состоит в построении критерия для проверки двух (вообще говоря, сложных) однопараметрических гипотез Отметим, что если подмножество состоит всего из одной точки критерии для проверки гипотез называют обычно критериями значимости. В этом параграфе мы рассмотрим те случаи, в которых существуют равномерно наиболее мощные несмещенные критерии. Построение критериев в остальных случаях можно проводить по общему рецепту, приведенному для (много) параметрических гипотез в следующем параграфе.

Односторонние гипотезы

Пусть подмножество состоит из всех соответственно подмножество будет содержать все Таким образом, мы имеем две односторонние гипотезы: основную и конкурирующую Возьмем произвольные и составим отношение правдоподобия

где

в дискретном случае и

в непрерывном — функция правдоподобия.

Теорема:

Односторонние гипотезы. Предположим, что существует (одномерная) статистика такая, что для любых отношение правдоподобия можно представить в виде

причем — неубывающая функция от S. Тогда существует равномерно наиболее мощный критерий для проверки гипотез критическая область которого состоит из всех точек удовлетворяющих неравенству а уровень значимости и мощность являются неубывающими функциями от и как обычно, определяются формулами

в дискретном случае и

в непрерывном. Здесь — вероятность статистике принять значение больше С при условии, что истинное значение неизвестного параметра равно

Доказательство. Используем тот факт, что предложенный критерий является наиболее мощным для проверки простых гипотез при всех Действительно, для гипотез критерий отношения правдоподобия определяется неравенством

или, что в силу предположений теоремы то же самое, неравенством

где — обратная к функция, причем поскольку критерий отношения правдоподобия является несмещенным, то уровень значимости и мощность для этого критерия удовлетворяют неравенству — функция мощности (т.е. обобщенная запись см. параграф 1). Таким образом, мы доказали, что являются неубывающими функциями от откуда, в частности, следует:

Далее, из сказанного также вытекает, что рассматриваемый критерий является наиболее мощным уровня значимости Для проверки простых гипотез — любое число, большее Но тогда он является равномерно наиболее мощным критерием размера для проверки изначальных гипотез Действительно, любой другой критерий размера должен в точке (как и в любой другой точке иметь уровень значимости Значит, и мощность этого другого критерия при любом не должна превосходить мощности наиболее мощного критерия уровня значимости со для проверки простых гипотез т.е. должна удовлетворять неравенству Последнее неравенство и доказывает теорему.

Замечание:

Как обычно, чтобы соблюсти необходимую строгость приведенного доказательства, нужно привлекать рандомизацию. Кроме того, если потребовать, чтобы функции распределения были различными для разных то утверждение теоремы о монотонности функций можно усилить до строгой монотонности. Наконец, заметим, что семейство распределений с указанным в условиях теоремы свойством называют обычно семейством с монотонным отношением правдоподобия.

Замечание:

Нетрудно видеть, что при заданном размере рассматриваемый критерий наряду с максимизацией мощности при каждом минимизирует также уровень значимости при любом Поэтому обращенный критерий используемый для проверки основной гипотезы до против конкурирующей гипотезы будет также равномерно наиболее мощным.

Пример:

Пусть выборка произведена из нормальной генеральной совокупности с известной дисперсией и неизвестным средним относительно которого имеются две гипотезы: основная и конкурирующая Определим отношение правдоподобия

Вводя статистику

видим,что

причем при функция является неубывающей по S. Значит, существует равномерно наиболее мощный критерий для проверки гипотез критическая область которого задается неравенством

Для того чтобы определить уровень значимости и мощность этого критерия, заметим, что статистика распределена по нормальному закону с параметрами Тогда

Поскольку — возрастающая функция от то размер критерия

Теперь, если, наоборот, нужно построить критерий заданного размера то критическое значение С определяется выражением

где — а-квантиль стандартного нормального закона.

Двусторонняя основная гипотеза

Рассмотрим двустороннюю основную гипотезу Соответственно конкурирующая гипотеза имеет вид: Пусть существуют возрастающая функция и функции такие что плотность распределения любой функции распределения из семейства (чтобы не рассматривать рандомизированные критерии, мы ограничимся здесь только непрерывным случаем) представима в виде

(принадлежит экспоненциальному семейству, см. гл.2, параграф 1). Введем статистику

Определим для любых двух чисел вероятности

Теорема:

Двусторонняя основная гипотеза. При сделанных предположениях существует равномерно наиболее мощный критерий размера для проверки гипотез критическая область которого задается неравенствами

где определяются из уравнения

Уровень значимости и мощность задаются формулами :

Доказательство:

Для доказательства теоремы нам понадобится следующая лемма.

Лемма:

Система уравнений (8) при любом имеет решение.

Доказательство леммы 4.1, как и доказательство леммы 2.2, носит аналитический характер, и мы его здесь не приводим (см. [11]).

Представим функцию правдоподобия в виде

где

Рассмотрим теперь следующую байесовскую постановку задачи. Пусть основная «смешанная» гипотеза состоит в том, что выборка произведена из генеральной совокупности с теоретической плотностью распределения появившейся с вероятностью q, или с теоретической плотностью распределения появившейся с вероятностью а конкурирующая гипотеза — из генеральной совокупности с теоретической плотностью распределения — произвольное, но фиксированное число, Соответственно гипотезы имеют априорные вероятности Нетрудно видеть, что мы фактически имеем дело с двумя простыми гипотезами, причем по формуле полной вероятности гипотеза приписывает выборке плотность распределения

а гипотеза — плотность распределения

Байесовский риск (вероятность принятия неправильной гипотезы) имеет вид

где — критическая и допустимая области принятия Можно показать, что по аналогии с критерием отношения правдоподобия оптимальный байесовский критерий предписывает принять при

и отвергнуть в противном случае. В силу (9) неравенство для попадания выборки в критическую область можно переписать в виде

Нетрудно видеть, что из-за монотонности левая часть этого неравенства — выпуклая вниз функция, неограниченно возрастающая при Поэтому его можно переписать в виде где

причем при существует обратное преобразование

В соответствии с леммой 4.1 для любого существует решение уравнения (8), а значит, найдутся такие при которых оптимальный байесовский критерий для проверки гипотез имеет при равные вероятности ошибки (уровни значимости)

Но этот же критерий можно применить и в небайесовекой модели для проверки основной сложной гипотезы против простой гипотезы Ясно, что полученный критерий представляет собой именно тот критерий, о котором говорится в утверждении теоремы. Покажем, что он является равномерно наиболее мощным размера для проверки гипотез Для этого рассмотрим любой другой критерий размера не больше и обозначим через его уровни значимости в точках и мощность соответственно. Тогда

Снова считая, что оба критерия (основной и только что введенный) являются байесовскими, вычислим для них байесовские риски

Вспоминая теперь, что при первый из этих критериев является оптимальным байесовским, получаем неравенство или с учетом (10)-(12)

В силу произвольности выбора предложенный критерий является равномерно наиболее мощным размера для проверки сложных гипотез

Совершенно аналогично показывается, что построенный критерий является при наиболее мощным для проверки гипотезы против гипотезы среди всех критериев, для которых

откуда, в частности, следует, что для любого Значит, размер построенного критерия в точности равен

Для окончания доказательства теоремы осталось заметить, что поскольку построенный критерий имеет размер при проверке изначальных гипотез и является равномерно наиболее мощным размера при замене основной гипотезы на «упрощенную» или то он (см. окончание доказательства теоремы 3) является также равномерно наиболее мощным для проверки гипотез

Замечание:

Вообще говоря, уравнение (8) имеет решение только в тех случаях, когда вероятности событий

где

при истинных значениях параметра равны нулю. В общем случае (в частности, при дискретных наблюдениях), как обычно, нужно использовать рандомизацию, т. е. выбирать наряду с вероятности принятия гипотезы при условиях

Замечание:

Фактически при доказательстве теоремы было показано больше, чем требовалось. А именно, рассматриваемый критерий минимизирует уровень значимости среди всех критериев, удовлетворяющих соотношениям

Это замечание нам понадобится при рассмотрении двусторонней конкурирующей гипотезы.

функция мощности строго возрастает, а при наоборот, строго убывает. В силу утверждения теоремы 4 любой другой критерий для проверки удовлетворяющий условию

будет иметь функцию мощности, задаваемую кривой типа 2, т. е. лежащей не ниже кривой 1 при и не выше кривой 1 при Наконец, если потребовать, чтобы просто размер критерия равнялся то для некоторых уровень значимости может оказаться меньше (кривая 3).

Пример:

Выборка произведена из нормальной генеральной совокупности с известной дисперсией и неизвестным средним относительно которого имеются две гипотезы: двусторонняя основная гипотеза и конкурирующая гипотеза

Полагая

видим, что плотность нормального распределения представима в виде

причем — возрастающая функция от Поскольку статистика

распределена по нормальному закону с параметрами то вероятности определяются выражениями:

Рассмотрим уравнение

относительно неизвестного С. Это уравнение численно можно решить, например, методом последовательных приближений. Полагая теперь

и вспоминая тождество убеждаемся, что удовлетворяют равенствам

Таким образом, равномерно наиболее мощный критерий размера предписывает нам отвергнуть гипотезу если и принять ее в противном случае. Уровень значимости и мощность критерия задаются формулами

Двусторонняя конкурирующая гипотеза

Пусть теперь двусторонней является конкурирующая гипотеза основная гипотеза имеет вид Предположим также, что все допущения относительно семейства функций распределения принятые при рассмотрении двусторонней основной гипотезы, остаются в силе. Таким образом, мы только поменяли местами основную и конкурирующую гипотезы. Казалось бы, от такой замены ничего не должно измениться и равномерно наиболее мощный критерий для проверки основной двусторонней гипотезы будет таковым и для проверки двусторонней конкурирующей гипотезы. Однако это не так. Более того, для двусторонней конкурирующей гипотезы вообще не существует равномерно наиболее мощного критерия. Причина такого «неравноправия» кроется в том, что в определение равномерно наиболее мощного критерия уровень значимости и мощность входят несимметрично: от уровня значимости требуется только, чтобы он при каждом не превосходил размера в то время как мощность при каждом должна быть максимальна. Тем не менее, имеет место следующая теорема.

Теорема:

Двусторонняя конкурирующая гипотеза. Пусть дополнительно к условиям теоремы 4 функция является непрерывной.

Тогда для проверки гипотез существует равномерно наиболее мощный несмещенный критерий, который в точности совпадает с равномерно наиболее мощным критерием для проверки двусторонней основной гипотезы, за исключением того, что меняются местами критическая и допустимая области.

Доказательство:

Можно показать, что из условия непрерывности следует непрерывность функции мощности любого критерия, которая в свою очередь для несмещенного критерия влечет за собой равенство уровня значимости в точках размеру Таким образом, равномерно наиболее мощный несмещенный критерий можно искать только среди критериев, для которых

С другой стороны, как вытекает из замечания 2 к теореме 4, «обращенный» критерий теоремы 5 является наиболее мощным для проверки основной гипотезы против конкурирующей гипотезы среди всех критериев, удовлетворяющих (13). Но из самого утверждения теоремы 4 следует, что рассматриваемый критерий при каждом имеет уровень значимости т.е. является несмещенным, а значит, он будет также равномерно наиболее мощным и среди всех несмещенных критериев для проверки гипотез поскольку, как уже показывалось при доказательстве теорем 3 и 4, наличие дополнительных ограничений может привести только к уменьшению мощности критерия.

На рис.5 (кривая 1) приведен типичный график функции мощности равномерно наиболее мощного несмещенного критерия размера для

проверки двусторонней конкурирующей гипотезы. Кривая 2 изображает функцию мощности другого критерия, имеющего тот же размер а при — мощность, большую, чем равномерно наиболее мощный несмещенный критерий. Однако этот другой критерий является смещенным, поскольку при его мощность меньше размера

Многопараметрические гипотезы

Пусть выборка произведена из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей параметрическому семейству зависящему от неизвестного векторного параметра Множество возможных значений параметра будем обозначать через Не вдаваясь в подробное описание скажем только, что представляет собой либо все k-мерное пространство либо достаточно «большую» его часть (например, в случае двух неизвестных параметров множество в может быть полуплоскостью, полосой, прямоугольником и т.д.). Предположим теперь, что в множестве выделено некоторое подмножество Как обычно, дополнение к будем обозначать через Нам нужно проверить две сложные параметрические гипотезы: основную против конкурирующей

Основным методом для проверки таких гипотез является метод отношения правдоподобия, представляющий естественное обобщение критерия отношения правдоподобия (см. параграф 2). Этот метод заключается в следующем. Рассмотрим функцию правдоподобия

в дискретном случае или

в непрерывном и определим два ее максимальных значения как функции от аргументов

и

(очевидно, что не превосходит

Так же, как и в методе максимального правдоподобия (см. параграф 4 гл.2), для нахождения значений и доставляющих максимум функции правдоподобия подмножестве и множестве обычно используют систему уравнений правдоподобия

с соблюдением соответствующих ограничений. Определим теперь отношение правдоподобия

Интуитивно ясно, что если мало отличается от единицы, то это говорит в пользу основной гипотезы Полагая получим следующий критерий для проверки двух сложных параметрических гипотез: мы должны принять гипотезу если и отвергнуть в противном случае, где С — критическое значение критерия.

Хотя уровень значимости и мощность полученного критерия и определяются, как обычно, формулами

их нахождение для конкретных семейств представляет, как правило, сложную в вычислительном плане задачу. Поэтому ограничимся выписыванием приближенного значения уровня значимости справедливого при большом объеме выборки п.

Теорема:

Асимптотическое свойство метода отношения правдоподобия. Пусть есть m-мерное (не обязательно линейное) подпространство Тогда (при некоторых дополнительных предположениях относительно семейства статистика при условии, что истинное значение параметра асимптотически при имеет -распределение с степенями свободы.

Доказательство теоремы 6, которое мы здесь не приводим, в идейном плане состоит из двух частей. Первая часть устанавливает асимптотическую нормальность оценок во и является многомерным аналогом теоремы 7 гл. 2. Вторая часть заключается в подстановке полученных в первой части асимптотически нормальных оценок в квадратичную форму, приближенно описывающую отношение правдоподобия вблизи истинного значения параметра

Таким образом, уровень значимости критерия определяется приближенной формулой — случайная величина, имеющая -распределение с степенями свободы (см. [1, табл. 2.1а]), и, что следует отметить особо, уровень значимости при большом объеме выборки практически не зависит от истинного значения параметра Если же, наоборот, задан уровень значимости то критическое значение С приближенно совпадает с квантилью -распределения с степенями свободы [1, табл. 2.2а].

Пример:

Выборка произведена из нормальной генеральной совокупности с неизвестными средним и дисперсией Требуется построить критерий уровня значимости для проверки сложной основной гипотезы против сложной конкурирующей гипотезы В этом примере множество всех возможных значений параметров представляет полуплоскость а гипотеза Но выделяет в этой полуплоскости полупрямую Функция правдоподобия имеет вид

Для определения значения доставляющего максимум функции правдоподобия в множестве обратимся к примеру 25 из гл. 2. Тогда

где — выборочные среднее и дисперсия, и, значит, само максимальное значение

Найдем теперь максимизирующее функцию правдоподобия в подмножестве Для этого заметим, что поскольку то система уравнений правдоподобия превращается в одно уравнение

решая которое, получаем

Таким образом,

Отношение правдоподобия имеет вид

а сам критерий предписывает нам принять гипотезу если и отвергнуть ее, если Поскольку множество имеет размерность а подмножество — размерность то критическое значение где — а-квантиль -распределения с одной степенью свободы. Полученный критерий удобно записать в несколько ином виде. Действительно, производя элементарные преобразования, имеем

Используя теперь монотонность функции видим, что неравенство эквивалентно неравенству где или, что то же самое, неравенству Иными словами, мы пришли к естественному критерию: принять гипотезу если и отвергнуть в противном случае.

Поскольку статистика

имеет t-распределение (см. гл. 1, параграф 4), то критическое значение при размере критерия представляет собой -квантиль t-распределения с n-1 степенями свободы.

Отметим [12], что построенный критерий является равномерно наиболее мощным несмещенным для проверки гипотез

Пример:

Предположим, мы произвели опыт, состоящий из п испытаний, а результат каждого испытания характеризуется двумя случайными факторами (показателями), причем первый фактор может принимать значения (уровни действия фактора) а второй — Результаты опыта можно представить в виде табл. 1, где — число испытаний, в которых первый фактор подействовал на уровне i, а второй — на уровне j. Наша задача — проверить, действуют ли эти факторы независимо (гипотеза или между ними существует зависимость (гипотеза

Здесь мы имеем дело с так называемой двухфакторной -уровневой моделью. Опишем эту модель. Прежде всего, если не делать предположения о независимости факторов, то имеется неизвестных параметров — вероятностей того, что первый фактор подействует на уровне i, а второй — на уровне j. Значит, множество представляет собой -мерное подпространство пространства выделяемое соотношениями (в силу последнего равенства размерность пространства равна В свою очередь, в силу независимости факторов подмножество является -мерным подпространством пространства задаваемым ограничениями

Выпишем логарифм функции правдоподобия

Поскольку удовлетворяют уравнению связи то для вычисления максимального значения определим лагранжиан

и в соответствии с общими правилами нахождения максимума будем искать из системы уравнений

Несложные подсчеты показывают, что Таким образом,

Аналогично поступим, если Тогда

и, значит,

где суммарное число наблюдений, в которых первый фактор подействовал на уровне суммарное число наблюдений, в которых второй фактор подействовал на уровне j.

Выписывая отношение правдоподобия

получаем окончательно, что мы должны принять гипотезу если и отвергнуть в противном случае. Критическое значение С приближенно совпадает с -квантилью распределения с степенями свободы, где а — уровень значимости.

Отметим, что при практической реализации описанного критерия число наблюдений п должно быть существенно больше более того, достаточно большими должны быть все (обычно рекомендуется не менее 5).

Критерии согласия

Предположим, что выборка произведена из генеральной совокупности с неизвестной теоретической функцией распределения, относительно которой имеются две непараметрические гипотезы: простая основная и сложная конкурирующая — известная функция распределения. Иными словами, мы хотим проверить, согласуются эмпирические данные с нашим гипотетическим предположением относительно теоретической функции распределения или нет. Поэтому критерии для проверки гипотез носят название критериев согласия. Приведем три наиболее часто употребляемых критерия согласия.

Критерий Колмогорова

Уже говорилось (параграф 3 гл. 1), что в силу теоремы Гливенко-Кантелли эмпирическая функция распределения представляет собой состоятельную оценку теоретической функции распределения F(x). Поэтому можно сравнить эмпирическую функцию распределения с гипотетической и, если мера расхождения между ними мала, то считать справедливой гипотезу Наиболее естественной и простой из таких мер (будем предполагать, что — непрерывная функция) является равномерное расстояние

(рис.6 и параграф 5 гл.2). Однако при построении критерия Колмогорова более удобно пользоваться нормированным расстоянием

Итак, рассмотрим статистику

Критерий Колмогорова предписывает принять гипотезу если и отвергнуть в противном случае, где С — критическое значение критерия.

Если гипотеза справедлива, то распределение статистики р не зависит от гипотетической функции распределения (доказательство этого факта следует из инвариантности статистики критерия Колмогорова относительно монотонных преобразований, в частности преобразования — обратная к функция; преобразование приводит выборку к равномерно распределенной на отрезке (0,1)). Поэтому можно рассчитать таблицы,

которые по заданному объему выборки п и критическому значению С позволяют определить уровень значимости критерия а. Поскольку на практике обычно, наоборот, считают известными уровень значимости а и объем выборки n, а затем по ним определяют критическое значение С, то именно такая таблица приведена в [1, табл. 6.2].

При распределение статистики р сходится к распределению Колмогорова [1, табл. 6.1], и критическое значение С при большом объеме выборки практически совпадает с -квантилью распределения Колмогорова.

При практической реализации критерия Колмогорова сначала по выборке составляют вариационный ряд Затем находят и определяют значения статистики р по формуле

Наконец, сравнивают полученное значение р с критическим значением С для заданного уровня значимости а и принимают или отвергают гипотезу

Критерий Пусть — некоторая функция распределения, не совпадающая с Критерий Колмогорова хорошо разделяет выборки (имеет большую мощность) из генеральных совокупностей с теоретическими функциями распределения если достаточно велико хотя бы на малом интервале изменения х. Встречается и обратная ситуация, когда мало, но постоянно на достаточно большом интервале изменения х. В этом случае для разделения гипотез естественно пользоваться каким-либо интегральным расстоянием, например расстоянием (см. параграф 5 гл. 2).

Статистика критерия задается выражением

(мы предполагаем, что гипотетическая функция распределения имеет плотность распределения а критическая область состоит из всех тех точек для которых где С — критическое значение критерия. Используя вариационный ряд X,… ,Х, статистику можно записать в более удобном для практических расчетов виде

Распределение статистики при условии справедливости гипотезы также не зависит от гипотетической функции распределения (это доказывается точно так же, как и инвариантность распределения статистики критерия Колмогорова) и при увеличении объема выборки сходится к -распределению. Поэтому уровень значимости критерия а определяется по критическому значению С приближенной формулой

где А(х) — функция -распределения [1, табл. 6.4а]. Если же задан уровень значимости а критерия, то критическое значение С практически совпадает с (1 — а)-квантилью -распределения.

Практическая реализация критерия происходит в той же последовательности, что и критерия Колмогорова: сначала по выборке определяется вариационный ряд затем находятся и вычисляется значение статистики и, наконец, полученное значение сравнивается с критическим значением С и либо принимается, либо отвергается гипотеза

В литературе иногда критериями называют целое семейство критериев, основанных на интегральных расстояниях с различными весовыми функциями.

Критерий хи квадрат

Критерий (Пирсона). Критерий является аналогом критерия для дискретной наблюдаемой величины X, хотя и применяется как в дискретном, так и в непрерывном случае.

Начнем с дискретного случая. Пусть наблюдаемая случайная величина X может принимать только значения с неизвестными вероятностями Основная гипотеза выделяет среди всех распределений случайных величин, принимающих значения одно фиксированное распределение, для которого значения вероятностей известны и равны Обозначим через число тех элементов выборки которые приняли значение Поскольку в силу закона больших чисел наблюденная частота с ростом объема выборки п стремится к вероятности мы должны признать гипотезу справедливой, если все мало отличаются от Введем теперь статистику

С одной стороны, эта статистика является мерой равномерной близости всех с другой стороны, как говорилось в параграфе 4 гл. 1, она асимптотически при независимо от гипотетических вероятностей имеет -распределение с L-1 степенями свободы. Таким образом, критерий предписывает принять гипотезу если и отвергнуть, если где С — критическое значение критерия.

Из сказанного выше следует, что при заданном С уровень значимости а критерия определяется приближенной формулой

где Н(х) — функция -распределения с L — 1 степенями свободы [1, табл. 2.1а]. Наоборот, если задан уровень значимости а, то критическое значение С примерно совпадает с -квантилью -распределения [1, табл. 2.2а].

При практической реализации критерия нужно следить за тем, чтобы объем выборки был велик, иначе неправомочна аппроксимация -распределением распределения статистики Обычно считается, что достаточным условием для этого является выполнение неравенств при всех l, в противном случае маловероятные значения объединяются в одно или присоединяются к другим значениям, причем объединенному значению приписывается суммарная вероятность (разумеется, уменьшается число степеней свободы при определении уровня значимости или критического значения С).

Следует отметить, что при критерий асимптотически совпадает с параметрическим критерием для проверки основной гипотезы против сложной конкурирующей гипотезы построенным по методу отношения правдоподобия, хотя эти критерии и основаны на совершенно различных идеях.

В общем случае (не обязательно дискретной наблюдаемой величины X) поступают следующим образом. Сначала всю прямую разбивают на L непересекающихся интервалов Затем определяют гипотетические вероятности попадания в интервал и числа элементов выборки, попавших в эти интервалы. Наконец, вычисляют значение статистики

и сравнивают его с критическим значением С. Как и в дискретном случае, маловероятные интервалы объединяют. Разумеется, для того чтобы улучшить качество критерия (увеличить его мощность), необходимо уменьшать интервалы разбиения, однако этому препятствует ограничение на числа попавших в каждый интервал наблюдений.

При применении критерия удобно пользоваться полигоном частот или гистограммой (см. параграф 3 гл. 1).

Часто требуется проверить не совпадение теоретической функции распределения F(x) с известной функцией распределения а принадлежность F(x) заданному параметрическому семейству функций распределения, зависящему от k-мерного неизвестного параметра т.е. разделить сложные непараметрические гипотезы Для того чтобы воспользоваться вышеописанными критериями, нужно из семейства выделить ту функцию распределения с которой уже и будет производиться сравнение эмпирической функции распределения F(x) выборки

Поэтому сначала, предполагая, что верна основная гипотеза находят оценку неизвестного векторного параметра а затем, полагая с помощью выбранного критерия согласия проверяют простую основную гипотезу против сложной конкурирующей гипотезы Ясно, что в качестве оценки лучше всего брать такое значение параметра которое доставляло бы минимальное значение статистике соответствующего критерия (см. параграф 5 гл.2). Однако эти естественные оценки, как правило, весьма сложны в вычислительном плане, и поэтому обычно пользуются более простыми оценками (полученными методами моментов или максимального правдоподобия).

Скажем еще несколько слов об уровне значимости критериев согласия при проверке сложной гипотезы Вообще говоря, даже асимптотически при уровень значимости критерия будет зависеть и от семейства и от выбранной оценки и даже от истинного значения неизвестного параметра Обычно на практике для критериев Колмогорова и считают уровень значимости таким же, как и в случае простой гипотезы При использовании достаточно «хороших» оценок (например, оценки максимального правдоподобия) истинный уровень значимости, как правило, будет даже меньше подсчитанного таким образом. Что касается критерия то Для него при определении уровня значимости просто уменьшают число степеней свободы -распределения на число неизвестных параметров k. Здесь мы делаем обратную ошибку: объявляем уровень значимости меньшим, чем он есть на самом деле, правда, обычно несущественно.

Отметим, что в последнее время в специальной литературе появились работы, в которых выводятся асимптотические разложения уровней значимости (и даже мощностей при «близких» гипотезах) критериев по степеням причем для некоторых критериев и типов распределений вычисляются также значения первых коэффициентов этих разложений.

Пример:

Проверим с помощью критерия Колмогорова гипотезу том, что проекция X вектора скорости молекулы водорода на ось координат (см. пример 1 из гл. 1) распределена по нормальному закону. Проверку произведем для уровня значимости Параметры нормального закона не заданы, значит, мы имеем дело со сложной гипотезой и сначала должны оценить среднее дисперсию Поскольку мы будем пользоваться критерием Колмогорова, хотелось бы оценки неизвестных параметров выбрать таким образом, чтобы они доставляли минимальное значение статистики критерия Колмогорова

где — вариационный ряд выборки приведенный в табл. 3 гл. 1, а — функция распределения нормального закона с параметрами Однако искать минимум р как функции — весьма сложная в вычислительном плане задача, так как Ф(x) даже не выражается в элементарных функциях. Поэтому в качестве оценок используем оценки максимального правдоподобия (см. примеры 8 из гл. 1 и 15 из гл.2). Теперь с помощью критерия Колмогорова будем проверять простую гипотезу Вычислив сначала и воспользовавшись равенством последовательно находим затем значения (табл.2). Наконец, определяя значение статистики критерия Колмогорова

(максимальное значение равно 0.06) и сравнивая его с 0,95-квантилью распределения Колмогорова ([1], с. 346), видим, что Значит, мы должны принять гипотезу и считать распределение проекции вектора скорости молекулы водорода нормальным.

Пример:

Проверим ту же гипотезу о нормальности проекции вектора скорости молекулы водорода с тем же уровнем значимости но теперь для проверки воспользуемся критерием Поскольку и в этом случае мы будем пользоваться оценками максимального правдоподобия неизвестных среднего и дисперсии нормального закона, то все этапы вычислений, вплоть до нахождения для критериев Колмогорова и полностью совпадают. Остается только определить значение статистики (см. табл. 2):

и сравнить найденное значение с 0,95-квантилью -распределения Таким образом, критерий также подтверждает справедливость гипотезы

Пример:

Воспользовавшись выборкой из примера 2 гл. 1, проверим с уровнем значимости гипотезу о том, что число X регистрируемых ежесекундно счетчиком Гейгера частиц имеет распределение Пуассона. Случайная величина X, распределенная по закону Пуассона, принимает значения с вероятностями

где — математическое ожидание X (см. часть 1, гл.5, параграф 3). Ввиду дискретности случайной величины X для проверки гипотезы следует использовать критерий Поскольку значение параметра неизвестно, мы имеем дело со сложной гипотезой и должны сначала оценить Воспользовавшись методом моментов, получаем оценку

(читателю предоставляется возможность убедиться, что оценка максимального правдоподобия также будет совпадать с выборочным средним). В табл. 3 выписаны гипотетические вероятности

а также числа элементов выборки, принявших значение l, взятые из статистического ряда выборки (табл. 6 гл. 1). Из табл. 3 видно, что числа элементов выборки, принявших значения 0, 6, 7, 8 и т.д., меньше 5. Поэтому объединим

нулевой и первый столбцы, а шестой и последующие столбцы присоединим к пятому (табл. 4). Производя последовательно вычисления, представленные в табл. 4, определяем значение статистики

Так как число столбцов L = 5, а число неизвестных параметров k=1, то -распределение, используемое для приближенного нахождения критического значения С, имеет степени свободы. В [I, с. 167] находим 0,9-квантиль -распределения с тремя степенями свободы Сравнивая значение констатируем, что следует признать справедливость гипотезы о пуассоновости распределения регистрируемых счетчиком Гейгера частиц.

Пример:

Еще раз обратимся к проверке гипотезы о нормальности проекции X вектора скорости молекулы водорода (см. примеры 7 и 8). Воспользуемся критерием Для этого разобьем всю прямую на 8 интервалов: Однако поскольку в первые два интервала попало всего одно наблюдение (см. табл. 7 гл. 1), объединим их с третьим интервалом. Аналогично седьмой и восьмой интервалы присоединим к шестому. Окончательно получим 4 интервала с числами попавших в них наблюдений, приведенными в табл. 5. Поскольку оценки неизвестных среднего и дисперсии нами уже получены, найдем, воспользовавшись [1, с. 112-113], гипотетические вероятности попадания наблюдаемой величины X в рассматриваемые интервалы:

Теперь определим значение статистики

Число степеней свободы распределения равно единице (число интервалов наблюдения L = 4, число неизвестных параметров k= 2). Сравнивая полученное значение с 0,95-квантилью -распределения с одной степенью свободы [1, с. 167], видим, что и критерий подтверждает гипотезу

Критерии однородности двух выборок

В этом параграфе мы обратимся к постановке задачи, несколько отличной от изучавшихся ранее. А именно, будем рассматривать две выборки и проверять гипотезу о том, что эти выборки извлечены из одной и той же генеральной совокупности. Итак, пусть мы имеем независимые выборки: произведенную из генеральной совокупности с неизвестной теоретической функцией распределения произведенную из генеральной совокупности с неизвестной теоретической функцией распределения Проверяются две сложные непараметрические гипотезы: основная и конкурирующая Будем предполагать, что функции непрерывны. Поскольку справедливость гипотезы по сути дела, означает, что выборки произведены из одной и той же генеральной совокупности, критерии для проверки гипотез называются критериями однородности двух выборок. Приведем два таких критерия.

Критерий Смирнова

Критерий Смирнова использует ту же идею, что и критерий Колмогорова, но только если в критерии Колмогорова эмпирическая функция распределения сравнивается с гипотетической, то в критерии Смирнова между собой сравниваются две эмпирические функции распределения. Статистика критерия Смирнова задается выражением

где — эмпирические функции распределения, построенные по выборкам соответственно. Критерий Смирнова предписывает принять гипотезу если р < С, и отвергнуть в противном случае.

При условии справедливости гипотезы распределение статистики р (а значит, и уровень значимости а) не зависит от распределения (доказательство этого факта слово в слово повторяет доказательство инвариантности статистики критерия Колмогорова). При малых объемах выборок критические значения С для заданных уровней значимости (размеров) критерия приведены в табл. 6.5а [1]. При распределение статистики р сходится к распределению Колмогорова что позволяет приближенно вычислять уровень значимости критерия Смирнова по формуле (распределение Колмогорова приведено в табл. 6.1 [1]) и, наоборот, определять критическое значение С при заданном уровне значимости как (1 — )-квантиль распределения Колмогорова

Пример:

На двух реакторах были проведены сходные эксперименты, в результате которых возникли новые частицы. Для анализа экспериментальных данных были замерены энергии п = 631 частицы, полученной на первом реакторе, и m = 839 частиц, полученных на втором реакторе, и построены эмпирические функции распределения энергии частиц Когда сравнили, оказалось, что Проверим с помощью критерия Смирнова уровня значимости (размера) гипотезу о том, что на обоих реакторах возникали одни и те же частицы. Для этого вычислим значение статистики критерия

и сравним полученное значение р с 0,8-квантилью распределения Колмогорова Поскольку то у нас есть основания считать гипотезу справедливой.

Критерий Вилкоксона

Образуем из выборок и один общий вариационный ряд (табл.6) и отметим последовательные порядковые номера (ранги) элементов выборки в общем вариационном ряду (в табл.6 рангами

Образуем из выборок и один общий вариационный ряд (табл.6) и отметим последовательные порядковые номера (ранги) элементов выборки в общем вариационном ряду (в табл.6 рангами

Критерии, позволяющие только на основе рангов принимать или отвергать гипотезу называются ранговыми критериями. Их достоинством является чрезвычайная простота.

Поскольку при условии справедливости гипотезы все возможные комбинации рангов равновероятны (всего таких комбинаций уровень значимости (размер) рангового критерия не зависит от распределения

Обычно в качестве статистики рангового критерия используют сумму некоторая функция, определенная для всех Мы рассмотрим один тип ранговых критериев — критерий Вилкоксона.

Пусть — одна из возможных перестановок чисел (т.е. расположенные в произвольном порядке числа Положим (см. табл.6). Статистика критерия Вилкоксона задается формулой

Односторонний критерий Вилкоксона предписывает принять гипотезу если и отвергнуть, если где С — критическое значение одностороннего критерия Вилкоксона.

При использовании двустороннего критерия Вилкоксона мы должны принять гипотезу если и отвергнуть ее, если либо Нижнее и верхнее критические значения двустороннего критерия Вилкоксона связаны между собой соотношением

Выбор перестановки осуществляется до опыта таким образом, чтобы по возможности наилучшим образом разделить выборки при наименее благоприятном соотношении между теоретическими функциями или, иными словами, чтобы при заданном соотношении между мощность критерия была бы максимальна. Так, если к наиболее опасным последствиям ведет отождествление наблюдаемых величин X и Y в случае, когда У систематически меньше X (т.е. при всех x), то естественно положить и воспользоваться односторонним критерием Вилкоксона. Если же одинаково пагубными представляются и случай X систематически меньше Y, и случай Y систематически меньше X (т.е. одновременно для всех х либо либо то опять-таки нужно взять но использовать двусторонний критерий Вилкоксона. Или еще пример: из каких-то соображений стало известно, что наблюдаемые величины X и У в среднем приблизительно одинаковы и нужно проверить основную гипотезу разброс случайных величин X и Y одинаков против конкурирующей гипотезы разброс Y больше разброса X. При выполнении гипотезы наблюдаемые значения величины Y (выборка будут в основном сосредоточиваться в начале и в конце общего вариационного ряда и весьма разумным представляется выбор перестановки и т.д.

Если верна основная гипотеза то распределение статистики критерия Вилкоксона зависит лишь от объемов выборок п и т и не зависит от конкретно используемой перестановки Поэтому в соответствии с принципом классической вероятности уровень значимости (размер) а одностороннего критерия Вилкоксона для критического значения С определяется как число тех сочетаний элементов по т, для которых отнесенного к общему числу сочетаний Поскольку обычно, наоборот, по уровню значимости а определяют критическое значение С, то именно такая таблица приведена в [1] (табл. 6.8).

Уровень значимости двустороннего критерия Вилкоксона находится как удвоенный уровень значимости одностороннего критерия с Для вычисления критических значений двустороннего критерия с уровнем значимости а мы должны по табл. 6.8 определить критическое значение С одностороннего критерия с уровнем значимости а затем положить

Наконец, если объем хотя бы одной из выборок или велик, можно воспользоваться асимптотической нормальностью статистики Вилкоксона со средним и дисперсией в этом случае при заданном уровне значимости а следует положить для одностороннего критерия

а для двустороннего —

где — а-квантиль стандартного нормального закона ([1], табл. 1.3).

Пример:

Для сравнительного анализа надежности крепежных болтов, выпускаемых двумя заводами, были проверены на разрыв п=24 изделия первого завода и m= 20 изделий второго. Силы натяжения при которых произошли разрывы изделий первого и второго заводов, приведены в табл.7 и 8.

Проверим с помощью критерия Вилкоксона уровня значимости (размера) гипотезу о том, что надежность изделий обоих заводов одинакова. Для того чтобы воспользоваться критерием Вилкоксона, нужно сначала задать перестановку Анализируя условия задачи, видим, что наименее благоприятным будет случай, когда надежность болтов, выпускаемых одним заводом, систематически меньше надежности аналогичных изделий другого завода, и, значит, в качестве перестановки естественно выбрать перестановку (1,2,…,44), причем из-за отсутствия априорных предпосылок предпочесть изделия какого-либо завода мы должны воспользоваться двусторонним критерием Вилкоксона. Образуем теперь общий вариационный ряд выборок (табл. 9) и определим значение статистики w критерия Вилкоксона

Так как мы используем двусторонний критерий Вилкоксона, то нижнее критическое значение при уровне значимости а = 0,01 совпадает с критическим значением С = 341 одностороннего критерия Вилкоксона, имеющего уровень

значимости 0,005 [1, с. 360], а верхнее критическое значение определяется формулой

Сравнивая значение статистики с критическими значениями видим, что Таким образом, гипотезу об одинаковой надежности крепежных болтов, выпускаемых обоими заводами, нужно признать не соответствующей результатам проверки, а для практических потребностей рекомендовать изделия второго завода как более надежные.

Статистическая гипотеза и как её проверить

Пусть по выборке объема n получено эмпирическое распределение с равноотстоящими вариантами:

По данным наблюдения выдвигают гипотезу о законе распределения генеральной совокупности, например, предполагают, что генеральная совокупность распределена равномерно или нормально. Такие гипотезы называются статистическими. Затем для тех же объектов, которые попали в выборку, вычисляют частоты, уже исходя из теоретической гипотезы. В результате получаются частоты (их называют выравнивающими частотами), которые, вообще говоря, отличаются от наблюдавшихся. Как определить, правильно или нет выдвинута гипотеза, т. е. случайны ли расхождения наблюдавшихся и выравнивающих частот или эти расхождения являются следствием неправильности гипотезы? Для решения этого вопроса применяют критерии согласия эмпирических наблюдений к выдвинутой гипотезе. Имеется несколько критериев согласия: («хи-квадрат»)

Пирсона, критерий Колмогорова, критерий Смирнова и др. Мы познакомимся с критерием согласия («хи-квадрат») Пирсона.

Предположим, что на основе приведенного выше распределения выдвинута гипотеза Н: генеральная совокупность имеет нормальное распределение. Для вычисления выравнивающих частот поступают следующим образом:
1) находят значения

2) выравнивающие частоты , ищут по формуле

где n — сумма наблюдавшихся частот; h — разность между двумя соседними вариантами;

В результате получают множество выравнивающих частот:

Обозначим через сумму квадратов разностей между эмпирическими и выравнивающими частотами, деленных на соответствующие выравнивающие частоты:

(это обозначение и для распределения )

Для данной выборки по формуле (4.16) находим значение случайной величины . Обозначим его через Затем определяется число k = m — 3, называемое числом степеней свободы, где m — число различных вариант выборки.

Теперь проверка гипотезы Н проводится так. Задаются достаточно малой вероятностью р, называемой уровнем значимости (обычно в качестве р берут либо 0,05, либо 0,01, либо 0,001). Считается, что событие с такой вероятностью является практически невозможным. По таблице значений (приложение 6, здесь речь идет о так называемых критических точках распределения ) по заданному уровню значимости р и числу степеней свободы k находят значение Если окажется, что тo гипотеза Н отвергается на уровне значимости р, так как произошло событие, которое не должно было произойти при верной гипотезе Н; если же (р; k), то Н принимается на уровне значимости р.

Пример:

При уровне значимости 0,05 проверим гипотезу о нормальном распределении генеральной совокупности, если известны:

эмпирические частоты… 6 13 38 74 106 85 30 14

теоретические частоты… 3 14 42 82 99 76 37 13

Вычислим , Для чего составим расчетную таблицу:

Найдем число степеней свободы, учитывая, что число различных вариант m = 8. Имеем: k = 8-3 = 5. По уровню значимости р = 0,05 и числу степеней свободы k = 5 по таблице значений (приложение 6) находим: (0,05; 5) = 11,1. Так как (0,05; 5), нет оснований отвергнуть гипотезу H.

Расчет прямых регрессии

Пусть проведено n опытов, в результате которых получены следующие значения величин За приближенные значения М(Х), M(Y), D(X) и D(Y) принимают их выборочные значения:

Оценкой для ц служит величина

Заменяя в соотношениях (3.15), (3.17), (3.20) величины их выборочными значениями получим приближенные значения коэффициента корреляции и коэффициентов регрессии:

Подставляя в уравнения (3.18) и (3.19) вместо a, b, p(Y/X) и p(X/Y) их приближенные значения, получим выборочные уравнения прямых регрессий:

Пример:

Найдем выборочное уравнение прямой регрессии Y на X по данным n =10 наблюдений. Результаты наблюдений и результаты вычислений собраны в таблице (С =70 и С’= 9,0 — ложные нули).

Вычисляем:

Уравнение искомой прямой имеет вид

или

Решение заданий и задач по предметам:

• Теория вероятностей
• Математическая статистика

Дополнительные лекции по теории вероятностей:

1. Случайные события и их вероятности
2. Случайные величины
3. Функции случайных величин
4. Числовые характеристики случайных величин
5. Законы больших чисел
6. Статистические оценки
7. Статистическое исследование зависимостей
8. Теории игр
9. Вероятность события
10. Теорема умножения вероятностей
11. Формула полной вероятности
12. Теорема о повторении опытов
13. Нормальный закон распределения
14. Определение законов распределения случайных величин на основе опытных данных
15. Системы случайных величин
16. Нормальный закон распределения для системы случайных величин
17. Вероятностное пространство
18. Классическое определение вероятности
19. Геометрическая вероятность
20. Условная вероятность
21. Схема Бернулли
22. Многомерные случайные величины
23. Предельные теоремы теории вероятностей
24. Оценки неизвестных параметров
25. Генеральная совокупность