3.2 Исследование асимптотических свойств критериев и анализ эмпирической мощности

Исследуем асимптотические свойства, а именно, оценку параметров распределения, их состоятельность, и предельное распределение при различных объемах выборки.

Будем исследовать асимптотические свойства для статистики в критерии Дарлинга, когда задан равномерный закон распределения, т.е. в этом случае функция возвращает значение функции распределения равномерно распределенной случайной величины.

Как отмечалось выше, статистика , определяемая формулой (1.18), при выполнении нулевой гипотезы имеет нормальное распределение с параметрами и .

Покажем, что эмпирическое распределение статистики при увеличении объема выборки (моделируемой статистики) будет стремиться к нормальному распределению. Для этого реализуем в R две функции: первая будет строить теоретическую функцию распределения в определенном интервале, а вторая - эмпирическую функцию распределения по полученным значениям статистик.

Рисунок 1 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()

Рисунок 2 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()

Полученные графики позволяют убедиться, что эмпирическая функция распределения (график отображается черным цветом) стремиться к теоретической (красная кривая) при увеличении объема выборки моделируемых статистик, при этом функция не зависит от объема моделируемой случайной величины.

Построим доверительные границы для при различных объемах моделируемой статистики. Допустимая ошибка для математического ожидания при известной дисперсии определяется по формуле [7]

где - надежность.

Рисунок 3. Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()

Как видно из рисунков математическое ожидание вычисленных при выполнении нулевой гипотезы статистик принимает значения в пределах доверительных интервалов и при увеличении объема моделируемой статистики сильнее стремиться к теоретическому значению, определяемому по формуле (3.3).

Рисунок 4 - Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()

Построим доверительные интервалы для дисперсии при известном . Границы интервалов определяются по формуле [7]:

Построенные границы доверительного интервала для дисперсии значений статистики (см. формулу (1.18)) при выполнении нулевой гипотезы на уровне значимости 0.05 получились следующими: , эмпирическое значение дисперсии равно (входит в доверительный интервал), а теоретическое значение . Так, отклонение эмпирического значения дисперсии от теоретического не является значительным и при увеличении объема выборки моделируемой статистики стремиться к теоретическому значению.

Рассмотрим понятие мощности критерия и найдем эмпирическую мощность критерия Дарлинга в зависимости от объема выборки.

Мощность критерия - это вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза, т.е. принимается гипотеза и она верна [7]. Чтобы показать эмпирическую мощность критерия, построим график зависимости от , где - количество неправильно принимаемых гипотез в испытаниях и фиксированных объемах выборок , для статистики в критерии Дарлинга при равномерном распределении. Объемы выборок принимают значения из заданного интервала. Для того чтобы в моделируемых выборках наблюдались выбросы, будем добавлять искусственно дополнительное значение значительно отличающееся от остальных (для равномерно распределения от 0 до 1 можно добавить значение 2).

Рисунок 5 - График эмпирической функции мощности для статистики в критерии Дарлинга ()

Рисунок 6 - График эмпирической функции мощности для статистики в критерии Дарлинга ()

Таким образом, исследование асимптотических свойств статистики в критерии Дарлинга показало, что при увеличении объема моделируемой статистики при выполнении нулевой гипотезы все эмпирические параметры распределения стремятся к теоретическим значениям. А исследование эмпирической мощности показало, что вероятность принятия альтернативной гипотезы при условии, что она верна, стремиться к единице при увеличении объема моделируемой статистики.

3.3 Анализ реальных данных

Проанализируем реальные данные изученными методами, т.е. будем исследовать различные выборки на наличие выбросов с помощью смоделированных критериев.

1) Период колебания маятника

Производиться шесть измерений периода колебаний маятника, получаем результаты (в секундах) 3,8; 3,5; 3,9; 3,9; 3,4; 1,8. В этом примере значение 1,8 поразительно отличается от остальных, и необходимо решить, что с ним делать. Можно подозревать, что время 1,8 с. является результатом какой-то незамеченной ошибки или обусловлено какой-то внешней причиной. Возможно, просто ошиблись при считывании этого последнего значения времени, или, может быть, электронный секундомер остановился во время последнего измерения из-за внезапного нарушения контакта с блоком питания [2]. Будем считать, что эта выборка имеет нормальное распределение. Поскольку выборка небольшая и на выброс подозревается только одно значение, применим к этой выборке критерий Шовене и критерий Граббса.

Таблица 3.1 - Результаты проверки периода колебаний маятника

Из таблицы 3.1 видно, что применение разных критериев может давать разные результаты, по критерию Шовене значение 1,8 с. признается выбросом, а проверка по критерию Граббса не выявила наличие выбросов в выборке, но значение статистики оказалось очень близким к критической области, что говорит о подозрительности наименьшего измерения.

2) Студент делает 14 измерений периода колебаний генератора и получает результаты (в десятых долях секунды) 7, 3, 9, 3, 6, 9, 8, 7, 8, 12, 5, 9, 9, 3 [2]. Замечаем, что результат 12 подозрительно велик, поэтому применим к этой выборке критерий Шовене, Граббса и Роснера, а полученные данные занесем в таблицу.

Таблица 3.2 - Результаты проверки периода колебаний генератора

Несмотря на то, что значение 12 является подозрительным, проверка по всем трем критериям не подтвердила наличие выбросов. В таблице 3.2 видно, что статистики для проверки наибольшего значения близки к критической области, но не входят в нее, следовательно, в выборке отсутствуют аномальные наблюдения.

3) Приведем результаты измерений некоторого предмета 258.5, 255.4, 256.6, 256.7, 257.0, 256.5, 256.7, 255.3, 256.0, 266.0, 256.3, 256.5, 256.0, 256.3, 256.9. Нетрудно заметить, что величина 266.0 - явный промах, так как вместо 5 записали 6 [8].

Таблица 3.3 - Результаты проверки измерений некоторого прибора

Проверка данной выборки на наличие выбросов подтвердила, что ошибочно записанный результат 266.0 является выбросом. В таблице 3.3 оба критерия подтвердили, что наибольший элемент выборки является аномалией.

4) Студент делает десять измерений одной длины х и получает результаты (все в миллиметрах) 46, 48, 44, 38, 45, 47, 58, 44, 45, 43. Заметив, что значение 58 кажется аномально большим, он проверяет свои записи, но не находит указаний на то, что этот результат получился по ошибке [2]. Чтобы проверить на аномальность значение 58 воспользуемся критерием Шовене и критерием Роснера для обнаружения нескольких выбросов.

Таблица 3.4 - Результаты проверки измерений одной длины x

В таблице 3.4 отражены данные, полученные при применении статистических критериев. Из таблицы видно, что по критерию Шовене наибольший элемент выборки 58 признается выбросом, а критерий Роснера определил наличие двух выбросов: наибольшего 58 и наименьшего 38.

5) Рассмотрим пример применения критериев для исключения грубых погрешностей при измерении скорости ударной волны. Получены результаты 3.42, 3.43, 3.44, 3.45, 3.46, 3.47, 3.48, 3.49, 3.50. Требуется определить, не содержит ли результат наблюдения 3.50 грубую ошибку [9]. Применим критерии Шовене, Граббса и Дарлинга.

Таблица 3.5 - Результаты проверки измерений скорости ударной волны

Данные таблицы 3.5 показывают, что при проверке на грубую ошибку значения 3.50 подтвердилась нулевая гипотеза об отсутствии грубой ошибки. Однако проверка по критерию Дарлинга подтвердила, что значение 3.50 является промахом, поэтому этот результат лучше перепроверить или исключить из выборки.

6) Заданы 15 значений систолического давления, измеренные в мм: 154, 136, 91, 125, 133, 125, 93, 80, 132, 107, 142, 115, 114, 120, 141 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.

Таблица 3.6 - Результаты проверки измерений систолического давления

Полученные результаты, представленные в таблице 3.6, показывают, что в выборке нет выбросов, так это подтвердилось тремя критериями их трех. Поэтому все результаты измерения систолического давления у пациентов находятся в пределах нормального.

7) Даны 15 значений диастолического давления пациентов, измеренные в мм: 108, 90, 54, 89, 93, 77, 43, 50, 125, 76, 96, 74, 79, 71, 90 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.

Таблица 3.7 - Результаты проверки измерений диастолического давления

Из таблицы 3.7 видно, что по критерию Дарлинга для нормального распределения наибольшее значение 125 было признано выбросом, хотя остальные критерии этого не обнаружили. Поэтому данное значение диастолического давления пациента нужно просто перепроверить, измерив еще раз.

8) Для ряда наблюдений (n=20) 0, 15, 16, 22, 22, 23, 26, 27, 27, 28, 28, 31, 32, 33, 35, 37, 38, 41, 56, 58 проверить наличие выбросов критериями Шовене, Граббса, Роснера и Диксона [3].

Таблица 3.8 - Результаты проверки ряда наблюдений

В результате проверки на выбросы некоторого ряда наблюдений наибольшее значение 58 было признано выбросом тремя критериями, значит его нужно исключить из выборки. В то же время критерий Роснера обнаружил в выборке целых три аномальных наблюдения это 0, 56 и 58, поэтому эти значения необходимо перепроверить.

Таким образом, проверка реальных данных с помощью процедур смоделированных статистических критериев определения выбросов позволяет автоматизировать процесс проверки данных на аномальные наблюдения, тем самым экономя время и исключая возможности ошибок, обусловленные человеческим фактором (например, невнимательность или утомление).

Заключение

В данной курсовой работе были изучены различные критерии определения одного или нескольких выбросов для случая нормального распределения, экспоненциального, а также был рассмотрен критерий Дарлинга для любого непрерывного распределения. Для критериев Шовене, Граббса, Роснера (для обнаружения нескольких выбросов), а также критерия Дарлинга (для любого непрерывного распределения) были представлены математические модели методов проверки гипотез и написаны процедуры в статистическом пакете R.

Провели исследование распределения статистик по критериям согласия Колмогорова и Смирнова, построили графики зависимостей полученных статистик от объема выборки. В результате проверки по обоим критериям получили, что принимается нулевая гипотеза о том, что распределение моделируемой статистики при выполнении гипотезы стремиться к некоторой теоретической непрерывной функции распределения, а вероятность ошибки при увеличении объема выборки убывает и стремиться к 0.

Также исследовали асимптотические свойства рассматриваемых критериев при «малых» и «больших» объемах выборок. Построили теоретическую и эмпирическую функции распределения, доверительные границы для параметров распределения и убедились, что при увеличении количества моделируемых статистик эмпирическая функция распределения и эмпирические параметры распределения стремится к теоретическим значениям, а от объема моделируемых случайных величин не зависят. Проведенные исследования позволяют убедиться в правильности работы статистических критериев и дают возможность применять их на практике.

С помощью смоделированных и запрограммированных критериев провели анализ реальных данных, в котором выборки с реальными данными проверялись на наличие в них аномальных наблюдений - выбросов.

Таким образом, разработанные в данной курсовой работе критерии можно применять для анализа реальных данных и на его основе делать соответствующие выводы, если в выборке были обнаружены выбросы.

выброс статистика критерий асимптотический