Выбор между параметрическим и непараметрическим тестом: насколько это на самом деле влияет на результат?

На самом деле надо ли задумываться о выборе параметрического или непараметрического теста? Ответ зависит от размере выборки. Есть четыре вещи о которых следует подумать:

• Большая выборка. Что произойдет, если Вы используете параметрический тест с данными, которые были получены на Гауссовой популяции? Центральная предельная теорема гарантирует, что параметрический тест будет хорошо работать с большими выборками если даже популяция, из которой была получены выборка, не является Гауссовой. Иными словами параметрические тесты являются устойчивыми к отклонению от Гауссового распределения в том случае, если выборка достаточно большая. Проблема, однако, заключается в том, что невозможно сказать насколько большая является достаточно большой и это все зависит от природы определенного не Гауссового распределения. Однако в том случае, если популяция не является действительно очень странной, Вы по всей вероятности, можете достаточно спокойно выбирать параметрический тест, если у Вас имеется по крайней мере, две дюжины наблюдений в каждой группе.

• Большая выборка. Что произойдет, если Вы будете использовать непараметрический тест с данными из Гауссовой популяции? Непараметрические тесты работают достаточно хорошо в большими выборками Гауссовой популяции. Р-значение имеет тенденцию быть немножко великоватым, но различия очень небольшие. Иными словами непараметрические тесты лишь ненамного менее мощны, чем параметрические тесты на больших выборках.

• Небольшие выборки. Что произойдет, если Вы будете использовать параметрический тест с данными от не Гауссовой популяции? Вы не можете полагаться на центральную предельную теорему и поэтому р-значение будет неправильным.

• Небольшие выборки. Что произойдет, если Вы будете использовать непараметрические тесты с данными из Гауссовой популяции? В этом случае р-оценка имеет тенденцию быть крайне высокой. Непараметрический тест не обладает достаточно высокой статистической мощностью на небольших выборках.

Поэтому большие наборы данных не представляют большой проблемы. Обычно достаточно легко сказать пришли ли данные из Гауссовой популяции, хотя на самом деле это уже не столь важно, поскольку непараметрические тесты достаточно мощны, а параметрические тесты устойчивы. Небольшие наборы данных как раз и являются основной проблемой. Достаточно сложно сказать пришли ли данные из Гауссовой популяции, однако это очень важно. Непараметрические тесты при небольшом объеме данных недостаточно мощны, а параметрические тесты не являются устойчивыми.