Непараметрическая статистика

Непараметрическая статистика — раздел статистики, который не основан исключительно на параметризованных семействах вероятностных распределений (широко известными примерами параметров являются математическое ожидание и дисперсия). Непараметрическая статистика включает в себя описательную статистику и статистический вывод.

Определения

Статистик Ларри Вассерман сказал: «Сложно дать чёткое определение непараметрической статистике». Термин «непараметрическая статистика» может быть нечётко определён, среди прочих, следующими двумя способами.

1. Первое значение непараметричности охватывает методы, которые не полагаются на данные, относящиеся к какому-либо конкретному распределению. Среди прочих, они включают в себя:
   • Свободные от распределения методы, которые не полагаются на допущения о том, что выборка получена из определённых вероятностных распределений. Такая непараметрическая статистика является противоположностью параметрической статистики. Методы включают описательную статистику, статистические модели и вывод, проверку статистических гипотез.
   • Непараметрическая статистика (в значении статистики над данными, которая определяется как функция от выборки и не зависит от параметра), интерпретация которой не зависит от совокупности, соответствующей каким-либо параметризованным распределениям. Порядковая статистика, основанная на рангах наблюдений, является одним из примеров такой статистики, и играет центральную роль во многих непараметрических подходах.

   Следующие рассуждения взяты из книги Kendall's Advanced Theory of Statistics.

   Статистические гипотезы обращают внимание на поведение наблюдаемых случайных величин... Например, гипотеза (а) о том, что нормальное распределение имеет определенное математическое ожидание и его дисперсия является статистической; гипотеза (б) - то, что математическое ожидание дано, дисперсия не задана; гипотеза (в) - то, что распределение имеет нормальный вид, математическое ожидание и дисперсия не заданы; наконец, гипотеза (г), два неизвестных непрерывных распределения совпадают.

   Заметим, что в примерах (а) и (б) распределение, лежащее в основе наблюдений, было определено и представляло собой нормальное распределение, а гипотеза была полностью связана со значением одного или обоих ее параметров. Такая гипотеза, по понятным причинам, называется параметрической.

   Гипотеза (в) имеет иной характер, так как в формулировке гипотезы не указаны значения параметров; такую гипотезу можно обоснованно назвать непараметрической. Гипотеза (г) также непараметрическая, но, помимо того, она не определяет даже тип распределения и может быть названа свободной от распределения. Несмотря на эти различия, статистическая литература обычно навешивает ярлык "непараметрический" к методам, которые мы только что назвали "свободными от распределения", тем самым ломая полезную классификацию.

2. Второе значение непараметричности охватывает методы, которые не предполагают, что структура модели является фиксированной. Как правило, размер модели увеличивается с усложнением данных. В этих методах предполагается, что отдельные переменные принадлежат к параметрическим распределениям, а также делаются предположения о типах связей между переменными. Эти методы включают, среди прочего:
   • непараметрическую регрессию — моделирование, посредством которого структура отношений переменных рассматривается непараметрически. Тем не менее, при этом могут существовать параметрические предположения о распределении остатков модели.
   • непараметрические иерархические модели Байеса, такие как модели, основанные на процессе Дирихле, которые позволяют количеству скрытых переменных расти по мере необходимости, чтобы соответствовать данным. Однако отдельные переменные могут подчиняться параметрическим распределениям, и даже процесс, контролирующий скорость роста скрытых переменных, подчиняется параметрическому распределению.

Цели и применения

Непараметрические методы широко используются для изучения популяций, которые принимают ранжированный порядок (например, обзоры фильмов, которые могут получать от одной до четырех звезд). Использование непараметрических методов может быть необходимым, когда данные имеют ранжирование, но не имеют ясной численной интерпретации, например, при оценке предпочтений. С точки зрения шкал, результатами работы непараметрических методов являются порядковые данные.

Поскольку непараметрические методы делают меньше предположений, сфера их применений гораздо шире, нежели у параметрических методов. В частности, они могут применяться в ситуациях, когда имеется меньше информации о самом применении. Также в связи с тем, что они зависят от меньшего числа предположений, непараметрические методы являются более надежными.

Другим обоснованием использования непараметрических методов является их простота. В некоторых случаях, даже в тех, когда использование параметрических методов оправдано, может быть проще использовать непараметрические методы. Из-за перечисленных выше причин, непараметрические методы рассматриваются некоторыми статистиками как дающие меньше возможностей для неправильного понимания и использования.

Более широкая применимость и повышенная робастность (надёжность) непараметрических методов обходятся дорого: в тех случаях, когда параметрический метод подходит, непараметрические имеют меньшую статистическую мощность. Другими словами, для того чтобы сделать выводы с той же уверенностью, может потребоваться больший размер выборки.

Непараметрические модели

Непараметрические модели отличаются от параметрических моделей тем, что структура модели не задается априори, а определяется данными. Термин непараметрический не означает полное отсутствие параметров. Просто их количество и характер гибки и не фиксированы заранее.

• Гистограмма — это простая непараметрическая оценка вероятностного распределения.
• Ядерная оценка плотности дает лучшие оценки плотности, чем гистограммы.
• Методы непараметрической регрессии и полупараметрической регрессии разработаны на основе ядер, сплайнов и вейвлетов.
• Анализ среды функционирования обеспечивает коэффициенты эффективности, близкие к тем, что получены многомерным анализом без каких-либо предположений о распределениях.
• Метод $k$ ближайших соседей классифицирует невидимый экземпляр в обучающем наборе на основе $k$ ближайших к нему точек.
• Метод опорных векторов (с гауссовым ядром) является непараметрическим классификатором больших полей.

Методы

Непараметрические (или свободные от распределения) методы статистического вывода являются математическими процедурами для проверки статистических гипотез, которые, в отличие от параметрической статистики, не делают предположений о вероятностных распределениях оцениваемых переменных. Такие методы носят название непараметрических статистических критериев. Наиболее часто используемые критерии включают:

• Анализ сходства: проверяет статистическую значимость различия между группами состоящими выборок
• Критерий Андерсона-Дарлинга: проверяет принадлежность анализируемой выборки данному закону распределения
• Бутстрэп: позволяет просто и быстро оценивать разные статистики для сложных моделей
• Критерий Фридмана: применяется для исследования влияния разных значений фактора (градаций фактора) на одну и ту же выборку
• Оценка Каплана-Майера: оценивает функцию выживаемости по данным времени жизни
• Тау-коэффициент Кендалла: измеряет статистическую зависимость между двумя переменными
• W Кендалла: непараметрическая статистика, которая измеряет степень сходства между двумя ранжированиями и может быть использован для оценки значимости отношения между ними
• Двухвыборочный критерий Колмогорова—Смирнова: используется для проверки гипотезы о принадлежности двух независимых выборок одному закону распределения
• Дисперсионный анализ Краскела—Уоллиса: проверяет гипотезу о том, имеют ли сравниваемые выборки одно и то же распределение или же распределения с одной и той же медианой
• Критерий согласия Кёйпера: используется для проверки того, противоречит ли данное распределение или семейство распределений признакам выборки данных
• Логарифмический ранговый (логранговый) критерий: сравнение распределений выживаемости двух выборок
• U-критерий Манна — Уитни: используется для оценки различий между двумя независимыми выборками по уровню какого-либо признака, измеренного количественно
• Критерий хи-квадрата МакНемара: проверяет, значимо или нет различаются между собой несколько сравниваемых переменных, принимающих значения 0 / 1
• Медианный критерий: проверяет гипотезу о том, что распределения двух выборок имеют одинаковую форму и отличаются только сдвигом на константу
• Критерий перестановок Питмана (ресемплинг): проверка статистической значимости, которая дает точные P-значения, изучая все возможные перестановки меток
• Критерий Зигеля-Туки: проверка на различия в масштабе между двумя группами
• Критерий знаков: применяется в ситуациях, когда два измерения (например, при разных условиях) одних и тех же субъектов нужно проверить на наличие или отсутствие различия результатов
• Коэффициент ранговой корреляции Спирмена: используется для измерения нелинейной монотонной зависимости между переменными
• Критерий квадратов рангов: проверяет равенство дисперсий в двух или более выборках
• Критерий Тьюки-Дакуорта: проверяет, был ли одна из двух выборок значительно больше другой
• Критерий серий Вальда—Вольфовица: проверяет, являются ли элементы последовательности взаимно независимыми / случайными
• Критерий Уилкоксона: используемый для проверки различий между двумя выборками парных измерений

История

Среди ранних непараметрических статистик — медиана (13-й век или ранее, использовалась в оценке Эдварда Райта, 1599) и критерий знаков Джона Арбетнота (1710) при анализе соотношения полов человека при рождении.

Литература

• Bagdonavicius, V., Kruopis, J., Nikulin, M.S. (2011). «Non-parametric tests for complete data», ISTE & WILEY: London & Hoboken. ISBN 978-1-84821-269-5.
• Corder, G. W.; Foreman, D. I. Nonparametric Statistics: A Step-by-Step Approach (англ.). — Wiley, 2014. — ISBN 978-1118840313.
• Жан Гиббонс; Chakraborti, Subhabrata (2003). Nonparametric Statistical Inference, 4th Ed. CRC Press. ISBN 0-8247-4052-1.
• Hettmansperger, T. P.; McKean, J. W. Robust Nonparametric Statistical Methods (неопр.). — First. — London: Edward Arnold, 1998. — Т. 5. — (Kendall's Library of Statistics). — ISBN 0-340-54937-8. also ISBN 0-471-19479-4.
• Hollander M., Wolfe D.A., Chicken E. (2014). Nonparametric Statistical Methods, John Wiley & Sons.
• Sheskin, David J. (2003) Handbook of Parametric and Nonparametric Statistical Procedures. CRC Press. ISBN 1-58488-440-1
• Wasserman, Larry (2007). All of Nonparametric Statistics, Springer. ISBN 0-387-25145-6.