Нормальное распределение

Норма́льное распределе́ние[1][2], также называемое распределением Гаусса или Гаусса — Лапласа[3] — распределение вероятностей, которое в одномерном случае задаётся функцией плотности вероятности, совпадающей с функцией Гаусса:

Нормальное распределение
Плотность нормального распределения
Зеленая линия соответствует стандартному нормальному распределению
Плотность вероятности
Функция распределения нормального распределения
Цвета на этом графике соответствуют графику наверху
Функция распределения
Обозначение
Параметры μ — коэффициент сдвига (вещественный)
σ > 0 — коэффициент масштаба (вещественный, строго положительный)
Носитель
Плотность вероятности
Функция распределения
Математическое ожидание
Медиана
Мода
Дисперсия
Коэффициент асимметрии
Коэффициент эксцесса
Дифференциальная энтропия
Производящая функция моментов
Характеристическая функция

где параметр  — математическое ожидание (среднее значение), медиана и мода распределения, а параметр  — среднеквадратическое отклонение ( — дисперсия) распределения.

Таким образом, одномерное нормальное распределение является двухпараметрическим семейством распределений, которое принадлежит экспоненциальному классу распределений.[4] Многомерный случай описан в статье «Многомерное нормальное распределение».

Стандартным нормальным распределением называется нормальное распределение с математическим ожиданием и стандартным отклонением .

Общие сведенияПравить

Если величина является суммой многих случайных слабо взаимозависимых величин, каждая из которых вносит малый вклад относительно общей суммы, то центрированное и нормированное распределение такой величины при достаточно большом числе слагаемых стремится к нормальному распределению.

Это следует из центральной предельной теоремы теории вероятностей. В окружающем нас мире часто встречаются величины, значение которых определяется совокупностью многих независимых факторов. Этот факт, а также то, что распределение считалось типичным, обычным, привели к тому, что в конце 19 века стал использоваться термин «нормальное распределение». Нормальное распределение играет заметную роль во многих областях науки, например в математической статистике и статистической физике.

Случайная величина, имеющая нормальное распределение, называется нормальной, или гауссовской, случайной величиной.

ОпределенияПравить

Стандартное нормальное распределениеПравить

Наиболее простой случай нормального распределения — стандартное нормальное распределение — частный случай, когда   и  . Его плотность вероятности равна

 

Множитель   в выражении обеспечивает условие нормировки интеграла  .[5] Поскольку множитель   в экспоненте обеспечивает единичную дисперсию (то есть дисперсия равна единице), то и стандартное отклонение равно 1. Функция симметрична в точке  , её значение в ней максимально и равно  . Точки перегиба функции —   и  .

Гаусс называл стандартным нормальным распределение с  , то есть

 

Нормальное распределение с параметрами  Править

Каждое нормальное распределение — это вариант стандартного нормального распределения, область значений которого растягивается множителем   (стандартное отклонение) и переносится на   (математическое ожидание):

 

  являются параметрами нормального распределения. Плотность вероятности должна нормироваться  , так что интеграл равен 1.

Если   — стандартная нормальная случайная величина, то величина   будет иметь нормальное распределение с математическим ожиданием   и стандартным отклонением  . Наоборот, если   — нормальная величина с параметрами   и  , то   будет иметь стандартное нормальное распределение.

Каждое нормальное распределение представляет собой экспоненту квадратичной функции:

 

где   и  . В таком виде среднее значение  , а дисперсия  . Для стандартного нормального распределения  ,   и  .

ОбозначениеПравить

Плотность вероятности стандартного нормального распределения (с нулевым средним и единичной дисперсией) часто обозначается греческой буквой   (фи).[6] Также достаточно часто используется альтернативная формы греческой буквы фи  .

Нормальное распределение часто обозначается  , или  .[7] Если случайная величина   распределена по нормальному закону со средним   и вариацией  , то пишут

 

Функция распределенияПравить

Функция распределения стандартного нормального распределения обычно обозначается заглавной греческой буквой   (фи) и представляет собой интеграл

 

С ней связана функция ошибок (интеграл вероятности)  , дающий вероятность того, что нормальная случайная величина со средним 0 и вариацией 1/2 попадёт в отрезок  :

 

Эти интегралы неберущиеся в элементарных функциях и называются специальными фунциями. Многие их численные приближения известны. См. ниже.

Функции связаны, в частности соотношением

 

Нормальное распределение с плотностью  , средним   и отклонением   имеет следующую функцию распределения:

 

Можно использовать функцию   — она даст вероятность того, что значение стандартной нормальной случайной величины   превысит  :  .

График стандартной нормальной функции распределения   имеет 2-кратную вращательную симметрию относительно точки (0,1/2), то есть  . Её неопределенный интеграл равен

 

Функция распределения стандартной нормальной случайной величины может быть разложена с помощью интегрирования по частям в ряд:

 

где знак   означает двойной факториал.

Асимптотическое разложение функции распределения для больших   может быть также произведено интегрированием по частям.

Стандартное отклонениеПравить

 
Для нормального распределения значения, отличающиеся от среднего на число, меньшее чем одно стандартное отклонение, составляют 68,27 % популяции. В то же время значения, отличающиеся от среднего на два стандартных отклонения, составляют 95,45 %, а на три стандартных отклонения — 99,73 %.

Около 68 % значений из нормального распределения находятся на расстоянии не более одного стандартного отклонения σ от среднего; около 95 % значений лежат расстоянии не более двух стандартных отклонений; и 99,7 % не более трёх. Этот факт является частным случаем правила 3 сигм для нормальной выборки.

Более точно, вероятность получить нормальное число в интервале между   и   равна

 

Если рассматривать 12 значимых символов, значения для   равны:[8]

        OEIS
1 0.682689492137 0.317310507863
3.15148718753

A178647

2 0.954499736104 0.045500263896
21.9778945080

A110894

3 0.997300203937 0.002699796063
370.398347345

A270712

4 0.999936657516 0.000063342484
15787.1927673
5 0.999999426697 0.000000573303
1744277.89362
6 0.999999998027 0.000000001973
506797345.897

СвойстваПравить

МоментыПравить

Моментами и абсолютными моментами случайной величины   называются математические ожидания случайных величин   и  , соответственно. Если математическое ожидание случайной величины  , то эти параметры называются центральными моментами. В большинстве случаев представляют интерес моменты для целых  .

Если   имеет нормальное распределение, то для неё существуют (конечные) моменты при всех   с действительной частью больше −1. Для неотрицательных целых  , центральные моменты таковы:

 

Здесь   — натуральное число, а запись   означает двойной факториал числа  , то есть (поскольку   в данном случае нечётно) произведение всех нечётных чисел от 1 до  .

Центральные абсолютные моменты для неотрицательных целых   таковы:

 

Последняя формула справедлива также для произвольных  .

Преобразование Фурье и характеристическая функцияПравить

Преобразование Фурье нормальной плотности вероятности   с математическим ожиданием   стандартным отклонением   равно[9]

 

где   есть мнимая единица. Если математическое ожидание  , то первый множитель равен 1, и преобразование Фурье, не считая константу, есть нормальная плотность вероятности на частотных интервалах, с математическим ожиданием равным 0 и стандартным отклонением  . В частности, стандартное нормальное распределение   есть собственная функция от преобразования Фурье.

В теории вероятности, преобразование Фурье плотности распределения действительной случайной величины   близко связано с характеристической функцией   этой величины, которая определена как математическое ожидание от   и является функцией вещественной переменной   (частотный параметр преобразования Фурье). Определение может быть распространено и на комплексную переменную  .[10] Соотношение записывается так:

 

Бесконечная делимостьПравить

Нормальное распределение является бесконечно делимым.

Если случайные величины   и   независимы и имеют нормальное распределение с математическими ожиданиями   и   и дисперсиями   и   соответственно, то   также имеет нормальное распределение с математическим ожиданием   и дисперсией   Отсюда вытекает, что нормальная случайная величина представима как сумма произвольного числа независимых нормальных случайных величин.

Максимальная энтропияПравить

Нормальное распределение имеет максимальную дифференциальную энтропию среди всех непрерывных распределений, дисперсия которых не превышает заданную величину[11][12].

Правило трёх сигм для гауссовской случайной величиныПравить

Основная статья: Правило трёх сигм
 
График плотности вероятности нормального распределения и процент попадания случайной величины на отрезки, равные среднеквадратическому отклонению.

Правило трёх сигм ( ) — практически все значения нормально распределённой случайной величины лежат в интервале  , где   — математическое ожидание и параметр нормальной случайной величины. Более точно — приблизительно с вероятностью 0,9973 значение нормально распределённой случайной величины лежит в указанном интервале.

Моделирование нормальных псевдослучайных величинПравить

При компьютерном моделировании, особенно при применении метода Монте-Карло, желательно использовать величины, распределенные по нормальному закону. Многие алгоритмы дают стандартные нормальные величины, так как нормальную величину   можно получить как  , где Z — стандартная нормальная величина. Алгоритмы также используют различные преобразования равномерных величин. Простейшие приближённые методы моделирования основываются на центральной предельной теореме. Если сложить достаточно большое количество независимых одинаково распределённых величин с конечной дисперсией, то сумма будет иметь распределение, близкое к нормальному. Например, если сложить 100 независимых стандартно равномерно распределённых случайных величин, то распределение суммы будет приближённо нормальным.

Для программного генерирования нормально распределённых псевдослучайных величин предпочтительнее использовать преобразование Бокса — Мюллера. Оно позволяет генерировать одну нормально распределённую величину на базе одной равномерно распределённой.

Также существует алгоритм Зиккурат, который работает даже быстрее преобразования Бокса — Мюллера. Тем не менее, сложнее в реализации, но его применение оправдано в случаях, когда требуется генерирование очень большого числа неравномерно распределённых случайных чисел.

Нормальное распределение в природе и приложенияхПравить

Нормальное распределение часто встречается в природе. Например, следующие случайные величины хорошо моделируются нормальным распределением:

  • отклонение при стрельбе;
  • погрешности измерений (однако погрешности некоторых измерительных приборов имеют иное распределение);
  • некоторые характеристики живых организмов в популяции.

Такое широкое распространение этого распределения связано с тем, что оно является бесконечно делимым непрерывным распределением с конечной дисперсией. Поэтому к нему в пределе приближаются некоторые другие, например биномиальное и пуассоновское. Этим распределением моделируются многие недетерминированные физические процессы[13].

Многомерное нормальное распределение используется при исследовании многомерных случайных величин (случайных векторов). Одним из многочисленных примеров таких приложений является исследование параметров личности человека в психологии и психиатрии.

Связь с другими распределениямиПравить

  • Нормальное распределение является распределением Пирсона типа XI[14].
  • Отношение пары независимых стандартных нормально распределенных случайных величин имеет распределение Коши[15]. То есть, если случайная величина   представляет собой отношение   (где   и   — независимые стандартные нормальные случайные величины), то она будет обладать распределением Коши.
  • Если   — совместно независимые стандартные нормальные случайные величины, то есть  , то случайная величина   имеет распределение хи-квадрат с k степенями свободы.
  • Если случайная величина   подчинена логнормальному распределению, то её натуральный логарифм имеет нормальное распределение. То есть, если  , то  . И наоборот, если  , то  .
  • Если   независимые нормально распределенные случайные величины с математическими ожиданиями   и дисперсиями  , то их выборочное среднее независимо от выборочного стандартного отклонения,[16] а отношение следующих двух величин будет иметь t-распределение с  степенями свободы:
 
  • Если  ,   независимые стандартные нормальные случайные величины, то отношение нормированных сумм квадратов будет иметь распределение Фишера с ( ,  ) степенями свободы:[17]
 
  • Отношение квадратов двух стандартных нормальных случайных величин имеет распределение Фишера со степенями свободы  .

ИсторияПравить

Впервые нормальное распределение как предел биномиального распределения при   появилось в 1738 году во втором издании работы Муавра «Доктрина случайностей»[en][18]. Это было первое доказательство частного случая центральной предельной теоремы. В 1809 году Гаусс в сочинении «Теория движения небесных тел» ввёл это распределение как возникающее в результате многократных измерений движения небесных тел. Однако Гаусс вывел формулу для действительных случайных величин из принципа достижения максимума совместной плотности всех измерений в точке с координатами, равными среднему всех измерений. Этот принцип впоследствии подвергался критике. В 1812 году Лаплас в теореме Муавра — Лапласа обобщил результат Муавра для произвольного биномиального распределения, то есть для сумм одинаково распределённых независимых бинарных величин[3].

См. такжеПравить

ПримечанияПравить

  1. Вентцель Е. С. Теория вероятностей. — 10-е изд., стер.. — М.: Academia, 2005. — 576 с. — ISBN 5-7695-2311-5.
  2. Ширяев, А. Н. Вероятность. — М.: Наука, 1980.
  3. 1 2 Математический энциклопедический словарь. — М.: Советская энциклопедия, 1988. — С. 139—140.
  4. L. Wasserman. All of Statistics. — New York, NY: Springer, 2004. — С. 142. — 433 с. — ISBN 978-1-4419-2322-6.
  5. Доказательство см. Гауссов интеграл
  6. Halperin, Hartley & Hoel (1965, 7)
  7. McPherson (1990)
  8. Wolfram|Alpha: Computational Knowledge Engine. Wolframalpha.com. Дата обращения 3 марта 2017.
  9. Bryc (1995, p. 23)
  10. Bryc (1995, p. 24)
  11. Cover, Thomas M.; Thomas, Joy A. Elements of Information Theory (неопр.). — John Wiley and Sons, 2006. — С. 254.
  12. Park, Sung Y.; Bera, Anil K. Maximum Entropy Autoregressive Conditional Heteroskedasticity Model (англ.) // Journal of Econometrics (англ.) : journal. — Elsevier, 2009. — P. 219—230. Архивировано 7 марта 2016 года.
  13. Талеб Н. Н. Чёрный лебедь. Под знаком непредсказуемости = The Black Swan: The Impact of the Highly Improbable. — КоЛибри, 2012. — 525 с. — ISBN 978-5-389-00573-0.
  14. Королюк, 1985, с. 135.
  15. Галкин В. М., Ерофеева Л. Н., Лещева С. В. Оценки параметра распределения Коши // Труды Нижегородского государственного технического университета им. Р. Е. Алексеева. — 2014. — № 2(104). — С. 314—319. — УДК 513.015.2(G).
  16. Lukacs, Eugene. A Characterization of the Normal Distribution (англ.) // The Annals of Mathematical Statistics (англ.) : journal. — 1942. — Vol. 13, no. 1. — P. 91—3. — ISSN 0003-4851. — DOI:10.1214/aoms/1177731647.
  17. Lehmann, E. L. Testing Statistical Hypotheses (неопр.). — 2nd. — Springer (англ.), 1997. — С. 199. — ISBN 978-0-387-94919-2.
  18. The doctrine of chances; or, a method of calculating the probability of events in play, L., 1718, 1738, 1756; L., 1967 (репродуцир. изд.); Miscellanea analytica de scriebus et quadraturis, L., 1730.

ЛитератураПравить

СсылкиПравить