Энтропия Реньи

В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи.

Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (т.е. — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как

,

где угловыми скобками обозначено математическое ожидание по распределению ( — вероятность пребывания системы в некотором состоянии как случайная величина), логарифм берётся по основанию 2 (для счёта в битах) либо по другому удобному основанию (оно должно быть больше 1). Основание логарифма определяет единицу измерения энтропии. Так, в математической статистике обычно используется натуральный логарифм.

Если все вероятности , тогда при любом энтропия Реньи . Иначе -энтропия убывает как функция . Притом более высокие значения (уходящие в бесконечность) дают энтропии Реньи значения, которые в большей степени определены лишь самыми высокими вероятностями событий (т.е. вклад в энтропию маловероятных состояний уменьшается). Промежуточный случай в пределе даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при получаем максимально возможную -энтропию, равную независимо от распределения (лишь бы ).

Смысл параметра можно описать, говоря неформальным языком, как восприимчивость функционала к отклонению состояния системы от равновесного: чем больше , тем быстрее уменьшается энтропия при отклонении системы от равновесного состояния. Смысл ограничения заключается в том, чтобы обеспечивалось увеличение энтропии при приближении системы к равновесному (более вероятному) состоянию. Это требование является естественным для понятия энтропия. Следует заметить, что для энтропии Цаллиса, которая эквивалентна энтропии Реньи с точностью до не зависящего от монотонного преобразования, соответствующее ограничение часто опускают, при этом для отрицательных значений параметра вместо максимизации энтропии используют её минимизацию.

Энтропия Реньи играет важную роль в экологии и статистике, определяя т. н. индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от . Они также приводят к спектру показателей фрактальной размерности.

Hα для некоторых конкретных значений αПравить

Некоторые частные случаиПравить

  • При   энтропия Реньи не зависит от вероятностей состояний (вырожденный случай) и равна логарифму числа состояний (логарифму мощности множества  ):
 .

Данную энтропию иногда называют энтропией Хартли. Она используется, например, в формулировке принципа Больцмана.

  • В пределе при  , можно показать, используя правило Лопиталя, что   сходится к энтропии Шеннона. Таким образом, семейство энтропий Реньи может быть доопределено функционалом
 .
  • Квадратичная энтропия, иногда называемая энтропией столкновений, — это энтропия Реньи с параметром  :
 ,

где   и   — независимые случайные величины, одинаково распределённые на множестве   с вероятностями   ( ). Квадратичная энтропия используется в физике, обработке сигналов, экономике.

  • Существует предел
 ,

который называется min-энтропией, потому что это наименьшее значение  . Данная энтропия также является вырожденным случаем, поскольку её значение определяется только наиболее вероятным состоянием.

Неравенства для различных значений αПравить

Два последних случая связаны соотношением  . С другой стороны, энтропия Шеннона   может быть сколь угодно высокой для распределения X с фиксированной min-энтропией.

  потому что  .
 , потому что  .
  в соответствии с неравенством Йенсена  .

Расхождения (дивергенции) РеньиПравить

Кроме семейства энтропий, Реньи также определил спектр мер расхождений (дивергенций), обобщающих расхождение Кульбака—Лейблера. Формулы данного раздела записаны в общем виде — через логарифм по произвольному основанию. Поэтому нужно понимать, что каждая приведённая формула представляет собой семейство эквивалентных функционалов, определённых с точностью до постоянного (положительного) множителя.

Расхождение Реньи с параметром  , где   и  , распределения   относительно распределения   (или «расстояние от   до  ») определяется как

 

или (формально, без учёта нормировки вероятностей)

 ,
 .

Как расхождение Кульбака—Лейблера, расхождение Реньи является неотрицательным для  .

Некоторые частные случаиПравить

  • При   дивергенция Реньи не определена, однако семейство дивергенций можно доопределить элементом
  : минус логарифм от суммы вероятностей  , таких что соответствующие  .
  •   : расхождение Кульбака—Лейблера (равно математическому ожиданию по распределению   логарифма отношения вероятностей  ).
  •   : логарифм от математического ожидания по распределению   отношения вероятностей  . Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию хи-квадрат  .
  •   : логарифм от максимального отношения вероятностей  .

Почему случай особенный[уточнить]Править

Значение  , которое соответствует энтропии Шеннона и расхождению Кульбака—Лейблера, является особенным, потому что только в этом случае можно выделить переменные A и X из совместного распределения вероятностей, такие что справедливо

 

для энтропии, и

 

для дивергенции.

Последнее означает, что если мы будем искать распределение  , которое сводит к минимуму расхождения некоторых основополагающих мер  , и получим новую информацию, которая влияет только на распределение  , то распределение   не будет зависеть от изменений  .

В общем случае расхождения Реньи с произвольными значениями   удовлетворяют условиям неотрицательности, непрерывности и инвариантности относительно преобразования координат случайных величин. Важным свойством любых энтропии и дивергенции Реньи является аддитивность: когда   и   независимы, из   следует

 

и

 .

Наиболее сильные свойства случая  , которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях или совершенно неважны, в зависимости от требований этих приложений.

Перекрёстная энтропия РеньиПравить

Перекрёстная энтропия   от двух распределений с вероятностями   и   ( ) в общем случае может определяться по-разному (в зависимости от применения), но должна удовлетворять условию  . Один из вариантов определения (аналогичным свойством обладает перекрёстная энтропия Шеннона):

 .

Другое определение, предложенное А. Реньи, может быть получено из следующих соображений. Определим эффективное количество состояний системы как среднее геометрическое взвешенное от величин   с весами  :

 .

Отсюда следует выражение для перекрёстной энтропии Шеннона

 .

Рассуждая аналогичным образом, определим эффективное количество состояний системы как среднее степенное взвешенное от величин   с весами   и параметром  :

 .

Таким образом, перекрёстная энтропия Реньи имеет вид

 .
  • Нетрудно видеть, что в случае, если распределения вероятностей   и   совпадают, перекрёстная энтропия Реньи совпадает с энтропией Реньи.
  • Также при   перекрёстная энтропия Реньи сходится к перекрёстной энтропии Шеннона.
  • Свойство  , справедливое для перекрёстной энтропии Шеннона, в общем случае не имеет места. Перекрёстная энтропия Реньи может быть как больше, так и меньше энтропии Реньи.

Непрерывный случайПравить

Для формального обобщения энтропии Шеннона на случай непрерывного распределения служит понятие дифференциальная энтропия. Совершенно аналогично определяется дифференциальная энтропия Реньи:

 .

Расхождение (дивергенция) Реньи в непрерывном случае также является обобщением расхождения Кульбака—Лейблера и имеет вид

 .

Определение перекрёстной энтропии, предложенное А. Реньи, в непрерывном случае имеет вид

 .

В приведённых формулах   и   — некоторые функции плотности распределения вероятностей, определённые на интервале  , и полагается  ,  .

ЛитератураПравить