Энтропия

Энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») — широко используемый в естественных и точных науках термин (впервые введён в рамках термодинамики как функция состояния термодинамической системы), обозначающий меру необратимого рассеивания энергии или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу). Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией.

Употребление в различных дисциплинахПравить

В термодинамикеПравить

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например в виде излучения, при этом полная энтропия окружающей среды увеличивается[1].

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла ( ), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути[2]:

 . (1)

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить  . Тогда

 , (2)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции   имеет вид

 . (3)

Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

Физический смысл энтропииПравить

Энтропия как физическая величина отличается своей абстрактностью, физический смысл энтропии непосредственно не вытекает из её математического выражения и не поддаётся простому интуитивному восприятию.

С физической точки зрения энтропия характеризует степень необратимости, неидеальности реального термодинамического процесса. Она является мерой диссипации (рассеивания) энергии, а также мерой оценки энергии в плане её пригодности (или эффективности) использования для превращения теплоты в работу. [3] Два последних утверждения не относятся к необычным системам с отрицательной абсолютной температурой, в которых теплота самопроизвольно может полностью превращаться в работу.

В теории информацииПравить

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону[4].

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации[5][6]. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана)[7][8]. Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии)[9]. Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом.

Пусть состояния системы равновероятны и имеют вероятность  , тогда число состояний  , а  . В случае разных вероятностей состояний   рассмотрим средневзвешенную величину

 

где   — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона:

 

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое[10] как среднее степенное взвешенное с параметром   от величин  .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном[11][12].

В биологииПравить

Вводимая обычно как "мера неупорядоченности или неопределенности системы" энтропия часто используется в рассуждениях о направленности эволюционных процессов. Согласно этой точке зрения, биосфера - сверхсложная самоорганизующаяся структура, "питающаяся" неограниченной энтропией солнечного излучения[13][14]. Бактериородопсин выполняет ту же функцию, что и хлорофилл (туннельный эффект) - обеспечивает преобразование электромагнитного облучения в энергию химических связей. Если говорить о порядке, то упорядочивание расположения элементов фотосинтетической электрон-транспортной цепи обеспечивается фотосинтетической мембраной (структурной единицей хлоропластов), которая определяет направленный перенос электронов и протонов, создавая и поддерживая разность электрохимических потенциалов ионов, разделяя окисленные и восстановленные продукты и препятствуя их рекомбинации[15].

Считается, что сложность организации влияет на устойчивость в живой и неживой природе[16][17]. В неживой же природе увеличение сложности приводит к понижению устойчивости живого вещества. В противоположность этому в живой природе сложные (социальные) организации устойчивее (в смысле способности к выживанию), нежели устойчивость каждого элемента в отдельности. Например, численность организмов, состоящих из малого числа клеток (например, москитов), значительно больше численности организмов, состоящих из большого числа клеток (например, слонов). Однако это ничего не говорит об устойчивости, отнесенной к элементарной составляющей. Если бы цитолог пожелал заняться статистикой и собрал случайным образом коллекцию клеток, то он нашел бы в ней больше всего клеток, принадлежащих млекопитающим. Это говорит о том, что с усложнением живых организмов устойчивость их элементарных составляющих (клеток) значительно увеличивается[18].

По аналогии с шенноновским определением энтропии в качестве меры организованности можно рассматривать величину

 

где   - отношение числа связей   имеющихся у элемента   в данный момент, к числу всех возможных   связей этого элемента. Здесь, как и в случае определения энтропии источника информации, справедливо условие   однако условие   выполняющееся для случая определения энтропии, здесь уже не имеет места и заменяется неравенством   Для элемента   не имеющего ни одной связи с любым другим элементом,   Напротив, когда элемент   соединен со всеми другими   элементами,   и  

Выражение для меры относительной организованности запишется следующим образом:

 

Максимальная организованность находится приравниванием   по всем   нулю, в результате чего получается система из   уравнений:

 

Для любого из этих уравнений справедливо

 

Таким образом, для достижения максимума организованности отношение связи должно быть равно   (где  число Эйлера),  

Данное нестохастическое толкование организованности обладает и тем преимуществом, что позволяет сделать ряд интересных выводов. Для учета в степени связи наличия связи между двумя элементами через промежуточные элементы нужно будет использовать не число связей, подходящих к элементу   а число, которое определяется из выражения

 

где   - степень родства (сила связи) между элементами   и   В этом случае   будет представлять в формуле относительную общую силу связи (вместо числа связей, как было ранее) для элемента  [19]

Аксиоматическое определение энтропииПравить

Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина:[20].

1. Пусть некоторая система может пребывать в каждом из   доступных состояний с вероятностью  , где  . Энтропия   является функцией только вероятностей  :  .
2. Для любой системы   справедливо  , где   — система с равномерным распределением вероятностей:  .
3. Если добавить в систему состояние  , то энтропия системы не изменится.
4. Энтропия совокупности двух систем   и   имеет вид  , где   — средняя по ансамблю   условная энтропия  .

Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы[21] обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.

4'. Энтропия совокупности двух независимых систем   и   имеет вид  .

Оказывается, система аксиом с пунктом 4' приводит не только к энтропии Шеннона, но и к энтропии Реньи.

f-энтропияПравить

Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный[22] И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил[23] концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано[24] с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией   при  , удовлетворяющей условию  .

Для заданной функции   f-энтропия дискретного распределения   определяется как

 

Наиболее известными частными случаями f-энтропии являются:

  • энтропия Шеннона для  ;
  • энтропия Цаллиса для  ,  ,  ;
  • альфа-энтропия для  ,  ,  .

Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.

Понятие f-энтропии определяют в общем виде следующим образом. Пусть   — распределение вероятностей и   — любая мера на  , для которой существует абсолютно непрерывная относительно   функция  . Тогда

 

Однако непрерывные версии f-энтропий могут не иметь смысла по причине расходимости интеграла.

f-энтропия является вогнутым функционалом от распределения вероятностей.

Можно заметить, что функция   может быть задана с точностью до слагаемого  , где   — произвольная константа. Независимо от выбора   функция   порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, т.е. выбором константы   можно задать начало отсчёта энтропии. При этом возникает следующий нюанс (более характерный для непрерывной версии f-энтропии): в случае   константа   должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, т.е.   перестаёт быть произвольной. В частности, в дискретной версии энтропии константа   должна фиксироваться при  . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если  лебегова мера на  , тогда  плотность распределения вероятности и

 

где   — произвольная константа.

Функция   может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.

Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение[25]:

 

где  равномерное на   распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере  , имеет место формальная запись

 

Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.

См. такжеПравить

ПримечанияПравить

  1. Зубарев Д. Н., Морозов В. Г. Диссипация энергии // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
  2. Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.
  3. Шамбадаль П. Развитие и приложение энтропии, 1967, с. 61—64.
  4. Цыпкин Я. З., 1995, с. 77.
  5. Зубарев Д. Н., Морозов В. Г. Энтропия // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
  6. Энтропия // Большая советская энциклопедия : [в 30 т.] / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.
  7. http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
  8. http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
  9. Вентцель Е. С., 1969, с. 468—475.
  10. Зарипов Р. Г., 2005, с. 13—22, 108-125.
  11. Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33—51.
  12. Колмогоров, 1987, с. 29—39.
  13. Рапапорт А. - Математические аспекты абстрактного анализа систем // Исследования по общей теории систем. М.: Прогресс. 1969. С. 83-105.
  14. Н. Н. Брушлинская, Фактор-инвариантность уравнений химической кинетики вдоль одномерного множества в пространстве параметров, УМН, 1975, том 30, выпуск 6(186), 161–162.
  15. Кадошников С.И. - Фотоэлектрические и спектральные свойства искусственных хлорофилл-липидных мембран.
  16. Усков А.А., Круглов В.В. - Устойчивость больших систем.
  17. George J.Klir - Architecture of systems problem solving.
  18. Г.Фёрстер - Био-логика // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.
  19. Р.Бойелл - Память с семантическими связями // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.
  20. Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
  21. Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53.
  22. Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191–213.
  23. Arimoto S. Information-theoretical considerations on estimation problems // Information and Control. — 1971. — Т. 19, вып. 3. — С. 181–194.
  24. Csiszár I. Axiomatic Characterizations of Information Measures. // Entropy. — 2008. — Вып. 10. — С. 261—273.
  25. Cichocki A., Amari S.-I. Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532–1568.

ЛитератураПравить

  • к.т.н. Деменок С. Л. Просто Энтропия. — Цикл изданий "Фракталы и Хаос". — СПб.: «СТРАТА», 2019.
  • Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.}}
  • Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
  • Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
  • Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
  • Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
  • Брюллюэн Л. Наука и теория информации. — М., 1960.
  • Винер Н. Кибернетика и общество. — М., 1958.
  • Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
  • Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
  • Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
  • Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
  • Эшби У. Р. Введение в кибернетику. — М., 1965.
  • Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
  • Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
  • Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
  • Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.

СсылкиПравить