Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть $P$ — распределение вероятностей и $\mu$ — любая мера на $X$, для которой существует абсолютно непрерывная относительно $\mu$ функция $p={\frac {dP}{d\mu }}$. Тогда энтропия Цаллиса определяется как

$S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).$

В частности, для дискретной системы, находящейся в одном из $N$ доступных состояний с распределением вероятностей $P=\{p_{i}\,|\,i=1,2,...,N\}$,

$S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)$.

В случае лебеговой меры $\mu =x$, т.е. когда $P$ — непрерывное распределение с плотностью $p(x)$, заданной на множестве $X$,

$S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)$.

В этих формулах $k$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают $k=1$.

Параметр $q$ — безразмерная величина ($q\in R$), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при $q\to 1$, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При $q>0$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При $q<0$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при $q>0$ энтропию Цаллиса нужно максимизировать, а при $q<0$ — минимизировать. Значение параметра $q=0$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от $P$, а зависит лишь от $\mu (X)$, т.е. от размера системы (от $N$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины $X$ был безразмерным. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при $k={q-1 \over 1-2^{1-q}}$) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при $q>0$ энтропия Цаллиса является частным случаем f-энтропии (при $q<0$ f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции $\ln x$ на функцию

$\ln _{q}x={x^{q-1}-1 \over q-1}$

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при $q\to 1$ совпадающий с логарифмом). К. Цаллис использовал несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра $q$ на $2-q$.

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

$S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}$.

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

$S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}$.

Аналогично для непрерывного случая:

$S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx$.

Альтернативное определение

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака $q$, а также из-за того, что при $q<0$ не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия, являющаяся частным случаем f-энтропии:

$S_{q}(P)={k \over q(q-1)}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).$

α-энтропия в пределе при $q\rightarrow 0$ с точностью до несущественного слагаемого эквивалентна энтропии Берга

$S_{0}(P)=k\int \limits _{X}^{}{\ln p\,d\mu }.$

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения $k$, кроме случая $q=0$.

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы $A$ и $B$, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний $a\in A$ и $b\in B$ в этих системах равна произведению соответствующих вероятностей:

$\operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)$,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

$p_{AB}(x,y)=p_{A}(x)p_{B}(y)$,

где $x\in X$, $y\in Y$ — области значений случайной величины в системах $A$ и $B$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо

$S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)$.

Поскольку условие аддитивности для энтропии имеет вид

$S(AB)=S(A)+S(B)$,

отклонение параметра $q$ от $1$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при $q=1$.

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями $A=\{a_{i}\}$ и $B=\{b_{i}\}$, $i=1,2,...,N$, дивергенция Цаллиса определяется как

$D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)$.

В непрерывном случае, если распределения $A$ и $B$ заданы плотностями $a(x)$ и $b(x)$ соответственно, где $x\in X$,

$D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)$.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при $q>0$. Несущественная положительная константа $k$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной $1$). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех $q>0$. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все $q\in R$.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции $\ln x$. В пределе при $q\to 1$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы $P$ с дискретным набором состояний $\{p_{i}|i=1,2,...,N\}$:

${\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}$, $q\geq 0$.

Дивергенция Реньи для дискретных распределений с вероятностями $A=\{a_{i}\}$ и $B=\{b_{i}\}$, $i=1,2,...,N$:

${\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}$, $q>0$.

В этих формулах положительная константа ${\widetilde {k}}$ имеет тот же смысл, что и $k$ в формализме Цаллиса.

Нетрудно видеть, что

$S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))$,

$D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))$,

где функция

$T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}$

определена на всей числовой оси и непрерывно возрастает по $x$ (при $q=1$ полагаем $T_{q}(x)={k \over {\widetilde {k}}}x$). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех $q>0$;
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме $q=0$), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством.