Среднее степенное взвешенное

Среднее степенное взвешенное — разновидность среднего значения. Для набора положительных вещественных чисел $x_{1},\ldots ,x_{n}$ с параметром $q\neq 0$ и неотрицательными весами $w_{1},\ldots ,w_{n}$ определяется как

${\bar {x}}=\left({\frac {\sum _{i=1}^{n}w_{i}x_{i}^{q}}{\sum _{i=1}^{n}w_{i}}}\right)^{1/q}$.

Если веса $w_{1},\ldots ,w_{n}$ нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

${\bar {x}}=\left(\sum _{i=1}^{n}w_{i}x_{i}^{q}\right)^{1/q}$.

Свойства

• В том случае, если все веса $w_{i}$ равны между собой, среднее степенное взвешенное равно среднему степенному.
• Среднее арифметическое взвешенное и среднее гармоническое взвешенное являются частными случаями среднего степенного взвешенного при соответственно $q=1$ и $q=-1$.
• В пределе при $q\to 0$ среднее степенное взвешенное сходится к среднему геометрическому взвешенному.

Связь с энтропией Реньи

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности $p_{i}$ пребывания системы в состоянии с номером $i$ ($i=1,\ldots ,N$) нормированы к $1$. Если состояния системы равновероятны и имеют вероятность $p$, то $N=1/p$. В случае разных вероятностей состояний $p_{i}$ определим эффективное количество состояний ${\overline {N}}$ как среднее степенное взвешенное от величин $x_{i}=1/p_{i}$ с весами $p_{i}$ и параметром $q=1-\alpha$ (где $\alpha \neq 1$):

${\overline {N}}=\left(\sum _{i=1}^{N}p_{i}x_{i}^{q}\right)^{1/q}=\left(\sum _{i=1}^{N}p_{i}(1/p_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}$.

Отсюда получаем выражение для энтропии

$H=\log {\overline {N}}=\log \left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{N}p_{i}^{\alpha }$,

совпадающее с выражением для энтропии Реньи. Нетрудно видеть, что в пределе при $\alpha \to 1$ (или $q\to 0$) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение $\alpha \geq 0$ (или $q\leq 1$).

Литература

• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.