Информационная энтропия: различия между версиями

м
оформление формул
(пунктуация)
м (оформление формул)
 
Поэтому функция энтропии <math>H</math> должна удовлетворять условиям
# <math>H(p_1,\;\ldots,\;p_n)</math> определена и непрерывна для всех <math>p_1,\;\ldotsdotsc,\;p_n</math>, где <math>p_i\in[0,\;1]</math> для всех <math>i=1,\;\ldotsdotsc,\;n</math> и <math>p_1+\ldotsdotsb+p_n=1</math>. (Нетрудно заметить, что эта функция зависит только от распределения вероятностей, но не от алфавита.)
# Для целых положительных <math>n</math>, должно выполняться следующее неравенство:
#: <math>H\underbrace{\left(\frac{1}{n},\;\ldots,\;\frac{1}{n}\right)}_n<H\underbrace{\left(\frac{1}{n+1},\;\ldots,\;\frac{1}{n+1}\right)}_{n+1}.</math>
: <math>I(X)=-\log P_X(X).</math>
Тогда энтропия определяется как:
: <math>H(X)=\mathbb{E}(I(X))=-\sum_{i=1}^n p(i)\log p(i).</math>
 
=== Единицы измерения информационной энтропии ===
== Свойства ==
Энтропия является количеством, определённым в контексте вероятностной модели для [[источник данных|источника данных]]. Например, кидание монеты имеет энтропию:<br>
: <math>-2\left(\frac{1}{2}\log_2 \frac{1}{2}\right)=-\log_2 \frac{1}{2}=\log_2 2=1</math> [[бит]] на одно кидание (при условии его независимости), а количество '''возможных состояний''' равно: <math>2^1=2</math> '''возможных состояния''' (значения) ("орёл" и "[[решка]]").<br>
У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: <math>-\sum_{i=1}^\infty\log_2 1=0</math>, а количество '''возможных состояний''' равно: <math>2^0=1</math> '''возможное состояние''' (значение) («А») и от основания логарифма не зависит.<br> Это тоже информация, которую тоже надо учитывать. Примером [[Запоминающие устройства|запоминающих устройств]], в которых используются разряды с энтропией, равной нулю, но с '''количеством информации''', равным одному '''возможному состоянию''', т. е. не равным нулю, являются разряды данных записанных в [[Постоянное запоминающее устройство|ПЗУ]], в которых каждый разряд имеет только одно '''возможное состояние'''.<br>
 
=== Математические свойства ===
# ''Неотрицательность'': <math>H(X)\geqslant 0</math>.
# ''Ограниченность'': <math>H(X) = -\mathop{\mathbb{E}}(\log_2 p_i) = \sum_{i=1}^n p_i \log_2 \frac{1}{p_i} = \sum_{i=1}^n p_i f(g_i)\leqslant f\left(\sum_{i=1}^n p_i g_i\right) = \log_2 n</math>, что вытекает из [[Неравенство Йенсена|неравенства Йенсена]] для вогнутой функции <math>f(g_i)=\log_2 g_i</math> и <math>g_i = \frac{1}{p_i}</math>. Если все <math>n</math> элементов из <math>X</math> равновероятны, <math>H(X)=\log_2 n</math>.
# Если <math>X,\;Y</math> независимы, то <math>H(X\cdot Y)=H(X)+H(Y)</math>.
# Энтропия — выпуклая вверх функция распределения вероятностей элементов.