Информационная энтропия: различия между версиями
| [непроверенная версия] | [непроверенная версия] |
Содержимое удалено Содержимое добавлено
→Формальные определения: лучше выглядит |
Alprobit (обсуждение | вклад) →Определение по Шеннону: явное уточнение по поводу других оснований логарифма |
||
Строка 30:
Шеннон показал,{{Нет АИ|25|3|2011}} что единственная функция, удовлетворяющая этим требованиям, имеет вид
: <math>-K\sum_{i=1}^np(i)\log_2 p(i),</math>
где <math>K</math> — константа (и в действительности нужна только для выбора единиц измерения; например, посредством этой константы можно изменить основание логарифма).
Шеннон определил, что измерение энтропии (<math>H=-p_1\log_2 p_1-\ldots-p_n\log_2 p_n</math>), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить [[математическое ожидание]] «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является [[избыточность языка]] — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. [[цепи Маркова]]).
| |||