Открыть главное меню

Количество информации

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть и – случайные величины, заданные на соответствующих множествах и . Тогда количество информации относительно есть разность априорной и апостериорной энтропий:

,

где

энтропия, а

— условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропииПравить

Для энтропии справедливы свойства:

 ,

где   количество элементов множества  .

При этом,  , если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что   и  .

Максимум значения энтропии   достигается, когда все  , т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

 ,

При этом,  , если отображение   в   однозначное, т.е.  .

Максимум значения условной энтропии   достигается, когда   и   - независимые случайные величины.

Свойства количества информацииПравить

Для количества информации справедливы свойства:

  как следствие теоремы Байеса.
 
  если   и   – независимые случайные величины.
 

Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.

ЛитератураПравить