Семантическая информация

Семантическая информация — смысловой аспект информации, отражающий отношение между формой сообщения и его смысловым содержанием.

Начиная с работ Клода Шеннона, принято считать, что понятие информации складывается из трёх аспектов: синтаксического, семантического и прагматического. Синтаксический связан с техническими проблемами хранения и передачи информации, семантический имеет отношение к смыслу и значению истинности сообщений, прагматический затрагивает вопросы влияния информации на поведение людей. Теория семантической информации исследует область человеческих знаний и является составной частью разработки искусственного интеллекта.

История

Формирование понятия семантической информации

Возникновение семиотики в 19 веке создало предпосылки для появления понятия семантической информации. Окончательно оно сложилось после появления Математической теории связи, созданной Клодом Шенноном в 1948 году. Теория Шеннона, рассматриваемая сейчас как теория синтаксической информации, полностью игнорирует смысл сообщения. Именно тогда была осознана необходимость создания теории семантической информации.

Теория Бар-Хиллела и Карнапа

В 1952 году Йегошуа Бар-Хиллелом и Рудольфом Карнапом была предложена теория семантической информации, основанная на понятии логических вероятностей. Семантическая информация трактуется авторами как синоним смыслового содержания, которым обладают как истинные, так и ложные выражения. Рассматриваются две основные меры количества семантической информации в предложении $s$. Первая ${\mbox{cont}}(s)$ определяется так:

${\mbox{cont}}(s)=1-q(s)$,

где $q(s)$ — абсолютная логическая вероятность предложения $s$. Вторая мера ${\mbox{inf}}(s)$ является нелинейной функцией первой:

${\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)}}=\log _{2}{\frac {1}{q(s)}}$.

Она интересна тем, что для двух логически независимых предложений $s_{1}$ и $s_{2}$ имеем неравенство: ${\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})$, где «$\land$» — знак логической связки «И», тогда как:

${\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})$, (*)

что больше подходит для меры количества информации.

Для определения величин логических вероятностей предложений Бар-Хиллел и Карнап конструируют формальный язык и составляют с его помощью описания всевозможных состояний универсума (так называемое «множество возможных миров»). Приведём пример простого языка, в котором имеется одна константа $a$ (под ней мы будем подразумевать девушку Алису) и два предиката: $B$ и $W$, обозначающие свойства «красива» и «умна». Тогда выражение $B(a)$ означает предложение «Алиса красива», а выражение $W(a)$ — «Алиса умна». Теперь используем логическую связку «НЕ», которую обозначим символом: «$\neg$». Тогда выражение $\neg B(a)$ будет означать предложение «Алиса не красива», а выражение $\neg W(a)$ — «Алиса не умна». Теперь мы можем составить все возможные описания состояний универсума для нашего скромного языка. Всего их будет четыре.

$B(a)\land W(a)$

$B(a)\land \neg W(a)$

$\neg B(a)\land W(a)$

$\neg B(a)\land \neg W(a)$

Как можно видеть, каждый мир универсума состоит из логически независимых атомарных предложений (и их отрицаний), называемых базисными. Обычно в формальных языках используется множество констант и множество предикатов, причём, не обязательно одноместных. Так что количество миров может быть очень большим.

Если не заданы предварительные условия, то логические вероятности всех миров одинаковы. В этом случае величина абсолютной логической вероятности предложения $s$ равна отношению числа миров, в которых $s$ истинно, к общему числу миров в универсуме. В теории Бар-Хиллела и Карнапа величины логических вероятностей аналитических выражений одинаковы и равны единице (поскольку они истинны во всех мирах), а логическая вероятность противоречия равна нулю. Величины логических вероятностей синтетических выражений заключены в интервале от нуля до единицы.

Чем больше миров в универсуме, тем выше неопределённость (относительно того, какой мир является истинным). После получения сообщения $s$ неопределённость уменьшается, поскольку те миры, в которых $s$ ложно, можно исключить из рассмотрения. Семантическая информация в предложении $s$ понимается как множество исключённых миров (оно обозначается символом ${\mbox{Cont}}(s)$). По поводу этого определения авторы пишут, что оно согласуется с древним философским принципом «omnis determinatio est negatio» («всякое определение является исключением»). Теперь для меры ${\mbox{cont}}(s)$ можем записать:

${\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}$,

где $|{\mbox{Cont}}(s)|$ — мощность множества ${\mbox{Cont}}(s)$, $|{\mbox{U}}|$ — мощность множества всех миров универсума ${\mbox{U}}$.

Количество семантической информации в сообщении $s$ относительно знаний получателя $e$ определяется следующим образом:

${\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)}}$,

где $q(s/e)$ — относительная (условная) логическая вероятность истинности высказывания $s$ при условии истинности выражения $e$.

Замечательно, что чисто внешне формулы теории Бар-Хиллела и Карнапа похожи на формулы теории Шеннона. И там, и здесь мы имеем логарифмы и вероятности. Только у Шеннона все вероятности — статистические (то есть эмпирические), а не логические.

Если логическая вероятность выражения $s\land e$ меньше логической вероятности выражения $e$, то сообщение $s$ несёт новую информацию получателю, обогащая, таким образом, его знания. Если $e$ имплицирует $s$, то $s\land e$ эквивалентно $e$ и сообщение $s$ не несёт информации адресату (поскольку в нём для него нет ничего нового). Если выражение $s\land e$ является противоречием, то $q(s\land e)=0$. Количество семантической информации в противоречии по Бар-Хиллелу и Карнапу равно бесконечности. Этот парадоксальный результат впоследствии послужил поводом для критики со стороны Лучано Флориди.

Альтернативные идеи

Хотя теория Бар-Хиллела и Карнапа до сих пор пользуется вниманием исследователей, она вызвала поток новых идей. Александр Харкевич предложил измерять ценность информации по изменению вероятности достижения определённой цели, возникающему под воздействием данного сообщения. Юлий Шрейдер полагал, что количество семантической информации в послании любой природы можно оценивать как степень изменения системы знаний адресата в результате восприятия сообщения. Идея о семантическом аспекте связи информации и энтропии была впервые предложена в 1966 советским философом и логиком Евгением Казимировичем Войшвилло в работе «Попытка семантической интерпретации статистических понятий информации и энтропии».

Современные теории семантической информации

Теория Флориди

В своей работе 2004 года Лучано Флориди с первой строки обрушивается на теорию Бар Хиллела и Карнапа: «„Треугольник имеет четыре стороны“: согласно классической теории семантической информации в этом противоречии заключено больше смыслового содержания, чем в условно истинном утверждении „Земля имеет только одну Луну“». Флориди назвал это «парадоксом Бар-Хиллела-Карнапа». Решение этого парадокса он видит в том, что количество семантической информации в сообщениях должно зависеть не только от заключённого в них смыслового содержания, но и от значения истинности этих сообщений. Флориди ввёл понятие условно ложного предложения (contingently false sentence), представляющего собой конъюнкцию двух его составных частей, одна из которых истинная, а вторая — ложная. Примером такого предложения может служить высказывание: «Луна вращается вокруг Земли и внутри она полая». Такое предложение одновременно несёт информацию (тем, кто не знает, что Луна вращается вокруг Земли) и дезинформацию (в обычной жизни часто приходится встречаться с подобным — дезинформацию легче продвигать, если она дополняется некоторой долей информации).

С точки зрения классической логики условно ложное предложение является просто ложным и несёт только дезинформацию. Однако приведённый пример показывает, что на самом деле это не так. Первоначальная теория Бар-Хиллела и Карнапа не в состоянии решить эту антиномию. Поэтому Флориди отверг её (как «слабую» теорию) и создал свою собственную — «сильную». Он отказался от использования логических вероятностей и заявил, что теория семантической информации не должна быть похожей на теорию Шеннона. В его собственной интерпретации количество семантической информации в сообщении определяется степенью соответствия этого сообщения ситуации (то есть тому, что происходит в данном месте и в данное время). Несоответствие возникает либо в результате бессодержательности сообщения, либо в результате его неточности. В своей теории Флориди непосредственно не использует понятие дезинформации, вместо этого он вводит понятие степени неточности условно ложных предложений. Степень неточности в условно ложном предложении $s$ равна:

$-v(s)=-{\frac {f(s)}{l(s)}}$,

где $f(s)$ — число ложных атомарных выражений в $s$; $l(s)$ — общее число атомарных предложений в $s$. Для определения истинности атомарных предложений требуется принять принцип априорного всезнания. Степень бессодержательности истинного предложения $s$ рассчитывается по формуле:

$+v(s)={\frac {m(s)}{n}}$,

где $m(s)$ — число миров универсума, в которых $s$ истинно; $n$ — общее число миров универсума (заметим, что, согласно этому определению, величина $+v(s)$ в точности равна величине логической вероятности $q(s)$). Далее Флориди вводит понятие функции степени информативности:

$i(s)=1-v^{2}(s)$.

Количество семантической информации $i^{*}(s)$ в сообщении $s$ равно определённому интегралу от функции степени информативности $i(s)$:

$i^{*}(s)={\frac {3}{2}}\int \limits _{v(s)}^{1}(1-x^{2})\mathrm {d} x=1-{\frac {3v(s)}{2}}+{\frac {v^{3}(s)}{2}}$.

Несмотря на все отличия между классической теорией и теорией Флориди, в них есть нечто общее. Если $s$ является истинным предложением, то величина $+v(s)$ равна величине логической вероятности $q(s)$. Мера $i^{*}(s)$ подобна мере ${\mbox{cont}}(s)$, но в отличие от последней, является нелинейной функцией $v(s)$. К сожалению, в теории Флориди нет ничего похожего на меру ${\mbox{inf}}(s)$, обладающую замечательным свойством (*) для логически независимых предложений.

Теория семантической информации и дезинформации

Поднятая Флориди проблема может быть решена в рамках теории, основанной на логических вероятностях. Необходимо отметить, что к началу текущего века у некоторых учёных сформировалось скептическое отношение к индуктивной логике Карнапа. Однако современные математики смогли изменить ситуацию, модифицировав эту теорию. Благодаря этому интерес к логическим вероятностям вновь возродился.

В работе предлагается модифицировать классическую теорию семантической информации, включив в неё понятие дезинформации, которую несёт ложное сообщение. В новой теории, как и в теории Флориди, рассматривается множество различных ситуаций (точек пространства-времени). Одно и то же предложение языка может быть истинным в одной ситуации и ложным в другой. Поскольку получатель сообщений не может быть застрахован от ошибок при оценке их истинности, количество семантической информации оценивается отдельно с точки зрения получателя и с точки зрения всезнающего эксперта.

В каждой конкретной ситуации истинное сообщение несёт только информацию, а абсолютно ложное — одну только дезинформацию. Условно ложное предложение $s$ рассматривается как конъюнкция: $s_{T}\land s_{F}$, где $s_{T}$ — истинная часть сообщения, $s_{F}$ — ложная часть сообщения. При этом требуется, чтобы $s_{T}$ и $s_{F}$ были логически независимыми (это нужно, в частности, для того, чтобы противоречие не оказалось условно ложным предложением). Тогда ненормализованные меры количества информации ${\mbox{in}}_{E}(s)$ и количества дезинформации ${\mbox{mi}}_{E}(s)$ в условно ложном предложении $s$ с точки зрения эксперта определяются следующим образом:

${\mbox{in}}_{E}(s)={\mbox{cont}}(s_{T})$,

${\mbox{mi}}_{E}(s)={\mbox{cont}}(s_{F})$.

Индекс «$E$», которым помечены символы «${\mbox{in}}$» и «${\mbox{mi}}$» в формулах, указывает на то, что рассматриваются количества информации и дезинформации с точки зрения эксперта. Нормализованные меры количества семантической информации ${\mbox{inf}}_{E}(s)$ и дезинформации ${\mbox{mis}}_{E}(s)$ в условно ложном предложении $s$ с точки зрения эксперта:

${\mbox{inf}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{T})}}=\log _{2}{\frac {1}{q(s_{T})}}$,

${\mbox{mis}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{F})}}=\log _{2}{\frac {1}{q(s_{F})}}$.

Противоречие с точки зрения эксперта несёт нулевое количество информации и бесконечное количество дезинформации. Таким образом решается парадокс Бар-Хиллела-Карнапа. Бесконечное количество дезинформации объясняется тем, что, если бы противоречие вдруг кому-то показалось истиной, то мир изменился бы для него до неузнаваемости. Двумя словами это не описать. Предположим, что получатель информации имеет условно ложные знания $e$, эквивалентные конъюнкции: $e_{T}\land e_{F}$, где $e_{T}$ — истинная часть его знаний, $e_{F}$ — заблуждения. Тогда с точки зрения эксперта, получив условно ложное сообщение $s$, адресат реально имеет семантическую информацию и дезинформацию в следующих количествах:

${\mbox{inf}}_{E}(s/e)=\log _{2}{\frac {q(e_{T})}{q(s_{T}\land e_{T})}}=\log _{2}{\frac {1}{q(s_{T}/e_{T})}}$,

${\mbox{mis}}_{E}(s/e)=\log _{2}{\frac {q(e_{F})}{q(s_{F}\land e_{F})}}=\log _{2}{\frac {1}{q(s_{F}/e_{F})}}$.

Если получатель воспринимает $s$ как истинное предложение и конъюнкция $s\land e$ не является противоречием, то с его точки зрения он получил следующее количество информации:

${\mbox{inf}}_{R}(s/e)=\log _{2}{\frac {1}{q(s/e)}}={\mbox{inf}}_{E}(s/e)+{\mbox{mis}}_{E}(s/e)$.

Индекс «$R$» обозначает оценку адресата. Очевидно, что точное количество информации (и дезинформации) в пришедшем сообщении может определить только эксперт, а получатель способен лишь на более-менее точные оценки.

Теория универсальной семантической информации

Формальное описание семантической информации, применимое для всех видов физических систем (живых и неживых) дано математиком Дэвидом Волпертом (David Wolpert) в его работе "Semantic information, agency, and nonequilibrium statistical physics": синтаксическая информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования в состоянии низкой энтропии.

Казуальная необходимость определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и внешней средой. Критерием степени автономности физической системы является объём имеющейся семантической информации.