Шумовая модель коммуникации Шеннона — Уивера

Шумовая модель коммуникации К. Шеннона — У. Уивера — математическая модель, которая описывает линейную передачу сообщений и рассматривает основные объекты коммуникации. Была предложена в 1949 году Клодом Элвудом Шенноном и Уорреном Уивером.

Описание модели

Клод Элвуд Шеннон (30 апреля 1916 — 24 февраля 2001) — американский математик, инженер-электрик, и криптограф, известный как «отец теории информации».

Уивер Уоррен (Warren Weaver; 1894—1978) — американский математик, основоположник машинного перевода.

Информация как концепция впервые была изучена в математических и технических науках, где она определялась как мера количественного измерения данных, распространяемых по техническим каналам связи. Содержание данных не имеет значения. При этом информация является элементом кибернетической модели, её объём характеризуется неопределенностью. Такая модель кибернетической информации и была создана Клодом Шенноном и Уорреном Уивером.

Шеннон совместно с Уивером в 1949 году написали книгу «Математическая теория коммуникации», где, отталкиваясь от идей русского математика Андрея Андреевича Маркова, обосновывали принципы передачи информации.

В этой книге авторы сфокусировали внимание на решении проблемы наилучшего кодирования информации, которую отправитель хочет передать. Шеннон ввел понятие информационной энтропии как меры неопределённости в сообщении.

Энтропия в теории информации, согласно утверждению Шеннона, выступает как мера неопределенности состояния или поведения системы в данных условиях. Сравнивая приведенное, можно отметить, что энтропия выступает мерой неопределенности, а «информация это коммуникация, связь, в процессе которого уменьшается неопределенность» .

В 40-х годах 20-го века американская теория коммуникации получила развитие через исследование секретных кодов. В 50-е годы XX века Клод Шеннон, Уоррен Уивер и другие исследователи применили теорию коммуникации в психологии и социологии. Они создали концепцию «передаваемой модели», ввели единицу измерения информации – «байт в секунду». Компьютерная наука в их теории была представлена как научно-техническая дисциплина. 

Концепция модели

К. Шеннон отмечает, что основал теорию информации с ориентиром на работу «Математическая теория коммуникации», которую он опубликовал в 1948 году. Также, ученый хорошо известен и как создатель теории проектирования цифровых схем, созданной в 1937 году, когда будучи 21-летним студентом магистратуры в Массачусетском технологическом институте Шеннон написал свой тезис, демонстрирующий, что электрические применения булевой алгебры могут построить любые логические, численные отношения. Более того, Шеннон внес вклад в область криптоанализа для национальной обороны во время Второй Мировой войны, в том числе широко известен его фундаментальный труд по надёжности связи.

В 1948 году появилась так называемая Математическая Теория связи, статья в двух частях, вышедшая в июле и октябре в техническом журнале и посвященная вопросам математически-коммуникационных систем. Эта работа фокусируется на проблеме, как лучше кодировать информацию, которую хочет передать отправитель. В этой фундаментальной работе он использовал инструменты теории вероятности, разработанные Норбертом Винером, которые были в их начальных стадиях применены к теории коммуникации.

Книга Математическая Теория связи, в соавторстве с Уорреном Уивером, представляет собой переработку статьи Шеннона 1948 г. и популяризацию идей Уивера. В ней отмечается, что слово «информация» в теории коммуникации не связано с тем, что мы говорим, а с тем, что мы могли бы сказать. То есть информация – это мера свободы выбора, когда человек выбирает сообщение, выбирает то, что он хочет сказать.

Фундаментальный вклад в теорию информации, в естественную языковую обработку и вычислительную лингвистику был также заложен в 1951 г. в статье «Прогнозирование и энтропия печатного английского языка», показывающей верхние и нижние границы энтропии в статистике английского языка. Кроме того, было доказано, что рассмотрение пробела как 27-й буквы алфавита фактически снижает неопределенность в письменном языке, обеспечивая четкую количественную связь между культурной практикой и вероятностным познанием.

Еще одним заметным документом, опубликованным в 1949 году, является Теория связи систем секретности, рассекреченная версия военной работы по математической теории криптографии, в которой было доказано, что все теоретически неразрывные шифры должны иметь те же требования, что и одноразовые колодки.

Структура модели

Целью теории коммуникации Шеннона-Уивера было выявление принципов передачи информации, то есть осуществление связи между полюсами технической системы.

Процесс передачи информации по Шеннону-Уиверу выглядит следующим образом:

1. источник информации, производящий сообщение (в частности, ученые изучали речь по телефону);
2. передатчик или кодировщик, преобразующий сообщения в сигналы, поддающиеся передаче, имеется в виду преобразование звуков человеческой речи в электрический сигнал;
3. канал как средство передачи сигнала (телефонный кабель);
4. декодер или ресивер, реконструирующие сообщение из сигнала;
5. приёмник, например, персона или аппарат, получающий сообщение.

Данная схема, состоящая из 5 элементов, получила название «Цепь Шеннона-Уивера», или «трансмиссионная модель», став прочной основой современных теорий передачи информации.

Таким образом, модель включает пять элементов: источник информации, передатчик, канал, приёмник и целевое назначение, расположенные в линейной последовательности (линейная модель).

Передаваемая информация называется сообщением.

Сообщение от источника через передатчик подается в канал связи, который, в свою очередь, доставляется получателю.

Помимо этих терминов, Шеннон ввел понятия шума (в дальнейшем это стали связывать с понятием энтропии и, наоборот, негэнтропии) и избыточности.

Энтропия (шум) в теории коммуникации связана с теми внешними факторами, которые искажают сообщение, нарушают его целостность и возможность точного восприятия приёмником.

Любой шумный канал связи характеризуется своей предельной скоростью передачи информации (называемой пределом Шеннона). На скоростях выше этого ограничения неизбежны ошибки в передаваемой информации. Но снизу к этому пределу можно подойти очень близко, обеспечивая соответствующим кодированием информации достаточно малую вероятность ошибки при любом шуме в канале.

Разумеется, есть предел допустимого порога шума, для которого возможность понимания резко снижается. Особенно сложно понять в шумных средах сообщение с использованием незнакомого кода.

Модель коммуникации Шеннона и Уивера описывает три элемента: Отправитель — канал — получатель. Ученые также вводят термин «шум» как отсутствие связи в присутствии всех трёх элементов коммуникационной модели. Шеннон и Уивер описывают три уровня проблем, характерных для данной модели:

1. техническая проблема – насколько точно может передаваться сообщение;
2. семантическая проблема – как передаётся смысл;
3. проблема эффективности – насколько эффективно значение сообщения влияет на поведение.

Термин «общение» означает, что информация отправляется в такой форме, что она будет понятна как отправителю, так и получателю. Все это описывает теорию общения.

Объектами, описанными в этой теории, являются сообщение, отправитель и получатель.

Критика

По сути, эта модель коммуникации является аналогией с телефоном. Время разговора ограничено, а телефонная связь неустойчива.

• Главным недостатком его технологии ученые считают то, что разговор сопровождается постоянными помехами (шумами), возникающими на линии связи. Частотный диапазон канала, как правило, ограниченный, а абоненты могут не понимать язык друг друга. Понятно, что в этой ситуации они пытаются увеличить объём информации, передаваемой по линиям связи.
• Точно так же связь через телеграф и радио. Их использование также увеличивает «шум», понимаемый в техническом смысле как любые искажения или помехи, отличающиеся от полезного сигнала или сообщения, предназначенного для передачи. Математическая теория коммуникации изначально разрабатывалась для разделения шума от полезных данных, передаваемых источником. По мнению Шеннона, преодоление шумов может быть достигнуто путем использования избыточности сигналов.
• Понятие избыточности — повторение элементов сообщения для предотвращения сбоев в общении — часто демонстрируется на примере естественных человеческих языков. Считается, что все языки приблизительно наполовину избыточны: можно залить чернилами половину слов текста или стереть половину слов в радио, но всё ещё собеседник будет в состоянии их понять. Разумеется, есть предел допустимого порога шума, для которого возможность понимания резко снижается. Особенно сложно в шумных средах понять сообщение, используя незнакомый код.
• Исследователи считают недостатком и то, что математическая теория общения Шеннона абстрагируется от удержания (смысла) передаваемой информации, полностью ориентируясь на её количество: важно только передать количество передаваемых сигналов. С точки зрения Шеннона, информация — это противоположность энтропии (неопределенности, беспорядка), это возможность уменьшения неопределенности: чем больше информации содержит система, тем выше степень упорядоченности ( Шеннон отмечает, что слишком большой объём информации также увеличивает степень неопределенности — возникает «информационный шум»).