Информационные основы связи

Каждое сообщение переносит некоторую информацию, однако одни сообщения переносят больше информации, чем другие Вероятность появления события тесно связана с количеством информации. В сообщении о событии большой вероятности содержится меньше информации, чем в сообщении с маловероятным событием. Фактор неожиданности или неопределенности события пропорционален количеству информации. В самом деле, если сообщение несет достоверное событие, т. е. его вероятность равна 1, то оно не несет никакой информации и нет смысла передавать его по каналу связи. Неожиданность событий является результатом неопределенности и чем она больше, тем больше информации содержит сообщение. Вероятность события является мерой его неожиданности и определяет информационную содержательность события.

Предположим, что требуется передать любое из двух равновероятных сообщений (а или б) с применением двоичных импульсов, причем отсутствие импульса (0) соответствует сообщению а, а наличие (1) — сообщению б. Для передачи любого из двух равновероятных сообщений требуется как минимум один двоичный импульс. Информация в любом из них определяется как одна двоичная единица, принятая за единицу измерений. Для передачи четырех равновероятных сообщений двоичными импульсами требуется группа из двух двоичных импульсов (0,0, 0,1; 1,0 и 1,1). Следовательно, сообщение из двух импульсов содержит в 2 раза больше информации, т. е. две двоичные единицы информации Аналогично комбинацией из трех импульсов можно передать любое из восьми равновероятных сообщений, и каждое из них будет содержать три двоичные единицы информации. В общем случае любое из п равновероятных сообщений содержит log2rt двоичных единиц информации.

Статьи на близкие темы: