Всё о железнодорожном транспорте > Телемеханика и связь > Энтропия источника сообщенияКарта сайта Ахтунг!
Величину Н(а) называют энтропией источника сообщения, она характеризует меру неопределенности совокупности сообщений, составляющих конечную схему А. До сих пор мы количественно оценивали информацию применительно к дискретным сигналам. Однако любая подлежащая передаче информация может быть всегда представлена в двоичной форме.
Согласно теореме Котельникова содержащуюся в непрерывном сигнале с ограниченным спектром информацию можно представить дискретным отсчетом в секунду, а эти отсчеты — кодом, в котором используются двоичные импульсы.
Если для передачи информации применяют не двоичные, а например, четверичные импульсы, высота которых может принимать четыре значения (например 0, 1, 2 и Зв), то любое из четырех сообщений можно передать одним импульсом. Таким образом, один четверичный импульс может передать информацию, содержащуюся в двух двоичных импульсах, следовательно, он содержит две двоичные единицы информации. Аналогично для передачи любого из восьми возможных сообщений требуется группа из трех двоичных импульсов на каждый символ или один восьмеричный импульс, который может принимать восемь значений. Он будет переносить три двоичные единицы информации.
Импульс, который может принимать М различных уровней, переносит ogzM двоичных единиц информации. Следовательно, любое количество информации возможно передавать единственным импульсом, который может принимать бесконечное число различных уровней. Однако при бесконечном числе состояний различие по уровню между ними становится бесконечно малым. Так как в любом реальном канале присутствует шум, невозможно различать уровни, отличающиеся менее чем на амплитуду шума, поэтому уровни сигнала должны отличаться, по крайней мере, на значения амплитуды шума.
Если сигнал смешан с шумом, то амплитуду сигнала можно измерить лишь с точностью до эффективного значения напряжения шума. Обозначим средние мощности сигнала и шума соответственно Рс и N. Если сопротивление нагрузки принять равным 1 Ом, то напряжение сигнала с шумом будет определяться выражением -jPc–N, а напряжение_шума — -y/N. Так как изменение входного сигнала меньше, чем VN, приемник не различает, то число уровней, которое может быть различимо без ошибок. Следовательно, наибольшее количество информации, бит, переносимое каждым импульсом, имеющим -ji–Pc/N различных уровней, составит /= log2yi + Pc/N= 0,51og2 (l + PJN).
Емкостью канала называют максимальное количество информации, которое может быть передано по каналу в секунду. Если канал пропускает максимум К импульсов в секунду, то его емкость бит в секунду, C=0,5/v”log2 (l + PJN).
Известно, что по системе с полосой пропускания частот AFK можно передавать импульсы с максимальной скоростью 2AFK, импульсов в секунду, поэтому C=A/7Klog2 ( + PK/N).