КОДИРОВАНИЕ ИСТОЧНИКА

Системы связи предназначены для передачи информации, создаваемой источником, до некоторого места назначения. Источники информации могут принимать множество различных форм. Например, в радиовещании источник вьщает звуковой сигнал (речь или музыку). В телевизионном вещании выходом источника является, кроме звука, подвижное изображение. Выходы этих источников являются аналоговыми сигналами, и поэтому они называются аналоговыми источниками. В противоположность этому компьютеры и устройства хранения информации, такие как магнитные или оптические диски, имеют дискретный выход (обычно двоичные или ASCII символы), и поэтому их называют дискретными источниками. В то время как источники являются аналоговыми или дискретными, цифровая система связи предназначается для передачи информации в цифровой форме. Следовательно, выход источника должен быть преобразован в формат, который может быгь передан как цифровой. Это преобразование выхода источника в цифровой формат обычно осуществляется кодером источника, выход которого может быть представлен последовательностью двоичных цифр.

В этой главе мы рассмотрим кодирование источника, основанное на математических моделях источников информации и количественном измерении информации, выдаваемой источником. Сначала мы рассмотрим кодирование дискретных источников и затем обсудим кодирования аналоговых источников. Мы начнем с рассмотрения математических моделей для источников информации.

3.1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ИСТОЧНИКОВ ИНФОРМАЦИИ

Произвольный источник информации создает выход, который является случайным, т.е. выход источника характеризуется статистически. Действительно, если выход источника известен точно, то нет нужды его передавать. В этом разделе мы рассмотрим дискретные и аналоговые источники информации и сформулируем математические модели для каждого типа источника.

Простейший тип дискретного источника - это такой, который выдает последовательность букв (символов), выбираемых из определенного алфавита. Например, двоичный источник вьщает двоичную последовательность вида 100101110..., причем алфавит состоит из двух символов {О, 1}. В более общем случае источник дискретной информации с алфавитом из L символов, скажем хг, xl), выдает последовательность букв, выбираемых из этого алфавита.

Чтобы конструировать математическую модель для дискретного источника, предположим, что каждый символ алфавита {х\, хг, xl) имеет заданную вероятность выбора Pi, т.е.

Pk=P(X=Xk), \<k<L,

ASCII - американский стандартный код для информационного обмена (прп)

где Z*=-

Мы рассмотрим две математические модели для дискретных источников. В первой мы предположим, что символы выходной последовательности источника статистически независимы, т.е. выбираемый текущий символ статистически независим от всех предьщущих и последующих. Источник, выход которого удовлетворяет условиям статистической независимости символов в выбранной последовательности, называется источником без памяти. Такой источник называется дискретным источником без памяти (ДИБП).

Если отдельные выходные символы дискретного источника статистически взаимозависимы, как, например, в английском тексте, мы можем сконструировать математическую модель, основанную на статической стационарности. По определению дискретный источник называется стационарным, если совместные вероятности двух

последовательностей длины п, допустим Д]. аг, -, и а\+„„ яг+т.....одинаковые для

всех п>\ и при всех сдвигах т Другими словами, совместные вероятности для последовательностей источника произвольной длины инвариантны по отношению к произвольному сдвигу во времени.

Аналоговый источник выдает сигнал x(t), который является реализацией случайного процесса X(t). Предположим, что Д/) - стационарный случайный процесс с

автокорреляционной функцией ф(т) и спектральной плотностью мощности Ф„(/).Если

Л(/) - частотно-ограниченный случайный процесс, т.е Фд,»(/)-0 Для f >W, можно использовать теорему отсчётов для представления X(t) в виде

sm[2nWit-)\

V2WJ

2nW{t-)

где {(«/2й)}-отсчёты процесса Х{(), взятые со скоростью Найквиста f-2W 1/с Используя теорему отсчётов, мы можем преобразовать аналоговый источник в эквивалентный источник с дискретным временем После этого выход источника

характеризуется совместной ФПВ р(х\, xi, ., Хр,) для всех т>\, где Х - x[n/2W),

1<п<т,- случайные величины, соответствующие отсчётам ДО-

Заметим, что выходные отсчёты X {{п/2Щ} стационарного источника обычно непрерывны, и. следовательно, их нельзя представить в цифровой форме без потери точности представления. Например, мы можем квантовать каждый отсчёт рядом дискретных значений, но процесс квантования вносит потери в точность представления, и, следовательно, исходный сигнал не может быть восстановлен точно по квантованным отсчётам. Позже мы рассмотрим искажения, возникающие при квантовании уровней отсчётов аналогового источника.

3.2. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ

Чтобы разработать подходящую меру для информации, рассмотрим две дискретные случайные величины X п Y с возможными значениями х-, 2, . , п, и yj. 2, ., т, соответственно. Допустим, мы наблюдаем некоторый выход Y-=yj и мы желаем количественно определить величину информации, которую обеспечивает выборка события Y=yj относительно события X=Xi, i=l, 2, п. Заметим, что если X и Y статистически не зависят друг от друга, выбор Y=yj не даёт информации о выборе события Х-х,. С другой стороны, если и У полностью зависимы, так что выбор Y-yj однозначно определяет выбор Хх,. информационное содержание этого выбора точно такое же, как при выборе события

Х=х,. Подходящая мера информации, которая удовлетворяет указанным условиям, - это логарифм отношения условной вероятности

P{X = x,\Y = yj) = Pix,\yj)

к вероятности

Р{хх)р{х).

Это значит, что количество информации, полученное при появлении события Yyj, относительно события Х=х, определяется как

/(x,;>,) = log. (3.2.1)

l{x ; yj j названа взаимной информацией между х, и у

Единица измерения /(х,;у j определяется основанием логарифма, в качестве которого обычно выбирается или 2, или е. Когда основание логарифма равно 2, единицей измерения l{x,;y)j является бит, а когда основание равно е, единицей измерения 1{х,;у- является нат (натуральная единица). (Стандартная аббревиатура для log- это In.) Так как

In а = In 2 • log, а = 0,69315 • log, а.

то количество информации, измеренное в патах, равно количеству информации, измеренной в битах, умноженному на In 2 .

Когда случайные величины X и Y статистически независимы, то Р x,yj= i., и,

следовательно. l{x/,y = 0. С другой стороны, когда выбор события Y=yj полностью

определён выбором события X=Xi, условная вероятность в числителе (3.21) равна единице и,следовательно,

I{x-yj) - log- = -logP(x,) = 1{х-х,). (3.2.2)

Р(х,)

Но (3.22) как раз определяет информацию о Х=х,. Исходя из этих соображений, её называют собственной информацией события Х-х,. Она обозначается так:

/(xJ = log- = -logP(x,). (3.2.3)

Заметим, что событие, которое выбирается с высокой вероятностью, сообщает меньше информации, чем маловероятное событие. Действительно, если имеется единственное событие X с вероятностью Р(х)1, тогда /(х)=0.

Чтобы далее показать, что логарифмическая мера количества информации является единственно приемлемой для цифровой связи, рассмотрим несколько примеров.

Пример 3.2.1. Предположим, что имеется дискретный источник, который вьщает двоичную цифру О или 1 с равной вероятностью каждые т, секунд. Количество информации при каждом появлении новой цифры

/(X,) = -log, Р(х ) = -log, 1 = Кбит), X, = 0,1.

Теперь предположим, что последовательные цифры на выходе источника статистически независимы, т.е. источник не имеет памяти. Рассмотрим блок символов источника из к двоичных цифр, который существует на интервале Art,. Имеется М = 2*

таких возможных А:-битовых блоков, каждый с равной вероятностью 1/М = 2"*. Собственная информация к -битового блока равна