2.3. БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ................................................................... 70

ЗАДАЧИ............................................................................................................................................ 70

3. КОДИРОВАНИЕ ИСТОЧНИКА.......................................................................................................... 74

3.1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ИСТОЧНИКОВ ИНФОРМАЦИИ.................................... 74

3.2. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ............................................................................ 75

3.2.1. Средняя взаимная информация и энтропия........................................................................... 78

3.2.2. Измерение информации для непрерывных случайных величин............................................ 80

3.3. КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ ИСТОЧНИКОВ................................................................ 82

3.3.1. Кодирование для дискретных источников без памяти.......................................................... 82

Кодовые слова фиксированной длины............................................................................... 82

Теорема кодированю! источника 1...................................................................................... 83

Кодовые слова переменной длины..................................................................................... 84

Неравенство Крафта........................................................................................................... 85

Теорема кодирования источника II.................................................................................... 86

Алгоритм кодирования Хаффмена..................................................................................... 87

3.3.2. Дискретные стационарное источник.................................................................................... 90

3.3.3. Алгоритм Лемпела-Зива........................................................................................................ 92

3.4. КОДИРОВАНИЕ ДЛЯ АНАЛОГОВЫХ ИСТОЧНИКОВ - ОПТИМАЛЬНОЕ КВАНТОВАНИЕ 94

3.4.1. Функция скорость-искалсенйе Я{0}......................................................................................

Теорема: Функция скорость-искажение дл>1 гауссовского источника без памяти.......................... 95

Теорема: Кодирование источника с заданной мерой искажения..................................................... У5

Теорема: Верхняя граница для К{0).............................................................................................. %

3.4.2. Скалярное квантование........................................................................................................... 98

3.4.3. Векторное квантование........................................................................................................... 102

Алгоритм К средних........................................................................................................... 106

3.5. ТЕХНИКА КОДИРОВАНИЯ АНАЛОГОВЫХ ИСТОЧНИКОВ..................................................... 108

3.5.1, Временное сигнальное кодирование....................................................................................... 1()У

Импульсно-кодовая модуляция (ИКМ).............................................................................. 109

Дифференциальная импульсно-кодовая моду.ляцю! (ДИКМ)............................................ 110

Адаптивные ИКМ и ДИКМ................................................................................................ ИЗ

Дельта-модуляция (ДМ)..................................................................................................... 115

3.5.2, Спектральное кодирование сигнала....................................................................................... 118

Кодирование подполосок.................................................................................................... 118

Адаптивное преобразующее кодирование.......................................................................... 119

3.5.3, Модельное кодирование источника............................................... 119

Методы кодирования, применяемые для речевых сигналов.............. 124

3.6. БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ.................................................................. 125

ЗАДАЧИ............................................................................................................................................ 125

4. ХАРАКТЕРИСТИКИ СИГНАЛОВ И СИСТЕМ СВЯЗИ 131

4.1, ПРЕДСТАВЛЕНИЕ ПОЛОСОВЫХ СИГНАЛОВ И СИСТЕМ....................................................... 131

4.1.1. Представление полосовых сигналов....................................................................................... 131

4.1.2. Представление линейных по.чосовых систем......................................................................... 134

4.1.3. Отклик полосовой системы на полосовой сигнал.................................................................. 135

4.1.4. Представление полосовых случайных процессов................................................................... 136

Свойства квадратурных компонент.................................................................................... 138

Представление белого шума............................................................................................... 138

4.2, ГЕОМЕТРИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ СИГНАЛОВ................................................................ 139

4.2.1, Концепция векторного пространства...................................................................................... 139

4.2.2, Концепция пространства сигналов......................................................................................... 141

4.2.3, Ортогональное разложение сигна.лов..................................................................................... 141

Процед>ра Грама-Шмидта................................................................................................. 143

4.3, ПРЕДСТАВЛЕЬШЕ СИГНАЛОВ ЦИФРОВОЙ МОДУЛЯЦИИ..................................................... 147

4,3.1. Методы модуляции без памяти............................................................................................... 148

Амплитудно-импульсная модуляция.................................................................................. 148

Сигналы фазовой модуляции............................................................................................. 150

Квадратурная амплитудшы моду.ляция.............................................................................. 151

Многомерные сигналы....................................................................................................... 152

Ортогональные многомерные сигналы.............................................................................. )54

Биортогональные сигналы.................................................................................................. 155

Симплексные сигналы........................................................................................................ 156

Формы сигналов для двоичных кодов................................................................................ 156

4.3.2. Линейная модуляция с памятью............................................................................................. 157

4.3.3. Нелинейные методы модуляции с памятью........................................................................... 161

Частотная модуляция с непрерывной фазой (ЧМНФ)....................................................... 161

Модуляцш! с непрерывной фазой (МНФ)...............................................;.......................... ) 62

Моду.адция с минимальным сдвигом................................................................................. 166

Пространственные диаграммы для сигналов МНФ........................................................... 16Х

Многоуровневая МНФ........................................................................................................ 16У

4.4. СПЕКТРАЛЬНЫЕ ХАРАКТЕРИСТИКИ СИГНАЛОВ ЦИФРОВОЙ МОДУЛЯЦИИ................... 173

4.4.1. Спектр мощности сигналов линейной модуляции................................................................ 173

4.4.2. Спектр мощности для сигналов ЧМНФ и МНФ.................................................................... 177

Спектральная плотность мощности для ЧМНФ................................................................. 1 SO

Спектральные характеристи1си МНФ................................................................................. 183

4.4.3. Спектр лющности ддя мод>лированны.\ сигналов с памятью................................................ 1S6

4.5. БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧА1ШЯ И ССЫЛКИ................................................................... 189

ЗАДАЧИ........................................................................,.................................................................... 190

5. ОПТИМАЛЬНЫЕ ПРИЕМНИКИ ДЛЯ КАНАЛА С АДДИТИВНЫМ БЕЛЫМ

ГАУССОВСКИМ ШУМОМ................................................................................................................. 197

5.1. ОПТИМАЛЬНЫЙ ПРИЕМНИК ДЛЯ СИГНАЛОВ, ПОДВЕРЖЕННЫХ ВОЗДЕЙСТВИЮ АДДИТИВНОГО БЕЛОГО ГАУССОВСКОГО ШУМА................................................................. 197

5.1.1. Корреляционный делюд ул1тор............................................................................................... 198

5.1.2. Согласованный фильтр как делюдулятор............................................................................... 201

Свойства согласованного фильтра..................................................................................... 202

Интерпретация согласованного фильтра в частотной области.......................................... 203

5.1.3. Оптимальный детектор........................................................................................................... 206

5.1.4. Последовательный детектор максимального правдоподобия. Алгоритм Витерби................ 210

5.1.5. Посимвольное детектирование для сигналов с память1р....................................................... 214

5.2. ХАРАКТЕРИСТИКИ КАЧЕСТВА ОПТИМАЛЬНОГО ПРИЕМНИКА ДЛЯ МОДУЛЯЦИИ

БЕЗ ПАМЯТИ................................................................................................................................... 216

5.2.1. Вероятность ошибки при двоичной людуляции..................................................................... 216

5.2.2. Вероятность ошибки для Л/-позиционных ортогональных сигналов..................................... 219

Объединённая граница ддя вероятности ошибки............................................................ 221

5.2.3. Вероятность ошибхси для Л -позиционной биортогональной системы сигналов.................... 222

5.2.4. Вероятность ошибки для симплексных сигналов................................................................... 223

5.2.5. Вероятность ошибхси для М-позиционной системы с двoишыми кодовыми сигналами...... 224

5.2.6. Вероятность ошибки для М-позиционной AM....................................................................... 224

5.2.7. Вероятность ошибш для М-позиционной ФМ....................................................................... 226

5.2.8. Дифференциальная ФМ (ДФМ) и её характеристики качества.

5.2.9. Вероятность ошиб1си дл>1 КАМ............................................................................................... 2.14

5.2.10. Сравнение цифровых методов люду.вдции........................................................................... 238

5.3. ОПТИМАЛЬНЫЙ ПРИЁМНИК ДЛЯ СИГНАЛОВ МНФ............................................................... 240

5.3.1. Оптимальные демодуляция и детектирование дл>1 МНФ....................................................... 240

Расчёт метрик................................................................................................................... 243

5.3.2. Характеристики качества сигналов МНФ.............................................................................. 245

МНФ со многими индексами (multi-/;)............................................................................ 249

5.3.3. Посимвольные детектирование сигналов МНФ..................................................................... 251

5.4. ОПТИМАЛЬНЫЙ ПРИЕМНИК ДЛЯ СИГНАЛОВ СО СЛУЧАЙНОЙ ФАЗОЙ В КАНАЛЕ С АБГШ................................................................................................................................................ 255

5.4.1. Оптимальный приемник двоичных сигналов......................................................................... 255

Оптимальный демодулятор................................................................................................ 256

Оптимальный детектор....................................................................................................... 257

5.4.2. Оптимальный приемник для Л/-позиционных ортогональных сигналов............................... 260

5.4.3. Вероятность ошибки при детектировании огибающей для М-позициоины.х ортогональных сигналов........................................................................................................ 262

5.4.4. Вероятность ошибки для коррелированных двоичных сигналов при детектировании огибающей............................................................................................................................. 264

5.5. РЕГЕНЕРАТИВНЫЕ ПОВТОРИТЕЛИ И АНАЛИЗ РЕСУРСОВ ЛИНИЙ СВЯЗИ....................... 266

5.5. Г Регенеративные повторители................................................................................................. 266

5.5.2, Анализ ресурсов линий связи................................................................................................. 268

5.6. БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ................................................................... 271

ЗАДАЧИ............................................................................................................................................ 272

6. СИНХРОНИЗАЦИЯ НЕСУЩЕЙ И ТАКТОВАЯ СИНХРОНИЗАЦИЯ......................................... 282

6, Г ОЦЕНИВАНИЕ ПАРАМЕТРОВ СИГНАЛА................................................................................... 282

6.1.1. Функция правдоподобия........................................................................................................ 283

6.1.2. Восстановление несущей и тактовая синхронизация при демодуляции сигнала................... 284

6.2. ОЦЕНИВАНИЕ ФАЗЫ НЕСУЩЕЙ................................................................................................. 287

6.2.1. МП оценка фазы несущей....................................................................................................... 288

6.2.2. Модели замкнутой ФАП......................................................................................................... 290

6.2.3. Влияние аддитивного шума на оценку фазы.......................................................................... 292

6.2.4. Петли, управляемые решениями............................................................................................ 295

6.2.5. Петли, не управляемые решениями........................................................................................ 298

Квадратичная петля............................................................................................................ 301

Петля Костаса..................................................................................................................... 302

Оцешса несущей в системах с многопозиционными сигналами........................................ 303

Сравнение петель, управляемых и не управляемых решениями....................................... 305

6.3. ОЦЕНИВАНРГЕ ПРИ СИНХРОНИЗАЦИИ СРШВОЛОВ............................................................... 305

6,3,1, Максимально правдоподобная оценка параметра задержи!................................................. 306

6.3,2 Оценивание параметра задержки, не управляемое решениями.............................................. 307

Синхронизаторы с окнами на задержку-опережение........................................................ 308

6.4. СОВМЕСТНОЕ ОЦЕНИВАНИЕ ФАЗЫ НЕСУЩЕЙ И ФАЗЫ СИНХРОНИЗАЦИИ................... 311

6.5. ХАРАКТЕРИСТИКИ КАЧЕСТВА МП ОЦЕНИВАТЕЛЕЙ............................................................ 314

6.6. БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ................................................................... 316

ЗАДАЧИ............................................................................................................................................ 317

7. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА И КОДИРОВАНИЕ.................................................. 319

7.1, МОДЕЛИ КАНАЛОВ И ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ........................................ 319

7.1.1. Модели канала........................................................................................................................ 320

Двоичный симметричный канал........................................................................................ 320

Дискретные каналы без памяти.......................................................................................... 321

Канал с дискретным входом и непрерывным выходом..................................................... 322

Сигнальные каналы............................................................................................................ 322

7.1.2. Пропускная способность канала............................................................................................. 323

Теоремы кодирования в канале с шумами......................................................................... 329

7.1.3. Пропус1сная способность канала, достигаемая при помощи ортогональных сигналов......... 329

7.1.4. Функции надёжности канала.................................................................................................. 331

7.2, СЛУЧАЙНЫЙ ВЫБОР КОДОВ........................................................................................................ 332

7.2.1. Случайное кодирование, основанное на использовании ансамбля из М двоичных кодовых слов........................................................................................................................................ 333

7.2.2. Случайное кодирование, основанное на использовании М кодовых слов с многоуровневыми сигналами................................................................................................ 338

7.2.3. Сравнение предельной скорости с пропускной способностью канала с АБГШ.................... 340

7.3, СИНТЕЗ СИСТЕМЫ СВЯЗИ, ОСНОВАННЫЙ НА ПРЕДЕЛЬНОЙ СКОРОСТИ........................ 341

7.4, БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ................................................................... 347

ЗАДАЧИ............................................................................................................................................ 347

8. БЛОКОВЫЕ И СВЁРТОЧНЫЕ КОДЫ.............................................................................................. 352

8,1. ЛИНЕЙНЫЕ БЛОКОВЫЕ КОДЫ.................................................................................................... 352

8.1.1. Порождающая и проверочная матрицы................................................................................. 355

8.1.2. Некоторые известные линейные блоковые коды.................................................................... 359

Коды Хемминга.................................................................................................................. 359