ВЕРОЯТНОСТЬ И СЛУЧАЙНЫЕ ПРОЦЕССЫ

Теория вероятностей и случайных процессов - это существенный математический инструмент при проектировании систем цифровой связи. Этот инструмент важен при статистическом моделировании источников, которые выдают аналоговый сигнал, преобразуемый затем в цифровую форму, при определении характеристик канала, через который передаётся цифровая информация, при создании приёмника, который обрабатывает сигнал, несущий информацию из канала, и при оценке характеристик качества систем связи. Мы коснёмся лишь ограниченной части теории вероятностей и теории случайных процессов. Приведём ряд определений и основных понятий из теории вероятностей и теории случайных процессов, и несколько результатов, которые являются особенно важными при проектировании эффективных систем цифровой связи и оценке их характеристик.

Мы ожидаем, что большинство наших читателей имеют некоторое априорное представление о теории вероятностей и теории случайных процессов, так что наше изложение они воспримут, прежде всего, как обзор. Эти читатели извлекут с выгодой для себя дополнительную информацию из чтения интересного материала по этим вопросам, имеющего инженерную направленность и содержащегося в учебниках Давенпорта и Рута (1958 г.), Давенпорта (1970 г.), Папулиса (1984 г.), Хелстрома (1991 г.), и Леона-Гарсиа (1994 г.).

2.1. ВЕРОЯТНОСТЬ

Рассмотрим, например, такой эксперимент, как бросание игральной кости с рядом возможных исходов. Выборочное пространство S эксперимента состоит из набора всех возможных его исходов. В случае игральной кости

5 = {1,2, 3,4, 5. б), (2.1.1)

где целые числа 1...6 представляют числа, указанные на шести сторонах игральной кости. Эти шесть возлюжных исходов - выборочные (характерные) точки эксперимента. Событием является некоторая часть от S. которая может состоять из любого числа характерных точек. Например, событие А. определённое как

А {2. 4}. (2.1.2)

состоит из результатов 2 и 4. Дополнение к событию А. обозначаемое А . состоит из всех характерных точек в S. которых нет в А, следовательно.

А = {\,2.5.б}. . . (2.1.3)

Два события считают взаимоисключающими (несовместными), если они не имеют никаких общих характерных точек - т.е. если появление одного результата исключает появление другого. Например, если А определено как в (2.1.2), а событие В определим как

5 = {1,3, б), (2.1.4)

тогда А и В- несовместные события. Точно так же А и А- несовместны.

Объединение (сумма) двух событий - это собьггие, которое состоит из всех

характерных точек двух событий. Например, если В определено, как в (2.1.4), а событие С-

С= {1,2,3}, (2.1.5)

тогда объединение событий В и С, обозначаемое 5UС, является событием

£) = 5UC={l,2,3,6). (2.1.6)

Точно так же AijAS, где S - всё выборочное пространство, определяющее достоверное событие.

Пересечение двух событий - событие, которое состоит из характерных точек, общих для обоих событий. Таким образом, если Е - ВГ\С представляет пересечение событий В и С. определяемых (2.1.4) и (2.1.5) соответственно, то

E = {l,3 .

Если события несовместны, их пересечение - событие с нулевой вероятностью, обозначаемое как 0 Например, АГ\В = 0 и АПА 0

Определения для объединения и пересечения событий можно непосредственно расширить на более чем два события. Каждому событию А из пространства 5" приписывается его вероятность Р(А) При назначении вероятностной меры для событий мы принимаем аксиоматическую точку зрения. Это означает, что мы полагаем, что вероятность событий А удовлетворяет условию Р(А) > О. Мы также полагаем, что вероятность всего выборочного пространства S (достоверного события) P(S)=l. Третья аксиома касается вероятности взаимоисключающих (несовместных) событий. Предположим, что 4,. /=1,2,..., являются рядом (возможно, бесконечным) несовместных событий в выборочном пространстве S, так что

А,ПА=0, i*j\,2,... ,

Тогда вероятность объединения (суммы) этих несовместных событий удовлетворяет условию

ид =ЕФ,). (2.1.7)

Например, в случае бросания игральной кости каждый возможный исход (событие) имеет вероятность 1/6. Событие, определённое (2.1.2), состоит из двух несовместных подсобытий или исходов, следовательно, Р(А)2/6=1/3. Аналогично вероятность события A\JB, где А и В - несовместные события, определённые соответственно (2.1.2) и (2.1.4). равна Р(А)+Р(В)= 1/3+1 /2=5/6.

Совместные события и совместные вероятности. Предположим, что мы имеем дело не с одним, а с двумя экспериментами и рассматриваем их исходы. В качестве примера двух экспериментов можно рассматривать два отдельных бросания одной игральной кости или одно бросание двух игральных костей. В любом случае выборочное пространство S состоит из 36 дублетов (/,7), где i,j = 1,2,...,6. Если бросание производится чисто, то каждой точке выборочного пространства назначаем вероятность 1/36. Мы теперь можем рассматривать, например, объединённые события вида {/-чётное, j-3} и определять соответствующие вероятности таких событий, зная вероятности всех возможных характерных точек.

Вообще, если один эксперимент имеет возможные исходы А, /-1, 2,..., п, а второй эксперимент - 5,, j=\.2,...,m, тогда объединённый эксперимент имеет возможные совместные исходы (Af Bj), i=l, 2,..., n,j=\, 2...., т. Каждому объединённому исходу (А, Bj) присваивается вероятность Р{А, Bj), которая удовлетворяет условиям

о<р(4д)<1.

В предположении, что исходы В,р\, 2,.. , т, являются несовместными, получаем

ФЛУМ- (21-8)

Точно так же, если исходы Л,, /=1, 2,..., «, являются несовместными, то

tp{.B.)=j)- (2.1.9)

Далее, если все результаты из двух экспериментов несовместны, то

Z Sm>J-i- (2.1.10)

.-1 y-i

Обобщение вышеупомянутого положения на более чем два эксперимента очевидно.

Условные вероятности. Рассмотрим комбинированный эксперимент, в котором исход встречается с вероятностью Р(А, В). Предположим, что событие В произошло, и мы желаем определить вероятность того, что при этом произошло событие Эта вероятность называется успоьнои вероятностью события А при условии, что событие В имеет место, и определяется как

в предположении, что Р{В)>0. Подобным же образом вероятность события В при условии, что событие А имело место, определяется как

= (21.12)

в предположении, что Р{А)>0. Формулы (2 1.11) и (2.1.12) могут быть переписаны в виде

Р{А,В) = р{а\в)р{в) - р{в\аУ{а) . (2.1.13)

Соотношения в (2 1.11)-(2.1.13) применимы также к единственному эксперименту, в котором А VI В являются двумя событиями, определёнными на выборочном пространстве S, а Р(АВ) интерпретируется как вероятность АС\В. Т.е. Р(А,В) определяет вероятность одновременного наступления (пересечения) событий А я В. Например, рассмотрим события В и С, определённые (2.1.4) и (2.1.5) соответственно, для единственного бросания кости. Совместное событие состоит из выборочных точек {1,3}. Условная вероятность события С при условии, что В произошло, равна

р{с\в)=Л.

3/6 3

в единственном эксперименте мы наблюдаем, что, когда два события А и В несовместны, АГ\В = 0 и, следовательно, Р(А\В) = 0. Так же, если Л входит в В, тогда АГ\в- А и, следовательно,

р{в)

с другой стороны, если В входит в А, мы имеем А[\В-В и, следовательно,

p(a\b)JM-, р{в)

Чрезвычайно полезные соотношения для условных вероятностей вырамсаются теоремой Байеса. которая гласит, что если А,, /1,2,.являются несовместными событиями, так что 28