а1-Е{Г-)-т1Е{у-)-т:=\±±Е(х,Х)пг:.=-±Е{х;)+

1

1=1 у=1

я ,=1 у=1 « "

Если 7 рассматривать как оценку среднего т, видим, что его математическое ожидание равно т, а его дисперсия уменьшается с ростом объема выборки X Если X неограниченно возрастает, дисперсия стремится к нулю. Оценка параметра (в данном случае т), которая удовлетворяет условиям, что её математическое ожидание стремится к истинному значению параметра, а дисперсия строго к нулю, называется состоятельной оценкой.

Хвостовую вероятность случайной величины Y можно оценить сверху, используя границы, данные в разд. 2.1.5. Неравенство Чебышева применительно к К имеет вид

PF-mJ>5)<-,

>5

(2.1.188)

<

«5-

В пределе, когда и->оо, из (2.1.188) следует

limP

я->м

>5

= 0.

(2Л.Ь89)

Следовательно, вероятность того, что оценка среднего отличается от истинного значения «?д больше, чем на 5 (5>0), стремится к нулю, если п неограниченно растет. Это положение является формой закона больших чисел. Так как верхняя граница сходится к нулю относительно медленно, т.е. обратно пропорционально X, выражение (2.1.188) называют слабым законом больших чисел.

Если к случайной величине Y применить границу Чернова, содержащую экспоненциальную зависимость от и, тогда получим плотную верхнюю границу для вероятности одного хвоста. Следуя процедуре, изложенной в разд. 2.1.5, найдем, что вероятность хвоста для Y определяется выражением

p(Y-m>b)=l{-±X,-w>b\ = К" 1=1 J

ч>=1

<Е

(2.1.190)

где 5m-Wv+5 и 5>0. Но Xi, i=\,2,...,n статистически независимы и одинаково распределены. Следовательно,

EJexp

-Vrt5.

Х,-пЬ

1 <- / п \

\ = е-Е ехр vY,X,

\ 1=1 JA

-V&,

£(е-):

(2.1.191)

где Х - одна из величин Хи Параметр v, который дает наиболее точную верхнюю границу получается дифференцированием (2.1.191) и приравниванием производной нулю. Это ведет к уравнению

£(ле)-5„,£(е-)=0 (2.1.192)

Обозначим решение (2.1.192) через v. Тогда граница для вероятности верхнего хвоста

5„, > .

т л

Аналогично мы найдем, что вероятность нижнего хвоста имеет границу

5„ </и,.

(2.1.193)

(2.1.194)

Пример 2.1.7. Пусть Х,, /=1, 2, w - ряд статистически независимых случайных величин, определенных так;

1 с вероятностью р<

-1 с вероятностью 1-р

Мы хотим определить плотную верхнюю границу вероятности того, что сумма от Xi больше, чем нуль. Так как р<\/2, то сумма будет иметь отрицательное значение для математического ожидания (среднего), следовательно, будем искать вероятность верхнего хвоста. При 5,,, = О в (2.1.193) имеем

где V - решение уравнения Теперь

Следовательно, Далее

фе)=0

£(АГе")--(1 рУ-гре" 0.

(2.1.195) (2 1.196)

v = In

(2.1.197)

Е(е) = ре+(\-р)е- Следовательно, для границы в (2.1.195) получаем

ре +(l рУ] pl(i-p)L Z\ <[4p(l-p)]"\ (2.1.198)

Мы видим, что верхняя граница уменьшается экспоненциально с «, как ожидалось В противоположность этому согласно границе Чебышева вероятность хвоста уменьшается обратно пропорционально п

Центральная предельная теорема. В этом разделе рассмотрим чрезвычайно полезную теорему, касающуюся ИФР суммы случайных величин в пределе, когда число слагаемых суммы неограниченно возрастает Имеется несколько версий этой теоремы. Докажем теорему для случая, когда случайные суммируемые величины Х„ /=1,2, .. статистически независимы и одинаково распределены, каждая из них имеет ограниченное

среднее т. и ограниченную дисперсию СТ.

Для удобства определим нормированную случайную величину

/ = 1,2. ...,«.

Таким образом, u, имеет нулевое среднее и единичную дисперсию. Теперь пусть

л/и ,=1

(2.1.199)

Так как каждое слагаемое суммы имеет нулевое среднее и единичную дисперсию,! нормированная (множителем l/Vn) величина Y имеет нулевое среднее и единичную! , дисперсию. Мы хотим определить ИФР для ¥в пределе, когда л -> оо.

Характеристическая функция F равна

(2.1.200)

где и означает одну из f/,, которые одинаково распределены. Теперь разложим: характеристическую функцию для u в ряд Тейлора. ;

(2.120,) ;

Так как E{u)=Q и 1, (2.1.201) упрощается:

In n

(2.1.202)

где R{\i,n)/n означает остаток. Заметим, что К{м,п)/п приближается к нулю, когда >оо. Подставив (2.1.202) в (2.1.200), получим характеристическую функцию 7 в виде

In п

Взяв натуральный логарифм от (2.1.203), получим

ln\j/y(7uj = «1п 1- -+ -

(2.1.203)

(2.1.204)

2п п

Для малых значений х функцию 1п(1+х) можно представить степенным рядом ln(l + x) = x-x+ix-.... - -Подставив это представление в (2.1.204), получим

ln\j/j,(7u) = «

2п п 2

и"

(2.1.205)

Окончательно, когда определим предел при п-оо, (2.1.205) приводит к lim In 11/3,(70) = -о"/2,

или, что эквивалентно,

limv/,(yu) = e-"/\

(2.1.206)

Но это как раз характеристическая функция гауссовской случайной величины с нулевым средним и единичной дисперсией. Таким образом, мы имеем важный результат: ФПВ суммы статистически независимых и одинаково распределенных случайных величин с ограниченным средним и дисперсией приближается к гауссовской при п->оо. Этот результат известен как г{ентральная предельная теорема.

Хотя мы предположили, что случайные величины в сумме распределены одинаково, это предположение можно ослабить при условии, что определённые дополнительные