Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Оценки с минимальной дисперсией

17.13 Итак, кажется естественным использовать дисперсию оценки как критерий ее приемлемости. И она действительно использовалась для этой цели еще со времен Лапласа и Гаусса. Однако только относительно недавно было установлено, что при достаточно общих условиях существует нижняя граница дисперсий оценок. Для нахождения этой границы нам понадобятся некоторые предварительные результаты, которые будут полезны в дальнейшем также для других целей.

17.14 Обозначая плотность непрерывной или дискретной совокупности, мы определим функцию правдоподобия выборки из независимых наблюдений равенством

Поскольку есть совместная плотность наблюдений, то

Предположим теперь, что для всех существуют первые две производные по функции и продифференцируем обе части равенства (17.17). Если можно изменить порядок дифференцирования и интегрирования, например, если пределы интегрирования (т. е. область изменения ) не зависят от 0, то мы получим

что можно переписать в виде

Дифференцирование (17.18) и последующая перемена порядка дифференцирования и интегрирования приводят к соотношению

которое можнозаписать как

или же

17.15 Далее мы будем рассматривать несмещенные оценки некоторой функции от параметра 8. Это позволит рассмотреть не только смещенные и несмещенные оценки самого параметра но и, например, оценивание стандартного отклонения в случае, когда параметром служит дисперсия. Итак,

Дифференцирование соотношения (17.20) дает

что можно переписать, учитывая (17.18), в виде

Используя неравенство Коши — Буняковского из последнего соотношения получаем

или, после несложных преобразований,

Это основное неравенство для дисперсии оценки. Его часто называют неравенством Крамера — о (1945); Крамер (1946)). Впервые оно было, по-видимому, получено Эйткином и Силверстоуном (1942). Используя (17.19), это неравенство можно переписать в следующем виде, часто более удобном на практике:

Мы будем называть (17.22) и (17.23) минимальной границей дисперсии (сокращенно МГД) оценки функции Оценка, дисперсия которой при всех равна этой минимальной границе, будет называться МГД-оценкой.

Для того чтобы из (17.20) следовало (17.22), необходимо лишь выполнение равенства (17.18). Если, кроме того, выполнено (17.19), то МГД может быть записана также в виде (17.23). (См. в связи с этим упражнения 17.21 и 17.22.)

17.16 Если оценивается сам параметр то, заменяя в (17.22) производную ее значением мы получим для несмещенной оценки параметра 8 неравенство

Величина

называется иногда количеством информации, содержащейся в выборке.

17.17 Условие, при котором достигается МГД, получить нетрудно. В самом деле, (17.22) следует непосредственно из неравенства Коши — Буняковского, а необходимым и достаточным условием того, чтобы последнее превратилось в равенство, является (см. 2.7) пропорциональность — для любых наборов наблюдений, т. е.

Значение А в (17.26) не зависит от наблюдений, но может быть функцией от 0, поэтому следует переписать (17.26) в виде

Далее, из (17.27) и (17.18) получаем

Так как (17.22) превращается в равенство, то подстановка в него (17.28) дает

Мы заключаем отсюда, что если (17.27) выполнено, то является МГД-оценкой для причем дисперсия этой оценки дается выражением (17.29), которое равно правой части (17.23). Если то дисперсия равна величине которая в свою очередь, равна правой части (17.24),

Пример 17.6

Требуется оценить параметр в нормальной совокупности

с известным а.

Поскольку равенство

имеет вид (17.27), если положить то х будет МГД-оценкой для 0. Дисперсия этой оценки равна

Пример 17.7

В случае распределения

для параметра не существует МГД-оценки, так как равенство

не может быть приведено к виду (17.27).

Пример 17.8

Для распределения Пуассона

получаем

откуда следует, что х есть МГД-оценка для 0. Дисперсия этой оценки равна

Пример 17.9

В случае биномиального распределения, для которого

из равенства

следует, что есть МГД-оценка параметра Эта оценка имеет дисперсию, равную

17.18 Из изложенного выше следует, что МГД-оценка может существовать только для какой-то одной функции от параметра Следующий пример иллюстрирует этот факт.

Пример 17.10

Оценить параметр нормального распределения

Из равенства

немедленно следует, что есть МГД-оценка для генеральной дисперсии причем дисперсия этой оценки, согласно (17.29), равна Однако для самого МГД-оценки в данном случае не существует.

Уравнение (17.27) дает условие, которому должна удовлег-ворять плотность распределения, для того чтобы для некоторой функции от параметра существовала МГД-оценка. Но если это условие не выполняется, то еще может существовать оценка, которая будет равномерно по иметь дисперсию, меньшую дисперсии любой другой оценки. Такую оценку мы назовем оценкой с минимальной дисперсией (МД-оценка). Другими словами, минимальная достижимая дисперсия может быть больше нижней границы дисперсии, даваемой неравенством Крамера — Когда же условия регулярности, приводящие к неравенству Крамера — не выполнены, минимальная достижимая дисперсия может быть и меньше нижней границы, получающейся при формальном применении этого неравенства. Однако в любом случае из равенства (17.27) вытекает, что может существовать только одна функция от 0, для которой достигается МГД, а именно функция, являющаяся математическим ожиданием статистики через которую линейно выражается производная логарифма функции правдоподобия

17.19 Интегрируя соотношение (17.27), определяющее вид функции правдоподобия, и обозначая интеграл от произвольной функции снова через мы получим

Отсюда следует, что плотность распределения должна иметь вид

где

Семейство распределений вида (17.30) часто называют экспоненциальным. Мы возвратимся к нему в 17.36.

17.20 Когда МГД (17.22) не достигается, можно найти более точную нижнюю границу дисперсии оценки, т. е. границу, большую той, которая дается неравенством Крамера — Рао. Существенным условием достижимости (17.22) является линейная зависимость разности Однако если такой оценки для которой это условие выполняется, не существует, может еще существовать оценка, для которой будет линеинои функцией от и от высоких производных функции правдоподобия. Этот факт приводит к следующему результату, принадлежащему Бхаттачария (1946).

Пусть функция оценивается статистикой Введем обозначения

и определим функцию

где — константы, которые будут определены ниже. Дифференцирование раз дает (при допустимости перемены порядка дифференцирования и интегрирования)

откуда

Дисперсия равна, следовательно,

Минимизация (17.34) по приводит к системе

которую можно переписать следующим образом:

Левая часть (17.36), согласно (17.32) и (17.20), равна

Правую же можно записать в виде

Подставляя эти значения в (17.36), получим

Если матрица это линейной системы невырождена, то система имеет решение

Следовательно, если (17.34) минимально, то (17.31) принимает значение

Само же (17.34), как следует из (17.39), равно

Это выражение, учитывая (17.35), можно записать в виде

или, окончательно,

Так как левая часть (17.40) неотрицательна, то мы получаем нужное нам неравенство

В частном случае неравенство (17.41) превращается в неравенство (17.22).

17.21 Условием достижения нижней границы в (17.41) является условие которое ввиду (17.33) сводится к что дает (см. (17.39))

Условие (17.42), требующее линейной зависимости от величин является обобщением (17.27). Если есть линейная функция от первых таких величин, то, конечно, мы ничего не выиграем, добавляя члены более высокого порядка. С другой стороны, правая часть (17.41) является неубывающей функцией от поскольку минимальная дисперсия функции не может возрастать при добавлении новых коэффициентов Таким образом, если при оценивании заданной функции не существует МГД-оценки, то мы можем надеяться найти оценку, дисперсия которой будет равна нижней границе, даваемой (17.41) при некотором

17.22 Посмотрим теперь, как изменится нижняя граница дисперсии, если в (17.41) взять вместо Используя обозначение

можно записать (17.41) в виде

или, что то же самое,

Второе слагаемое в правой части (17.45) характеризует полученное уточнение границы. Записывая в виде функции от объема выборки и пользуясь соотношениями

получим

откуда следует, что поправка к границе имеет порядок в то время как главный член имеет порядок Следовательно, величина поправки важна только при т. е. когда главный член исчезает. В случае, когда является оценкой для самого 0, (17.47) принимает вид

что можно переписать, используя (17.46) и возвращаясь к первоначальным обозначениям, следующим образом:

Если граница при равна границе при то из этого, вообще, не следует, что последняя достижима. Однако для экспоненциального семейства это так (см. Патнл и Шоррок (1965)).

Пример 17.11

Мы уже знаем, что несмещенной оценкой параметра биномиального распределения является статистика а несмещенной оценкой для статистика поэтому естественной несмещенной оценкой для функции будет

Дисперсия в случае больших выборок с точностью до членов первого порядка дается (см. (10.14)) выражением

которое совпадает с первым членом в (17.41) и (17.45), поскольку Таким образом, если этот член не равен нулю, то будет МГД-оценкой (асимптотически). Однако при он равен нулю, поэтому мы должны рассмотреть следующий член, чтобы получить ненулевую границу дисперсии. Легко проверить, что

следовательно, второй член в (17.47) равен

При этот член равен Записав статистику в виде

можно найти точную дисперсию при используя моменты биномиального распределения. Эта дисперсия равна т. е. совпадает со вторым слагаемым в (17.47) до членов порядка

17.23 Пример 17.11 выявляет один довольно важный факт. Если для функции существует МГД-оценка т. е.

и требуется оценить некоторую другую функцию, скажем то из известных асимптотических результатов и из (17.49) следует (при условии, что не равна нулю), что

или

Другими словами, из того, что для некоторой функции от существует МГД-оценка, следует, что для любой функции от существует оценка с дисперсией, асимптотически равной МГД. Более того, этой оценкой служит соответствующая функция от В 17.35 мы получим, в дополнение к сказанному, один более точный результат, касающийся функций от МГД-оценок.

17.24 Не представляет никакого труда распространить результаты этой главы относительно МГД-оценок на случай нескольких параметров 9а- Если ставится задача об оценивании некоторой функции от этих параметров, скажем то аналогом самого простого результата, (17.22), будет неравенство

где элементы матрицы, обратной к

Как и в одномерном случае, (17.50) учитывает только члены порядка неравенство же, учитывающее члены более высокого порядка, имеет более сложный вид.

17.25 Оказывается, можно получить даже более точные, чем рассмотренные выше, нижние границы для дисперсий оценок, причем без условий регулярности. Следуя Киферу (1952), рассмотрим случай несмещенных оценок.

Обозначим, как и в (17.16), через функцию правдоподобия, а через случайную величину, независимую от и определенную так, что сумма не выходит за пределы допустимых значений для в. Пусть и - произвольные фуикцни распределения. Тогда, если -несмещенная оценка для 0, то можно написать

используя один знак интеграла и один дифференциал для обозначения -кратного интегрирования. Интегрируя еще раз по получим

Таким образом, можно написать

Пользуясь теперь неравенством Коши — Буняковского, получим

что

Поскольку это верно для любых то мы имеем

Верхняя грань в (17.51) берется по всем для которых определено подннтегральное выражение в знаменателе. Баранкин (1949) доказал, что неравенства этого типа дают наилучшие возможные границы для

Если распределение сосредоточено в точке то (17.51) принимает вид

Если, кроме того, распределение также сосредоточено в некоторой точке то неравенство (17.52) превращается в

Нижняя грань берется по всем для которых из следует Неравенство (17.53), установленное Чепмэном и Роббиисом (1951), дает, по меньшей мере, такую же хорошую границу, как и (17.24), но применимо в более общем случае. Знаменатель в правой части (17.24), равный

в случае допустимости перемены порядка интегрирования и перехода к пределу можно записать в виде

Знаменатель в правой части (17-53) есть нижняя грань этой величины по всем допустимым значениям и не может, следовательно, быть больше предела этого выражения при т. е. (17.53) дает, по меньшей мере, такие же хорошие результаты, как и (17.24). Отсюда следует, что (17.52) и (17.51) дают; вообще говоря, еще лучшие результаты, однако, чтобы их использовать, нужно в каждом конкретном случае находить и Неравенство можно применять сразу. В случае, когда область определения распределения зависит от оцениваемого параметра и неравенство (17.24) неприменимо, более эффективным средством изучения свойств наилучших оценок является использование достаточных статнстнк, которые будут рассмотрены несколько позже.

17.26 До сих пор мы в основном занимались оценками, дисперсия которых равномерно по 8 достигала МГД. Однако во многих случаях таких оценок не существует, даже когда выполнены условия, при которых была получена эта граница. Остается надежда, что тогда существует МД-оценка, т. е. оценка, имеющая для всех 6 минимальную достижимую дисперсию. Единственна ли такая оценка? Легко показать, что если МД-оценка существует, то она всегда единственна, безотносительно, к достижению какой-либо границы.

Пусть и несмещенные МД-оценки для и пусть дисперсия, этих оценок равна Рассмотрим новую оценку для

с дисперсией

Согласно неравенству Коши — Буняковского

откуда

Поскольку имеют по предположению минимальную дисперсию, то в последнем неравенстве, а следовательно, и в (17.55) должен стоять знак равенства. Для этого должны быть пропорциональны:

Но если это так, то

откуда ввиду равенства в (17.55)

Таким образом, совпадает с т. е. МД-оценка единственна.

17.27 Обобщая доказательство предыдущего пункта, можно получить одно интересное неравенство для коэффициента корреляции между двумя оценками, который согласно 16.23 определяется как отношение их ковариации к квадратному корню из произведения дисперсий. Из неравенства (17.55) следует, что всегда

Пусть несмещенная оценка для с минимальной дисперсией любые другие несмещенные оценки для Рассмотрим новую оценку для

которая имеет дисперсию

Вводя обозначения

можно записать (17.57) в виде

или, обозначая

в виде

что можно переписать, учитывая неравенство. следующим образом:

Неравенство (17.59) является квадратичным неравенством по а:

Поскольку корни соответствующего уравнения могут быть только мнимыми или равными, то его дискриминант неположителен:

или

Следовательно,

Обозначая имеем окончательно

Когда или т. е. или есть МД-оценка для неравенство (17.60) превращается в равенство

где обратная величина дисперсии другой оценки, называемая обычно по причинам, которые будут рассмотрены в 17.28-29, ее эффективностью.

<< Предыдущий параграф Следующий параграф >>
Оглавление