Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

ГЛАВА 19. ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ И ДРУГИЕ МЕТОДЫ

19.1 В этой главе будут рассмотрены принципы оценивания, отличные от принципа максимума правдоподобия которому была посвящена глава 18. Наиболее важным из них является принцип (или метод) наименьших квадратов (сокращенно: Этот метод, отличаясь по подходу от метода МП и обладая своими собственными оптимальными свойствами, в то же время совпадает с методом МП в важном случае нормально распределенных наблюдений. Другие методы, рассматриваемые в этой главе, существенно отличаются от метода МП и если оказываются эквивалентными ему, то только в асимптотическом смысле.

Метод наименьших квадратов

19.2 Мы знаем (примеры 18.2, 17.6), что МП-оценка для среднего по выборке объема из нормального распределения

получается максимизацией по функции правдоподобия

Из (19.2) видно, что эта функция максимальна, когда минимальна сумма

Таким образом, принцип МП сводится к тому, чтобы выбирать такое которое обращало бы в минимум (19.3).

Предположим теперь, что генеральное среднее является линейной функцией параметров

где обозначают не случайные величины, а известные постоянные коэффициенты при неизвестных параметрах того чтобы в этом случае оценить каждый из параметров надо согласно (19.3) и (19.4) минимизировать по сумму

Можно пойти еще дальше по пути обобщения. Предположим, что наблюдений получены не из одинаковых нормальных распределений, а из распределений с разными средними. Именно, пусть

В этом случае надо минимизировать по 0, сумму

19.3 Метод НК получил свое название из-за его связи с минимизацией сумм квадратов вида (19.7). Как общий принцип он формулируется следующим образом: в качестве оценки вектора 8 в некотором выражении где х обозначает наблюдение, следует взять такое 6, которое обращает в минимум сумму

Как и в случае любого другого систематического принципа оценивания, вопрос о возможности использования метода НК зависит от свойств оценок, к которым он приводит. В противоположность методу МП, этот метод в общем случае не обладает даже асимптотическими оптимальными свойствами. Однако в одном очень важном классе ситуаций он даже при малых выборках обладает свойством оптимальности, состоящим в том, что он дает несмещенные оценки, являющиеся линейными функциями от наблюдений и имеющие минимальную дисперсию Это случай так называемой линейной модели, когда наблюдения имеют одинаковые дисперсии и (возможно, разные) средние, являющиеся линейными функциями неизвестных параметров, и когда наблюдения попарно некоррелированы. Именно таковы были; предположения в модели (19.6). Однако теперь мы откажемся от предположения нормальности, на котором были основаны рассуждения в 19.2, поскольку оно совершенно не нужно для установления оптимальных свойств оценок,

полученных по методу НК (НК-оценок). Перейдем к точной постановке задачи. При этом окажется удобным, как и в главе 15, использовать обозначения и терминологию матричной и векторной теории.

<< Предыдущий параграф Следующий параграф >>
Оглавление