1.8. Свойства оценки МНК при нормальных отклонениях

До сих пор мы не делали какого-либо предположения относительно распределения отклонений Сейчас мы предположим, что эти отклонения распределены по нормальному закону с нулевым математическим ожиданием и одинаковой неизвестной дисперсией Имея конкретное распределение для а значит и для мы можем применить метод максимального правдоподобия (ММП).

Теорема 1.11. Если то оценки МНК и ММП совпадают.

Доказательство. Из условия теоремы и независимости следует значит, с плотностью, равной

Оценка ММП соответствует максимуму этой функции. Возьмем логарифм этой функции, отбросим константу, не влияющую на максимизацию, и поменяем знак. Получим

Необходимым условием минимума является обращение первых производных функции в точке минимума в иуль. Найдем производную по а:

Решением этого уравнения и будет оценка ММП , которая совпадает с оценкой МНК.

Итак, если отклонения нормально распределены, то оценка МНК совпадает с общестатистическим методом оценивания — методом максимального правдоподобия.

Иногда, ссылаясь на совпадение оценок МНК и ММП в условиях нормальных отклонений, утверждают, что все известные оптимальные свойства ММП приобретает в этом случае и МНК: состоятельность, асимптотическую нормальность и эффективность. Без дополнительных оговорок подобный перенос свойств оценок для регрессий не имеет места. Дело в том, что указанные асимптотические свойства

оценок ММП доказываются в условиях одинакового распределения наблюдений В регрессиях наблюдения распределены неодинаково, они имеют разные математические ожидания:

Поэтому и состоятельность, и асимптотическую нормальность оценок метода наименьших квадратов необходимо передоказывать. Для того чтобы указанные асимптотические свойства выполнялись, необходимо наложить определенные ограничения на поведение независимых переменных на бесконечности, т. е. при увеличении объема выборки, что и было сделано в предыдущем параграфе.

Наиболее ценным с практической точки зрения является то, что в условиях нормальной гипотезы распределение оценки МНК принимает конкретный вид и является тоже нормальным.

Теорема 1.12. Если то

а) оценка МНК имеет нормальное распределение т. е. распределена по нормальному закону с а и матрицей ковариаций

б) статистика распределена по степенями свободы,

в) оценки независимы.

Доказательство, а) Оценка МНК является линейной по у, значит, имеет нормальное распределение. Ранее было показано, что поэтому распределение а есть Имеем

где идемпотентная матрица, причем

Теперь воспользуемся утверждением приложения, что и доказывает б).

в) Применим теорему Для доказательства независимости достаточно показать, что где . И действительно,

Значение доказанной теоремы велико. Факт нормальности а, независимости дает нам возможность проверять статистические гипотезы, строить критерии, находить доверительные интервалы.

Большое значение имеет также следующая теорема.

Теорема 1.13. Если отклонения нормальны, то оценка МНК является эффективной в классе всех несмещенных оценок с минимальной матрицей ковариаций, равной

Доказательство см. в параграфе 1.11.

Теорема 1.13 утверждает, что если другая несмещенная оценка а, то

Существует много критериев проверки гипотезы о нормальном распределении отклонений. Однако они требуют большого числа наблюдений С некоторыми из этих критериев можно познакомиться в [1].

Упражнения 1.8

(см. скан)