Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Оценки по методу наименьших квадратов для линейной модели

19.4 Мы запишем линейную модель в виде

где у — вектор-столбец наблюдений размерности матрица известных коэффициентов -вектор: столбец параметров размерности вектор-столбец случайных «ошибок» размерности с математическим ожиданием

и матрицей рассеяния

единичная матрица порядка Условия (19.9) и (19.10) соответствуют предположению о том, что некоррелированы, имеют нулевые средние и одну и ту же дисперсию Эти условия играют существенную роль при получении следующих далее результатов. Линейную модель можно обобщить на менее ограничительную ситуацию (см. 19.17 и упражнения 19.2 и 19.5), но результаты при этом соответственно изменятся.

Следует отметить, что на элементы X не наложено никаких ограничений. Поэтому, как мы увидим дальше в 33.43 и главе 35 (том 3), определяя соответствующим образом эти элементы, можно использовать рассматриваемую линейную модель для анализа категоризованных и классифицированных наблюдений.

Метод НК состоит в минимизации скалярной суммы квадратов

по компонентам вектора 0. Необходимым условием обращения (19.11) в минимум является условие Выполняя дифференцирование, получаем откуда находим вектор НК-оценок:

Предполагается, что матрица невырождена и, следовательно, может быть обращена.

Пример 19.1

Рассмотрим простейший случай, когда имеет только одну компоненту. Тогда можно переписать (19.8) в виде

где вектор-столбец размерности НК-оценка согласно (19.12) дается формулой

Пример 19.2

Предположим, что имеет две компоненты. Матрица X состоит в этом случае из двух векторов и и модель (19.8) принимает вид

Пользуясь далее формулой (19.12), получаем следующее выражение для НК-оценки:

(все суммирования ведутся по Замечая, что элементами матрицы являются скалярные произведения векторов-столбцов матрицы X друг на друга и самих на себя и что элементами вектора являются скалярные произведения вектора у на каждый из векторов х, легко обобщить этот пример на случай произвольного числа компонент.

Пример 19.3

Пусть в примере 19.2 , где 1 обозначает вектор, все компоненты которого равны единице. Тогда

Обращение первой матрицы дает

Умножая полученное выражение на получаем

или

Упрощая, имеем

откуда

Мы видим, что имеет в точности такой же вид, как в примере 19.1, с той лишь разницей, что отклонения от начала координат заменяются отклонениями от средних. Вообще такой эффект наблюдается всегда, когда вводится новый параметр, которому соответствует вектор х, состоящий из единиц (см. упражнение 19.1).

19.5 Мы можем теперь доказать несмещенность НК-оценок (19.12). Используя (19.8), можно переписать (19.12) в виде

Поскольку матрица X постоянна, мы получаем в силу (19.9) требуемый результат:

Матрица рассеяния

после подстановки в нее (19.13) принимает вид

откуда, учитывая (19.10), получаем

(19.12) и (19.16) показывают, что как вычисление НК-оценки, так и вычисление ее матрицы рассеяния существенно зависят

от обращения матрицы В простых случаях (см. пример 19.3) обратная матрица может быть получена алгебраическим путем. Однако в более сложных случаях приходится применять численные методы, подобные описанным Л. Фоксом (1950) и Л. Фоксом и Хейесом (1951).

Пример 19.4

Дисперсия 0в примере 19.1 согласно (19.16) равна

Пример 19.5

В примере 19.2 имеем

откуда согласно (19.16)

Для получения надо в последнем выражении поменять местами индексы 1 и 2. Ковариация равна

она обращается в нуль в том и только в том случае, когда

Пример 19.6

В примере 19.3 мы нашли, что

откуда согласно (19.16)

Как и следовало ожидать, равна в примере 19.4 с заменой отклонений от начала отсчета на отклонения от среднего в знаменателе. некоррелированы в том и только в том случае, когда

<< Предыдущий параграф Следующий параграф >>
Оглавление