Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Метод наименьших квадратов и приближенная линейная регрессия

26.8 В примерах 26.3-26.5 одна или обе регрессии являлись точно линейными. Однако когда мы имеем дело не с теоретической совокупностью, а с наблюденной когда мы должны учитывать выборочные флуктуации), то очень редко встречается точная линейная регрессия. Тем не менее, как на рис. 26.1, регрессия может быть достаточно близкой к линейной. В последнем случае допустимо использовать линейную регрессию в качестве приближения. Таким образом, мы приходим к задаче «подгонки» прямой линии к регрессии у по х.

Когда отсутствуют особые соображения, выбор метода подгонки произволен, подобно тому как при описании данных произволен выбор между средним и медианой как мерами расположения. Если мы подгоняем регрессию у по х, то понятно, что отклонения точек от подгоняемой прямой в некотором смысле должны быть малыми для того, чтобы эта прямая адекватно их описывала. Мы могли бы выбирать прямую, которая минимизировала бы сумму абсолютных отклонений точек от этой прямой, но тогда возникают обычные математические трудности, связанные со знаком модуля. Так же как раньше эти трудности

привели нас к отказу от среднего отклонения как меры разброса в пользу стандартного отклонения, так и теперь они приводят нас к предложению минимизировать сумму квадратов отклонений.

Осталось определить, какие отклонения следует брать: по оси у, по оси х или же «нормальные» отклонения, получаемые с помощью перпендикуляров, опускаемых из каждой точки на прямую. Поскольку мы рассматриваем зависимость у от х, то кажется естественным минимизировать сумму квадратов отклонений по оси у. Таким образом, мы вернулись к методу наименьших квадратов: мы выбираем «наилучшую» прямую регрессии у по х,

так, чтобы была минимальной сумма квадратов отклонений наблюдений от подгоняемой прямой регрессии, т. е. величина

Задача состоит в определении коэффициентов В 19.4 мы уже рассматривали эту задачу в более обшей форме. В использованных там матричных обозначениях (26.14) имеет вид

где 1 есть -вектор, состоящий из единиц. Из (19.12) получаем решение

Таким образом,

так же как и в (26.11) для случая точной линейной регрессии. Далее,

что эквивалентно (26.9). Итак, (26.14) представляется в виде

аналогичном (26.13).

Следовательно, мы пришли к заключению, что вычисление приближенной линии регрессии по методу наименьших квадратов дает те же результаты, что и в случае точной линейной регрессии.

<< Предыдущий параграф Следующий параграф >>
Оглавление