Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

ГЛАВА 28. ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ

28.1 В последних двух главах мы изложили теорию линейной регрессии одной величины относительно одной или большего числа других величин, но основное внимание там уделялось теории корреляции. Теперь же центром нашего исследования станет теория регрессии. В этой главе мы обобщим и объединим результаты глав 26 и 27, при этом будет использоваться метод наименьших квадратов, изложенный в главе 19.

При рассмотрении регрессии у относительно одной или большего числа величин х обычно называют у «зависимой», «независимыми» переменными. Эта терминология, заимствованная из обычной алгебры, плоха, потому что величины х не являются, в общем случае, независимыми в вероятностном смысле. В действительности мы увидим, что они вовсе не обязательно являются случайными величинами. Далее, поскольку цель регрессионного анализа состоит в исследовании зависимости то название «независимые» для величин х вносит особенную путаницу. Поэтому, несмотря на общепринятую терминологию, мы будем следовать некоторым более современным авторам, например Э. Хеннану (1956), и называть х регрессионными переменными (или, для краткости, регрессорами).

Вначале мы рассмотрим обобщение аналитической теории регрессии, изучавшейся в главах 26 и 27 для линейного случая. Отличительная особенность аналитической теории состоит в том, что предполагается известным совместное распределение величин или, что эквивалентно, их совместная характеристическая функция.

Аналитическая теория регрессии

28.2 Пусть есть совместная плотность распределения величин х, у. Тогда для любого фиксированного значения х, скажем X, математическое ожидание величины у определяется как

Соотношение (28.1) определяет регрессию (кривую регрессии), обсуждавшуюся в 26.5. Оно выражает зависимость между X и средним значением величины у для этого значения это зависимость математическая, а не вероятностная.

Можно также рассмотреть более общую регрессию (кривую регрессии) порядка определяемую равенством

выражающим зависимость момента величины у при фиксированном X от Аналогично, равенство

выражает зависимость центрального момента величины у при фиксированном X от

Если в то это есть так называемая скедастическая (scedastic) кривая, выражающая зависимость от X дисперсии величины у при фиксированном Если нарисуем график, на котором каждому X будет соответствовать значение коэффициента асимметрии получим клитическую (clitic) кривую, а делая то же самое для величины найдем куртическую (kurtic) кривую. Приведенные определения не являются в действительности общепринятыми. Наиболее важное значение имеет регрессионная кривая, получающаяся при т. е. кривая (28.1); и всякий раз, когда без уточнения будет упоминаться «регрессия», ее следует понимать как регрессию (28.1) для среднего значения.

В 26.5 мы видели, что иногда нам интересна регрессия х по у, так же как и регрессия у по х. Тогда мы имеем очевидные аналоги соотношений (28.2) и (28.3), в частности, соотношение, аналогичное (28.1), имеет вид

28.3 В точности так же, как мы получали моменты из х. ф. без вычисления плотности распределения, можно находить регрессию любого порядка с помощью совместной х. ф. величин х

и у без вычисления в явном виде совместной Запишем

где есть маргинальное распределение величины условное распределение величины у при фиксированном х. Совместная равна

где

есть условная x. ф. величины у при фиксированном х. Если, как в есть момент величины у при фиксированном х, то

и, следовательно, из (28.7) и (28.8) получаем

Таким образом, согласно теореме обращения (4.3)

Это и есть искомое выражение, с помощью которого можно получить регрессию любого порядка. При из (28.10) имеем

28.4 Если существуют все семиинварианты, то мы имеем, по определению двумерных семиинвариантов (3.74),

где, по определению, равно нулю. Следовательно,

Используя (28.12), перепишем (28.11) в виде

и если допустима перестановка операций интегрирования и суммирования, то (28.13) переходите

Так как согласно теореме обращения

то, предполагая выполненными условия существования, получаем

Используя (28.15), находим из (28.14)

Таким образом, для регрессии среднего значения величины у по х имеем

Приведенный результат принадлежит Уикселлу (1934). Соотношение (28.17) справедливо, если существуют семиинварианты всех порядков и законна перестановка операций интегрирования и суммирования в (28.13). Это выполняется, в частности, тогда, когда и все ее производные непрерывны внутри интервала изменения х и равны нулю на его концах.

Если -нормированная нормальная плотность, то получаем частный случай соотношения (28.17):

где -полиномы Чебышева — Эрмита порядка определенные в (6.21).

Пример 28.1

Для двумерного нормального распределения

совместная х. ф. величин 111 и у 1X1 (см. пример 15.1) равна

Отсюда

так что

есть единственный ненулевой семиинвариант в (28.17). Маргинальное распределение является стандартным нормальным распределением, поэтому (28.17) совпадает с (28.18). Используя (6.23), находим

Это есть регрессия величины по Если теперь перейти к ненормированным величинам, то для регрессии у относительно х получим

более общую форму первого из уравнений (16.46), где х и у были переставлены местами и

Пример 28.2

Пусть дана выборка объема из двумерной нормальной совокупности предыдущего примера. Рассмотрим совместное распределение величин

Из примера 26.1 легко найти, что совместная х. ф. величин равна

где Выразить в простой форме совместную величин невозможно, но регрессии можно определить и без нее. Из (28.19) находим

Таким образом, (28.10) и (28.20) дают

Из обращения приведенного в примере 4.4, имеем

тогда как маргинальное распределение (см. есть

Подставляя его в (28.21) и полагая поочередно находим

и

так что

Соотношения (28.22) и (28.23) показывают, что регрессии среднего и дисперсии величины и по линейны.

<< Предыдущий параграф Следующий параграф >>
Оглавление