Главная > Разное > Статистические выводы и связи, Т.2
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Выпадающие наблюдения

32.23 В последних разделах этой главы мы кратко рассмотрим задачу, с которой в тот или иной момент встречается каждый практический статистик, а возможно, и большинство ученых-практиков. Задача состоит в том, чтобы решить, не получено ли одно или более из наблюдений из генеральной совокупности, отличной от той, которая порождает остальные наблюдения; она отличается от обычной задачи двух выборок тем, что мы не знаем заранее, какие наблюдения могут быть из другой совокупности, — если бы мы знали, то, разумеется, могли бы применить двухвыборочную технику, которая рассматривалась в предыдущих главах. Здесь же нам нужно выяснить, имело ли место вообще такое «засорение» выборки.

Постановка этой задачи обычно вызывается подозреваемой ошибкой инструмента или записи; ученый исследует свои данные обычным путем и подозревает, что некоторые (обычно только одно) из наблюдений имеют слишком экстремальные (высокие или низкие или и то и другое) значения, чтобы быть

в согласии с предположением, что они порождены тем же распределением. Теперь нужен какой-нибудь объективный метод, позволяющий решить, основательно ли это подозрение.

Поскольку подозрение ученого вызвано поведением на хвостах наблюдаемого им распределения, то «естественные» критерии, которые напрашиваются сами собой, основаны на поведении экстремальных порядковых статистик и, в частности, на их отклонении от некоторой характеристики положения для неподозреваемых наблюдений, либо (особенно когда подозреваются и «высокие» и «низкие» ошибки) сам выборочный размах может быть использован в качестве статистики критерия. Поэтому, например, Ирвин (1925) исследовал распределение в выборках из нормальной генеральной совокупности (см. также Пирсон (1926) и Силлито (1951)), а Стьюдент (1927) рекомендовал пользоваться размахом для проверки выпадающих наблюдений.

Начиная с этих ранних обсуждений задачи, в этом же направлении была проделана большая работ, причем практически всюду рассматривался только случай нормального распределения. Теперь ясно, что распределение экстремальных наблюдений чувствительно к форме исходного распределения (см. главу 14), так что эти процедуры вряд ли могут быть устойчивы к отклонениям от нормальности, но, вообще говоря, трудно сделать что-нибудь иное, чем принятие нормальности, так как то же возражение ввиду неустойчивости было бы справедливо и для любого другого исходного распределения.

32.24 Фергюсон (1961), следуя Диксону (1950), выдвигает две общие альтернативные гипотезы. Модель А (гипотеза отличия в сдвиге) состоит в том, что независимых нормальных наблюдений имеют общую дисперсию и средние — известные константы, не все равные между собой, неизвестная перестановка чисел от 1 до Модель В (гипотеза отличия в масштабе) состоит в том, что независимы и нормальны с общим средним и дисперсиями . В каждой из моделей мы проверяем гипотезу

Рассматривая только критерии, инвариантные относительно изменений положения и масштаба, Фергюсон (1961) показал, что в модели А с неизвестным локально наиболее мощный критерий для Но против односторонней альтернативы основан на выборочном коэффициенте асимметрии. Большие значения являются критическими, если третья -статистика значений а, положительна, и малые значения являются критическими, если Если (как и бывает в задачах о выпадающих наблюдениях) значений а равны

нулю и то так что большие значения всегда являются критическими, если выпадает менее половины наблюдений. Для двусторонней альтернативы критерий, основанный на выборочном коэффициенте эксцесса является локально наиболее мощным несмещенным, причем критическими являются большие или малые значения, когда или соответственно. Если значений а равны нулю, то когда так что большие значения всегда являются критическими, если выпадают менее чем 21% наблюдений. Для модели В, где имеет смысл только односторонняя альтернатива поскольку малые изменения масштаба в задачах о выделяющихся наблюдениях бывают только вверх, локально наиболее мощный критерий основан на больших значениях каковы бы ни были а (так что здесь допускается любое число выпадающих наблюдений).

Однако «локально» наиболее мощный означает «вблизи так что требуется еще свидетельство эффективности этих критериев при больших сдвигах. Кроме того, у этих критериев имеется сильный конкурент с тех пор, как Полсон (1952) и Кудо (1956) показали, что для модели А с не более чем одним выпадающим наблюдением вероятность правильно отвергнуть выпадающее наблюдение максимизируется, если использовать в качестве критерия стьюдентизованное экстремальное отклонение (см. Томпсон (1935), Пирсон и Чандра Секар (1936))

оценка по всем имеющимся наблюдениям) для односторонних альтернатив или соответственно. То же свойство справедливо для стьюдентизованного максимального абсолютного отклонения

используемого против двусторонних альтернатив в модели А, а также (Фергюсон против в модели В.

Фергюсон (1961) провел выборочные эксперименты в модели А, основанные на 25000 случайных нормальных отклонений, последовательно объединяемых в выборки объема с одним выпадающим наблюдением, отличающимся от остальных на . Среди односторонних критериев оказался несколько лучше, чем тогда как как двусторонние критерии отличались очень мало.

В Biometrika Tables даны и -квантили для при и для при Ферпосон (1961) оценивает квантили с помощью выборочного эксперимента для Куисенберри и Дэвид (1961) табулировали распределение

32.25 Диксон (1950, 1951) рассматривал отношения вида в качестве критериев и проводил выборочные эксперименты для исследования их мощностей. Когда а известна, он нашел, что нормированное экстремальное отклонение

и нормированный размах

имеют примерно одинаковую мощность. Дэвид и др. (1954) табулировал процентные точки стыодентнзованного размаха

Распределение статистики (32.43) табулировано также в упрощенном случае, когда ее числитель и знаменатель получены из независимых выборок, в Biometrika Tables Пэчерсом (1959) и Хартером (1960). Распределение статистики (32.39) с тем же упрощением табулировано в Biometrika Tables Нэйром (1948, 1952), Дэвидом (1956), Пиллаи (1959) и Пиллаи и Тиеизо (1959) (см. также Дэвид и Полсон (1965)). Аналогичным образом распределение статистики (32.40) табулировано Гальпериным и др. (1955). Энскомб (1960) исследовал влияние отбрасывания выпадающих наблюдений на последующую оценку, главным образом когда известно. Блисс и др. (1956) дали критерий размаха для браковки единственного выпадающего наблюдения среди нормальных выборок объема а также таблицы к нему. Другие критерии рассматриваются Граббсом (1950) и Диксоном (1950, 1951, 1953а).

Диксои (1962, глава 10 Н книги Сархана и Гринберга (1962)) дает обширный обзор по этой теме, включая многие из упомянутых выше таблиц и некоторые другие.

Очевидный путь повышения устойчивости критериев и оценок к наличию выпадающих наблюдений состоит в том, чтобы основывать их на «центральной» части выборки, как, например, «обрубленные» и «виизоризован-ные» оценки в 32.18 и критерии в 32.22.

<< Предыдущий параграф Следующий параграф >>
Оглавление