Xreferat.com » Рефераты по экономике » Статистический анализ числовых величин (непараметрическая статистика)

Статистический анализ числовых величин (непараметрическая статистика)

отрезка [0 ; 1].

Легко подсчитать, что в условиях примера 4 параметры предельного распределения имеют вид

b2 = Статистический анализ числовых величин (непараметрическая статистика)(1- Статистический анализ числовых величин (непараметрическая статистика))-1 / 4 , g2 = (1- 2Статистический анализ числовых величин (непараметрическая статистика)) / 4 .

Следовательно, распределение нормированной и центрированной статистики Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией

D(T) = 3 [(n-1) Статистический анализ числовых величин (непараметрическая статистика)(1- Статистический анализ числовых величин (непараметрическая статистика))-1 + (m-1) (1-2Статистический анализ числовых величин (непараметрическая статистика)) + 1] (m+n+1) - 1 .

Проанализируем величину D(T) в зависимости от параметра Статистический анализ числовых величин (непараметрическая статистика) и объемов выборок m и n. При достаточно больших m и n

D(T) = 3 w Статистический анализ числовых величин (непараметрическая статистика) (1 - Статистический анализ числовых величин (непараметрическая статистика))-1 + 3 (1 - w) (1 - 2 Статистический анализ числовых величин (непараметрическая статистика)) ,

с точностью до величин порядка (m+n)-1 , где w= n/(m+n). Значит, D(T) - линейная функция от w, а потому достигает экстремальных значений на границах интервала изменения w, т.е. при w = 0 и w = 1. Легко видеть, что при Статистический анализ числовых величин (непараметрическая статистика)(1-Статистический анализ числовых величин (непараметрическая статистика))-1 <1-2Статистический анализ числовых величин (непараметрическая статистика) минимум равен 3Статистический анализ числовых величин (непараметрическая статистика)(1-Статистический анализ числовых величин (непараметрическая статистика))-1 (при w = 1), а максимум равен 3(1 - 2Статистический анализ числовых величин (непараметрическая статистика)) (при w = 0). В случае Статистический анализ числовых величин (непараметрическая статистика)(1-Статистический анализ числовых величин (непараметрическая статистика))-1 >1-2Статистический анализ числовых величин (непараметрическая статистика) максимум равен 3Статистический анализ числовых величин (непараметрическая статистика)(1-Статистический анализ числовых величин (непараметрическая статистика))-1 (при w = 1), а минимум равен 3(1 - 2Статистический анализ числовых величин (непараметрическая статистика)) (при w = 0). Если же Статистический анализ числовых величин (непараметрическая статистика)(1-Статистический анализ числовых величин (непараметрическая статистика))-1 =1-2Статистический анализ числовых величин (непараметрическая статистика) (это равенство справедливо при Статистический анализ числовых величин (непараметрическая статистика)=Статистический анализ числовых величин (непараметрическая статистика)0 = 1 - 2-1/2 = 0,293), то D(T)=3 (21/2-1)=1,2426... при всех w из отрезка [0; 1].

Первый из описанных выше случаев имеет быть при Статистический анализ числовых величин (непараметрическая статистика) < Статистический анализ числовых величин (непараметрическая статистика)0 , при этом минимум D(T) возрастает от 0 (при Статистический анализ числовых величин (непараметрическая статистика)=0, w=1 - предельный случай) до 3(21/2 - 1) (при Статистический анализ числовых величин (непараметрическая статистика)=Статистический анализ числовых величин (непараметрическая статистика)0 , w - любом), а максимум уменьшается от 3 (при Статистический анализ числовых величин (непараметрическая статистика)=0, w=0 - предельный случай) до 3 (21/2 - 1) (при Статистический анализ числовых величин (непараметрическая статистика)=Статистический анализ числовых величин (непараметрическая статистика)0 , w - любом). Второй случай относится к Статистический анализ числовых величин (непараметрическая статистика) из интервала (Статистический анализ числовых величин (непараметрическая статистика)0 ; 1/2]. При этом минимум убывает от приведенного выше значения для Статистический анализ числовых величин (непараметрическая статистика)=Статистический анализ числовых величин (непараметрическая статистика)0 до 0 (при Статистический анализ числовых величин (непараметрическая статистика)=1/2 , w=0 - предельный случай) , а максимум возрастает от того же значения при Статистический анализ числовых величин (непараметрическая статистика)=Статистический анализ числовых величин (непараметрическая статистика)0 до 3 (при Статистический анализ числовых величин (непараметрическая статистика)=1/2 , w=0).

Таким образом, D(T) может принимать все значения из интервала (0 ; 3) в зависимости от значений Статистический анализ числовых величин (непараметрическая статистика) и w. Если D(T) < 1, то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности (2) будет приниматься чаще (при соответствующих значениях Статистический анализ числовых величин (непараметрическая статистика) и w - с вероятностью, сколь угодно близкой к 1), чем если бы она самом деле была верна. Если 1<D(T)<3, то гипотеза (2) также принимается достаточно часто. Так, если уровень значимости критерия Вилкоксона равен 0,05, то (асимптотическая) критическая область этого критерия, как показано выше, имеет вид {T: |T| > 1,96}. Если - самый плохой случай - D(T)=3, то гипотеза (2) принимается с вероятностью 0,7422.

Гипотеза сдвига. При проверке гипотезы однородности мы рассмотрели различные виды нулевых и альтернативных гипотез - гипотезу (2) и ее отрицание в качестве альтернативы, гипотезу (6) и ее отрицание, гипотезы о равенстве или различии медиан. В теоретических работах по математической статистике часто рассматривают гипотезу сдвига, в которой альтернативой гипотезе (2) является гипотеза

H1: F(x) = G(x + r) (12)

при всех x и некотором сдвиге r, отличным от 0. Если верна альтернативная гипотеза H1, то вероятность P(X < Y) отлична от 1/2, а потому при альтернативе (12) критерий Вилкоксона является состоятельным.

В некоторых прикладных постановках гипотеза (12) представляется естественной. Например, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает погрешности измерения одного значения, а G(x+r) - другого. Вопреки распространенному заблуждению, хорошо известно, что распределение погрешностей измерений, как правило, не является нормальным - см. об этом начало главы. Однако при анализе конкретных экономических данных как правило, нет никаких оснований считать, что отсутствие однородности всегда выражается столь однозначным образом, как следует из формулы (12). Поэтому эконометрику для проверки однородности необходимо использовать статистические критерии, состоятельные против любого отклонения от гипотезы однородности (2).

Почему же математики так любят гипотезу сдвига (12)? Да потому, что она дает возможность доказывать глубокие математические результаты, например, об асимптотической оптимальности критериев. К сожалению, с точки зрения эконометрики это напоминает поиск ключей под фонарем, где светло, а не там, где они потеряны.

Отметим еще одно обстоятельство. Часто говорят (в соответствии с классическим подходом математической статистики), что нельзя проверять нулевые гипотезы без рассмотрения альтернативных. Однако при эконометрическом анализе данных зачастую полностью ясна формулировка той гипотезы, которую желательно проверить (например, гипотезы полной однородности - см. формулу (2)), в то время как формулировка альтернативной гипотезы не очевидна (то ли это гипотеза о неверности равенства (2) хотя бы для одного значения x, то ли это альтернатива (8), то ли - альтернатива сдвига (12), и т.д.). В таких случаях целесообразно "обернуть" задачу - исходя из статистического критерия найти альтернативы, относительно которых он состоятелен. Именно это и проделано в настоящей пункте для критерия Вилкоксона.

Подведем итоги рассмотрения критерия Вилкоксона.

1. Критерий Вилкоксона (Манна-Уитни) является одним из самых распространенных непараметрических ранговых критериев, используемых для проверки однородности двух выборок. Его значение не меняется при любом монотонном преобразовании шкалы измерения (т.е. он пригоден для эконометрического анализа данных, измеренных в порядковой шкале).

2. Распределение статистики критерия Вилкоксона определяется функциями распределения F(x) и G(x) и объемами m и n двух выборок. При больших объемах выборок распределение статистики Вилкоксона является асимптотически нормальным с параметрами, выписанными выше ( см. формулы (1), (3) и (5)).

3. При альтернативной гипотезе, когда функции распределения выборок F(x) и G(x) не совпадают, распределение статистики Вилкоксона зависит от величины a = P(X < Y). Если a отличается от 1/2, то мощность критерия Вилкоксона стремится к 1, и отличает нулевую гипотезу F = G от альтернативной. Если же a = 1/2, то это не всегда имеет место. В примере 2 приведены две различные функции распределения выборок F(x) и G(x) такие, что гипотеза однородности F = G при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна.

4. Следовательно, в случае общей альтернативы критерий Вилкоксона не является состоятельным, т.е. не всегда позволяет обнаружить различие функций распределения. Однако это не лишает его практической ценности, точно так же, как несостоятельность критериев типа хи-квадрат при проверке согласия, независимости или однородности не мешает отклонять нулевую гипотезу во многих практически важных случаях. Однако принятие нулевой гипотезы с помощью критерия Вилкоксона может означать не совпадение F и G, а лишь выполнение равенства a = 1/2.

5. Иногда утверждают, что с помощью критерия Вилкоксона можно проверять равенство медиан функций распределения F и G. Это не так. В примерах 3 и 4 указаны F и G с a = 1/2, но с различными медианами. Во многих случаях это различие нельзя обнаружить с помощью критерия Вилкоксона, как это показано при численном анализе асимптотической дисперсии в примере 4.

6. Указанные выше недостатки критерия Вилкоксона исчезают для специального вида альтернативы - т.н. "альтернативы сдвига" H1: F(x) = G(x + r). В этом частном случае при справедливости альтернативной гипотезы мощность стремится к 1, различие медиан также всегда обнаруживается. Однако альтернатива сдвига не всегда естественна. Ее целесообразно принять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает результаты измерений с погрешностями одного значения, а F(x) = G(x+r) - другого. Другими словами, меняется лишь измеряемое значение, а собственно распределение погрешностей - одно и то же, присущее используемому средству измерения (и обычно описанное в его техническом паспорте). Однако в большинстве эконометрических исследований нет никаких оснований считать, что при альтернативе функция распределения второй выборки лишь сдвигается, но не меняется каким-либо иным образом.

7. При всех своих недостатках критерий Вилкоксона прост в применении и часто позволяет обнаруживать различие групп (поскольку оно часто сводится к отличию a = P(X < Y) от 1/2 ). Приведенные здесь критические замечания не следует понимать как призыв к полному отказу от использования критерия Вилкоксона. Однако для проверки гипотезы однородности в случае альтернативы общего вида можно порекомендовать состоятельные критерии, в частности, рассматриваемые в следующем пункте критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта).

8. В литературе по прикладным статистическим методам соседствуют два стиля изложения. Один из них исходит из формулировок нулевой и альтернативных гипотез (или описания набора гипотез, из которого надо выбрать наиболее адекватную), для проверки которых строятся те или иные критерии. При другом стиле изложения упор делается на алгоритмическое описание критериев для проверки тех или иных гипотез, а об альтернативах даже не упоминается.

Например, в литературе по математической статистике часто говорится, что для проверки нормальности используются критерии асимметрии и эксцесса (они описаны, например, в лучшем справочнике 1960-1980-х годов [8, табл. 4.7]). Однако эти критерии позволяют проверять некоторые соотношения между моментами распределения, но отнюдь не являются состоятельными критериями нормальности (не все отклонения от нормальности обнаруживают). Впрочем, для эконометрики эти критерии практического значения не имеют, поскольку заранее известно, что распределения конкретных экономических данных отличны от нормальных.

Так что недостатки критерия Вилкоксона не является исключением, мощность ряда иных популярных в математической статистике критериев заслуживает тщательного изучения, при этом заранее можно сказать, что зачастую они не позволяют проверять те гипотезы, с которыми традиционно связаны. При применении подобных критериев к анализу реальных данных необходимо тщательно взвешивать их достоинства и недостатки.


Состоятельные критерии проверки однородности для независимых выборок

В соответствии с эконометрической теорией естественно потребовать, чтобы рекомендуемый для массового использования в экономических и технико-экономических исследованиях критерий однородности был состоятельным. Напомним: это значит, что для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости альтернативной гипотезы H1) вероятность отклонения гипотезы H0 должна стремиться к 1 при увеличении объемов выборок т и п. Из перечисленных выше в конце п.4 критериев состоятельными являются только критерии Смирнова и типа омега-квадрат.

Проведенное исследование мощности (методом статистических испытаний) первых четырех из перечисленных выше критериев (при различных вариантах функций распределения F(x) и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и при объемах выборок 6-12.

Критерий Смирнова однородности двух выборок. Он предложен членом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. справочник [8]). Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. Напомним, что согласно Л.Н. Большеву и Н.В. Смирнову [8] значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение статистики Смирнова

Статистический анализ числовых величин (непараметрическая статистика)

сравнивают с соответствующим критическим значением (см., например, [8]) и по результатам сравнения принимают или отклоняют гипотезу Н0 о совпадении (однородности) функций распределения. Практически значение статистики Dm,п рекомендуется согласно монографии [8] вычислять по формулам

Статистический анализ числовых величин (непараметрическая статистика),

Статистический анализ числовых величин (непараметрическая статистика),

Статистический анализ числовых величин (непараметрическая статистика),

где x'1<x'2<…<x'm - элементы первой выборки x1,x2,…,xm , переставленные в порядке возрастания, а y'1<y'2<…<y'n - элементы второй выборки y1,y2,…,yn , также переставленные в порядке возрастания.

Разработаны алгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости для двухвыборочной статистики Смирнова Статистический анализ числовых величин (непараметрическая статистика), разработаны подробные таблицы (см., например, методику [15], содержащую тексты программ и подробные таблицы).

Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек, поэтому функция распределения растет большими скачками. В результате не удается выдержать заданный уровень значимости, реальный уровень значимости может в несколько раз отличаться от номинального (подробному обсуждению неклассического феномена существенного отличия реального уровня значимости от номинального посвящена работа [16]).

Критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:

A = Статистический анализ числовых величин (непараметрическая статистика)Fm(x) – Gn(x))2 dHm+n(x) ,Статистический анализ числовых величин (непараметрическая статистика)

где Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке,

Hm+n(x) = Статистический анализ числовых величин (непараметрическая статистика)Fm(x) + Статистический анализ числовых величин (непараметрическая статистика) Gn(x) .

Статистика A типа омега-квадрат была предложена Э. Леманом в 1951 г., изучена М. Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь от рангов элементов двух выборок в объединенной выборке. Пусть Статистический анализ числовых величин (непараметрическая статистика)- первая выборка, Статистический анализ числовых величин (непараметрическая статистика)- соответствующий вариационный ряд, Статистический анализ числовых величин (непараметрическая статистика)-вторая выборка, Статистический анализ числовых величин (непараметрическая статистика)- вариационный ряд, соответствующий второй выборке. Поскольку функции распределения независимых выборок непрерывны, то с вероятностью 1 все выборочные значения различны, совпадения отсутствуют. Статистика А представляется в виде (см., например, [8]):

Статистический анализ числовых величин (непараметрическая статистика)

где ri - ранг x'i и sj - ранг y'j в общем вариационном ряду, построенном по объединенной выборке.

Правила принятия решений при проверке однородности двух выборок на основе статистик Смирнова и типа омега-квадрат, т.е. таблицы критических значений в зависимости от уровней значимости и объемов значимости приведены, например, в таблицах [8].

Рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки однородности функций распределения (гипотеза H0) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана-Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. Для проверки однородности математических ожиданий (гипотеза H'0) целесообразно применять критерий Крамера-Уэлча. По нашему мнению, статистики Стьюдента, Вилкоксона и др. допустимо использовать лишь в отдельных частных случаях, рассмотренных выше.

Некоторые соображения о внедрении современных методов прикладной статистики в практику технических и технико-экономических исследований. Даже из проведенного выше разбора лишь одной из типичных статистических задач - задачи проверки однородности двух выборок - можно сделать вывод о целесообразности широкого развертывания в организациях различных форм собственности работ по критическому анализу сложившейся в технических и технико-экономических исследованиях практики статистической обработки данных и по внедрению накопленного арсенала современных методов прикладной статистики. По нашему мнению, широкого внедрения заслуживают, в частности, методы многомерного статистического анализа, планирования эксперимента, статистики объектов нечисловой природы. Очевидно, рассматриваемые работы должны быть плановыми, организационно оформленными, проводиться мощными самостоятельными организациями и подразделениями. Целесообразно создание службы статистических консультаций в системе научно-исследовательских учреждений и вузов технического и технико-экономического профиля.


Методы проверки однородности для связанных выборок


Начнем с практического примера. Приведем письмо главного инженера подмосковного химического комбината (некоторые названия изменены).


"Директору Института высоких статистических технологий и эконометрики (Фамилия, имя, отчество)

Наш комбинат выпускает мастику по ГОСТ (следует номер) и является разработчиком указанного стандарта.

В результате исследовательских работ по подбору стандартного метода определения вязкости мастики на комбинате накоплен большой опыт сравнительных данных определения вязкости по двум методам:

- неразбавленной мастики - на нестандартном приборе фабрики им. Петрова;

- раствора мастики - на стандартном вискозиметре ВЗ-4.

Учитывая высокую компетентность сотрудников Вашего института, прошу Вас, в порядке оказания технической помощи нашему предприятию, поручить соответствующей лаборатории провести обработку представленной статистики современными эконометрическими методами и выдать заключение о наличии (или отсутствии) зависимости между указанными выше методами определения вязкости мастики. Ваш5е заключение необходимо для решения спорного вопроса о целесообразности вновь ввести в ГОСТ (следует номер) метода определения вязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторых потребителей, был необоснованно исключен из этого ГОСТ по изменению № 1.

Заранее благодарю Вас за оказанную помощь.

Приложение: статистика на 3 листах.

Главный инженер (Подпись) (Фамилия, имя, отчество)"


Комментарий. Вязкость мастики - один из показателей качества мастики. Измерять этот показатель можно по-разному. И, как оказалось, разные способы измерения дают разные результаты. Ничего необычного в этом нет. Однако поставщику и потребителю следует согласовать способы измерения показателей качества. Иначе достаточно часто поставщик (производитель) будет утверждать, что он выполнил условия контракта, а потребитель заявлять, что нет. Такая конфликтная ситуация иногда называется арбитражной, поскольку для ее решения стороны могут обращаться в арбитражный суд. Простейший метод согласования способов измерения показателей состоит в том, чтобы выбрать один из них и внести в государственный стандарт, который тем самым будет содержать не только описание продукции, перечень ее показателей качества и требований к ним, но и способы измерения этих показателей.

Заключение по статистическим данным, представленным химическим комбинатом. Для каждой из 213 партий мастики представлены два числа - результат измерения вязкости на нестандартном приборе фабрики им.

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: