Многомерный статистический анализ

РЕФЕРАТ

По эконометрике

Многомерный статистический анализ

В многомерном статистическом анализе выборка состоит из элементов многомерного пространства. Отсюда и название этого раздела эконометрических методов. Из многих задач многомерного статистического анализа рассмотрим две - восстановления зависимости и классификации.


Оценивание линейной прогностической функции


Начнем с задачи точечного и доверительного оценивания линейной прогностической функции одной переменной.

Исходные данные – набор n пар чисел (tk , xk), k = 1,2,…,n, где tk – независимая переменная (например, время), а xk – зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны зависимостью


xk = a (tk - tср)+ b + ek , k = 1,2,…,n,


где a и b – параметры, неизвестные статистику и подлежащие оцениванию, а ek – погрешности, искажающие зависимость. Среднее арифметическое моментов времени


tср = (t1 + t2 +…+tn ) / n


введено в модель для облегчения дальнейших выкладок.

Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют для точечного и интервального прогнозирования.

Как известно, метод наименьших квадратов был разработан великим немецким математиком К. Гауссом в 1794 г. Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует рассмотреть функцию двух переменных


Многомерный статистический анализ


Многомерный статистический анализОценки метода наименьших квадратов - это такие значения a* и b*, при которых функция f(a,b) достигает минимума по всем значениям аргументов.


Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:


Многомерный статистический анализ


Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскроем скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем:

Многомерный статистический анализМногомерный статистический анализ


Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2). Поскольку

Многомерный статистический анализ (1)


уравнения приобретают вид


Многомерный статистический анализ


Многомерный статистический анализ


Следовательно, оценки метода наименьших квадратов имеют вид


Многомерный статистический анализ (2)


Многомерный статистический анализВ силу соотношения (1) оценку а* можно записать в более симметричном виде:

Эту оценку нетрудно преобразовать и к виду


Многомерный статистический анализ


Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид

x*(t) = a*(t - tср)+ b*.


Обратим внимание на то, что использование tср в последней формуле ничуть не ограничивает ее общность. Сравним с моделью вида


xk = c tk+ d + ek , k = 1,2,…,n.


Ясно, что


Многомерный статистический анализ


Аналогичным образом связаны оценки параметров:


Многомерный статистический анализ


Для получения оценок параметров и прогностической формулы нет необходимости обращаться к какой-либо вероятностной модели. Однако для того, чтобы изучать погрешности оценок параметров и восстановленной функции, т.е. строить доверительные интервалы для a*, b* и x*(t), подобная модель необходима.

Непараметрическая вероятностная модель. Пусть значения независимой переменной t детерминированы, а погрешности ek , k = 1,2,…,n, - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией Многомерный статистический анализнеизвестной статистику.

В дальнейшем неоднократно будем использовать Центральную Предельную Теорему (ЦПТ) теории вероятностей для величин ek , k = 1,2,…,n (с весами), поэтому для выполнения ее условий необходимо предположить, например, что погрешности ek , k = 1,2,…,n, финитны или имеют конечный третий абсолютный момент. Однако заострять внимание на этих внутриматематических "условиях регулярности" нет необходимости.

Асимптотические распределения оценок параметров. Из формулы (2) следует, что


Многомерный статистический анализ (5)


Согласно ЦПТ оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией Многомерный статистический анализоценка которой приводится ниже.

Многомерный статистический анализ

Из формул (2) и (5) вытекает, что

Последнее слагаемое во втором соотношении при суммировании по i обращается в 0, поэтому из формул (2-4) следует, что


Многомерный статистический анализ (6)


Формула (6) показывает, что оценка Многомерный статистический анализ является асимптотически нормальной с математическим ожиданием Многомерный статистический анализи дисперсией


Многомерный статистический анализ


Отметим, что многомерная нормальность имеет быть, когда каждое слагаемое в формуле (6) мало сравнительно со всей суммой, т.е.


Многомерный статистический анализМногомерный статистический анализМногомерный статистический анализ


Из формул (5) и (6) и исходных предположений о погрешностях вытекает также несмещенность оценок параметров.

Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы (аналогично границам в предыдущей главе) и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0. Предоставляем читателю возможность выписать формулы для расчета доверительных границ и сформулировать правила проверки упомянутых гипотез.

Асимптотическое распределение прогностической функции. Из формул (5) и (6) следует, что


Многомерный статистический анализ


т.е. рассматриваемая оценка прогностической функции является несмещенной. Поэтому


Многомерный статистический анализ


При этом, поскольку погрешности независимы в совокупности и Многомерный статистический анализ, то


Многомерный статистический анализ


Таким образом,


Многомерный статистический анализ


Итак, оценка Многомерный статистический анализявляется несмещенной и асимптотически нормальной. Для ее практического использования необходимо уметь оценивать остаточную дисперсию Многомерный статистический анализ

Оценивание остаточной дисперсии. В точках tk , k = 1,2,…,n, имеются исходные значения зависимой переменной xk и восстановленные значения x*(tk). Рассмотрим остаточную сумму квадратов


Многомерный статистический анализ


В соответствии с формулами (5) и (6)


Многомерный статистический анализ


Найдем математическое ожидание каждого из слагаемых:


Многомерный статистический анализ

Из сделанных ранее предположений вытекает, что при Многомерный статистический анализимеем Многомерный статистический анализследовательно, по закону больших чисел статистикаМногомерный статистический анализSS/n является состоятельной оценкой остаточной дисперсии Многомерный статистический анализ.

Получением состоятельной оценкой остаточной дисперсии завершается последовательность задач, связанных с рассматриваемым простейшим вариантом метода наименьших квадратов. Не представляет труда выписывание верхней и нижней границ для прогностической функции:


Многомерный статистический анализ


где погрешность Многомерный статистический анализимеет вид


Многомерный статистический анализ


Здесь p - доверительная вероятность, U(p), как и в главе 4 - квантиль нормального распределения порядка (1+р)/2, т.е.


Многомерный статистический анализ


При p= 0,95 (наиболее применяемое значение) имеем U(p) = 1,96. Для других доверительных вероятностей соответствующие значения квантилей можно найти в статистических таблицах (см., например, наилучшее в этой сфере издание [1]).

Сравнение параметрического и непараметрического подходов. Во многих литературных источниках рассматривается параметрическая вероятностная модель метода наименьших квадратов. В ней предполагается, что погрешности имеют нормальное распределение. Это предположение позволяет математически строго получить ряд выводов. Так, распределения статистик вычисляются точно, а не в асимптотике, соответственно вместо квантилей нормального распределения используются квантили распределения Стьюдента, а остаточная сумма квадратов SS делится не на n, а на (n-2). Ясно, что при росте объема данных различия стираются.

Рассмотренный выше непараметрический подход не использует нереалистическое предположение о нормальности погрешностей (см. начало главы 4).. Платой за это является асимптотический характер результатов. В случае простейшей модели метода наименьших квадратов оба подхода дают практически совпадающие рекомендации. Это не всегда так, не всегда два подхода бают близкие результаты. Напомним, что в задаче обнаружения выбросов методы, опирающиеся на нормальное распределение, нельзя считать обоснованными, и обнаружено это было с помощью непараметрического подхода (см. главу 4).

Общие принципы. Кратко сформулируем несколько общих принципов построения, описания и использования эконометрических методов анализа данных. Во-первых, должны быть четко сформулированы исходные предпосылки, т.е. полностью описана используемая вероятностно-статистическая модель. Во-вторых, не следует принимать предпосылки, которые редко выполняются на практике. В-третьих, алгоритмы расчетов должны быть корректны с точки зрения математико-статистической теории. В-четвертых, алгоритмы должны давать полезные для практики выводы.

Применительно к задаче восстановления зависимостей это означает, что целесообразно применять непараметрический подход, что и сделано выше. Однако предположение нормальности, хотя и очень сильно сужает возможности применения, с чисто математической точки зрения позволяет продвинуться дальше. Поэтому для первоначального изучения ситуации, так сказать, "в лабораторных условиях", нормальная модель может оказаться полезной.

Пример оценивания по методу наименьших квадратов. Пусть даны n=6 пар чисел (tk , xk), k = 1,2,…,6, представленных во втором и третьем столбцах табл.1. В соответствии с формулами (2) и (4) выше для вычисления оценок метода наименьших квадратов достаточно найти суммы выражений, представленных в четвертом и пятом столбцах табл.1.


Табл.1. Расчет по методу наименьших квадратов при построении

линейной прогностической функции одной переменной

i ti xi

Многомерный статистический анализ

Многомерный статистический анализ

Многомерный статистический анализ

Многомерный статистический анализ

Многомерный статистический анализ

(Многомерный статистический анализ)2

1 1 12 1 12 3,14 12,17 -0,17 0,03
2 3 20 9 60 9,42 18,45 1,55 2,40
3 4 20 16 80 12,56 21,59 -1,59 2,53
4 7 32 49 224 21,98 31,01 0,99 0,98
5 9 35 81 315 28,26 37,29 -2,29 5,24
6 10 42 100 420 31,40 40,43 1,57 2,46

Многомерный статистический анализ

34 161 256 1111

0,06 13,64

Многомерный статистический анализ

5,67 26,83 42,67 185,17




В соответствии с формулой (2) b* =26,83, а согласно формуле (4)


Многомерный статистический анализ


Следовательно, прогностическая формула имеет вид


Многомерный статистический анализ


Следующий этап анализа данных - оценка точности приближения функции методом наименьших квадратов. Сначала рассматриваются т.н. восстановленные значения

Многомерный статистический анализ

Это те значения, которые полученная в результате расчетов прогностическая функция принимает в тех точках, в которых известны истинные значения зависимой переменной xi .

Вполне естественно сравнить восстановленные и истинные значения. Это и сделано в шестом - восьмом столбцах табл. 1. Для простоты расчетов в шестом столбце представлены произведения Многомерный статистический анализ, седьмой отличается от шестого добавлением константы 9,03 и содержит восстановленные значения. Восьмой столбец - это разность третьего и седьмого.

Непосредственный анализ восьмого столбца табл.1 показывает, что содержащиеся в нем числа сравнительно невелики по величине по сравнению с третьим столбцом (на порядок меньше по величине). Кроме того, знаки "+" и "-" чередуются. Эти два признака свидетельствуют о правильности расчетов. При использовании метода наименьших квадратов знаки не всегда чередуются. Однако если сначала идут только плюсы, а потом только минусы (или наоборот, сначала только минусы, а потом только плюсы), то это верный показатель того, что в вычислениях допущена ошибка.

Верно следующее утверждение.

Теорема.


Многомерный статистический анализ


Доказательство этой теоремы оставляем читателю в качестве упражнения.

Однако сумма по восьмому столбцу дает 0,06, а не 0. Незначительное отличие от 0 связано с ошибками округления при вычислениях. Близость суммы значений зависимой переменной и суммы восстановленных значений - практический критерий правильности расчетов.

В последнем девятом столбце табл.1 приведены квадраты значений из восьмого столбца. Их сумма - это остаточная сумма квадратов SS = 13,64. В соответствии со сказанным выше оценками дисперсии погрешностей и их среднего квадратического отклонения являются


Многомерный статистический анализ


Рассмотрим распределения оценок параметров. Оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией, которая оценивается как 2,27/6=0,38 (здесь считаем, что 6 - "достаточно большое" число, что, конечно, можно оспаривать). Оценкой среднего квадратического отклонения является 0,615. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра b имеет вид (26,83 - 1,96.0,615; 26,83 + 1,96.0,615) = (25,625; 28,035).

В формулах для дисперсий участвует величина


Многомерный статистический анализ


Подставив численные значения, получаем, что


Многомерный статистический анализ


Дисперсия для оценки а* коэффициента при линейном члене прогностической функции оценивается как 2,27/63,1=0,036, а среднее квадратическое отклонение - как 0,19. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра а имеет вид (3,14 - 1,96.0,19; 3,14 + 1,96,0,19) = (2,77; 3,51).

Прогностическая формула с учетом погрешности имеет вид (при доверительной вероятности 0,95)

Многомерный статистический анализ


В этой записи сохранено происхождение различных составляющих. Упростим:


Многомерный статистический анализ


Например, при t = 12 эта формула дает


Многомерный статистический анализ


Следовательно, нижняя доверительная граница - это 44,095, а верхняя доверительная граница - это 49,325.

Насколько далеко можно прогнозировать? Обычный ответ таков - до тех пор, пока сохраняется тот стабильный комплекс условий, при котором справедлива рассматриваемая зависимость. Изобретатель метода наименьших квадратов Карл Гаусс исходил из задачи восстановления орбиты астероида (малой планеты) Церера. Движение подобных небесных тел может быть рассчитано на сотни лет. А вот параметры комет (например, срок возвращения) не поддаются столь точному расчету, поскольку за время пребывания в окрестности Солнца сильно меняется масса кометы. В социально-экономической области горизонты надежного прогнозирования еще менее определены. В частности, они сильно зависят от решений центральной власти.

Чтобы выявить роль погрешностей в прогностической формуле, рассмотрим формальный предельный переход Многомерный статистический анализ Тогда слагаемые 9,03; 1/6; 5,67 становятся бесконечно малыми, и

Многомерный статистический анализ


Таким образом, погрешности составляют около

Многомерный статистический анализ

от тренда (математического ожидания) прогностической функции. В социально-экономических исследованиях подобные погрешности считаются вполне приемлемыми.


Основы линейного регрессионного анализа


В предыдущем пункте метод наименьших квадратов описан в простейшем случае. Он допускает различные обобщения. Например, метод наименьших квадратов дает алгоритм расчетов в случае, если исходные данные – по-прежнему набор n пар чисел (tk , xk), k = 1,2,…,n, где tk – независимая переменная (например, время), а xk – зависимая (например, индекс инфляции - см. главу 7), а восстанавливать надо не линейную зависимость, а квадратическую:


Многомерный статистический анализ


Следует рассмотреть функцию трех переменных


Многомерный статистический анализ


Оценки метода наименьших квадратов - это такие значения параметров a*, b* и с*, при которых функция f(a,b,с) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b,с) по аргументам a, b и с, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:


Многомерный статистический анализ


Приравнивая частную производную к 0, получаем линейное уравнение относительно трех неизвестных параметров a,b,c:


Многомерный статистический анализ


Приравнивая частную производную по параметру b к 0, аналогичным образом получаем уравнение


Многомерный статистический анализ


Наконец, приравнивая частную производную по параметру с к 0, получаем уравнение


Многомерный статистический анализ


Решая систему трех уравнений с тремя неизвестными, находим оценки метода наименьших квадратов.

Другие задачи, рассмотренные в предыдущем пункте (доверительные границы для параметров и прогностической функции и др.), также могут быть решены. Соответствующие алгоритмы более громоздки. Для их записи полезен аппарат матричной алгебры (см., например, одну из лучших в этой области монографий [2]). Для реальных расчетов используют соответствующие компьютерные программы.

Раздел многомерного статистического анализа, посвященный восстановлению зависимостей, называется регрессионным анализом. Термин "линейный регрессионный анализ" используют, когда рассматриваемая функция линейно зависит от оцениваемых параметров (от независимых переменных зависимость может быть произвольной). Теория оценивания неизвестных параметров хорошо развита именно в случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти к линейной задаче, то, как правило, хороших свойств от оценок ожидать не приходится.

Продемонстрируем подходы в случае зависимостей различного вида. Если зависимость имеет вид многочлена (полинома)


Многомерный статистический анализ


то коэффициенты многочлена могут быть найдены путем минимизации функции


Многомерный статистический анализ


Функция от t не обязательно должна быть многочленом. Можно, например, добавить периодическую составляющую, соответствующую сезонным колебаниям. Хорошо известно, например, что инфляция (рост потребительских цен) имеет четко выраженный годовой цикл - в среднем цены быстрее всего растут зимой, в декабре - январе, а медленнее всего (иногда в среднем даже падают) летом, в июле - августе. Пусть для определенности


Многомерный статистический анализ


тогда неизвестные параметры могут быть найдены путем минимизации функции


Многомерный статистический анализ


Пусть I(t) -индекс инфляции в момент t. Принцип стабильности условий приводит к гипотезе о постоянстве темпов роста средних цен, т.е. индекса инфляции. Таким образом, естественная модель для индекса инфляции – это


Многомерный статистический анализ


Эта модель не является линейной, метод наименьших квадратов непосредственно применять нельзя. Однако если прологарифмировать обе части предыдущего равенства:


Многомерный статистический анализ


то получим линейную зависимость, рассмотренную в первом пункте настоящей главы.

Независимых переменных может быть не одна, а несколько. Пусть, например, по исходным данным Многомерный статистический анализтребуется оценить неизвестные параметры a и b в зависимости


Многомерный статистический анализ


где Многомерный статистический анализ - погрешность. Это можно сделать, минимизировав функцию

Многомерный статистический анализ


Зависимость от х и у не обязательно должна быть линейной. Предположим, что из каких-то соображений известно, что зависимость должна иметь вид


Многомерный статистический анализ


тогда для оценки пяти параметров необходимо минимизировать функцию


Многомерный статистический анализ


Более подробно рассмотрим пример из микроэкономики. В одной из оптимизационных моделей поведения фирмы используется т.н. производственная функция f(K,L), задающая объем выпуска в зависимости от затрат капитала K и труда L. В качестве конкретного вида производственной функции часто используется так называемая функция Кобба-Дугласа


Многомерный статистический анализ


Однако откуда взять значения параметров Многомерный статистический анализ и Многомерный статистический анализ? Естественно предположить, что они - одни и те же для предприятий отрасли. Поэтому целесообразно собрать информацию Многомерный статистический анализгде fk - объем выпуска на k-ом предприятии, Kk- объем затрат капитала на k-ом предприятии, Lk - объем затрат труда на k-ом предприятии (в кратком изложении здесь не пытаемся дать точных определений используемым понятиям из экономики предприятия). По собранной информации естественно попытаться оценить параметры Многомерный статистический анализ и Многомерный статистический анализ. Но они входят в зависимость нелинейно, поэтому сразу применить метод наименьших квадратов нельзя. Помогает логарифмирование:


Многомерный статистический анализ


Следовательно, целесообразно сделать замену переменных


Многомерный статистический анализ


а затем находить оценки параметров Многомерный статистический анализ и Многомерный статистический анализ, минимизируя функцию


Многомерный статистический анализ


Найдем частные производные:


Многомерный статистический анализ


Многомерный статистический анализ


Приравняем частные производные к 0, сократим на 2, раскроем скобки,

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: