Автокорреляция и ее устранение

Автокорреляция и ее устранение

Автокорреляция и ее устранение

Введение

Автокорреляция обычно встречается в регрессионном анализе при использовании данных временных рядов. Естественно, что при создании модели разработчик не в состоянии учесть все факторы, влияющие на зависимую переменную.

Воздействию этих неучтенных факторов подвергается случайный член u уравнения регрессии.

Для того, чтобы выполнялось третье условие Гаусса-Маркова, то есть cov(uk,ui)=0, при k ≠ j , необходимо, чтобы скрытые в u факторы тоже были некоррелированные со своими значениями в предыдущих наблюдениях.

Естественно, что в большинстве реальных экономических задач условие некоррелированности ошибок невыполнимо.

Наличие автокорреляции затрудняет применение ряда классических методов анализа временных рядов.

В моделях регрессии, описывающих зависимости между случайными значениями взаимосвязанных величин, она снижает эффективность применения метода наименьших квадратов.

Поэтому выработаны и применяются специальные статистические приемы для ее выявления и элиминирования, а также для модификации самого метода наименьших квадратов.

Данная работа посвящена автокорреляции и ее устранению.

Целью реферата является осветить вопросы, касающиеся понятия автокорреляции.

Задачами реферата являются:

раскрыть определение автокорреляции;

рассмотреть автокорреляцию первого порядка;

рассмотреть способы устранения автокорреляции.

1 Автокорреляция и ее устранение

До сих пор предполагалось, что значение случайного члена u в любом наблюдении определяется независимо от его значений во всех других наблюдениях, то есть предполагалось, что удовлетворено третье условие Гаусса – Маркова.

Автокорреляция – нарушение третьего условия Гаусса – Маркова, которое заключается в том, что случайные члены регрессии в разных наблюдениях являются зависимыми: cov(uk,ui) №_ 0, при k №_ i.

Последствия автокорреляции в некоторой степени сходны с последствиями гетероскедастичности. Коэффициенты регрессии остаются несмещенными, но становятся неэффективными, и их стандартные ошибки оцениваются неправильно (чаще всего они смещаются вниз, то есть занижаются).

Автокорреляция обычно встречается только в регрессионном анализе при использовании данных временных рядов.

Случайный член u в уравнении рег­рессии подвергается воздействию тех переменных, влияющих на зависимую переменную, которые не включены в уравнение регрессии.

Если значение u в любом наблюдении должно быть независимым от его значения в предыдущем наблюдении, то и значение любой переменной, “скрытой” в u, должно быть некоррелированным с ее значением в предыдущем наблюдении.

Положительная автокорреляция – ситуация, когда случайный член регрессии в следующем наблюдении ожидается того же знака, что и случайный член в настоящем наблюдении. Соответствует случаю

.

Постоянная направленность воздействия не включенных в уравнение пере­менных является наиболее частой причиной положительной автокорреляции — ее обычного для экономического анализа типа.

Предположим, что оценива­ем уравнение спроса на мороженое по ежемесячным данным и что состояние погоды является единственным важным фактором, “скрытым” в u.

Вероятно, будет несколько последовательных наблюдений, когда теплая погода спо­собствует увеличению спроса на мороженое u, таким образом, u положитель­но, и после этого — несколько последовательных наблюдений, когда ситуация складывается противоположным образом, после чего идет еще один ряд теп­лых месяцев.

Если доход постоянно возрастает со временем, схема наблюдений может быть такой, как показано в Приложении 1. При обозначении объема продаж мороженого через у и дохода через х имеет место трендовая зависимость, отражающая рост объема продаж: у =

+ х. Фактические наблюдения будут в основном сна­чала находиться выше линии регрессии, затем ниже ее и затем опять выше [7, C.36].

Изменения экономической конъюнктуры часто приводят к похожим резуль­татам, особенно наглядным в макроэкономическом анализе, и в литературе о циклах деловой активности есть много таких примеров.

Здесь важно отметить, в частности, что автокорреляция в целом представ­ляет тем более существенную проблему, чем меньше интервал между наблю­дениями. Очевидно, что чем больше этот интервал, тем менее правдоподоб­но, что при переходе от одного наблюдения к другому характер влияния неучтенных переменных будет сохраняться.

Если в примере с мороженым наблюдения проводятся не ежемесячно, а ежегодно, то автокорреляции, вероятно, вообще не будет. Маловероятно, что­бы совокупное влияние погодных условий в одном году корреллировало с ана­логичным влиянием в следующем году [5, C.29].

Автокорреляция может также быть отрицательной.

Отрицательная автокорреляция – ситуация, когда случайный член регрессии в следующем наблюдении ожидается знака, противоположного знаку случайного члена в настоящем наблюдении. Соответствует случаю

.

Это озна­чает, что корреляция между последовательными значениями случайного члена отрицательна. В этом случае, скорее всего, за положительным значением в од­ном наблюдении идет отрицательное значение в следующем, и наоборот; ди­аграмма рассеяния при этом выглядит так, как показано в Приложении 2.

Здесь снова предполагается, что х со временем растет. Линия, соединяющая последовательные наблюдения друг с другом, будет пересекать линию, пока­зывающую зависимость между у и х, чаще, чем можно было ожидать, если бы значения случайного члена не зависели друг от друга.

В экономике отрицательная автокорреляция встречается относительно редко. Но иногда она появляется при преобразовании первоначальной спецификации модели в форму, подходящую для регрессионного анализа.

Автокорреляция первого порядка – ситуация, когда коррелируют случайные члены регрессии в последовательных наблюдениях:

.

Авторегрессионная схема первого порядка – частный случай автокорреляции первого порядка, когда зависимость между последовательными случайными членами описывается формулой: uk+1= puk + ek+1, где p – константа, ek+1 – новый случайный член [2, C.55].

Это означает, что величина случайного члена в любом наблюдении равна его значению в предшествующем наблюдении умноженному на p, плюс новый

. Данная схема называется авторегресси­онной, поскольку и определяется значениями этой же самой величины с за­паздыванием, и схемой первого порядка, потому что в этом простом случае мак­симальное запаздывание равно единице. Предполагается, что значение в каж­дом наблюдении не зависит от его значений во всех других наблюдениях. Если p положительно, то автокорреляция положительная; если p отрицательно, то автокорреляция отрицательная. Если p = 0, то автокорреляции нет и третье ус­ловие Гаусса—Маркова удовлетворяется.

Не располагая способом измерения значений случайного чле­на, невозможно оценить регрессию uk+1= puk + ek+1 непосредственно. Тем не менее можно оценивать p путем оценивания регрессионной зависимости еk от еk-1 с использованием обычного Метода наименьших квадратов. При этом оценка p равна

.

Можно показать, что

аппроксимируется выражением .

Критерий Дарбина – Уотсона – метод обнаружения автокорреляции первого порядка с помощью статистики Дарбина – Уотсона.

Статистика критерия Дарбина – Уотсона вычисляется по формуле:

, где ek – остатки в наблюдениях авторегрессионной схемы первого порядка uk+1 = сuk + ee k+1.

Значение DW-статистики будем обозначать также через d.

Критерий Дарбина – Уотсона обнаруживает только ярко выраженную автокорреляцию первого порядка и лишь при отсутствии лаговых переменных в регрессии.

Если автокорреляция отсутствует, то p = 0, и поэтому величина d должна быть близкой к двум. При наличии положительной автокорреляции величина будет меньше двух; при отрицательной автокорреляции она будет превышать 2. Так как p должно находиться между значениями 1 и – 1, то d должно лежать между 0 и 4 [8, C.46].

Критическое значение d при любом данном уровне значимости зависит от числа объясняющих переменных в уравнении регрес­сии и от количества наблюдений в выборке. К сожалению, оно также зависит oт конкретных значений, принимаемых объясняющими переменными.

Поэто­му невозможно составить таблицу с указанием точных критических значений для всех возможных выборок, как это можно сделать для t- и F-статистик; но можно вычислить верхнюю и нижнюю границы для критического значения d.

Для положительной автокорреляции они обычно обозначаются как dU и dL.

На схеме 1.1 представлена данная ситуация. Стрелка указывает критический уровень d, который обозначается как dкрит. Если знать зна­чение dкрит, то можно сравнить с ним значение d, рассчитанное для регрессии. Если бы оказалось, что d

dкрит, то невозможно было бы отклонить ну­левую гипотезу об отсутствии автокорреляции. В случае d dкрит возможно отклонить нулевую гипотезу и сделать вывод о наличии положительной автокор­реляции.

Схема 1.1 Тест Дарбина – Уотсона на автокорреляцию (положительная автокорреляция)

Вместе с тем знаем только, что dкрит находится где-то между dL и dU. Это предполагает наличие трех возможностей.

1. Величина d меньше, чем dL. В этом случае она будет также мень­ше, чем dкрит, и поэтому делаем вывод о наличии положитель­ной автокорреляции.

2. Величина d больше, чем dU. В этом случае она также больше кри­тического уровня, и поэтому невозможно отклонить нулевую гипо­тезу.

3. Величина d находится между dL и dU. В этом случае она может быть больше или меньше критического уровня. Поскольку нельзя опреде­лить, которая из двух возможностей налицо, невозможно ни отклон­ить, ни принять нулевую гипотезу.

В случаях 1 и 2 тест Дарбина—Уотсона дает определенный ответ, но случай 3 относится к зоне невозможности принятия решения, и изменить создавше­еся положение нельзя [6, C.18].

Таким образом, зона неопределенности критерия Дарбина – Уотсона – промежуток значений статистики Дарбина–Уотсона, при попадании в который критерий не дает определенного ответа о наличии или отсутствии автокорреляции первого порядка.

Проверка на отрицательную автокорреляцию проводится по аналогичной схеме, причем зона, содержащая критический уровень, расположена симмет­рично справа от 2.

Так как отрицательная автокорреляция встречается относи­тельно редко, предполагается, что при необходимости самостоятельно вычисляются гра­ницы зоны на основе соответствующих значений для положительной автокор­реляции при данном числе наблюдений и объясняющих переменных. Как показано на Схеме 1.

2 величина (4 — dU) есть нижний предел, ниже которого признается отсутствие автокорреляции, а (4 — dL) — верх­ний предел, выше которого делается вывод о наличии отрицательной автокор­реляции.

Схема 1.2 Тест Дарбина – Уотсона на автокорреляцию (отрицательная автокорреляция)

2 Поправка Прайса–Уинстена и метод Кохрейна–Оркатта устранения автокорреляции

Наилучший, но не всегда возможный, способ устранения автокорреляции – установление ответственного за нее фактора и включение соответствующей объясняющей переменной в регрессию.

В других случаях процедура, которую следует принять для устранения автокорреляции, будет зависеть от ха­рактера зависимости между значениями случайного члена.

В литературе наиболь­шее внимание уделяется авторегрессионной схеме первого по­рядка uk+1= puk + ek+1, так как она интуитивно правдоподобна, но для того, чтобы было целесообразным ее использование в более сложных моделях, оснований обыч­но не хватает.

Вместе с тем если наблюдения проводятся ежеквартально или ежемесячно, могут оказаться более подходящими другие модели.

Если бы уравнение uk+1= puk + ek+1 было правильной спецификацией для измерения величины случайного члена, то возможно было бы полностью устранить автокорре­ляцию, если бы знали величину p. Это будет продемонстрировано на примере уравнения регрессии, включающего только одну объясняющую переменную, од­нако при большем их числе действует тот же принцип [9, C.91].

Предположим, что истинная модель задается выражением

,

так что наблюдения t и t — 1 формируются как

.

Теперь вычтем из обеих частей уравнения

умноженное на p соотноше­ние и получим: .

Обозначим

и .

Тогда формулу

мож­но переписать как .

Вместе с тем из уравнения uk+1= puk + ek+1 имеем

. Таким образом, фор­мула принимает вид:

Если p известно, тогда можно вычислить величины

, , и (последняя одинакова для всех наблюдений) для наблюдений, включающих от 2 до Т исходных данных. Если теперь оценить регрессию между , , и (за­метим, что в уравнение не должна включаться постоянная), то будут получены оценки и , не связанные с проблемой автокорреляции, поскольку, согласно предположению, значения е не зависят друг от друга.

Остается небольшая проблема. Если в выборке нет данных, пред­шествующих первому наблюдению, то невозможно вычислить

, и по­теряется первое наблюдение. Число степеней свободы уменьшается на единицу, и это вызовет потерю эффективности, которая может в небольших выборках пе­ревесить повышение эффективности от устранения автокорреляции [4, C.72].

Эту проблему можно довольно легко обойти, пользуясь так поправкой Прайса – Уинстена.

Поправка Прайса–Уинстена – метод спасения первого наблюдения в автокорреляционной схеме первого порядка.

Случайный член

, согласно определению, не зависит от значения и в любом предшествующем на­блюдении. В частности, все величины не зависят от u1. Следовательно, если при устранении автокорреляции все другие наблюдения преобразуются, то не требуется преобразовывать первое наблюдение. Можно сохранить его, включив в новую схему, полагая, что

Таким способом возможно спасти первое наблюдение, но здесь есть неболь­шая проблема, которую требуется решить. Если p велико, то первое наблюде­ние будет оказывать непропорционально большое воздействие на оценки, ис­численные по уравнению регрессии. Чтобы нейтрализовать этот эффект, умень­шим вес данного наблюдения умножением его на величину

, полагая и

Конечно, на практике величина р неизвестна, его оценка получается одновременно с оценками

и . Имеется несколько стандартных способов такого оценивания, например, метод Кокрана — Оркатта.

Метод Кокрана–Оркатта – компьютерный итерационный метод устранения автокорреляции первого порядка.

Метод Кокрана–Оркатта с поправкой Прайса – Уинстена итерационно оценивает a, b1, b2, .. bm и коэффициент r в авторегрессионной схеме, пока разница между результатами итераций не станет очень малой. Реализуется только на компьютере.

Метод Кокрана – Оркатта включает следующие этапы.

1. Оценивается регрессия

с исходными непреобразованными дан­ными.

2. Вычисляются остатки.

3. Оценивается регрессионная зависимость еt от еt-1, соответствующая формуле uk+1= puk + ek+1, и коэффициент при еt-1, представляет собой оценку p .

4. С этой оценкой р уравнение

преобразуется в , оценива­ние которого позволяет получить пересмотренные оценки и .

5. Повторно вычисляются остатки, и процесс возвращается к этапу.

Заключение

При наличии во временном ряде тенденции и циклических колебаний значения каждого последующего уровня ряда зависят от предыдущих. Корреляционную зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда.

Количественно ее можно измерить с помощью линейного коэффициента корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутыми на несколько шагов во времени.

По знаку коэффициента автокорреляции нельзя делать вывод о возрастающей или убывающей тенденции в уровнях ряда. Большинство временных рядов экономических данных содержат положительную автокорреляцию уровней, однако при этом могут иметь убывающую тенденцию.

Последовательность коэффициентов автокорреляции уровней первого, второго и других порядков называют автокорреляционной функцией временного ряда. График зависимости ее значений от величины лага (порядка коэффициента автокорреляции) называется коррелограммой.

Анализ автокорреляционной функции и коррелограммы позволяет определить лаг, при котором автокорреляция наиболее высокая, а следовательно, и лаг, при котором связь между текущим и предыдущими уровнями ряда наиболее тесная, то есть при помощи анализа автокорреляционной функции и коррелограммы можно выявить структуру ряда.

Наилучший, но не всегда возможный, способ устранения автокорреляции – установление ответственного за нее фактора и включение соответствующей объясняющей переменной в регрессию.

Глоссарий

Список использованных источников

Бывшев В.А. Эконометрика: Учебник. – М.: Финансы и статистика, 2008.

Валентинов В.А. Эконометрика: Учебное пособие. – М.: Юнити, 2009.

Давыдов С.Б. Математическое моделирование экономических систем. – М.: Либроком, 2010.

Елисеева И.И. Эконометрика: Учебник. – М.: Экзамен, 2009.

Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник. – М.: Дрофа, 2008.

Луговская Л.В. Эконометрика в вопросах и ответах: Учебное пособие. – М.: Академия, 2009.

Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс: Учебник. – М.: Дело, 2010.

Мардас А. Н. Эконометрика: Учебник. – М.: Финансы и статистика, 2009.

Орлов А.И. Эконометрика: Учебник. – М.: Феникс, 2009.

Толоконников Л. А., Кочетыгов А. А.Основы эконометрики: Учебное пособие. – М.: Феникс, 2009.

Приложение 1

Схема 1.1 Положительная автокорреляция

Приложение 2

Схема 1.2 Отрицательная автокорреляция

18

Источник: https://mirznanii.com/a/314835/avtokorrelyatsiya-i-ee-ustranenie

Последствия автокорреляции:

Автокорреляция и ее устранение

1.Истинная автокорреляция не приводит ксмещению оценок регрессии, но оценкиперестают быть эффективными.

2.Автокорреляция (особенно положительная)часто приводит к уменьшению стандартныхошибок коэффициентов, что влечет засобой увеличение t-статистик.

3.Оценка дисперсии остатков Se2является смещенной оценкой истинногозначения σe2, во многих случаях занижая его.

4.В силу вышесказанного выводы по оценкекачества коэффициентов и модели в целом,возможно, будут неверными. Это приводитк ухудшению прогнозных качеств модели.

16. Критерий диагностики автокорреляции Дарбина-Уотсона

Наиболееизвестным критерием обнаруженияавтокорреляции первого порядка являетсякритерий Дарбина-Уотсона.

СтатистикаDWДарбина-Уотсона (или d-статистика)приводится во всех специальных прикладныхкомпьютерных программах как важнейшаяхарактеристика качества регрессионноймодели.

Суть критерия состоит в том, чтона основе вычисленной статистикиDWДарбина-Уотсона делается вывод оналичии автокорреляции.

Рассмотримуравнение регрессии вида:

гдеk – число независимых переменных моделирегрессии.

Длякаждого момента времени t=1 : n значениеопределяется по формуле:

Изучаяпоследовательность остатков каквременной ряд в дисциплине «Эконометрика»,можно построить график их зависимостиот времени. В соответствии с предпосылкамиметода наименьших квадратов остаткидолжны быть случайными (а).

Однако примоделировании временных рядов иногдавстречается ситуация, когда остаткисодержат тенденцию (б и в) или циклическиеколебания (г). Это говорит о том, чтокаждое следующее значение остатковзависит от предыдущих.

В этом случаеимеется автокорреляция остатков.

Методыопределения автокорреляции остатков

Первыйметод – это построение графиказависимостей остатков от времени ивизуальное определение наличияавтокорреляции остатков.

Второйметод – расчеткритерия Дарбина-Уотсона.

Т.е.критерийДарбина-Уотсонаопределяетсякакотношение суммы квадратов разностейпоследовательных значений остатков ксумме квадратов остатков. В задачах поэконометрике значение критерияДарбина-Уотсона указывается наряду скоэффициентом корреляции, значениямикритериев Фишера и Стьюдента.

17.Методы устранения автокорреляции. Процедуры оценивания Кохрейна-Оркатта и Хильдрета-Лу

Всвязи с тем, что наличие в модели регрессииавтокорреляции между остатками моделиможет привести к негативным результатамвсего процесса оценивания неизвестныхкоэффициентов модели, а именно к:

а)увеличению дисперсий оценок параметровмодели;

б)смещению полученных по МНК;

в)снижению значимости оценок параметров,

автокорреляцияостатков должна быть устранена.

Основнойпричиной наличия случайного члена вмодели являются несовершенные знанияо причинах и взаимосвязях, определяющихто или иное значение зависимой переменной.Поэтому свойства случайных отклонений,в том числе и автокорреляция, в первуюочередь зависят от выбора формулызависимости и состава объясняющихпеременных.

Таккак автокорреляция чаще всего вызываетсянеправильной спецификацией модели, тонеобходимо, прежде всего, скорректироватьсаму модель.

Возможно, автокорреляциявызвана отсутствием в модели некоторойважной объясняющей переменной. Следуетпопытаться определить данный фактор иучесть его в уравнении регрессии.

Такжеможно попробовать изменить формулузависимости (например, линейную нагиперболическую и т. д.).

Однакоесли все разумные процедуры измененияспецификации модели исчерпаны, аавтокорреляция имеет место, то можнопредположить, что она обусловленакакими-то внутренними свойствами рядаεt.

В этом случае можно воспользоватьсяавторегрессионнымпреобразованием.

В линейной регрессионной модели либов моделях, сводящихся к линейной, наиболеецелесообразным и простым преобразованиемявляется авторегрессионная схемапервого порядка AR(1).

Дляпростоты изложения AR(1) рассмотрим модельпарной линейной регрессии.Тогда наблюдениям t и (t — 1) соответствуютформулы:и.

Пустьслучайные отклонения подверженывоздействию авторегрессии первогопорядка:,где последовательность случайныхкомпонентов– не коррелированна, акоэффициентρизвестен.

Вычтемиз наблюдения t соотношение наблюдения(t — 1), умноженное на ρ:

Применимпреобразование модели:

Тогдав новых переменных модель примет вид:вкотором шоковая переменная уже неискажена автокорреляцией.

Данноепреобразование (D)относится к классу декорреляцииоператоров [7]. Он приводит к потерепервого наблюдения (если мы не обладаемпредшествующим ему наблюдением).

Числостепеней свободы уменьшится на единицу,что при больших выборках не таксущественно, но при малых может привестик потере эффективности.

Эта проблемаобычно преодолевается с помощью поправкиПрайса-Винстена:

Отметим,что авторегрессионное преобразованиеможет быть обобщено на произвольноечисло объясняющих переменных, т. е.использовано для уравнения множественнойрегрессии. Таким образом, авторегрессионноепреобразование первого порядка AR(1)может быть обобщено на преобразованияболее высоких порядков AR(2), AR(3) и т. д.:

Можнопоказать, что в случае автокорреляцииостатков ковариационная матрица вектораслучайных отклонений имеет вид:

Вобобщенном МНК параметры уравнениярегрессии определяются по формулеЭйткена:

Однакона практике значение коэффициента ρобычно неизвестно и его необходимооценивать. Существует несколько методовоценивания ρ.

1.на основе статистикиДарбина-Уотсона.Т.к. она тесно связана с коэффициентомкорреляции между соседними отклонениямичерез соотношение,то в кач-ве оценки коэффициента ρ можетбыть взят коэф r:Этот метод оценивания неплох при большомчисле наблюдений, так как этом случаеоценка r параметра ρ будет достаточноточной.

2.методКохрейна-Оркатта.включает следующие этапы:

1. Применяя МНК к исходному уравнениюрегрессии, получают первоначальныеоценки параметров a0и a1;вычисляют остатки

2. В качестве оценки параметра ρ используютего МНК-оценку в регрессии .

3. Применяя Обобщённый МНК к преобразованномууравнению, получают новые оценкипараметров a0и a1.

4. Строят новый вектор остатков и процесс возвращается к этапу 2.

Чередованиеэтапов осуществляется до тех пор, покане будет достигнута требуемая точность,т. е. пока разность между предыдущей ипоследующей оценками ρ не станет меньшелюбого наперед заданного числа.

https://www.youtube.com/watch?v=urDCiir9BEg

ПроцедураКО реализована в большинстве эккомпьютерных программах.

3.Процедура Хильдрата-Лутакже применяема в регрессионныхпакетах. Метод основан на тех же принципах,но использует другой алгоритм вычислений:

1. Преобразованное уравнение оцениваютдля каждого значения ρ из интервала(-1;1) с заданным шагом внутри его.

2. Выбирают значение ρ, для которого суммаквадратов остатков в преобразованномуравнении минимальна, а коэффициентырегрессии определяются при оцениваниипреобразованного уравнения с использованиемэтого значения.

3.В окрестности этого значения устраиваетсяболее мелкая сетка и процесс отборанаилучшего значения ρ осуществляетсядо тех пор, пока не будет достигнутатребуемая точность.

Источник: https://studfile.net/preview/5622747/page:10/

Эконометрика — Глава 4

Автокорреляция и ее устранение

4.4. Автокорреляция возмущений: определение, диагностика и процедуры устранения

Рассмотрим линейную регрессию

(4.29)

где Xt=[xt1, xt2,…,xtk]T.

Будем считать, что индекс t у переменных модели означает, что их значения (регрессанда и регрессоров) изменяются во времени: yt и xtp, — значения переменных в момент времени t (t=1,2,…,n, p=1,2,…,k) то есть модель строится не по пространственной выборке, а по временной, и, чтобы подчеркнуть это, при описании временных выборок мы используем индекс t. Таким образом, уравнение (4.29) описывает временной ряд зависимой переменной. Для оценки параметров модели временного ряда (4.29) в условиях предпосылок классической регрессии можно использовать обычный МНК. Однако при моделировании временных рядов часто возникает проблема автокорреляции возмущений. Суть ее заключается в том, что возмущение (случайная составляющая) модели ut в момент времени t зависит от возмущений в предыдущие моменты наблюдений. Автокоррелированность возмущений можно учесть с помощью так называемых моделей авторегрессии. Простейшей из таких моделей является модель авторегрессионного процесса первого порядка (процесс авторегрессии первого порядка). Такой процесс описывается следующим уравнением

(4.30)

где — последовательность некоррелированных случайных величин с характеристиками: математическим ожиданием , и постоянной дисперсией . Начальное значение u0 имеет нулевое математическое ожидание и не зависит от (t=1,2,…,n). Параметр называется коэффициентом авторегресcии, для него должно выполнятся ограничение , которое является необходимым условием стационарности процесса.

Рассмотрим некоторые простейшие свойства процесса авторегрессии. Применяя к обеим частям уравнения (4.

30) операцию математического ожидания и учитывая, что для начального значения , получим для любого t=1,2,…,n.

Далее, поскольку , а случайные величины незавимы, то для всех p=1,2,…,t-1, в силу рекуррентной зависимости (4.30) (задание: покажите, что это действительно так). Учитывая это, получим выражение для дисперсии

(4.31)

Таким образом, как следует из полученного выражения (4.31), в общем случае дисперсия процесса авторегрессии зависит от времени (случайное возмущение гетероскедастично). Однако, если начальное значение u0 случайного члена имеет дисперсию

(4.32)

то и для любого t дисперсия случайного члена также равна

(4.33)

и не зависит от времени — случайная составляющая гомоскедастична. Покажем это. Для t = 1 с учетом (4.32), (4.31) имеем

(4.34)

Аналогично можно показать, что и для последующих t=2,3,…,n, выполнено соотношение (4.34), если при каждом t в качестве начального значения регрессии брать ее значение на предыдущем шаге ut-1 (здесь, по существу, используется простейшая схема доказательства по индукции).

Определим элементы ковариационной матрицы вектора возмущений. Умножим левую и правую части уравнения (4.30) на  ut-1 и к получившемуся выражению применим операцию математического ожидания. Получим

(4.35)

поскольку . Аналогично получим

В общем случае точно также можно показать, что

Таким образом, ковариационная матрица имеет следующий вид

Эта матрица отличается от диагональной, поэтому для оценивания модели с автокорреляцией возмущений необходимо использовать обобщенный метод наименьших квадратов.

Очевидно, что элементы матрицы легко вычисляются, если известен авторегрессионный параметр . Из выражения (4.35) легко установить смысл параметра — он равен коэффициенту корреляции между соседними ошибками.

Действительно, из (4.35) получаем, что

(4.36)

Выражение (4.36) совпадает с определением коэффициента корреляции. В социально-экономических исследованиях этот параметр должен быть оценен на основе эмпирических данных, после проведения теста на автокорреляцию.

Замечание.

Для моделирования авторегрессионной зависимости между наблюдениями можно использовать авторегрессионные процессы и более высоких порядков. Модели таких процессов будут рассмотрены в следующей главе, посвященной анализу временных рядов.

Процедура тестирования на автокорреляцию: тест Дарбина — Уотсона

Существует множество различных тестов для диагностики автокорреляции. Одим из наиболее известных и достаточно просто реализуемых на практике является тест Дарбина-Уотсона (кратко — d —тест).

С помощью этого теста проверяется пара гипотез: гипотеза — автокорреляция отсутствует, против альтернативы — возмущения автокоррелированы (или в двух других версиях: — существует положительная корреляция, — существует отрицательная корреляция).

При этом важно иметь ввиду что:

1). При нулевой гипотезе предполагается, что исследуемый процесс описывается классической моделью линейной регрессии, то есть выполнены все предпосылки классической модели (см. п. 3.1).

2). Тест не проверяет, действительно ли автокорреляция имеет вид авторегрессии первого порядка (а не описывается другими возможными формами автокорреляционных зависимостей), вид авторегрессионной зависимости постулируется, а проверяется только наличие или отсутствие автокорреляции первого порядка.

Тест Дарбина — Уотсона основан на d — статистике (критерии) Дарбина-Уотсона, которая вычисляется по формуле

(4.37)

Здесь et — остатки регрессионного уравнения. Для их вычисления уравнение оценивается с помощью обычного метода наименьших квадратов. Можно установить зависимость между d — статистикой и выборочным коэффициентом корреляции между соседними ошибками et и et-1. Напомним, что выборочный коэффициент корреляции имеет вид

(4.38)

где выборочная ковариация и дисперсия равны

Для выборки достаточно большого размера можно записать приближенное соотношение

учитывая которое, выборочный коэффициент корреляции (4.38) можно представить так

(4.39)

Критерий (4.37) можно записать в виде

Последнее слагаемое в полученном выражении близко к нулю и им можно пренебречь (при достаточно большом n). Тогда окончательно (учитывая (4.39)) получаем

(4.40)

Содержательная интерпретация статистики Дарбина — Уотсона

Опираясь на выражение (4.40), можно дать следующую содержательную интерпретацию статистики Дарбина-Уотсона. Если между соседними ошибками модели существует положительная корреляция , то величина .

При высокой положительной корреляции коэффициент корреляции r будет близок к единице, а d — статистика — к нулю.

При отрицательной корреляции значение , а поскольку , то для d — статистики выполняются неравенства .

Распределение d — статистики зависит от следующих величин:

1) от длины наблюдаемого ряда n;

2) от количества регрессоров k;

3) от конкретных наблюдаемых в данной реализации числовых значений регрессоров, то есть от матрицы X.

Последнее обстоятельство делает невозможным прямое построение d — теста, так как для этого потребовалось бы при каждом его применении заново составлять таблицу критических значений d — критерия для соответствующей матрицы X.

К счастью, оказалось (Дарбин и Уотсон это доказали), что существуют две границы, которые определяют области принятия или отклонения гипотез относительно автокорреляции и зависят только от n, k и уровня значимости, но не зависят от конкретных наблюдений регрессоров. Для этих границ можно рассчитать табличные значения. Недостатком d — теста является существование зоны неопределенности, при попадании в которую d — статистики невозможно принять однозначного решения.

При применении d — теста можно руководствоваться следующим эвристическим правилом: если значение d — статистики близко к двум, то автокорреляция возмущений первого порядка несущественна; чем ближе значение d к нулю, тем больше положительная автокорреляция; чем ближе значение d к четырем, тем больше отрицательная автокорреляция.

Порядок применения d — теста

1). Вычисляем значение d — статистики по формуле (4.40).

2). Определяем табличные значения нижней границы dL и верхней dU для заданного уровня значимости и конкретных n и k.

3). Принимаем решение в соответствии со следующими правилами:

а). если , то существует положительная корреляция, гипотеза H0  отвергается;

б). если , то существует отрицательная корреляция, гипотеза  H0  отвергается;

в). если , то корреляция отсутствует, гипотеза  H0 не отвергается;

г). области неопределенности:

4). Интерпретируем результаты тестирования.

Замечание.

Следует помнить, что корректное применение d — теста требует выполнения предпосылки о некоррелированности регрессоров и возмущений модели. Поэтому его нельзя применять, если, например, в модели присутствуют лаговые (запаздывающие) значения регрессанда в качестве регрессоров (подобные модели часто используются для описания авторегрессионных временных рядов, см. гл. 5).

Практическая рекомендация.

Наличие зон неопределенности существенно снижает эффективность практического использования d — теста. Ошибочное принятие гипотезы H0  приводит к существенному искажению результатов и потере свойств оценок.

В тоже время, отклонение нулевой гипотезы, хотя она и верна, приведет лишь к необходимости проведения незначительных дополнительных вычислений, связанных с оценкой параметра авторегрессии и корректировкой модели на авторегрессию.

Поэтому, что бы уменьшить вероятность ошибочного решения — принятия гипотезы  H0 , когда она неверна, рекомендуется в областях неопределенности нулевую гипотезу отклонять.

Пример. 4.3.

В таблице 4.2 приведены данные о годовых доходностях акций компаний A и B (источник: Л.О. Бабешко, 2001, с. 63, [4]).

Таблица 4.2

Используя данные таблицы 4.2 построим линейную регрессионную модель для изучения влияния изменения доходности акций компании — лидера B на доходность акций компании A и исследуем остатки полученной модели на автокорреляцию, применяя процедуру Дарбина — Уотсона. Спецификация модели имеет вид

где yt — доходность акций компании A, xt — доходность акций компании B. Применение метода наименьших квадратов для оценки коэффициентов модели позволяет получить следующую эмпирическую функцию регрессии:

(4.41)

Прогноз значений зависимой переменной и вычисленные остатки регрессии приведены в таблице 4.3 На рис.4.13, 4.14 даны графики прогноза и остатков.

Таблица 4.3.

Рис. 4.13. Линия регрессии (4.41)

Рис. 4.14. График остатков

Статистика Дарбина — Уотсона вычисляется по формуле (4.40):

Для количества наблюдений n = 15, количества регрессоров k = 2 и уровня значимости , нижняя и верхняя границы критического значения статистики Дарбина — Уотсона равны: . Вычисленное для построенной регрессии значение d — статистики меньше нижней границы критического значения статистики, что говорит о наличии положительной автокорреляции остатков.

Задание.

Определите для данной модели коэффициент детерминации, стандартные отклонения и доверительные интервалы для коэффициентов.

Оценка авторегрессионного параметра и процедуры устранения автокорреляции

Предположим сначала, что значение параметра авторегрессии известно. Для того, чтобы провести коррекцию модели на автокорреляцию, необходимо преобразовать исходную модель так, чтобы в преобразованной модели возмущения были некоррелированы. Такое преобразование легко построить и суть его состоит в следующем. Вычтем почленно из уравнения регрессии (4.29) (при t=2,3,…,n) уравнение

Учитывая уравнение авторегрессии (4.30), получим

При  t = 1 обе части уравнения (4.29) умножим на множитель :

Введем новые переменные:

(4.42)
(4.43)

Тогда уравнение преобразованной модели можно записать в виде

(4.44)

где вектор , матрица , вектор возмущений , матрица преобразования имеет следующую структуру

В преобразованной модели (4.44) возмущения удовлетворяют свойству гомоскедастичности. Действительно, компоненты вектора возмущений имеют одинаковые дисперсии, равные и некоррелированы между собой.

Замечание.

При практической реализации описанного метода, для простоты часто ограничиваются только преобразованием вида (4.43), опуская первое наблюдение (4.42).

К сожалению, при построении эконометрических моделей реальных социально-экономических процессов параметр авторегрессии, как правило, неизвестен и подлежит оцениванию. Существует множество различных процедур оценивания регрессионных моделей с одновременным оцениванием параметра авторегрессии возмущений. Рассмотрим некоторые из них.

Итерационная процедура Кохрейна-Оркатта

При подтверждении гипотезы о существовании автокорреляции первого порядка, процедура оценивания параметров регрессии с использованием преобразованной модели может быть проведена по следующей итерационной схеме.

1) Оцениваем обычным методом наименьших квадратов вектор коэффициентов исходной (не преобразованной) модели по формуле (3.15). Вычисляем вектор остатков e.

2) Оцениваем авторегрессионный параметр в парной регрессии (без свободного члена): . МНК — оценка имеет вид:

(4.45)

Заметим, что данная оценка совпадает с выборочным коэффициентом корреляции (4.39).

3) Строим преобразованную модель, используя вместо параметра его оценку r (4.45). К преобразованной модели применяем метод наименьших квадратов (обычный) и находим оценку b вектора коэффициентов .

4) Вычисляем новый вектор остатков e = y — Xb. Повторяем процедуру, начиная с пункта 2). Итерационный процесс заканчивается, когда два последовательных значения оценок r параметра мало отличаются друг от друга (находятся друг от друга в пределах заданной точности). Иногда ограничиваются единственной итерацией.

Замечание.

Для вычисления оценки r можно использовать соотношение (4.40), из которого получаем: , при этом d — статистика вычисляется по формуле (4.37).

Итерационная процедура Хилдрета-Лу

1) Выбираем последовательно значения коэффициента из интервала его изменения (-1, 1), с некоторым шагом h (то есть очередное значение получается путем прибавления к предыдущему значению параметра величины h).

2) Для каждого значения оцениваем преобразованную модель (4.44). Вычисляем сумму квадратов остатков. Выбираем то значение параметра , для которого эта сумма минимальна.

Замечание.

Данную процедуру можно проводить в несколько этапов — сначала определить «грубое» значение , реализовав процедуру с большим шагом h. Затем повторить процедуру в окрестности этого значения , уменьшив шаг h.

Процедура Дарбина

Преобразованную модель (4.44) можно записать в виде

(4.46)

К данной модели, очевидно, можно применить обычный МНК, рассматривая наблюдения yt-1 как регрессоры, а — как оцениваемый параметр (возмущения модели гомоскедастичны). Оценив ее параметры, легко получить оценки параметров исходной модели.

Недостатком этого метода является то, что количество оцениваемых параметров в преобразованной модели (4.46) существенно возрастает по сравнению с исходной моделью. Действительно, в качестве оцениваемых параметров модель (4.

46) содержит k — 1 параметр , j=2,3,…,k, исходной модели, k-1 параметр вида , параметр вида и параметр . При малом количестве наблюдений этот подход не применяется.

Источник: http://sun.tsu.ru/mminfo/2016/Dombrovski/book/chapter-4/chapter-4-4.htm

Автокорреляция: методы обнаружения и устранения

Автокорреляция и ее устранение
⇐ ПредыдущаяСтр 40 из 51Следующая ⇒

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений.

Математически это выражается в том, что случайные величины ei в регрессионной модели не оказываются независимыми, в частности, условие не выполняется. Такие модели называются моделями с наличием автокорреляции.

Автокорреляция – ситуация, связанная с невыполнением условия Г-М.

Если автокорреляция отсутствует, то оценки состоятельные и эффективные. Последствиями автокорреляции являются неэффективность оценок и заниженные стандартные отклонения.

Рассмотрим уравнение регрессии: ; модель регрессии .

Если последующие случайные члены во временном ряду прямопропорциональны, т.е. и положительно коррелируемы ( ), то автокорреляция положительна.

Графически положительная автокорреляция выражается в чередовании зон, где наблюдаемые значения оказываются выше предсказанных, и зон, где наблюдаемые значения ниже предсказанных (примером может служит спрос на мороженное: зимой спрос снижается, а летом увеличивается).

Отрицательная автокорреляция встречается в тех случаях, когда наблюдения действуют друг на друга по принципу «маятника» — завышенные значения в предыдущих наблюдениях приводят к занижению их в наблюдениях последующих. Коэффициент линейной корреляции в этом случае меньше 0 ( ).

Автокорреляция остатков может быть вызвана несколькими причинами.

· Иногда она связана с исходными данными и вызвана наличием ошибок измерения в значениях результативного признака.

· В ряде случаев причину автокорреляции остатков следует искать в формулировке модели. Модель может не включать фактор, оказывающий существенное воздействие на результат, влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными.

· Неверный выбор функции.

· Структура модели не учитывает запаздывания.

От истинной автокорреляции остатков следует отличать ситуации, когда причина автокорреляции заключается в неправильной спецификации функциональной формы модели. В этом случае следует изменить форму связи факторных и результативного признаков, а не использовать специальные методы расчета параметров уравнения регрессии при наличии автокорреляции остатков.

Существует два наиболее распространенных метода определения автокорреляции остатков. Первый метод – это построение графика зависимости остатков от времени и визуальное определение наличия или отсутствия автокорреляции. Второй метод — использование критерия Дарбина-Уотсона.

Автокорреляция первого порядка.

Рассмотрим уравнение регрессии: ; по выборке {xt;yt}, при t=1…T, получаем модель регрессии .

Допустим, что подтверждает наличие автокорреляции. Будем считать, что автокорреляция описывается следующей моделью: — это авторегрессионная схема автокорреляции первого порядка, где — случайный член регрессии, неподверженный автокорреляции.

Свойства параметра :

-если , то автокорреляция отсутствует;

если , то автокорреляция положительная;

если , то автокорреляция отрицательная.

если , т.к. иначе не выполнялось бы условие гомоскедастичности ( ).

Таким образом, чтобы определить наличие автокорреляции, нужно оценить . Для этого оценим следующее уравнение регрессии: , где — остатки в наблюдениях t и t-1, — оценка , причем (аналогично b, полученному по МНК).

Имеем

Теперь .

при достаточно большом Т.

Таким образом .

При отсутствии автокорреляции =0, при полной положительной автокорреляции =1, при полной отрицательной автокорреляции =-1.

Критерий Дарбина-Уотсона.

Этот простой критерий определяет наличие автокорреляции между соседними членами. Он основан на простой идее: если корреляция ошибок регрессии не равна нулю, то она присутствует и в остатках регрессии, получающихся в результате применения обычного МНК. В тесте Дарбина-Уотсона для оценки корреляции используется статистика вида:

Так как — остатки, полученные по уравнению регрессии, параметры которого определены обычным МНК, то в соответствии с предпосылками МНК их сумма и среднее значение равны нулю:

.

если в остатках существует полная положительная автокорреляция и , то d=0. Если в остатках полная отрицательная автокорреляция, то и, следовательно, d=4. Если автокорреляция остатков отсутствует, то и d=2. Следовательно, .

Алгоритм выявления автокорреляции остатков на основе критерия Дарбина-Уотсона следующий. Выдвигается гипотеза Н0 об отсутствии автокорреляции остатков.

Альтернативные гипотезы Н1 и Н1* состоят, соответственно, в наличии положительной и отрицательной автокорреляции в остатках.

Далее по специальным таблицам определяются критические значения критерия Дарбина-Уотсона и для заданного числа наблюдений n, числа независимых переменных модели k и уровня значимости . По этим значениям числовой промежуток [0;4] разбивают на пять отрезков:

· , то гипотеза об отсутствии автокорреляции
не отвергается (принимается), автокорреляция остатков отсутствует;

· или , то вопрос об отклонении
или принятии гипотезы остается открытым (область неопреде­ленности критерия);

· , то с вероятностью принимается альтернативная гипотеза о наличии по­ложительной автокорреляции остатков;

· , то с вероятностью принимается альтернативная гипотеза о наличии отрицательной автокорреляции остатков.

Если фактическое значение критерия Дарбина-Уотсона попадает в зону неопределенности, то на практике предполагают существование автокорреляции остатков и отклоняют гипотезу Н0.

Есть несколько существенных ограничений на применение критерия Дарбина-Уотсона:

Во-первых, он неприменим к моделям, включающим в качестве независимых переменных лаговые значения результативного признака, т.е. к моделям авторегрессии. Для тестирования на автокорреляцию остатков моделей авторегрессии используется критерий h-Дарбина.

Во-вторых, методика расчета и использования критерия Дарбина-Уотсона направлена только на выявления автокорреляции остатков первого порядка. При проверке остатков на автокорреляцию более высоких порядков следует применять другие методы.

В-третьих, критерий Дарбина-Уотсона дает достоверные результаты только для больших выборок.

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии.

— поправка Прайса-Уинстена.

Т.о., оценки, избавленные от воздействия автокорреляции, рассчитываются по модели: (III), где , а при t=2,…Т.

Т.о., устранение автокорреляции представляет собой итерационный процесс (процесс Кокрана-Орката с поправкой Прайса-Уинстена):

1 этап: оценивается регрессия по непреобразованным данным {xt,yt}.

2 этап: вычисляются остатки и рассчитывается приближение .

3 этап: с использованием величины исходное уравнение (I) преобразуется к виду (III), находятся улучшенные оценки параметров α и β.

4 этап: если требуемая точность не достигнута в улучшении то переходим к этапу 2.

⇐ Предыдущая35363738394041424344Следующая ⇒

Рекомендуемые страницы:

Источник: https://lektsia.com/5x3167.html

Методы устранения автокорреляции

Автокорреляция и ее устранение

Автокорреляция чаще всего вызывается неправильной спецификацией модели. Поэтому для её устранения необходимо, прежде всего, попытаться скорректировать саму модель. Также автокорреляция может быть вызвана отсутствием в модели некоторой важной объясняющей переменной.

Необходимо попытаться определить данный фактор и учесть его в уравнении регрессии. Также можно попробовать изменить формулу зависимости.

Однако если изменения спецификации модели всё же не помогли, то можно предположить, что автокорреляция обусловлена какими-то внутренними свойствами ряда{et}. В этом случае можно воспользоваться авторегрессионным преобразованием.

В линейной регрессионной модели либо в моделях, сводящихся к линейной, наиболее целесообразным и простым преобразованием является авторегрессионная схема первого порядка AR(1).

Можно рассмотреть AR(1) на примере парной линейной регрессии:

Наблюдениям tи (t-1) соответствуют формулы:

Пусть случайные отклонения подвержены воздействию AR(1):

, где , е = 2, 3, … , T–случайные отклонения, удовлетворяющие всем предпосылкам МНК, а коэффициент известен.

Если из вычесть умноженное на : .

Обозначив и с учётом , получается .

Так как по предположению коэффициент известен, то вычисляются достаточно просто. Также, исходя их того, что случайные отклонения удовлетворяют предпосылкам МНК, то оценки будут обладать свойствами наилучших линейных несмещённых оценок.

Однако способ вычисления приводит к потере первого наблюдения. Число степеней свободы уменьшится на единицу, что при больших выборках не так существенно, но при малых выборках может привести к потере эффективности. Это проблема обычно преодолевается с помощью поправки Прайса-Винстена:

,

Авторегрессионное преобразование может быть использовано для уравнения множественной регрессии.

AR(1) может быть обобщено на преобразования более высоких порядков AR(2), AR(3) и т.д.: .

Однако на практике значение коэффициента обычно неизвестно и его необходимо оценивать. Существует несколько методов оценивания. Наиболее употребляемыми являются: 1) определение на основе статистики Дарбина-Уотсана; 2) метод Кохрана-Оркатта; 3) метод Хилдрета-Лу; 4) метод первых разностей.

1) Статистика Дарбина-Уотсана тесно связана с коэффициентом корреляции между соседними отклонениями через соотношение:

Исходя из этого, в качестве оценки коэффициента может быть взят коэффициент . Получаем:

Этот метод оценивания используется при большом количестве наблюдений. В этом случае оценка параметра будет достаточно точной.

2) Метод Кохрана-Оркатта является итерационным процессом. Его можно описать на примере парной регрессии и схемы AR(1) .

1. Оценивается по МНК данная регрессия и для неё определяются оценки отклонений , t = 1, 2, … ,n.

2. Используя схему AR(1) оценивается регрессионная зависимость , где – оценка коэффициента .

3. На основе данной оценки строится уравнение:

С его помощью оцениваются коэффициенты и .

4. Значения и подставляются в уравнение данной регрессии. Вновь вычисляются оценки отклонений и процесс возвращается к этапу 2.

Чередование этапов осуществляется до тех пор, пока не будет достигнута требуемая точность. То есть пока разность между предыдущей и последующей оценками не станет меньше любого наперёд заданного числа.

3) По методу Хилдрета-Лу регрессия оценивается для каждого возможного значения из интервала [-1, 1] с любым шагом. Величина , дающая наименьшую стандартную ошибку регрессии, принимается в качестве оценки коэффициента И значения и оцениваются из данного уравнения регрессии именно с данным значением Этот итерационный метод широко используется в эконометрических пакетах.

4) В случае, когда есть основания считать, что автокорреляция отклонений очень велика, можно использовать метод первых разностей. Для временных рядов характерна положительная автокорреляция остатков.

Поэтому при высокой автокорреляции полагают . Следовательно: , где . Обозначив , , получается . Из данного уравнения по МНК оценивается параметр . Коэффициент в данном случае не определяется непосредственно.

Однако из МНК известно, что .

В случае , можно получить следующее уравнение регрессии: .

Однако метод первых разностей предполагает уж слишком сильное упрощение ( ), поэтому более предпочтительными являются итерационные методы.

Не нашли то, что искали? Воспользуйтесь поиском:

Источник: https://studopedia.ru/9_148226_metodi-ustraneniya-avtokorrelyatsii.html

Refy-free
Добавить комментарий