modele_regresji_SGH_metody_statystyczne_2008.pdf

(241 KB) Pobierz
kwiecień, 2008 r.
Adam Szulc
Instytut Statystyki i Demografii
WYBRANE ZAGADNIENIA ESTYMACJI I WERYFIKACJI
JEDNORÓWNANIOWYCH MODELI REGRESJI
(w ramach wykładu: „Metody Statystyczne”)
I. JEDNORÓWNANIOWY MODEL EKONOMETRYCZNY: ............................................... 2
OGÓLNE ZASADY KONSTRUKCJI, ESTYMACJI I WERYFIKACJI ................................ 2
1. Definicja modelu regresji
................................................................................................. 2
2. Statystyczna analiza reszt modelu.
................................................................................. 4
3. Estymacja modelu liniowego za pomocą klasycznej metody najmniejszych kwadratów
(KMNK) ................................................................................................................................. 5
4. Ocena oszacowania modelu liniowego za pomocą klasycznej MNK
........................... 5
5. Postępowanie w sytuacjach wykraczających poza schemat klasycznej MNK .................. 7
II. WYBRANE METODY ESTYMACJI MODELI REGRESJI .............................................. 8
1. MNK z warunkami dodatkowymi
.................................................................................. 8
2. Estymacja modeli ekonometrycznych za pomocą metody największej wiarygodności
(MNW) ................................................................................................................................... 8
3. Uwagi o estymacji modeli nieliniowych
.......................................................................... 9
4. Estymacja za pomocą zmiennych instrumentalnych (MZI)
...................................... 10
5. Zmienne binarne w modelach regresji: regresja logitowa i probitowa
..................... 12
III. TESTY STATYSTYCZNE W MODELACH REGRESJI ................................................ 14
1. Testy warunków ograniczających modelu
................................................................... 14
2. Testy specyfikacji modelu
.............................................................................................. 16
3. Test stabilności parametrów
......................................................................................... 17
4. Test homoskedastyczności reszt
.................................................................................... 17
Dekalog ekonometrii stosowanej według Petera Kennedy’ego
.................................. 18
Literatura podstawowa: .................................................................................................... 19
Literatura uzupełniająca: .................................................................................................. 19
ZADANIA ............................................................................................................................ 20
ZASADY ZALICZANIA ZAJĘĆ ....................................................................................... 24
ZADANIA Z OSTATNIEGO SPRAWDZIANU ................................................................ 25
WYBRANE ZAGADNIENIA ESTYMACJI I WERYFIKACJI
JEDNORÓWNANIOWYCH MODELI REGRESJI
Motto 1: KaŜdy ekonomista jest ekonometrykiem czy tego chce czy nie (Joseph Schumpeter)
Motto 2: Są trzy złote zasady ekonometrii: testować, testować i testować (David Hendry)
Motto 3: Dwóch rzeczy lepiej nie oglądać w czasie ich powstawania: parówek i oszacowań
modeli ekonometrycznych (Edward Leamer )
I. JEDNORÓWNANIOWY MODEL EKONOMETRYCZNY:
OGÓLNE ZASADY KONSTRUKCJI, ESTYMACJI I WERYFIKACJI
1. Definicja modelu regresji
Jednorównaniowy model regresji jest zdefiniowany następująco:
y
i
=
g( x
i1
, x
i 2
,..., x
ik
)
+
ε
i
(i
=
1,2,..., n)
(1.1)
gdzie:
y
i
- i-ta wartość zmiennej objaśnianej (zaleŜnej),
x
ij
- i-ta wartość j-tej zmiennej objaśniającej (niezaleŜnej; j=1,2,...k),
ε
i
- i-ta reszta (błąd) modelu (róŜnica między oszacowaną i empiryczną wartością y
i
),
n - liczba obserwacji,
k- liczba zmiennych objaśniających (jeŜeli w modelu występuje wyraz wolny to pozwalająca
oszacować odpowiedni parametr kolumna jedynek jest traktowana jako dodatkowa, k + 1-
sza zmienna).
Postać funkcji
g
określa typ modelu. W większości omawianych tu przypadków będzie to
funkcja liniowa. Model ma wtedy następującą postać:
y
i
=
α
1
x
i1
+
α
2
x
i 2
+
...
+
α
k
x
ik
+
α
0
+
ε
i
=
X
i
a'
+
ε
i
(i
=
1,2,..., n)
(1.2)
Alternatywna definicja modelu regresji jest następująca:
g( x
i1
, x
i 2
,..., x
ik
)
=
E[
Y | X
=
( x
i1
, x
i 2
,..., x
ik
)]
(1.3)
Funkcja regresji
g
oznacza w tym przypadku warunkową wartość oczekiwaną zmiennej
objaśnianej, pod warunkiem,
Ŝe
zmienne objaśniające przyjęły wartości określone przez (k-
wymiarowy) wektor
X
1
. Aby modele zapisane za pomocą równań (1.1) i (1.3) były
równowaŜne, musi być spełniony warunek:
E
(
ε
| X)
=
0
2
1
2
(1.4)
Wartość tej funkcji jest zwykle zwana (nieprecyzyjnie) wartością teoretyczną zmiennej Y.
Taki zapis (stosowany w dalszej części konspektu) jest równowaŜny zapisowi wektorowemu:
2
tzn. warto
ść
oczekiwana reszty modelu dla dowolnego wektora zmiennych obja
ś
niaj
ą
cych X
jest równa zeru.
f(Y|X)
lub
f(Y,X)
Y
N(
α
1
x
n
+
α
0
,
σ
2
)
α
1
X+
α
0
(x
2
,y
2
)
(x
n
,y
n
)
(x
1
,y
1
)
x
1
x
2
.
.
.
x
n
X
Rys. 1.1. ZałoŜenia modelu regresji liniowej z jedną zmienną objaśniającą
Rozpatruj
ą
c najprostszy z mo
Ŝ
liwych model regresji czyli model liniowy z jedn
ą
zmienn
ą
obja
ś
niaj
ą
c
ą
mo
Ŝ
na zilustrowa
ć
istot
ę
regresji ekonometrycznej za pomoc
ą
rysunku 1.1.
Przykładowo, dla zbioru gospodarstw domowych dane s
ą
indywidualne (czyli dost
ę
pne dla
ka
Ŝ
dego gospodarstwa osobno) informacje o ich (ł
ą
cznych) wydatkach na konsumpcj
ę
(zmienna Y) i dochodach (zmienna X). Warunkowa warto
ść
oczekiwana E(Y|X=x
i
) mo
Ŝ
e by
ć
przedstawiona za pomoc
ą
prostej o równaniu:
α
1
x
i1
+
α
0
. Zakłada si
ę
,
Ŝ
e rzeczywista warto
ść
zmiennej Y jest wynikiem losowania przy ustalonej warto
ś
ci zmiennej X. Warto
ś
ci
parametrów funkcji regresji szacuje si
ę
na podstawie próby (losowej lub nielosowej
3
). Tak jak
wszystkie wyniki estymacji uzyskane za pomoc
ą
próby, ró
Ŝ
ni
ą
si
ę
one od rzeczywistych
E
[
ε
1
|
X
=
(
x
11 ,
x
12 ,...,
x
1
k
)]
 
0
E
[
ε
|
X
=
(
x
,
x
,...,
x
)]
  
2
21
22
2
k
0
 
.
.
=
 
.
 
.
 
.
.
  
E
[
ε
n
|
X
=
(
x
n
1 ,
x
n
2 ,...,
x
nk
)]
 
0
  
Nawet jeŜeli próba jest nielosowa, moŜna zastosować wnioskowanie statystyczne z uwagi na wyŜej
wymienione załoŜenie odnośnie losowości Y.
3
3
(czyli „obowi
ą
zuj
ą
cych” w populacji generalnej) warto
ś
ci.
4
Charakter zale
Ŝ
no
ś
ci mi
ę
dzy
warunkow
ą
warto
ś
ci
ą
oczekiwan
ą
Y i zmienn
ą
X przes
ą
dzaj
ą
cy o wyborze funkcji
g
jest (tak
jak ka
Ŝ
dy model) przyj
ę
tym zało
Ŝ
eniem na temat rzeczywisto
ś
ci. Mo
Ŝ
e ono by
ć
zatem
spełnione lub nie (dokładnie nie jest spełnione praktycznie nigdy). O tym czy przyj
ę
cie danej
postaci jest słuszne mo
Ŝ
na si
ę
przekona
ć
m. in. analizuj
ą
c rozkład reszt modelu
ε
.
2. Statystyczna analiza reszt modelu.
Wyst
ę
powanie w modelu reszt czyli ró
Ŝ
nic mi
ę
dzy teoretyczn
ą
i empiryczn
ą
warto
ś
ci
ą
modelu jest wynikiem m. in. faktu, i
Ŝ
na warto
ś
ci Y maj
ą
wpływ nie tylko zmienne zawarte w
wektorze
X.
Inne przyczyny to bł
ę
dy pomiaru warto
ś
ci obu zmiennych (nie b
ę
d
ą
one
omawiane) oraz wybór niewła
ś
ciwej funkcji regresji. Znaczenie (cz
ę
sto niedoceniane,
zwłaszcza w badaniach o charakterze aplikacyjnym) analizy reszt modelu wynika m. in. z
nast
ę
puj
ą
cych przesłanek:
a/ Optymaln
ą
metod
ę
szacowania parametrów modelu mo
Ŝ
na wybra
ć
jedynie po
weryfikacji zało
Ŝ
e
ń
odno
ś
nie rozkładu reszt.
b/ Oszacowanie „teoretycznych warto
ś
ci” zmiennej obja
ś
nianej oraz parametrów modelu
zawiera bł
ę
dy losowe, które mo
Ŝ
na oceni
ć
jedynie za pomoc
ą
analizy reszt.
c/ Jedynie za pomoc
ą
oceny rozkładu reszt mo
Ŝ
na stwierdzi
ć
czy przyj
ę
cie okre
ś
lonej
postaci modelu jest uzasadnione.
Znajomo
ść
rozkładu reszt jest zatem konieczna zarówno na etapie modelowania jak i
weryfikacji.
Zało
Ŝ
enia odno
ś
nie reszt jakie standardowo przyjmuje si
ę
w badaniu regresji opisuj
ą
równania 1.5 - 1.7.
E
(
ε
| X)
=
E
(
ε)
=
0
(1.5)
Warunek ten oznacza, oprócz zerowej warto
ś
ci oczekiwanej reszt, ich niezale
Ŝ
no
ść
od
warto
ś
ci zmiennych obja
ś
niaj
ą
cych.
E
(
εε'
| X)
=
σ
2
I
(1.6)
gdzie
I
jest macierz
ą
diagonaln
ą
z warto
ś
ciami 1 na przek
ą
tnej (zapis
′
oznacza transpozycje
wektora; w tym przypadku
kolumna jest mnoŜona przez wiersz).
Zapis ten oznacza
spełnianie dwóch warunków, które ł
ą
cznie okre
ś
la si
ę
jako sferyczno
ść
reszt: reszty nie s
ą
ze
sob
ą
skorelowane, za
ś
ich warunkowa wariancja jest równa stałej
σ
2
, niezale
Ŝ
nie od warto
ś
ci
X. W przypadku spełniania pierwszego warunku mówimy o braku autokorelacji reszt, w
przypadku drugiego o homoskedastyczno
ś
ci reszt. Niespełnianie tych warunków okre
ś
la si
ę
,
odpowiednio, mianem autokorelacji reszt oraz ich heteroskedastyczno
ś
ci.
(
ε
| X)
:
N
(0,
σ
I
)
(1.7)
Warunek ten mówi, i
Ŝ
rozkład reszt jest dla danych warto
ś
ci X normalny, z zerow
ą
warto
ś
ci
ą
oczekiwan
ą
i wariancj
ą σ
2
.
Jest to kolejny powód, dla którego „teoretyczne wartości” zmiennej objaśnianej uzyskane na podstawie
oszacowania modelu róŜnią się od rzeczywistych.
4
4
3. Estymacja modelu liniowego za pomocą klasycznej metody
najmniejszych kwadratów (KMNK)
Zało
Ŝ
enia omówione w poprzedniej cz
ęś
ci musz
ą
by
ć
spełnione
5
, aby parametry liniowego
modelu (1.2) mo
Ŝ
na było oszacowa
ć
za pomoc
ą
klasycznej metody najmniejszych kwadratów
(MNK). Wówczas wektor oszacowa
ń
parametrów modelu (uzyskany przez minimalizacje
sumy kwadratów reszt) ma posta
ć
nast
ę
puj
ą
cego iloczynu macierzy:
a
=
(
XX' )
-
1
X' Y
Oszacowanie wariancji reszt oblicza si
ę
nast
ę
puj
ą
co:
(1.8)
s
2
=
e' e
n
−
k
−
1
(1.9)
gdzie
e
jest wektorem empirycznych reszt modelu. Z kolei estymatory wariancji oszacowania
parametrów modelu (b
ę
d
ą
cych miar
ą
bł
ę
du oszacowania) uzyskuje si
ę
za pomoc
ą
wzoru:
S
2
(
a
)
=
s
2
(
X' X
)
−
1
(1.10)
Je
Ŝ
eli wszystkie wymienione wcze
ś
niej zało
Ŝ
enia (liniowo
ść
warunkowej warto
ś
ci
oczekiwanej, zało
Ŝ
enia 1.5 - 1.7 oraz odpowiedni rz
ą
d macierzy danych) s
ą
spełnione, to
uzyskane estymatory s
ą
nieobci
ąŜ
one, zgodne i najefektywniejsze (maj
ą
najmniejsz
ą
wariancj
ę
ze wszystkich nieobci
ąŜ
onych estymatorów). Spełnianie powy
Ŝ
szych zało
Ŝ
e
ń
nie
pozwala jeszcze stwierdzi
ć
,
Ŝ
e oszacowany model spełnia stawiane przed nim wymagania
(np. pozwala wykorzysta
ć
oszacowania w prognozowaniu lub wyznaczaniu relacji
ekonomicznych mi
ę
dzy zmiennymi). Jest jednak warunkiem koniecznym dla poprawno
ś
ci
oszacowa
ń
uzyskanych za pomoc
ą
MNK.
W przypadku, gdy w modelu wyst
ę
puje tylko jedna zmienna obja
ś
niaj
ą
ca (k=2, a macierz
X
ma wymiary n
x
2) wynik estymacji za pomoc
ą
klasycznej MNK mo
Ŝ
na zilustrowa
ć
za
pomoc
ą
rysunku 1.2.
4. Ocena oszacowania modelu liniowego za pomocą klasycznej MNK
Miernikiem pozwalaj
ą
cym oceni
ć
stopie
ń
dopasowania modelu do danych empirycznych jest
współczynnik determinacji:
ˆ ˆ
[
∑
(
y
i
−
y
)(
y
i
−
y
)]
2
i
=
1
n
R
2
=
ˆ ˆ
[
∑
(
y
i
−
y
)
2
][
∑
(
y
i
−
y
)
2
]
i
=
1
i
=
1
n
n
(1.11)
5
Oprócz warunków, jakie muszą spełniać reszty wymaga się równieŜ mi. in. aby wektor danych
X
był macierzą
o wymiarach n
x
k mającą rząd k.
5

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika:

Zgłoś jeśli naruszono regulamin