Bài giảng Thống kê trong kinh tế và kinh doanh - Chương 6: Phân tích hồi quy và tương quan

CHƯƠNG VI: PHÂN TÍCH HỒI QUY VÀ

TƯƠNG QUAN

III

I

II

PHÂN TÍCH HỒI

QUY TUYẾN

TÍ NH BỘI

NHỮNG VẤN ĐỀ

CHUNG VỀ

PHÂ N TÍ CH

HỒI QUY VÀ

TƯƠNG QUAN

PHÂN TÍCH HỒI

QUY TUYẾN

TÍNH ĐƠN

I. Những vấn đề chung về phâ n tí ch hồi

quy và tương quan

Mối liên hệ của các hiện tượng kinh tế xã hội

1

2

Nhiệm vụ của phân tích hồi quy và tương quan

1. Mối liên hệ của các hiện tượng kinh tế xã hội

Liên hệ hàm số

Liên hệ tương quan

Liên hệ hàm số

• Khái niệm: liên hệ hàm số là mối liên hệ hoàn toàn

chặt chẽ

• Đặc điểm: Liên hệ được biểu hiện trên từng đơn vị

cá biệt

Liên hệ tương quan

• Khá i niệm: liên hệ tương quan là mối liên hệ khô ng

hoàn toàn chặt chẽ.

• Đặc điểm: Liên hệ khô ng được biểu hiện trên từng

đơn vị cá biệt mà phải quan sá t số lớn

2. Nhiệm vụ của phâ n tí ch hồi quy và tương

quan

 Xâ y dựng phương trình hồi quy.

 Đánh giá trình độ chặt chẽ của mối liên hệ

II. Hồi quy – tương quan đơn

Xây dựng phương trình hồi quy

1

2

Đánh giá phương trình hồi quy

1. Phương trình hồi quy

 Đường hồi quy lý thuyết: là đường điều chỉnh bù trừ các chênh

lệch ngẫu nhiên nêu ra mối liên hệ cơ bản của hiện tượng.

 Phương trình hồi quy: là phương trình xác định vị trí của đường

hồi quy lý thuyết

y



Đường hồi quy lý thuyết

x

0

Phương trình hồi quy tổng thể

Tham số tự do (hệ số chặn)

Hệ số hồi quy (hệ số góc)

Y  ₀ ₁x_i_i

i

Biến độc lập

Biến phụ thuộc

Kết quả

Biến được giải thí ch

Dự bá o

Nội sinh

Câ u trả lời

Nguyên nhâ n

Biến giải thí ch

Cô ng cụ dự bá o

Ngoại sinh

Tá c nhâ n kí ch thí ch

Ý nghĩa các tham số

• β₀: phản á nh ảnh hưởng của cá c nguyên nhâ n khá c

(ngoài nguyên nhâ n x) tới kết quả y

• β₁: phản á nh ảnh hưởng trực tiếp của nguyên nhâ n x tới

kết quả y. Cụ thể, khi x tăng thêm 1 đơn vị thì y thay đổi

bì nh quâ n là β₁đơn vị

β₁> 0: x và y có mối liên hệ thuận (cùng chiều)

β₁< 0: x và y có mối liên hệ nghịch (ngược chiều)

Phương trình hồi quy mẫu

Với một mẫu ngẫu nhiên kích thước n, chúng ta có phương

^{trình hồi quy mẫu như}ˆ^sau:

y_i b₀ b₁x_i

Ước lượng của tham số β₁

Ước lượng của tham số β₀

Giả thiết OLS

+ Giả thiết 1: Mô hình được ước lượng trên cơ sở mẫu ngẫu nhiên

+ Giả thiết 2: Kỳ vọng toán của sai số bằng không

+ Giả thiết 3: Sai số tuân theo quy luật phân bố chuẩn

+ Giả thiết 4: Phương sai của sai số bằng nhau (không đổi)

+ Giả thiết 5: Không có tương quan giữa các phần dư (không có tự tương

quan)

+ Giả thiết 6: Giữa các biến độc lập không có tương quan tuyến tính hoàn

hảo (đa cộng tuyến) - Đối với hồi quy bội.

Nội dung phương phá p OLS

Tì m cá c tham số sao cho tổng bì nh phương cá c

chênh lệch giữa giá trị thực tế và giá trị lý thuyết của

tiêu thức kết quả là nhỏ nhất.

2

ˆ

S  (y_i y_i)  min

S  (y_ib₀b x_i)² min

1

S

 b₀

S





 2(y_ib₀b .x_i)(1)  0

1

y_i n.b₀ b .x_i







1





y_i.x_i b₀x_ib .x_i²

 2(y_ib₀b .x_i)(x_i)  0

1



b



1

Kiểm định hệ số hồi quy

• Giả thuyết:

H₀: _j 0

b_j

• Tiêu chuẩn kiểm định:

T 

se(b_j)

n

 ²

x²

 ²



i

se(b ) 

i1

1

n

se(b₀) 

.

2

n





2

x_i x

n





x_i x





i1

n

2

ˆ





y_iy_i



SSE

 ²



i1

n  2

• Nếu H₀đúng thống kê T sẽ tuân theo quy luật phân phối

student với (n-2) bậc tự do.

Kiểm định hệ số hồi quy

Miền bác bỏ giả thuyết H₀(W_)

- Hai phía: T_qs > t_{/2 ,(n-2)}

- Vế phải: T_qs> t_{ (n-2)}

- Vế trái: T_qs< -t_(n-2)

Ước lượng hệ số hồi quy

b_j t_^n₂^2se(b_j)   _j b_j t_^n₂^2se(b_j)

• Hai phí a:

• Phá i trá i:

• Phá i phải:

n2

    _j b_j t_^{
}se(b_j)



b_j t_^^n2se(b_j)   _j 

Hệ số xá c định

y

n



2

ˆ

y  y

i





SSE 



i





i1

n



2

SST 



y  y



i



n

i1

2

ˆ





SSR 

y  y

i





1



x

0

Hệ số xá c định

n

2

Toàn bộ biến thiên của biến phụ thuộc





SST 

y  y

i



i1

n

2

Biến thiên được giải thích bởi hồi quy

ˆ

SSR 



y_i y





i1

n

2

ˆ

Biến thiên do phần dư





SSE 

y  y

i



i1

SST = SSR + SSE

SSR

SSE

SST

R²

1

Hệ số xác định

SST

Phản ánh phần trăm thay đổi của biến phụ thuộc được giải thích bởi biến độc lập

Kiểm định ý nghĩa mô hì nh

2







H : R  0

H :Môhình khôngcó ý nghia







o

Cặp giả thuyết



2

H₁:Môhình có ý nghia

H₁: R  0

2





SSR R n  2

Tiêu chuẩn kiểm định

F 



SSE



1 R²



n  2

Nếu H₀đúng, thống kê F sẽ tuân theo quy luật phân phối Fisher với bậc tự do (1, n-2)

Với mức ý nghĩa α, Miền bác bỏ giả thuyết H₀khi, F > f_α(1.n-2)

Hệ số tương quan tuyến tí nh

Cô ng thức tí nh

²

x_i²

n

y_i²

n

x

n





ⁱ



_x

xy  x.y

_x _y





r 

 b

¹ _y

 b

1

²

y

n







ⁱ



Hệ số tương quan tuyến tí nh

Tá c dụng

- Xá c định chiều hướng của mối liên hệ

- Đánh giá mức độ chặt chẽ của liên hệ tương quan

tuyến tí nh

Tính chất của hệ số tương quan

Liên hệ hàm số

Không có mối liên hệ

-1

0

+1

Tí nh chất của hệ số tương quan

R²= 1,r = +1

R²= 1, r = -1

Y

^

Y_i= b₀+ b₁X_i

^

Y_i= b₀+ b₁X_i

X

R²< 1, r <1

R²= 0, r = 0

^

Y_i= b₀+ b₁X_i

X

Kiểm định hệ số tương quan

H :   0







o

Cặp giả thuyết

H₁:   0

r

Tiêu chuẩn kiểm định

T 

1 r ²

n  2

Nếu H₀đúng, thống kê T sẽ tuân theo quy luật phân phối student với bậc tự

do (n-2)

Với mức ý nghĩa α, Miền bác bỏ giả thuyết H₀khi

T  t_^n2

2

III. Hồi quy – tương quan bội

Xây dựng phương trình hồi quy

1

2

Đánhgiáphương trình

Phương trình hồi quy tổng thể

Y  ₀ ₁x_1i ₂x_2i.... _kx_ki_i

i

β₀- Tham số tự do (hệ số chặn)

β_j(j=1-k) Hệ số hồi quy riêng

Ý nghĩa hệ số hồi quy

• β_j: phản á nh ảnh hưởng thuần của nguyên nhâ n x_jtới

kết quả y (khi cá c yếu tố khá c khô ng đổi). Cụ thể, khi x_j

tăng thêm 1 đơn vị thì y thay đổi trung bì nh là β_jđơn vị

Phương trình hồi quy mẫu

Với một mẫu ngẫu nhiên kí ch thước n, chúng ta có phương

trì nh hồi quy mẫu như sau:

ˆ

y_i b₀ b x  b₂x_2i..... b_kx_ki

1 1i

b_j: Ước lượng của tham số β_j

Kiểm định hệ số hồi quy

H₀:  _j 0

• Giả thuyết:

b_j

T 

• Tiêu chuẩn kiểm định:

se(b_j)

• Nếu H₀đúng thống kê T sẽ tuân theo quy luật phân phối

student với (n-k-1) bậc tự do.

Kiểm định hệ số hồi quy

Miền bác bỏ giả thuyết H₀(W_)

- Hai phía: T_qs > t_{/2 ,(n-k-1)}

- Vế phải: T_qs> t_{ (n-k-1)}

- Vế trái: T_qs< -t_(n-k-1)

Ước lượng hệ số hồi quy

b_jt_^
n₂^k1se(b_j)   _j b_j t_^
n₂^k1se(b_j)

    _j b_j t_^{
nk1}se(b_j)

• Hai phí a:

• Phái trái:

• Phái phải:

b t^{
nk1}se(b_j)   _j 

j



Hệ số hồi quy chuẩn hoá

_xj

• Cô ng thức:

Bêta_j b_j

 _y

• Biểu hiện vai trò của từng biến độc lập tới biến thuộc

Hệ số xác định

n

2

Toàn bộ biến thiên của biến phụ thuộc

Biến thiên được giải thích bởi hồi quy





SST 

y  y

i



i1

n

2

ˆ

SSR 



y_i y





i1

n

2

ˆ





Biến thiên do phần dư SSE 

y  y

i



i1

SST = SSR + SSE

SSR

SSE

SST

Hệ số xác định R²

1

SST

Phản ánh phần trăm thay đổi của biến phụ thuộc được giải thích bởi các biến độc lập

Hệ số xá c định điều chỉnh

SSE

(1 R²)(n1)

2

n k 1

SST

Hệ số xác định điều chỉnh R_adj1

1

nk 1

n 1

Dùng để so sánh, đánh giá độ phù hợp của mô hình khi số lượng biến trong

mô hình hồi quy khác nhau

Khi k >1 thì R²_adj≤ R²≤1

K càng lớn R²càng nhỏ so với R²

adj

R²_adjcó thể âm, sẽ quy ước R²_adj= 0

Kiểm định ý nghĩa mô hì nh

2







H : R  0

o

Cặp giả thuyết



2

H₁: R  0

SSR

R²



n  k 1



k

SSE

Tiêu chuẩn kiểm định

F 



k



1 R²



n  k 1

Nếu H₀đúng, thống kê F sẽ tuân theo quy luật phân phối Fisher với bậc tự do

(k, n-k-1)

Với mức ý nghĩa α, Miền bác bỏ giả thuyết H₀khi, F > f_{α(k, n-k-1)}

Hệ số tương quan chung

SSE

SST

SSR

SST

 R²

Công thức

R  1



Ứng dụng SPSS trong phân tích HQ

Analyze > Regression > Linear…

Đưa biến phụ thuộc sang

Dependent

Đưa các biến độc lập sang

Independent(s)

37