Bài giảng Chương 2: Mô hình hồi quy hai biến

Chia sẻ: Codon_11 Codon_11 | Ngày: | Loại File: PDF | Số trang:9

Thêm vào BST

Báo xấu

251
lượt xem 17
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Chương 2: Mô hình hồi quy hai biến tập trung trình bày các vấn đề cơ bản về hàm hồi quy tổng thể và hàm hồi quy mẫu; phương pháp bình phương nhỏ nhất; kiểm định mô hình hồi quy;... Mời các bạn cùng tìm hiểu và tham khảo nội dung thông tin tài liệu.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Chương 2: Mô hình hồi quy hai biến

I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU Chương 2 1. Hàm hồi quy tổng thể của hồi quy 2 biến Trong quan hệ hồi quy , một biến phụ thuộc có thể ñược MÔ HÌNH HỒI QUY giải thích bởi nhiều biến ñộc lập HAI BIẾN Nếu chỉ nghiên cứu một biến phụ thuộc bị ảnh hưởng bởi một biến ñộc lập => Mô hình hồi quy hai biến Nếu mối quan hệ giữa hai biến này là tuyến tính => Mô hình hồi quy tuyến tính hai biến I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU QUY MẪU Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến PRF : Y i = β 1 + β 2 X i + U i PRF : Y i = β 1 + β 2 X i + U i Trong ñó Trong ñó β1,β2 là các tham số của mô hình với ý nghĩa : Y : Biến phụ thuộc β1 : Là giá trị trung bình của biến phụ thuộc Y khi Yi : Giá trị cụ thể của biến phụ thuộc biến ñộc lập X nhận giá trị bằng 0 X : Biến ñộc lập β2 : Là lượng thay ñổi trung bình của Y khi X thay Xi : Giá trị cụ thể của biến ñộc lập ñổi 1 ñơn vị Ui : Sai số ngẫu nhiên ứng với quan sát thứ i ðồ thị minh họa I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU 7 Tiêu dùng Y (trieu ñong/tháng ) PRF 2. Hàm hồi quy mẫu của hồi quy 2 biến 6 Ui Yˆi = β1 + β 2 X i 5 4 Trong thực tế rất khó nghiên cứu trên tổng thể nên thông thường người ta nghiên cứu xây dựng hàm hồi 3 Yi quy trên một mẫu => Gọi là hàm hồi quy mẫu 2 1 0 0 1 2 3 4 5 6 7 8 Thu nhập X (triệu ñồng/tháng)
ðồ thị minh họa I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU 7 Tiêu dùng Y (trieu ñong/tháng ) 6 SRF 2. Hàm hồi quy mẫu của hồi quy 2 biến 5 ei Yˆi =βˆ1 +βˆ2Xi 4 SRF : Yi = βˆ1 + βˆ2 X i + ei 3 Trong ñó Yi 2 βˆ là ước lượng của β1 1 βˆ2 1 βˆ1 βˆ2 Là ước lượng của β2 0 0 1 2 3 4 5 6 7 8 ei Sai số ngẫu nhiên , là ước lượng của Ui Thu nhập X (triệu ñồng/tháng) I. HÀM HỒI QUY TỔNG THỂ VÀ HÀM HỒI QUY MẪU 7 Tiêu dùng Y (tri eu ñong/tháng ) 2. Hàm hồi quy mẫu của hồi quy 2 biến 6 SRF ei 5 SRF : Yi = βˆ1 + βˆ2 X i + ei ei 4 ei ei Nếu bỏ qua sai số ngẫu nhiên ei , thì giá trị thực tế Yi sẽ 3 ei ei trở thành giá trị ước lượng Yˆ 2 i SRF : Yˆi = βˆ1 + βˆ2 X i ei 1 0 0 1 2 3 4 5 6 7 8 Thu nh?p X (tri?uñ?ng /tháng) II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) NHẤT (OLS) Giải bài toán cực trị hàm hai biến , ta ñược n 1. Ước lượng các tham số của mô hình ∑Y X i i − n . X .Y Giá trị thực tế Yi = βˆ1 + βˆ2 X i + ei βˆ 2 = i =1 n Giá trị ước lượng Yˆ = βˆ + βˆ X i 1 2 i ∑X i =1 i 2 − n .( X ) 2 Sai số ei = Yi − Yˆi = Yi − βˆ1 − βˆ2 X i βˆ1 = Y − βˆ 2 X Tìm βˆ1 , βˆ2 sao cho tổng bình phương sai số là nhỏ nhất Với X = ∑X ( ) → min i Tức là n n 2 là giá trị trung bình của X và ∑ e = ∑ Yi − βˆ1 − βˆ2 X i 2 n ∑ Yi i i =1 i =1 Tại sao chúng ta không tìm Σei nhỏ nhất ? Y = là giá trị trung bình của Y và n
STT Xi Yi Xi*Yi Xi2 Ví dụ áp dụng 1 31 29 899 961 2 50 42 2100 2500 Quan sát về thu nhập (X – triệu ñồng/năm) và chi tiêu (Y 3 47 38 1786 2209 ∑X i = 432 ⇒ X = 43,2 – triệu ñồng/năm) của 10 người, ta ñược các số liệu sau : 4 45 30 1350 2025 ∑Y = 358 ⇒ Y = 35,8 i Xi 31 50 47 45 39 50 35 40 45 50 5 6 39 50 29 41 1131 2050 1521 2500 ∑ X Y = 15851 i i Yi 29 42 38 30 29 41 23 36 42 48 7 35 23 805 1225 ∑ X =19066 i 2 8 40 36 1440 1600 9 45 42 1890 2025 Xây dựng hàm hồi quy mẫu Yˆi = βˆ1 + βˆ2 X i 10 50 48 2400 2500 TC 432 358 15851 19066 TB 43.2 35.8 Kết quả ví dụ : n Hàm hồi quy mẫu ∑Y X i i − n. X .Y 15851 − 10 × 43,2 × 35,8 βˆ2 = = Yˆi = −5,4517 + 0,9549 X i i =1 n 19066 − 10 × ( 43,2) 2 ∑ X i2 − n.( X ) 2 i =1 Ý nghĩa : … = 0,9549 βˆ1 = Y − βˆ2 X = 35,8 − 0,9549× 43,2 = −5,4517 II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) NHẤT (OLS) 2. Các giả thiết của mô hình 2. Các giả thiết của mô hình Giả thiết 1 : Các giá trị Xi cho trước và không ngẫu nhiên Giả thiết 4 : Không có sự tương quan giữa các Ui Giả thiết 5 : Không có sự tương quan giữa Ui và Xi Giả thiết 2 : Các sai số Ui là ñại lượng ngẫu nhiên có giá Khi các giả thiết này ñược ñảm bảo thì các ước lượng trị trung bình bằng 0 tính ñược bằng phương pháp OLS là các ước lượng tốt nhất và hiệu quả nhất của hàm hồi quy tổng thể Giả thiết 3 : Các sai số Ui là ñại lượng ngẫu nhiên có phương sai không thay ñổi Ta nói, ước lượng OLS là ước lượng BLUE (Best Linear Unbias Estimator)
II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) NHẤT (OLS) 3. Hệ số xác ñịnh của mô hình 3. Hệ số xác ñịnh của mô hình Tổng bình phương toàn phần TSS (Total Sum of Squares) Yi TSS = ∑ (Yi − Y ) = ∑ Yi 2 − n(Y ) 2 2 (Yi − Yˆ ) SRF RSS i −Y ) (YTSS Tổng bình phương hồi quy ESS (Explained Sum of Squares) Yˆi ˆ −Y ) (YESS ESS = ∑ (Yˆi − Y ) = βˆ22 (∑ X i2 − nX 2 ) 2 i Y Tổng bình phương phần dư RSS (Residual Sum of Squares) RSS = ∑ (Yi −Yˆi ) 2 = ∑ ei2 O Xi II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Ví dụ áp dụng 3. Hệ số xác ñịnh của mô hình Từ số liệu ñã cho của ví dụ trước , yêu cầu tính hệ số xác Người ta chứng minh ñược TSS = ESS + RSS ñịnh của mô hình ESS Hệ số xác ñịnh R2 = TSS •0 ≤ R2 ≤ 1 •R2 = 1 : mô hình hoàn toàn phù hợp với mẫu nghiên cứu •R2 = 0 : mô hình không phù hợp với mẫu nghiên cứu STT Xi Yi Xi*Yi Xi2 Yi2 III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1 31 29 899 961 841 1. Các ñại lượng ngẫu nhiên 2 50 42 2100 2500 1764 a. ðại lượng ngẫu nhiên Ui 3 47 38 1786 2209 1444 Theo giả thiết của phương pháp OLS, Ui là ñại lượng 4 45 30 1350 2025 900 ngẫu nhiên có giá trị trung bình bằng 0 và phương 5 39 29 1131 1521 841 sai không thay ñổi 6 50 41 2050 2500 1681 Giả sử Ui ~ N(0,σ2) 7 35 23 805 1225 529 8 40 36 1440 1600 1296 Khi ñó σ2 ñược gọi là phương sai của tổng thể , rất khó 9 45 42 1890 2025 1764 tính ñược nên thường ñược ước lượng bằng phương sai 10 50 48 2400 2500 2304 mẫu TC TB 432 43.2 358 35.8 15851 19066 13364 σˆ 2 = ∑e2 i = ∑ (Y − Yˆ ) i i 2 = RSS n−2 n−2 n−2
III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên 1. Các ñại lượng ngẫu nhiên a. ðại lượng ngẫu nhiên Ui b. ðại lượng ngẫu nhiên βˆ , βˆ 1 2 Vì sao βˆ1 , βˆ2 là các ñại lượng ngẫu nhiên ? Ta có Yi = β1 + β 2 X i + U i Giả sử : βˆ1 ~ N ( β1 , σ β2ˆ ) 1 Vì Ui ~ N(0,σ2) βˆ2 ~ N ( β 2 , σ β2ˆ ) 2 Nên Yi ~ N(β1+β2Xi,σ2) Trong ñó σ β2ˆ là phương sai của βˆ1 1 σ β2ˆ là phương sai của βˆ2 2 III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 1. Các ñại lượng ngẫu nhiên 2. Các khoảng tin cậy Với σ β2ˆ = ∑X i 2 σˆ 2 a. Khoảng tin cậy của β2 1 n ( ∑ X − nX i 2 2 ) Khoảng tin cậy của β2 với ñộ tin cậy 1-α là σˆ 2  ˆ  σ β2ˆ =  β 2 − t α × se ( βˆ 2 ); βˆ 2 + t α × se ( βˆ 2 )  2 ∑X i 2 − nX 2   2 2   se( βˆ1 ) = σ β2ˆ ñộ lệch chuẩn của βˆ1 Với tα có ñược khi tra bảng t-Student với bậc tự 1 2 se( βˆ2 ) = σ 2 βˆ ñộ lệch chuẩn của βˆ 2 do (n-2), mức ý nghĩa α/2 2 III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Các khoảng tin cậy Ví dụ áp dụng b. Khoảng tin cậy của β1 Từ số liệu ñã cho của ví dụ trước , yêu cầu tính khoảng tin cậy của β1, β2 với ñộ tin cậy 95% Khoảng tin cậy của β1 với ñộ tin cậy 1-α là  ˆ   β 1 − t α × se ( βˆ1 ); βˆ1 + t α × se ( βˆ1 )     2 2  Giải thích ý nghĩa của ñộ tin cậy (1- α), ví dụ (1- α) =95%?
III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY Nhắc lại về giả thiết H0 Trong thống kê, giả thiết phát biểu cần ñược kiểm ñịnh ðặt α là khả năng mắc sai lầm loại I ñược gọi là giả thiết không ( ký hiệu : H0). Giả thiết ñối ⇒ α là mức ý nghĩa của kiểm ñịnh ñược ký hiệu là giả thiết H1 ⇒ 1- α là ñộ tin cậy của kiểm ñịnh Báo bỏ H0 Chấp nhận H0 H0 sai ðúng Sai lầm loại II Chú ý H0 ñúng Sai lầm loại I ðúng Khi nói “chấp nhận giả thiết H0”, không có nghĩa H0 ñúng. Người ta thường ñặt giả thiết H0 sao cho sai lầm loại I là Lựa chọn mức ý nghĩa α : α có thể tùy chọn, nghiêm trọng ( nguy hiểm) hơn sai lầm loại II thường người ta chọn mức 1%, 5%, hoặc 10%. III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 3. Kiểm ñịnh giả thiết về hệ số hồi quy Các giả thiết cần kiểm ñịnh gồm a. Kiểm ñịnh giả thiết về β2 Các giả thiết về hệ số hồi quy Kiểm ñịnh hệ số xác ñịnh của mô hình Giả thiết Ho:β2 = βo ñộ tin cậy là 1-α Các cách kiểm ñịnh cơ bản : H1:β2 ≠ βo o Phương pháp khoảng tin cậy o Phương pháp giá trị tới hạn o Phương pháp p-value ( dùng máy vi tính) III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 3. Kiểm ñịnh giả thiết về hệ số hồi quy 2. Kiểm ñịnh giả thiết về hệ số hồi quy a. Kiểm ñịnh giả thiết về β2 a. Kiểm ñịnh giả thiết về β2 Phương pháp khoảng tin cậy Phương pháp giá trị tới hạn (kiểm ñịnh t) Bước 1 : Lập khoảng tin cậy của β2 βˆ − β Bước 1 : tính giá trị tới hạn t = 2 ˆ 0 Bước 2 : Nếu β0 thuộc khoảng tin cậy thì chấp se( β 2 ) nhận H0. Nếu β0 không thuộc khoảng tin cậy thì Bước 2 : tra bảng t-Student với bậc tự do (n-2) tìm tα/2 bác bỏ H0 Bước 3 : Nếu -tα/2 ≤ t ≤ tα/2 : chấp nhận giả thiết H0 Nếu t < -tα/2 hoặc t > tα/2 : bác bỏ giả thiết H0
III. KiỂM ðỊNH MÔ HÌNH HỒI QUY III. KiỂM ðỊNH MÔ HÌNH HỒI QUY 2. Kiểm ñịnh giả thiết về hệ số hồi quy 2. Kiểm ñịnh giả thiết về hệ số hồi quy a. Kiểm ñịnh giả thiết về β2 b. Kiểm ñịnh giả thiết về β1 Phương pháp p-value Ho:β1 = βo Với ñộ tin cậy là 1-α βˆ − β H1:β1 ≠ βo Bước 1 : tính giá trị tới hạn t = 2 ˆ 0 se( β 2 ) Tương tự kiểm ñịnh giả thiết về β2 nhưng giá trị Bước 2 : Tính p_value = P(|t| > |tα/2|) tới hạn lúc này là (tức là khả năng giả thiết H0 bị bác bỏ) Bước 3 : Nếu p_value ≥ α : chấp nhận giả thiết H0 βˆ1 − β 0 t= Nếu p_value < α : bác bỏ giả thiết H0 se( βˆ1 ) III. KiỂM ðỊNH MÔ HÌNH HỒI QUY Ví dụ áp dụng 3. Kiểm ñịnh sự phù hợp của mô hình Từ số liệu ñã cho của ví dụ trước , yêu cầu kiểm ñịnh các Kịểm ñịnh giả thiết giả thiết sau Ho:R2 = 0 Với ñộ tin cậy là 1- α H1:R2 ≠ 0 a) Ho:β2 = 0 Phương pháp kiểm ñịnh F Với ñộ tin cậy là 95% H1:β2 ≠ 0 R 2 (n − 2) Bước 1 : tính F = b) Ho:β1 = 0 (1 − R 2 ) Với ñộ tin cậy là 95% H1:β1 ≠ 0 Bước 2 : Tra bảng tìm F(1,n-2), mức ý nghĩa là α Bước 3 : Nếu F>F(1,n-2) , bác bỏ H0 Nếu F≤F(1,n-2) , chấp nhận H0 Câu hỏi Câu hỏi Ho:β2 = 0 Ho:β2 = 0 Việc kiểm ñịnh giả thiết H1:β2 ≠ 0 ñộ tin cậy là (1-α) Việc kiểm ñịnh giả thiết H1:β2 ≠ 0 ñộ tin cậy là (1-α) có ý nghĩa như thế nào? có ý nghĩa như thế nào? Ho:R2 = 0 Việc kiểm ñịnh giả thiết H1:R2 ≠ 0 ñộ tin cậy là (1-α) có ý nghĩa như thế nào?
IV. SỬ DỤNG MÔ HÌNH HỒI QUY IV. SỬ DỤNG MÔ HÌNH HỒI QUY 1. Trình bày kết quả hồi quy 1. Trình bày kết quả hồi quy Kết quả hồi quy ñược trình bày như sau : Kết quả hồi quy trong ví dụ trước : Yˆi = 1 βˆ + βˆ2 X i R 2 Yˆi = − 5,4517 + 0,9549 X i 0,672 se se( βˆ1 ) se( βˆ2 ) df se t t ( βˆ1 ) t ( βˆ2 ) t p _ value p ( βˆ1 ) p ( βˆ2 ) p _ value IV. SỬ DỤNG MÔ HÌNH HỒI QUY IV. SỬ DỤNG MÔ HÌNH HỒI QUY 2. Vấn ñề dự báo 2. Vấn ñề dự báo Giả sử SRF : Yˆi = βˆ1 + βˆ2 X i Với 1 ( X 0 − X )2  σ Y2ˆ = σ 2  +  Khi X=X0 thì ước lượng trung bình của Y0 sẽ là 0  n ∑ X i2 − n( X ) 2  Yˆ0 = βˆ1 + βˆ2 X 0 se (Yˆ0 ) = σ Y2ˆ 0 Yˆ0 là ñại lượng ngẫu nhiên có phân phối chuẩn Khoảng tin cậy giá trị trung bình của Y0 với ñộ tin cậy (1-α) là Yˆ0 ~ N (β1 + β2 X 0 ,σ Y2ˆ ) 0 ˆ   Y0 − t α × se(Yˆ0 ); Yˆ0 + t α × se(Yˆ0 )  Vì sao Yˆ0 là ñại lượng nhẫu nhiên ?    2 2  Cho kết quả hồi quy giữa Y – doanh số bán (trñ/tấn) và X Ví dụ áp dụng - giá bán ( ngàn ñồng/kg) như sau : Từ số liệu ñã cho của ví dụ trước , yêu cầu dự báo khoảng Yˆ = 18,8503 − 1,0958 X i 0,8681 giá trị của Y khi X0 = 60 (triệu ñồng/năm) với ñộ tin cậy se 1,5729 0,1743 df = 6 95% t 11,9837 − 6,2842 a) Nêu ý nghĩa kinh tế của các hệ số hồi quy b) Xét xem giá bán có ảnh hưởng ñến doanh số bán không (với mức ý nghĩa 5%)? c) Nếu giá bán là 8,5 ngàn ñồng /kg thì doanh số bán trung bình là bao nhiêu (ñộ tin cậy 95%)?