Bài giảng Hồi quy tuyến tính đơn biến

Chia sẻ: Nguyễn Toàn | Ngày: | Loại File: PDF | Số trang:87

Thêm vào BST

Báo xấu

65
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Hồi quy tuyến tính đơn biến cung cấp cho người học những kiến thức như: Thực hành hồi qui tuyến tính đơn biến; trực quan hóa kết quả; kiểm tra mô hình trên dữ liệu test; các câu hỏi; giải thích code;...Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Hồi quy tuyến tính đơn biến

SIMPLE LINEAR REGRESSION HỒI QUI TUYẾN TÍNH ĐƠN BIẾN 1. TS. Nguyễn Tấn Trần Minh Khang 2. ThS. Võ Duy Nguyên 3. Cao học. Nguyễn Hoàn Mỹ 4. Tình nguyện viên. Lê Ngọc Huy 5. Tình nguyện viên. Cao Bá Kiệt TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 1
GIỚI THIỆU HỒI QUY TUYẾN TÍNH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 2
Giới thiệu ─ Sir Francis Galton (1822 – 1911). ─ Anthropology and polymathy. ─ Doctoral students Karl Pearson. ─ In the late 1860s, Galton conceived the standard deviation. ─ He created the statistical concept of correlation and also discovered the properties of the bivariate normal distribution and its relationship to regression analysis. ─ https://en.wikipedia.org/wiki/Francis_Galton TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 3
Giới thiệu ─ Simple linear regression – SLR. ─ Hồi qui tuyến tính đơn biến. ─ In statistics, simple linear regression is a linear regression model with a single explanatory variable. ─ Trong thống kê, học máy, hồi quy tuyến tính đơn biến là một mô hình hồi qui tuyến tính với duy nhất một biến độc lập. ─ https://en.wikipedia.org/wiki/Simple_linear_regression TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 4
Giới thiệu ─ Sample points with one independent variable and one dependent variable (conventionally, the x and y coordinates in a Cartesian coordinate system). ─ Điểm dữ liệu là sự tích hợp của một biến phụ thuộc và một biến độc lập. Điểm dữ liệu có thể biểu diễn trên hệ trục tọa độ Cartesian. ─ Finds a linear function (a non-vertical straight line) that, as accurately as possible. ─ Tìm một hàm tuyến tính mà độ chính xác tốt nhất có thể. ─ https://en.wikipedia.org/wiki/Simple_linear_regression TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 5
Giới thiệu ─ Predicts the dependent variable values as a function of the independent variables. ─ Dự báo giá trị của "biến phụ thuộc" dựa theo hàm số của "biến độc lập". ─ Nói một cách trừu tượng hơn thì dự báo giá trị của "biến phụ thuộc" dựa theo mô hình. ─ https://en.wikipedia.org/wiki/Simple_linear_regression TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 6
HỒI QUY TUYẾN TÍNH ĐƠN BIẾN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 7
Hồi quy tuyến tính đơn biến ─ Phát biểu bài toán: + Tập dữ liệu đầu vào: với là các số vô hướng. + Tập dữ liệu đầu ra: trong đó là các số vô hướng. + Các cặp dữ liệu tạo nên tập huấn luyện. + Từ tập huấn luyện ta tìm hàm số , ánh xạ mỗi phần tử từ tập sang một phần tử (xấp xỉ) tương ứng của tập : . ─ Mục đích là xấp xỉ hàm số thật tốt để khi có một dữ liệu mới, chúng ta có thể tính được nhãn tương ứng của nó với . TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 8
Mô hình hồi quy ─ Mô hình hồi quy tuyến tính đơn giản là tìm hàm số có dạng: ─ Trong đó: + Biến được gọi biến độc lập. + Biến được gọi là biến phụ thuộc (biến phụ thuộc vào biến độc lập ). TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 9
Mô hình hồi quy ─ Mô hình hồi quy tuyến tính đơn giản có dạng: ─ và được gọi là các tham số của mô hình. ─ Các tham số và không được biết trước. ─ Các tham số và sẽ được ước lượng dựa vào dữ liệu (we estimate them from data). TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 10
Mô hình hồi quy ─ We will write an estimated regression line based on sample data as: + is the intercept of the line + is the slope of the line. + is the estimatd value of for a given value. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 11
Mô hình hồi quy ─ Slope for the Estimated ─ Where: Regression Equation. + = value of independent variable for observation + = value of dependent ─ for the Estimated variable for observation Regression Equation. + = mean value for independent variable + = mean value for dependent variable. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 12
Mô hình hồi quy ─ Least Squares Criterion ─ Where: + = observed value of the dependent variable for the observation. + = estimated value of the dependent variable for the observation. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 13
VÍ DỤ TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 14
Ví dụ Number of TV Number of Cars ─ Example: Reed Auto Sales Ads(x) Sold(y) ─ Reed Auto periodically has a 1 14 special week-long sale. As 3 24 part of the advertising campaign Reed runs one or 2 18 more television commercials 1 17 during the weekend preceding the sale. Data from a sample 3 27 of 5 previous sales are shown on the next slide. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 15
Number Number of of Cars TV Ads(x) Sold(y) 1 14 -1 -6 6 1 3 24 1 4 4 1 2 18 0 -2 0 0 1 17 -1 -3 3 1 3 27 1 7 7 1 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 16
Ví dụ ─ Slope for the Estimated Number of TV Number of Cars Regression Equation Ads(x) Sold(y) 1 14 3 24 ─ -Intercept for the Estimated Regression Equation 2 18 1 17 ─ Estimated Regression Equation 3 27 . TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 17
ĐÁNH GIÁ MÔ HÌNH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 18
Đánh giá mô hình ─ Least Squares Criterion ─ Where: + = observed value of the dependent variable for the observation. + = estimated value of the dependent variable for the observation. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 19
Đánh giá mô hình TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN, KHU PHỐ 6, PHƯỜNG LINH TRUNG, QUẬN THỦ ĐỨC, TP. HỒ CHÍ MINH [T] 028 3725 2002 101 | [F] 028 3725 2148 | [W] www.uit.edu.vn | [E] info@uit.edu.vn 20