Đang tải bài học…

AP Statistics

đường hồi quy bình phương tối thiểu

least-squares regression line

Còn gọi: đường hồi quy · LSRL · regression line · least-squares line

Đường hồi quy bình phương tối thiểu là đường thẳng có tổng bình phương các phần dư nhỏ nhất trong mọi đường vẽ qua đám mây điểm.

Khi khảo sát mối quan hệ giữa hai biến định lượng, ta thường muốn tìm một đường thẳng tóm tắt xu hướng chung của đám mây điểm trên biểu đồ phân tán (scatterplot). Trong vô số đường có thể vẽ, đường hồi quy bình phương tối thiểu (least-squares regression line) là đường duy nhất khiến tổng bình phương của mọi phần dư (residual) không thể nhỏ hơn được nữa. Nói cách khác, nếu đo khoảng cách dọc từ mỗi điểm đến đường rồi bình phương tất cả các khoảng cách ấy, đường bình phương tối thiểu chính là đường cho tổng nhỏ nhất.

Về mặt công thức, đường có phương trình $\hat{y} = a + bx$ , với hệ số góc $b = r \cdot \frac{s_y}{s_x}$ và hệ số chặn $a = \bar{y} - b\bar{x}$ . Vì $b$ phụ thuộc vào hệ số tương quan $r$ cùng độ lệch chuẩn (standard deviation) của cả hai biến, dấu của hệ số góc luôn trùng với dấu của $r$ . Nhờ công thức tính $a$ , đường luôn đi qua điểm trung bình $(\bar{x},\, \bar{y})$ của dữ liệu; do đó dù đám mây điểm nằm ở đâu trên mặt phẳng tọa độ, đường hồi quy vẫn đi đúng qua tâm của nó.

Tuy nhiên, đường hồi quy không đối xứng giữa hai biến: đổi vai trò $x$ và $y$ sẽ cho ra một đường hoàn toàn khác, bởi đường bình phương tối thiểu được xây dựng để cực tiểu hóa sai số theo phương thẳng đứng. Vì vậy, trước khi tin vào bất kỳ dự đoán nào từ đường, ta cần vẽ biểu đồ phần dư để kiểm tra tính phù hợp của mô hình tuyến tính. Nếu phần dư phân bố ngẫu nhiên quanh đường $0$ , mô hình tuyến tính mô tả dữ liệu tốt; ngược lại, nếu chúng tạo thành hình cong hoặc hình quạt, ta cần cân nhắc biến đổi biến hoặc tìm mô hình phi tuyến.

Ký hiệu

\hat{y} = a + bx

Hay nhầm với

Thuật ngữKhác nhau ở đâuHay nhầm khi

đường hồi quyregression line

Khác nhau ở đâuĐường hồi quy là khái niệm tổng quát chỉ bất kỳ đường khớp nào, còn đường hồi quy bình phương tối thiểu là đường duy nhất cực tiểu hóa tổng bình phương phần dư

Hay nhầm khiđề hỏi "the least-squares line" mà thí sinh nhầm với đường nối hai điểm bất kỳ hoặc đường ước tính bằng mắt

quan sát có ảnh hưởnginfluential observation

Khác nhau ở đâuĐiểm có đòn bẩy cao nằm xa theo trục biến giải thích, còn quan sát có ảnh hưởng là điểm mà khi loại bỏ thì hệ số góc của đường hồi quy bình phương tối thiểu thay đổi đáng kể

Hay nhầm khiđề cho một điểm nằm xa góc biểu đồ và hỏi nó tác động đến đường hồi quy như thế nào

Công thức

\hat{y} = \htmlClass{fp-0}{a} + \htmlClass{fp-1}{b}x

Dùng để dự đoán giá trị của biến phụ thuộc y từ một giá trị cho trước của biến độc lập x, dựa trên đường thẳng làm cực tiểu tổng bình phương phần dư (residual).

Trong đó

\hat{y}

giá trị dự đoán của biến phụ thuộc

a

hệ số chặn — giá trị của \hat{y} khi x = 0

b

hệ số góc — lượng thay đổi của \hat{y} khi x tăng thêm 1

x

giá trị của biến độc lập

b = \htmlClass{fp-0}{r} \cdot \htmlClass{fp-1}{\frac{s_y}{s_x}}

Dùng để tính hệ số góc của đường hồi quy khi đã biết hệ số tương quan r và độ lệch chuẩn của hai biến; công thức này xuất hiện trực tiếp trên formula sheet của kỳ thi AP.

Trong đó

b

hệ số góc của đường hồi quy

r

hệ số tương quan tuyến tính giữa x và y

s_y

độ lệch chuẩn của biến phụ thuộc y

s_x

độ lệch chuẩn của biến độc lập x

a = \bar{y} - b\bar{x}

Dùng để tính hệ số chặn sau khi đã có hệ số góc b; công thức này đảm bảo đường hồi quy luôn đi qua điểm $(\bar{x},\, \bar{y})$ — điểm trung tâm của tập dữ liệu.

Trong đó

a

hệ số chặn của đường hồi quy

\bar{y}

giá trị trung bình của biến phụ thuộc y

b

hệ số góc đã tính ở công thức trên

\bar{x}

giá trị trung bình của biến độc lập x

Khái niệm này sinh ra từ đâu

đầu thế kỷ 19Adrien-Marie LegendreCarl Friedrich GaussRobert AdrainPierre-Simon LaplaceFrancis GaltonKarl Pearson

Phương pháp bình phương tối thiểu được Adrien-Marie Legendre và Carl Friedrich Gauss tìm ra độc lập với nhau vào đầu thế kỷ 19, xuất phát từ nhu cầu rút ra một giá trị "tốt nhất" từ nhiều quan sát sai lệch. Chữ "hồi quy" thì đến gần một thế kỷ sau mới được Francis Galton đặt, và Karl Pearson là người ghép hai thứ đó lại thành cái tên ta dùng hôm nay.

Bài toán khởi đầu không phải là dự đoán mà là sai số: khi nhiều lần đo cùng một đại lượng cho ra những con số vênh nhau, nhà nghiên cứu phải chọn lấy một giá trị đại diện. Legendre và Gauss, mỗi người một ngả, đề xuất cùng một lời giải là chọn đường thẳng làm tổng bình phương các độ lệch nhỏ nhất; Robert Adrain cũng nêu ý tưởng tương tự vào năm 1808. Đến năm 1810, Laplace dùng định lý giới hạn trung tâm (central limit theorem) để biện minh cho phương pháp này trên mẫu lớn, và năm 1822 Gauss chứng minh nó cho ước lượng tốt nhất trong lớp ước lượng tuyến tính không chệch — kết quả nay mang tên định lý Gauss–Markov (Gauss–Markov theorem).

Vì sao mang đúng cái tên này? Cái tên nghe vô lý nhất nằm ở chữ "hồi quy", vì bản thân phép tính chẳng "quay về" đâu cả. Nửa sau thế kỷ 19, Galton nghiên cứu chiều cao của cha mẹ và con cái rồi nhận thấy con của những người rất cao lại có xu hướng thấp hơn cha mẹ, tức là kéo trở lại phía giá trị trung bình; ông gọi hiện tượng đó là hồi quy về trung bình (regression to the mean). Điều thú vị là Galton không hề dùng phương pháp bình phương tối thiểu — ông chỉ ước lượng đường thẳng bằng mắt. Người nối hai mạch lại là Pearson: khi vẽ chiều cao cha mẹ theo trục hoành và chiều cao con theo trục tung, ông thấy đường khớp tốt nhất theo tiêu chuẩn bình phương tối thiểu có hệ số góc nhỏ hơn 1, đúng là dạng toán học của hiện tượng Galton mô tả. Do đó ông gọi luôn đường ấy là "đường hồi quy", và đến khoảng năm 1901 thì "regression line" đã được dùng để chỉ ước lượng bình phương tối thiểu. Vì vậy, tên gọi ngày nay là sự chồng lên nhau của hai câu chuyện: phần "bình phương tối thiểu" đến từ tiêu chuẩn tính toán, còn phần "hồi quy" đến từ một quan sát về di truyền chẳng liên quan gì tới tiêu chuẩn ấy.

Nguồn đối chiếu

Hay hiểu sai

Hệ số góc nói về thay đổi DỰ ĐOÁN trung bình, không phải thay đổi thật của từng cá thể.

Khi $x$ lệch 5 đơn vị, chênh lệch dự đoán bằng 5 lần hệ số góc, không phải một lần.

Đường hồi quy luôn đi qua điểm $(\bar{x}, \bar{y})$ , dù có thể không đi qua điểm dữ liệu nào.

"Bình phương tối thiểu" là tối thiểu tổng bình phương phần dư theo chiều dọc, không phải khoảng cách vuông góc.

Mẹo phòng thi

Hệ số góc phải diễn giải đủ bốn mảnh: con số, đơn vị $y$ , “khi $x$ tăng 1”, “dự đoán”.

Đừng thay giá trị nằm ngoài khoảng dữ liệu vào phương trình.

Với câu trắc nghiệm chỉ cần thay số, hãy làm bằng tay và soi lại thứ tự phép tính.

Tần suất trong đề AP Statistics

Ví dụ có lời giải

1Ví dụ 1/2

Một chuỗi siêu thị muốn khảo sát mối liên hệ giữa doanh thu mỗi ngày của hai chi nhánh A và B. Người ta ghi lại doanh thu mỗi ngày (đơn vị: đô la) của cả hai chi nhánh trong 10 ngày liên tiếp, rồi dùng dữ liệu đó để lập đường hồi quy bình phương tối thiểu

\hat{y} = -3000 + 1.2x

, trong đó

x

là doanh thu mỗi ngày của chi nhánh A và

y

là doanh thu mỗi ngày của chi nhánh B. Biết trung bình doanh thu mỗi ngày của chi nhánh A trong 10 ngày này là 5500 đô la.

aHãy nêu ý nghĩa của hệ số góc trong bối cảnh bài toán.
bTính trung bình doanh thu mỗi ngày của chi nhánh B trong 10 ngày được khảo sát.
cTheo mô hình, doanh thu dự đoán của chi nhánh B trong một ngày mà chi nhánh A bán được 6000 đô la nhiều hơn bao nhiêu so với một ngày mà chi nhánh A bán được 5000 đô la?

1Bước 1: Trước hết cần đọc đúng từng thành phần của phương trình. Dấu mũ trên

\hat{y}

cho biết đây là giá trị dự đoán của doanh thu chi nhánh B chứ không phải doanh thu thực tế đã quan sát được; hệ số

1.2

là hệ số góc (slope) và

-3000

là hệ số chặn (intercept). Vì vậy mọi câu trả lời phía sau đều phải mang sắc thái "dự đoán", không được nói chắc như một sự thật đã đo.

2Bước 2: Với ý (a), hệ số góc luôn được diễn giải là mức thay đổi của biến phản hồi khi biến giải thích tăng một đơn vị. Ở đây một đơn vị của

x

là một đô la doanh thu của chi nhánh A, nên: mỗi khi doanh thu một ngày của chi nhánh A tăng thêm 1 đô la, doanh thu dự đoán của chi nhánh B trong ngày đó tăng thêm 1.2 đô la. Cần nhớ đây chỉ là liên hệ thống kê giữa hai chi nhánh, không có nghĩa việc bán thêm ở A gây ra doanh thu cao hơn ở B.

3Bước 3: Ý (b) khai thác một tính chất then chốt: đường hồi quy bình phương tối thiểu luôn đi qua điểm

(\bar{x}, \bar{y})

. Do đó thay

\bar{x} = 5500

vào phương trình sẽ ra ngay trung bình của

y

\bar{y} = -3000 + 1.2(5500) = -3000 + 6600 = 3600.

Nói cách khác, trung bình doanh thu mỗi ngày của chi nhánh B trong 10 ngày là 3600 đô la. Đây là trường hợp hiếm hoi mà thay số vào phương trình cho ra một giá trị thực chứ không chỉ là dự đoán.

4Bước 4: Với ý (c), có thể tính riêng từng giá trị rồi trừ:

\hat{y}_1 = -3000 + 1.2(6000) = 4200

và

\hat{y}_2 = -3000 + 1.2(5000) = 3000

, nên chênh lệch là

4200 - 3000 = 1200

đô la. Cách nhanh hơn là dùng thẳng hệ số góc, vì hệ số chặn triệt tiêu khi lấy hiệu:

1.2 \times (6000 - 5000) = 1200

. Hai cách cho cùng một kết quả, và cách thứ hai giải thích vì sao mọi câu hỏi dạng "chênh lệch dự đoán" chỉ cần đến hệ số góc.

Hệ số góc $1.2$ cho biết cứ mỗi đô la doanh thu tăng thêm trong ngày ở chi nhánh A thì doanh thu dự đoán của chi nhánh B tăng thêm 1.2 đô la. Vì đường hồi quy đi qua điểm trung bình, doanh thu trung bình mỗi ngày của chi nhánh B trong 10 ngày là 3600 đô la. Cuối cùng, một ngày mà chi nhánh A bán được 6000 đô la có doanh thu dự đoán ở chi nhánh B cao hơn 1200 đô la so với ngày chi nhánh A bán được 5000 đô la.

2Ví dụ 2/2

Một nhà nghiên cứu thu thập dữ liệu về vĩ độ (số độ về phía bắc xích đạo) và nhiệt độ thấp trung bình (độ F) của một mẫu ngẫu nhiên các thành phố châu Âu. Các thống kê tóm tắt thu được như sau: vĩ độ có trung bình

\bar{x} = 48.0

và độ lệch chuẩn

s_x = 8.4

; nhiệt độ thấp trung bình có

\bar{y} = 31.9

và

s_y = 7.0

; hệ số tương quan giữa hai biến là

r = -0.84

. Đồ thị phần dư không cho thấy dạng cong nào rõ rệt.

aLập phương trình đường hồi quy bình phương tối thiểu dùng vĩ độ để dự đoán nhiệt độ thấp trung bình.
bMột thành phố trong mẫu nằm ở vĩ độ 55 độ bắc và có nhiệt độ thấp trung bình thực tế là 24.6 độ F. Tính giá trị dự đoán và phần dư của thành phố này, rồi cho biết mô hình đã dự đoán cao hay thấp.
cNêu ý nghĩa của $r^2$ trong bối cảnh bài toán.

1Bước 1: Khi đề chỉ cho các thống kê tóm tắt chứ không cho bảng số liệu thô, ta dựng đường hồi quy bằng hai công thức quen thuộc. Hệ số góc được tính từ hệ số tương quan và hai độ lệch chuẩn (standard deviation):

b = r\,\frac{s_y}{s_x} = -0.84 \times \frac{7.0}{8.4} = -0.84 \times 0.8333 = -0.70.

Dấu âm của

b

trùng với dấu âm của

r

, điều này hợp lý vì càng lên phía bắc thì nhiệt độ càng thấp.

đường hồi quy bình phương tối thiểu

Hay nhầm với

Công thức

Khái niệm này sinh ra từ đâu

Thử nghiệm tương tác

Hay hiểu sai

Mẹo phòng thi

Ví dụ có lời giải

Bạn nắm chắc chưa?

Học tiếp từ đây