hồi quy

Hệ số góc không nói giá trị thực tăng bao nhiêu, mà chỉ nói giá trị dự đoán tăng bao nhiêu.

Đây là lỗi mất điểm phổ biến nhất khi diễn giải hệ số góc (slope) trong ngữ cảnh. Đường hồi quy chỉ mô tả xu hướng trung bình của đám mây điểm, nên khi biến giải thích tăng một đơn vị, cái tăng theo là giá trị mà mô hình dự đoán, chứ không phải giá trị quan sát được của từng cá thể. Chẳng hạn với mô hình dự đoán ERA từ WHIP có hệ số góc $6{,}8$, câu trả lời đúng phải là "khi WHIP tăng thêm 1 đơn vị thì ERA được dự đoán tăng thêm khoảng $6{,}8$". Bỏ chữ "dự đoán", hoặc viết chung chung kiểu "y tăng 6,8" mà không nhắc tên hai biến, đều bị trừ điểm dù con số hoàn toàn đúng.

Phần dư luôn là thực tế trừ dự đoán, không bao giờ ngược lại.

Công thức bắt buộc là $y-\hat{y}$, trong đó $y$ là giá trị quan sát thật và $\hat{y}$ là giá trị do mô hình sinh ra. Với món ăn sáng chứa $24$ g chất béo, ta thay vào $\hat{y}=110{,}98+13{,}78(24)$ được $441{,}7$, trong khi giá trị thật là $520$, nên phần dư (residual) bằng $520-441{,}7=78{,}3$. Nhiều bạn tính ngược thành $-78{,}3$ rồi kết luận mô hình dự đoán quá cao, và thế là sai luôn cả phần diễn giải. Hãy nhớ quy tắc dấu: phần dư dương nghĩa là điểm dữ liệu nằm trên đường hồi quy, tức mô hình đã dự đoán thấp hơn thực tế.

Đổi chỗ hai biến thì được một đường hồi quy khác hẳn, không phải cùng một đường.

Biến giải thích (explanatory variable) là biến ta dùng để dự đoán, còn biến phản hồi (response variable) là biến được dự đoán; vai trò của chúng không hoán đổi tự do. Trong ví dụ cửa hàng phát quảng cáo trên radio, số lần phát là biến giải thích và số khách mới là biến phản hồi, vì logic thực tế đi theo chiều đó chứ không phải chiều ngược lại. Đề thường gài bằng cách mô tả tình huống theo thứ tự đảo, ví dụ nhắc số khách trước rồi mới nhắc quảng cáo, khiến học sinh vội vàng chọn nhầm. Do đó, trước khi viết bất cứ phương trình nào, hãy tự hỏi: cái gì được dùng để đoán cái gì?

Hồi quy chỉ mô tả liên hệ, không chứng minh nguyên nhân và không được ngoại suy tùy tiện.

Một hệ số góc lớn hay một hệ số xác định cao chỉ cho biết hai biến đi cùng nhau chặt chẽ đến đâu, chứ không cho phép kết luận biến này gây ra biến kia. Kết luận nhân quả chỉ được rút ra từ thí nghiệm có phân nhóm ngẫu nhiên, còn với dữ liệu quan sát thì luôn có thể tồn tại biến gây nhiễu (confounding variable) đứng sau. Ngoài ra, đường hồi quy chỉ đáng tin trong khoảng giá trị $x$ mà dữ liệu thực sự bao phủ; thay một giá trị $x$ nằm xa ngoài khoảng đó là ngoại suy (extrapolation), và con số thu được có thể vô nghĩa. Vì vậy, khi đề cho lượng phân bón chạy từ 10 đến 50 kg mà hỏi dự đoán tại 200 kg, câu trả lời đúng là cảnh báo chứ không phải một con số.