AP Statistics
statistically significant
Còn gọi: ý nghĩa thống kê · statistical significance · khác biệt có ý nghĩa thống kê

Có ý nghĩa thống kê (statistically significant) chỉ kết quả khó xảy ra do ngẫu nhiên đến mức xác suất đó nhỏ hơn mức ý nghĩa alpha chọn trước.
Trong kiểm định giả thuyết (hypothesis testing), nhà thống kê luôn đặt câu hỏi: liệu sự khác biệt quan sát được có phản ánh một hiệu ứng thực trong tổng thể, hay chỉ là biến động ngẫu nhiên của mẫu? Để trả lời, người ta tính giá trị p (p-value) — xác suất thu được một kết quả ít nhất cực đoan bằng kết quả quan sát, giả sử giả thuyết không () là đúng. Vì vậy, nếu giá trị p đủ nhỏ, bằng chứng chống lại được coi là thuyết phục.
Mức ý nghĩa là ngưỡng được chọn trước khi thu thập dữ liệu (data), thường là hoặc . Quy tắc quyết định được phát biểu gọn là: nếu thì bác bỏ và kết luận kết quả có ý nghĩa thống kê; ngược lại, không đủ bằng chứng để bác bỏ . Điều quan trọng cần nhớ là không phải xác suất đúng — nó là xác suất phạm sai lầm loại I (bác bỏ khi thật ra đúng) mà người nghiên cứu chấp nhận.
Tuy nhiên, có ý nghĩa thống kê không đồng nghĩa với có ý nghĩa thực tiễn. Với cỡ mẫu rất lớn, một hiệu ứng cực kỳ nhỏ — chẳng hạn GPA tăng 0,002 điểm mỗi giờ học thêm — vẫn có thể cho giá trị p rất thấp và bị tuyên bố là có ý nghĩa thống kê. Do đó, khi trình bày kết luận, cần kèm theo độ lớn của hiệu ứng và bối cảnh thực tế, không chỉ dựa vào việc .
Trực giác: Giống như tung đồng xu: nếu bạn tung 10 lần mà được 7 mặt ngửa, điều đó vẫn có thể xảy ra hoàn toàn do may mắn — nhưng nếu bạn tung 1000 lần mà được 700 mặt ngửa, gần như chắc chắn đồng xu bị gian lận.
1925John ArbuthnotPierre-Simon LaplaceSiméon-Denis PoissonRonald A. Fisher
Có ý nghĩa thống kê không có nghĩa là hiệu ứng lớn hay quan trọng trong thực tế.
Với cỡ mẫu rất lớn, một khác biệt nhỏ đến mức vô nghĩa về mặt y học vẫn cho . Vì vậy khi bình luận kết quả, hãy nhìn cả độ lớn của hiệu ứng chứ đừng dừng ở chữ "significant".
Giá trị không phải xác suất giả thuyết không đúng.
Do đó câu "có 3% khả năng thuốc không có tác dụng" là diễn giải sai; câu đúng là "nếu thuốc không có tác dụng thì chỉ 3% số mẫu cho kết quả cực đoan như mẫu này". Sai lệch này rất hay bị trừ điểm ở phần kết luận của bài tự luận.
Kiểm định nhiều biến cùng lúc thì vài kết quả "có ý nghĩa" có thể chỉ do ngẫu nhiên.
Đó chính là sai lầm loại I (Type I error) xuất hiện lặp đi lặp lại do làm quá nhiều phép kiểm định. Vì vậy vài biến "đạt chuẩn" trong một rừng biến không phải bằng chứng thuyết phục; muốn kết luận chắc chắn phải làm nghiên cứu mới chỉ tập trung vào các biến đó.
Không bác bỏ giả thuyết không không có nghĩa là đã chứng minh nó đúng.
Kết quả không có ý nghĩa thống kê rất thường xuất phát từ cỡ mẫu nhỏ, tức là năng lực kiểm định (power) yếu. Do đó tuyệt đối tránh viết "chúng ta kết luận rằng hai trung bình bằng nhau".
Quiz câu thật từ ngân hàng đề
Vài câu thật gắn đúng khái niệm này, chấm ngay kèm giải thích từng đáp án — hệ thống ghi nhớ bạn nắm tới đâu.
Biên soạn bởi DucklingStudy, bản quyền thuộc DucklingStudy. Xuất bản .
Bài toán khởi nguồn không đến từ phòng thí nghiệm mà từ sổ rửa tội ở London. Arbuthnot, một thầy thuốc kiêm nhà toán học người Scotland, xem xét 82 năm liên tiếp và thấy năm nào số bé trai cũng nhiều hơn bé gái; ông tính xác suất của một chuỗi như vậy nếu mọi thứ chỉ do may rủi và thu được con số nhỏ đến mức không thể tin nổi, nên kết luận nguyên nhân phải nằm ngoài sự ngẫu nhiên. Cùng lối lập luận ấy, năm 1781 Laplace bác bỏ một xác suất cỡ 1 trên 100 để khẳng định tỉ lệ giới tính khi sinh ở Paris khác Naples, còn Poisson năm 1837 coi khả năng 1 trên 213 là đủ để xem như chắc chắn. Đến đầu thế kỷ 20, khi Fisher làm việc với dữ liệu nông nghiệp ở Anh, nhu cầu có một quy tắc chung để nói "kết quả này không phải do may rủi" trở nên cấp thiết, và ngưỡng ra đời từ đó.
Vì sao mang đúng cái tên này? Chữ "significant" trong tiếng Anh đời thường có nghĩa là "quan trọng", và đây chính là nguồn gốc của vô số hiểu lầm. Trong thống kê, từ này giữ nghĩa gốc hơn: kết quả "signifies" — nó chỉ báo, nó ra hiệu rằng có điều gì đó khác giả thuyết không (null hypothesis), chứ không hề khẳng định điều đó lớn hay đáng để bận tâm trong thực tế. Fisher dùng từ này để mô tả một sai lệch đủ lớn khiến ta không nên tiếp tục quy cho ngẫu nhiên; ông cũng thừa nhận rằng ngưỡng chỉ là điểm thuận tiện chứ không thiêng liêng, và có thể thay đổi tùy yêu cầu chặt chẽ của từng bài toán. Vì vậy "có ý nghĩa thống kê" hoàn toàn khác với ý nghĩa thực tiễn (practical significance) hay ý nghĩa lâm sàng (clinical significance) — cái sau mới nói về tầm quan trọng thật sự của một hiệu ứng. Các khái niệm đi kèm cũng dần được bổ sung về sau: mức ý nghĩa (significance level) gắn với sai lầm loại I (type I error), còn khoảng tin cậy (confidence interval) được Neyman đưa ra năm 1937.
Rút mẫu trong thế giới thuốc vô tác dụng — xem kết quả 'hiếm' vẫn xảy ra bao nhiêu lần
Kéo tham số, thấy khái niệm chuyển động — mở khoá bằng tài khoản 0đ.
Kết luận cần đủ ba phần: so sánh với , quyết định, và trả lời theo ngữ cảnh.
Chỉ kết luận nhân quả khi đó là thí nghiệm có phân nhóm ngẫu nhiên.
Nếu đề mô tả việc gán ngẫu nhiên phương pháp xử lý cho các đối tượng, hãy viết rõ điều đó ra trước khi kết luận nhân quả.
Đề nêu nhiều biến hoặc nhiều kiểm định, hãy viết ra số kết quả sai kỳ vọng.
Nói thêm rằng nên lặp lại nghiên cứu trên chính các biến đó với dữ liệu mới sẽ giúp trọn điểm.
Nếu vitamin thật sự vô tác dụng thì trung bình vẫn có khoảng trong 85 biến cho kết quả có ý nghĩa thống kê, và xác suất có ít nhất một kết quả như vậy lên tới khoảng . Vì nhóm nghiên cứu chỉ tìm được 3 biến — còn ít hơn mức mà may rủi tự sinh ra — kết quả này hoàn toàn phù hợp với việc vitamin không có tác dụng nào. Do đó kết luận "vitamin cải thiện sức khỏe" là không chính đáng; ba biến kia chỉ nên được xem là giả thuyết cần kiểm chứng lại bằng một nghiên cứu mới.
Vì với cho giá trị p khoảng , ta bác bỏ và kết luận có bằng chứng thuyết phục rằng tồn tại liên hệ tuyến tính giữa số giờ tự học mỗi tuần và GPA của học sinh ở trường này. Tuy nhiên, "có ý nghĩa thống kê" ở đây chỉ có nghĩa là hệ số góc quan sát được quá khó giải thích bằng may rủi; bản thân hiệu ứng khá nhỏ về mặt thực tiễn. Và vì đây là nghiên cứu quan sát chứ không phải thí nghiệm, ta không thể kết luận rằng học thêm giờ sẽ khiến GPA tăng.