AP Statistics
hypothesis testing

Kiểm định giả thuyết (hypothesis testing) là cách dùng dữ liệu mẫu để quyết định bác bỏ hay không bác bỏ nhận định về tham số tổng thể.
Trong thống kê suy luận, kiểm định giả thuyết là cách chúng ta dùng thông tin từ mẫu để kiểm tra một tuyên bố về quần thể. Quy trình bắt đầu bằng cách đặt hai phát biểu đối lập: giả thuyết không () và giả thuyết đối (). Giả thuyết không thường mang ý nghĩa "không có gì đặc biệt đang xảy ra", còn giả thuyết đối là điều người nghiên cứu muốn tìm bằng chứng ủng hộ. Cả hai phải viết về tham số tổng thể, ví dụ hay , chứ không bao giờ viết về giá trị mẫu như hay .
Sau khi thu thập mẫu, chúng ta tính một thống kê kiểm định (test statistic) để đo khoảng cách giữa kết quả quan sát được và giá trị được giả định trong . Thống kê này được chuẩn hóa theo sai số chuẩn để so sánh với một phân phối tham chiếu, thường là phân phối chuẩn hoặc phân phối . Dựa vào đó, ta tìm giá trị p (p-value), tức xác suất thu được kết quả bất lợi cho ít nhất là bằng kết quả quan sát, trong trường hợp đúng. Nếu giá trị p nhỏ hơn mức ý nghĩa đã chọn trước, chúng ta bác bỏ giả thuyết không. Ngược lại, nếu giá trị p lớn hơn hoặc bằng , chúng ta không bác bỏ giả thuyết không.
Điều quan trọng cần nhớ là kiểm định giả thuyết không chứng minh giả thuyết đối đúng, cũng như không chứng minh giả thuyết không đúng. Nó chỉ cho biết liệu dữ liệu mẫu có đủ bằng chứng chống lại hay không. Do đó, kết luận đúng trong AP Statistics luôn dùng ngôn ngữ "có đủ bằng chứng để bác bỏ" hoặc "không đủ bằng chứng để bác bỏ". Vì vậy, việc hiểu rõ ý nghĩa của giá trị p và tránh suy diễn quá mức là kỹ năng cốt lõi khi làm bài kiểm định.
Trực giác: Kiểm định giả thuyết giống như một phiên tòa: giả thuyết không là bị cáo được coi là vô tội, còn dữ liệu mẫu là bằng chứng buộc tội; ta chỉ tuyên "có đủ bằng chứng kết tội" hay "chưa đủ bằng chứng", chứ không tuyên "vô tội".
Dùng khi kiểm định giả thuyết về trung bình tổng thể với độ lệch chuẩn tổng thể đã biết và cỡ mẫu đủ lớn để định lý giới hạn trung tâm (central limit theorem) áp dụng được.
Trong đó
đầu thế kỷ 20Ronald FisherJerzy NeymanEgon PearsonJohn ArbuthnotPierre-Simon Laplace
Giá trị p không phải xác suất giả thuyết không (null hypothesis) đúng.
Đây là lỗi diễn giải phổ biến nhất trong toàn bộ chương kiểm định. Giá trị p được tính với điều kiện xem như giả thuyết không đã đúng, rồi hỏi ngược lại: nếu quả thật như vậy, khả năng thu được một mẫu cực đoan bằng hoặc hơn mẫu ta có là bao nhiêu. Viết gọn thì nó là chứ không phải , và hai xác suất có điều kiện đảo chiều nhau thì hoàn toàn khác giá trị. Do đó câu "p = 0.03 nên có 3% khả năng giả thuyết không đúng" bị chấm sai, trong khi câu "nếu giả thuyết không đúng thì chỉ 3% số mẫu cho kết quả cực đoan như thế này" mới được điểm.
Không bao giờ viết "chấp nhận giả thuyết không".
Kiểm định chỉ có hai kết luận hợp lệ: bác bỏ, hoặc không đủ bằng chứng để bác bỏ giả thuyết không. Lý do nằm ở chỗ giá trị p lớn chỉ nói rằng dữ liệu tương thích với giả thuyết không, chứ không loại trừ vô số giá trị tham số khác cũng tương thích không kém; một mẫu nhỏ gần như luôn cho p lớn dù giả thuyết sai bét. Vì vậy khi p vượt mức ý nghĩa (significance level), hãy viết "fail to reject " và nói thêm rằng ta không có bằng chứng thuyết phục cho điều đối lập. Cách nói này cũng phản ánh đúng bản chất: không bác bỏ được không đồng nghĩa với chứng minh được.
Giả thuyết phải viết về tham số tổng thể, không về thống kê mẫu.
Rất nhiều bài làm ghi hoặc , và mất điểm ngay ở bước đầu tiên dù các bước sau đều đúng. Trung bình mẫu và tỉ lệ mẫu là con số ta đã đo được từ dữ liệu, không có gì để nghi ngờ hay kiểm định; cái ta chưa biết và đang tranh luận là tham số của tổng thể. Do đó ký hiệu đúng phải là hay , kèm một câu định nghĩa rõ hoặc là gì trong bối cảnh đề bài. Thói quen định nghĩa ký hiệu bằng lời cũng giúp tránh nhầm giữa tỉ lệ và trung bình khi đề cho dữ liệu dạng đếm.
Có ý nghĩa thống kê không có nghĩa là khác biệt lớn hay quan trọng.
Cỡ mẫu càng lớn thì sai số chuẩn (standard error) càng nhỏ, nên một chênh lệch nhỏ xíu về mặt thực tế vẫn có thể đẩy thống kê kiểm định ra xa và cho p rất bé. Ngược lại, một hiệu ứng thực sự đáng kể vẫn có thể không được phát hiện nếu mẫu quá nhỏ, vì khi đó năng lực kiểm định (power) thấp. Vì vậy khi đề hỏi "kết quả này có ý nghĩa thực tiễn không", câu trả lời phải nhìn vào độ lớn của chênh lệch và khoảng tin cậy, chứ không phải nhìn vào giá trị p. Hãy tách bạch hai câu hỏi: khác biệt có thật không, và khác biệt có đủ lớn để đáng quan tâm không.
Quiz câu thật từ ngân hàng đề
Vài câu thật gắn đúng khái niệm này, chấm ngay kèm giải thích từng đáp án — hệ thống ghi nhớ bạn nắm tới đâu.
Biên soạn bởi DucklingStudy, bản quyền thuộc DucklingStudy. Xuất bản .
Dùng khi độ lệch chuẩn tổng thể chưa biết và phải thay bằng độ lệch chuẩn mẫu ; thống kê kiểm định này theo phân phối với bậc tự do.
Trong đó
Ý tưởng cốt lõi xuất hiện rất sớm: năm 1710, John Arbuthnot dùng số liệu tỉ lệ giới tính lúc sinh để lập luận rằng chênh lệch giữa số bé trai và bé gái khó có thể là ngẫu nhiên, và đến thập niên 1770 Laplace lặp lại phân tích ấy trên số liệu sinh của nhiều thành phố châu Âu. Phải sang thế kỷ 20 quy trình mới được chuẩn hóa. Năm 1900 Karl Pearson công bố kiểm định khi bình phương, năm 1908 William Gosset xử lý bài toán trung bình với mẫu nhỏ, và trong một buổi trà chiều đầu thập niên 1920 tại một trạm nghiên cứu nông nghiệp ở Anh, Ronald Fisher nảy ra cách kiểm chứng lời khẳng định của bà Muriel Bristol rằng bà phân biệt được cốc trà rót sữa trước hay sau.
Vì sao mang đúng cái tên này? Cái tên nghe kỳ lạ ở chỗ ta "kiểm định" một giả thuyết nhưng lại hầu như không bao giờ chứng minh được nó đúng. Lý do nằm trong chính cách Fisher đặt vấn đề năm 1935 khi mô tả thí nghiệm nếm trà: thay vì cố chứng minh bà Bristol thật sự phân biệt được, ông chọn kiểm tra xem có thể bác bỏ giả thuyết rằng bà chỉ đoán mò hay không. Do đó, phát biểu được đem ra thử thách luôn là phát biểu "không có gì xảy ra" — giả thuyết không (null hypothesis) — và kết luận chỉ có thể là bác bỏ nó hoặc không đủ bằng chứng để bác bỏ. Fisher đóng góp thước đo mức độ bất thường của dữ liệu, tức giá trị p (p-value), nhưng ông không dùng và thậm chí phản đối khái niệm giả thuyết đối (alternative hypothesis). Chính Neyman và Pearson mới thêm giả thuyết đối như phần bù của giả thuyết không, kèm theo sai lầm loại I (type I error) và công suất của kiểm định. Vì vậy, dạng thức mà học sinh học ngày nay là sự hợp nhất từ khoảng thập niên 1960 của hai trường phái vốn tách rời nhau, và cũng vì thế mà thuật ngữ trong sách vở đôi khi mang dấu vết của cả hai cách nghĩ.
Rút 500 mẫu trong thế giới 'hãng kẹo nói thật' — rồi xem tỉ lệ 0,40 của bạn có lạ không
Kéo tham số, thấy khái niệm chuyển động — mở khoá bằng tài khoản 0đ.
Viết đủ bốn phần: giả thuyết, tên kiểm định kèm điều kiện, tính toán, kết luận có ngữ cảnh.
Barem của bài tự luận chia điểm theo đúng bốn khối này, nên bỏ khối nào là mất điểm khối đó dù đáp số cuối cùng đúng. Phần điều kiện là chỗ dễ mất điểm oan nhất: phải nêu tên điều kiện và kiểm tra bằng số liệu cụ thể của đề, chẳng hạn viết chứ không chỉ ghi "điều kiện thỏa mãn". Nếu đề cho dữ liệu thô, đừng quên câu về cách lấy mẫu ngẫu nhiên và điều kiện độc lập khi lấy mẫu không hoàn lại.
Câu kết luận bắt buộc có ba thành phần: so sánh p với , quyết định, và ngữ cảnh.
Mẫu câu an toàn: "Vì , ta bác bỏ ; có bằng chứng thuyết phục rằng tỉ lệ học sinh đi xe buýt ở trường này lớn hơn 0.30." Thiếu con số so sánh thì người chấm coi như bạn đoán, thiếu ngữ cảnh thì mất điểm phần kết luận dù quyết định đúng. Nếu đề không cho mức ý nghĩa, hãy tự nêu ngay từ đầu bài và dùng nhất quán đến cuối.
Quyết định một phía hay hai phía dựa vào câu hỏi của đề, không dựa vào hướng của dữ liệu.
Nhìn thấy trung bình mẫu lớn hơn giá trị giả định rồi mới đổi sang giả thuyết đối một phía là hành vi bị trừ điểm, vì nó biến kiểm định thành chuyện đã rồi. Hãy tìm các cụm từ khóa trong đề: "khác" dẫn tới , còn "nhiều hơn", "cải thiện", "giảm" dẫn tới dạng một phía. Cũng nhớ rằng máy tính thường trả về giá trị p cho đúng dạng bạn đã chọn, nên đừng nhân đôi hay chia đôi thêm lần nữa.
Ở mức ý nghĩa 0,05, vì giá trị p nên ta bác bỏ : có bằng chứng thuyết phục cho thấy tỉ lệ nảy mầm thật sự của toàn bộ hạt giống công ty này sản xuất nhỏ hơn 90% như quảng cáo. Cần nhấn mạnh rằng kết luận nói về tổng thể hạt giống chứ không nói về 200 hạt đã gieo, và nó không khẳng định tỉ lệ đó bằng 0,855.
Với , và giá trị p , ta không bác bỏ : không đủ bằng chứng thuyết phục để kết luận rằng lượng đường trung bình thật sự của các chai trong ca sản xuất khác 26 gam. Điều này không có nghĩa máy chắc chắn đúng chuẩn — với cỡ mẫu chỉ 12 chai, kiểm định có thể chưa đủ mạnh để phát hiện một sai lệch nhỏ.