AP Statistics

phân phối null

null distribution

Còn gọi: null distribution

Phân phối null là phân phối của một thống kê mẫu khi giả thuyết không (H0) đúng, dùng để tính giá trị p.

Khi tiến hành một kiểm định giả thuyết (hypothesis test), nhà thống kê luôn bắt đầu bằng cách giả sử giả thuyết không (null hypothesis), viết tắt H0, là đúng. Phân phối null chính là phân phối xác suất của thống kê kiểm định — chẳng hạn tỉ lệ mẫu p^\hat p hay trung bình mẫu xˉ\bar x — nếu ta lặp lại việc lấy mẫu vô số lần trong một thế giới mà H0 đúng. Nói cách khác, đây là bức tranh về mọi kết quả có thể xảy ra thuần túy do biến động ngẫu nhiên, chưa hề có hiệu ứng thật nào can thiệp vào.

Phân phối này có thể dựng bằng mô hình lý thuyết, như phân phối chuẩn (Normal) hay phân phối t khi cỡ mẫu đủ lớn nhờ định lý giới hạn trung tâm (central limit theorem), hoặc bằng cách mô phỏng (simulation) hàng ngàn lần lấy mẫu ngẫu nhiên trên máy tính. Với kiểm định tỉ lệ một mẫu, thống kê kiểm định thường có dạng z=p^p0p0(1p0)/nz=\frac{\hat p-p_0}{\sqrt{p_0(1-p_0)/n}} trong đó p0p_0 là giá trị tỉ lệ giả định dưới H0 và nn là cỡ mẫu. Giá trị zz tính từ dữ liệu thật sau đó được đặt lên chính phân phối null này để xem nó rơi vào vị trí bất thường đến mức nào.

Nhờ đó, giá trị p chỉ đơn giản là phần diện tích của phân phối null nằm về phía thống kê quan sát được hoặc còn cực đoan hơn, theo hướng mà giả thuyết thay thế chỉ ra. Nếu giá trị quan sát rơi vào vùng đuôi rất nhỏ của phân phối null, kết quả trở nên khó tin nếu H0 thật sự đúng, và ta có cơ sở để bác bỏ H0. Ngược lại, nếu thống kê nằm gần trung tâm của phân phối null, dữ liệu hoàn toàn phù hợp với một thế giới không có hiệu ứng nào, nên chưa đủ bằng chứng để bác bỏ giả thuyết không.

Ký hiệuH0, z, p0, p̂

Trực giác: Giống như tung một đồng xu công bằng hàng ngàn lần để xem kết quả thật của mình có bất thường so với thế giới 'công bằng' đó hay không.

Công thức

p^=1Ni=1NI ⁣(θiθobs)\hat{p} = \htmlClass{fp-3}{\frac{1}{N}\htmlClass{fp-2}{\sum_{i=1}^{N} \htmlClass{fp-1}{I\!\left(\htmlClass{fp-0}{|\theta_i^{*}| \geq |\theta_{obs}|}\right)}}}

Dùng khi ước lượng trị số p bằng phương pháp mô phỏng (như phép hoán vị — permutation test hay lấy mẫu lại — resampling): sau khi tạo ra NN thống kê giả định H0H_0 đúng, ta tính tỷ lệ những thống kê đó cực đoan bằng hoặc hơn giá trị quan sát được từ dữ liệu thật.

Trong đó

θi\theta_i^{*}thống kê mẫu tính được từ lần mô phỏng thứ ii, dưới giả định giả thuyết không H0H_0 đúngθobs\theta_{obs}thống kê mẫu tính được từ dữ liệu quan sát thực tếNNtổng số lần mô phỏng đã thực hiện để dựng phân phối nullp^\hat{p}ước lượng của trị số p, tức xác suất quan sát được kết quả cực đoan như vậy nếu H0H_0 đúng

Khái niệm này sinh ra từ đâu

đầu thế kỷ 20Ronald FisherJohn ArbuthnotPierre-Simon LaplaceKarl PearsonWilliam Sealy Gosset

Ý tưởng về giả thuyết không (null hypothesis) được Ronald Fisher đặt tên và phổ biến vào đầu thế kỷ 20, gắn với công việc phân tích số liệu tại trạm nghiên cứu nông nghiệp Rothamsted ở Anh; phân phối null chính là phân phối của thống kê kiểm định khi giả thuyết ấy được giả định là đúng, dùng để tính P-value.

Bài toán gốc rất đời thường: khi so sánh hai giống cây hay hai cách bón phân trên đồng ruộng, chênh lệch năng suất giữa hai lô đất luôn khác không, nên người làm thí nghiệm cần một thước đo xem chênh lệch đó có đáng kể hay chỉ là dao động ngẫu nhiên. Cách giải là dựng trước một thế giới giả định trong đó không có khác biệt nào cả, rồi hỏi xem trong thế giới ấy số liệu quan sát được sẽ hiếm đến mức nào. Truy về xa hơn, lối lập luận này đã manh nha từ thế kỷ 18 khi John Arbuthnot rồi Pierre-Simon Laplace so sánh tỉ lệ sinh con trai và con gái ở nhiều thành phố châu Âu, lấy "tỉ lệ bằng nhau" làm mốc đối chiếu. Đến đầu thế kỷ 20, cùng với P-value của Karl Pearson và phân phối t của William Sealy Gosset, mảnh ghép cuối được Fisher đặt tên.

Vì sao mang đúng cái tên này? Chữ "null" mang nghĩa "không có gì", tức giả định rằng không tồn tại hiệu ứng hay khác biệt nào — đây là trạng thái mặc định mà ta tạm chấp nhận cho đến khi dữ liệu buộc ta bác bỏ. Vì vậy "phân phối null" không phải tên một họ phân phối riêng như chuẩn hay nhị thức, mà là cách gọi theo vai trò: phân phối mà thống kê kiểm định (test statistic) tuân theo với điều kiện giả thuyết không đúng. Điều đáng chú ý là Fisher giới thiệu khái niệm giả thuyết không bằng ví dụ chứ không bằng một định nghĩa hình thức, nên cái tên lan ra từ thực hành thí nghiệm trước khi thành thuật ngữ sách giáo khoa. Do đó cùng một phân phối null có thể được suy ra chính xác, xấp xỉ tiệm cận, hoặc dựng bằng mô phỏng — tên gọi nói về chức năng, không nói về công thức.

Thử nghiệm tương tác

Bấm chạy 2000 mẫu — nhìn đống chấm dồn lại quanh đúng giá trị giả thuyết

Bấm chạy 2000 mẫu — nhìn đống chấm dồn lại quanh đúng giá trị giả thuyết

Kéo tham số, thấy khái niệm chuyển động — mở khoá bằng tài khoản 0đ.

Tạo tài khoản miễn phí

Hay hiểu sai

Phân phối null có tâm ở giá trị trong H0H_0, không phải ở thống kê quan sát.

Tâm không mặc định bằng 0.500.50.

Giá trị p đếm phần đuôi cực đoan, không phải phần gần tâm.

Hướng đuôi phải khớp với dấu trong HaH_a, không phải luôn hai đuôi.

Phân phối null là phân phối của thống kê, không phải của dữ liệu gốc.

Mẹo phòng thi

Viết rõ ba chữ "assuming H0H_0 is true" khi mô tả phân phối null.

Khi tính giá trị p từ mô phỏng, phải ghi rõ đếm cái gì và chia cho bao nhiêu.

Kết luận phải so giá trị p với α\alpha và diễn đạt lại theo ngữ cảnh.

Tần suất trong đề AP StatisticsThường xuyên

Ví dụ có lời giải

1Ví dụ 1/2
Một nhóm nghiên cứu tin rằng 35% học sinh của một tỉnh có đăng ký học thêm môn Toán. Để hình dung tỉ lệ mẫu (sample proportion) dao động ra sao khi giả thuyết không (null hypothesis) H0:p=0.35H_0: p = 0.35 là đúng, nhóm dùng máy tính mô phỏng 2,0002{,}000 mẫu ngẫu nhiên, mỗi mẫu gồm n=250n = 250 học sinh, rồi vẽ histogram của 2,0002{,}000 giá trị p^\hat p thu được. Histogram này chính là phân phối null.
  1. aTâm của histogram nằm gần giá trị nào? Giải thích vì sao.
  2. bƯớc lượng độ phân tán của histogram và cho biết khoảng giá trị nào của p^\hat p được coi là "bình thường" dưới H0H_0.
1Bước 1: Nhận ra mô phỏng được chạy với giá trị nào. Máy tính không hề biết tỉ lệ thật của tỉnh; nó chỉ được lệnh rút mẫu từ một tổng thể có p=0.35p = 0.35. Vì vậy mọi giá trị p^\hat p trong histogram đều sinh ra từ thế giới giả định mà H0H_0 đúng, và tâm của chúng phải nằm quanh chính con số đã đặt vào máy.
2Bước 2: Trả lời ý (a): tâm của phân phối null nằm gần 0.350.35. Lý do lý thuyết là kỳ vọng của tỉ lệ mẫu bằng tỉ lệ tổng thể, μp^=p=0.35\mu_{\hat p} = p = 0.35. Một sai lầm rất hay gặp là trả lời bằng tỉ lệ quan sát được trong dữ liệu thật; nhưng dữ liệu thật chưa từng tham gia vào mô phỏng này.
3Bước 3: Ý (b): tính độ lệch chuẩn (standard deviation) của phân phối null bằng công thức σp^=p(1p)n\sigma_{\hat p} = \sqrt{\dfrac{p(1-p)}{n}}. Thay số: (0.35)(0.65)250=0.2275250=0.000910.030\sqrt{\dfrac{(0.35)(0.65)}{250}} = \sqrt{\dfrac{0.2275}{250}} = \sqrt{0.00091} \approx 0.030. Con số này nói rằng các giá trị p^\hat p mô phỏng thường lệch khỏi 0.350.35 chừng ba phần trăm.
4Bước 4: np=250(0.35)=87.510np = 250(0.35) = 87.5 \ge 10n(1p)=250(0.65)=162.510n(1-p) = 250(0.65) = 162.5 \ge 10, histogram có dạng gần đối xứng hình chuông. Do đó khoảng hai độ lệch chuẩn quanh tâm, tức 0.35±2(0.030)0.35 \pm 2(0.030), cho khoảng 0.290.29 đến 0.410.41, chứa khoảng 95% số giá trị mô phỏng.

Histogram của 2,0002{,}000 giá trị p^\hat p có tâm gần 0.350.35 — đúng bằng tỉ lệ đã giả định trong H0H_0 — và độ lệch chuẩn khoảng 0.0300.030. Nhờ đó, một mẫu 250250 học sinh cho p^\hat p nằm trong khoảng chừng 0.290.29 đến 0.410.41 là hoàn toàn bình thường nếu tỉ lệ thật của tỉnh đúng là 35%.

2Ví dụ 2/2
Một hãng khảo sát trước đây công bố 60% người trưởng thành trong thành phố ủng hộ việc mở rộng tuyến buýt. Một nhà báo nghi ngờ con số nay đã giảm, nên lấy mẫu ngẫu nhiên 200200 người và thấy 108108 người ủng hộ. Nhà báo kiểm định H0:p=0.60H_0: p = 0.60 với Ha:p<0.60H_a: p < 0.60 bằng cách mô phỏng 1,0001{,}000 mẫu cỡ 200200 dưới giả định p=0.60p = 0.60; trong 1,0001{,}000 giá trị p^\hat p mô phỏng, có 4242 giá trị nhỏ hơn hoặc bằng tỉ lệ quan sát được.
  1. aĐể lấy giá trị p (p-value), cần đếm phần nào của phân phối null?
  2. bTính giá trị p và kết luận ở mức ý nghĩa (significance level) α=0.05\alpha = 0.05.
1Bước 1: Tính tỉ lệ quan sát được từ dữ liệu thật: p^=108200=0.54\hat p = \dfrac{108}{200} = 0.54. Đây là mốc sẽ được đem đặt lên histogram mô phỏng, chứ không phải là tâm của histogram đó — tâm vẫn nằm ở 0.600.60 vì toàn bộ mô phỏng chạy dưới H0H_0.
2Bước 2: Ý (a): đối giả thuyết có dạng Ha:p<0.60H_a: p < 0.60 nên chỉ những kết quả "thấp bằng hoặc thấp hơn" mới được tính là bằng chứng chống lại H0H_0. Vì vậy ta đếm phần đuôi trái của phân phối null, tức số mẫu mô phỏng có p^0.54\hat p \le 0.54, rồi chia cho tổng số lần mô phỏng.
3Bước 3: Ý (b): thực hiện phép chia p-value=421000=0.042\text{p-value} = \dfrac{42}{1000} = 0.042. Con số này nói rằng nếu tỉ lệ ủng hộ thật sự vẫn là 60%, thì chỉ khoảng 4.2% số mẫu cỡ 200200 cho kết quả thấp tới mức 0.540.54 hoặc thấp hơn.
4Bước 4: So sánh với mức ý nghĩa: 0.042<0.050.042 < 0.05, nên bác bỏ H0H_0. Có thể kiểm tra lại bằng lý thuyết, vì σp^=(0.60)(0.40)2000.0346\sigma_{\hat p} = \sqrt{\dfrac{(0.60)(0.40)}{200}} \approx 0.0346 cho z=0.540.600.03461.73z = \dfrac{0.54 - 0.60}{0.0346} \approx -1.73, ứng với xác suất đuôi trái khoảng 0.0420.042 — khớp với kết quả mô phỏng.

Giá trị p bằng 42/1000=0.04242/1000 = 0.042, lấy từ đuôi trái của phân phối null vì đối giả thuyết hướng xuống. Do 0.042<0.050.042 < 0.05, ta bác bỏ H0H_0 và kết luận có bằng chứng thống kê thuyết phục rằng tỉ lệ người trưởng thành trong thành phố ủng hộ mở rộng tuyến buýt hiện thấp hơn 60%.

Bạn nắm chắc chưa?

Quiz câu thật từ ngân hàng đề

Vài câu thật gắn đúng khái niệm này, chấm ngay kèm giải thích từng đáp án — hệ thống ghi nhớ bạn nắm tới đâu.

Tạo tài khoản miễn phí

Học tiếp từ đây

Bài học chứa thuật ngữ nàyGiá trị p (p-value)Suy luận cho tỉ lệ (dữ liệu phân loại) · khoá AP Statistics
Dẫn tớip-value
Liên quanmô phỏng
Mục tiêu và lộ trình unit xem miễn phí — làm bài tập và lưu tiến độ cần tài khoản 0đ.

Hay nhầm với

phân phối mẫu (của một thống kê)sampling distribution of a statistic
Khác nhau ở đâuPhân phối mẫu mô tả biến thiên của một thống kê quanh giá trị tham số thật, dù tham số đó là bao nhiêu. Phân phối null là phân phối mẫu riêng cho trường hợp giá trị trong giả thuyết không là đúng.
Hay nhầm khiKhi đề hỏi tâm của phân phối nằm ở đâu: tâm phân phối null đặt tại giá trị giả định, còn tâm phân phối mẫu đặt tại tham số thật của tổng thể.
p-valuep-value
Khác nhau ở đâuPhân phối null là toàn bộ mô hình xác suất dùng làm mốc so sánh. p-value chỉ là một con số đo diện tích đuôi lấy ra từ mô hình đó.
Hay nhầm khiKhi câu hỏi yêu cầu vẽ hình rồi tô miền: hình vẽ là phân phối null, phần tô đậm mới là p-value.

Cùng chủ đề

Biên soạn bởi DucklingStudy, bản quyền thuộc DucklingStudy. Xuất bản .