AP Statistics
power of a test
Còn gọi: power · công suất kiểm định · độ mạnh của kiểm định · power of the test

Lực của kiểm định là xác suất để một kiểm định ý nghĩa thống kê bác bỏ đúng giả thuyết không khi giả thuyết đó thực sự sai.
Mỗi kiểm định ý nghĩa thống kê đều có nguy cơ mắc hai loại sai lầm: bác bỏ nhầm giả thuyết không đúng (sai lầm loại I) hoặc không bác bỏ được giả thuyết không sai (sai lầm loại II). Lực của kiểm định (power of a test) đo lường khả năng tránh được sai lầm loại II — tức là khả năng phát hiện ra rằng giả thuyết không thực sự sai. Nếu gọi xác suất mắc sai lầm loại II là , thì lực của kiểm định được tính bởi công thức:
Công thức này cho thấy lực và xác suất sai lầm loại II luôn bù nhau: khi một đại lượng tăng thì đại lượng kia giảm tương ứng.
Lực của kiểm định không phải một con số cố định, mà thay đổi tùy theo giá trị thực của tham số tổng thể. Khi giá trị thực càng xa giá trị giả định trong , kiểm định càng dễ phát hiện sự khác biệt, do đó lực càng lớn. Ngược lại, nếu giá trị thực chỉ lệch nhẹ so với , kiểm định sẽ khó phân biệt và lực giảm xuống. Vì vậy, lực luôn được tính tương ứng với một giả thuyết thay thế (alternative hypothesis) cụ thể, không phải một con số tổng quát cho toàn bộ kiểm định.
Trong thực hành, có ba yếu tố chính ảnh hưởng đến lực. Thứ nhất, mức ý nghĩa — tăng sẽ làm vùng bác bỏ rộng hơn, nhờ đó lực tăng nhưng đồng thời xác suất sai lầm loại I cũng tăng theo. Thứ hai, cỡ mẫu — mẫu lớn hơn làm giảm độ lệch chuẩn (standard deviation) của thống kê kiểm định, giúp phân biệt tín hiệu rõ hơn và lực tăng lên đáng kể. Thứ ba, kích thước hiệu ứng — sự chênh lệch thực tế giữa tham số và giá trị càng lớn thì lực càng cao. Trong thiết kế nghiên cứu, người ta thường xác định cỡ mẫu tối thiểu sao cho lực đạt ít nhất 0,80, tức là xác suất phát hiện đúng hiệu ứng thực không dưới 80%.
Trực giác: Lực của kiểm định giống độ nhạy của máy dò kim loại: máy càng nhạy, khi có mảnh kim loại thật thì càng dễ phát hiện đúng nó; còn khả năng báo động nhầm khi không có kim loại phụ thuộc vào ngưỡng cảnh báo, là vấn đề khác.
Dùng khi cần tính lực của kiểm định từ xác suất sai lầm loại II, hoặc ngược lại tính xác suất sai lầm loại II khi biết lực.
Trong đó
thập niên 1930Jerzy NeymanEgon S. PearsonJacob Cohen
Vào cuối thập niên 1920 và đầu thập niên 1930, Neyman và Pearson đặt ra câu hỏi mà một mình giá trị p không trả lời được: khi giả thuyết không (null hypothesis) thật sự sai, kiểm định có đủ nhạy để phát hiện ra điều đó không? Từ đó họ dựng nên khung xem kiểm định như một quyết định có hai loại sai lầm, và lực chính là xác suất tránh được sai lầm loại II (Type II error). Tuy vậy ý tưởng này không lan nhanh, một phần vì Ronald Fisher phản đối mạnh việc dùng nó để lập kế hoạch nghiên cứu. Mãi đến đầu thập niên 1960, Jacob Cohen mới đưa phân tích lực trở lại với giới nghiên cứu hành vi, và cuốn sách năm 1988 của ông đã đặt ra ngưỡng 0,80 quen thuộc ngày nay.
Lực của kiểm định là , không phải .
Ký hiệu là xác suất mắc sai lầm loại II (Type II error), tức không bác bỏ giả thuyết không trong khi nó thật sự sai. Nhiều bài làm nhầm sang vì thấy mức ý nghĩa (significance level) quen mắt hơn, nhưng chỉ nói về trường hợp giả thuyết không đúng. Hai đại lượng này sống ở hai kịch bản khác nhau, do đó không thể thay thế nhau.
Lực không phải một con số cố định của bài toán, mà gắn với một giá trị đối cụ thể.
Muốn tính lực, phải nêu giả thuyết đối ở một giá trị cụ thể như , không phải .
Giá trị thật càng nằm xa giá trị trong giả thuyết không thì lực càng lớn, vì hai phân bố mẫu tách rời nhau hơn và ta dễ phát hiện sự khác biệt. Vì vậy câu hỏi "lực của kiểm định này bằng bao nhiêu" chỉ có nghĩa khi đề đã cho sẵn một mốc đối chiếu.
Hạ mức ý nghĩa xuống không làm kiểm định mạnh hơn — nó làm yếu đi.
Giảm từ xuống thu hẹp vùng bác bỏ, nên lực giảm theo.
Nói cách khác, ta đổi bớt rủi ro sai lầm loại I lấy nhiều rủi ro sai lầm loại II hơn. Cách tăng lực mà không phải trả giá bằng là tăng cỡ mẫu (sample size) hoặc giảm độ biến thiên của dữ liệu.
Lực không phải xác suất để giả thuyết không sai, cũng không phải xác suất kết luận đúng.
Lực là xác suất có điều kiện: giả thuyết không đã được coi là sai ở giá trị cụ thể.
Nếu giả thuyết không thật ra đúng, khái niệm lực hoàn toàn không áp dụng — lúc đó chỉ có và độ tin cậy. Trộn hai tình huống vào một câu là lỗi khiến bài mất trọn điểm diễn giải.
Quiz câu thật từ ngân hàng đề
Vài câu thật gắn đúng khái niệm này, chấm ngay kèm giải thích từng đáp án — hệ thống ghi nhớ bạn nắm tới đâu.
Biên soạn bởi DucklingStudy, bản quyền thuộc DucklingStudy. Xuất bản .
Vì sao mang đúng cái tên này? Chữ "power" trong tiếng Anh mang nghĩa sức mạnh, khả năng làm được một việc, và ở đây việc đó là phát hiện ra một hiệu ứng có thật. Một kiểm định "mạnh" là kiểm định bắt được độ lệch khỏi giả thuyết không khi độ lệch ấy thực sự tồn tại; ngược lại, kiểm định yếu sẽ bỏ sót. Vì vậy tên gọi không nói về độ chính xác của kết luận nói chung, mà nói riêng về độ nhạy của công cụ. Cách đặt tên này gắn liền với cách Neyman và Pearson nhìn kiểm định như một quyết định có thể sai theo hai hướng: lực đo phần "bắt được", còn phần bỏ sót chính là , nên . Công thức này nói rằng lực và xác suất sai lầm loại II luôn bù trừ nhau, cộng lại đúng bằng một.
Kéo ngưỡng bác bỏ ra xa — nhìn vùng lực bị ăn mất
Kéo tham số, thấy khái niệm chuyển động — mở khoá bằng tài khoản 0đ.
Gặp câu "làm sao tăng lực", hãy nêu hướng thay đổi kèm cái giá phải trả.
Bốn cách được chấp nhận là tăng cỡ mẫu, tăng , chọn giá trị đối xa hơn, và giảm độ biến thiên. Nếu chọn phương án tăng , bắt buộc phải viết thêm rằng điều đó đồng thời làm tăng xác suất mắc sai lầm loại I; thiếu câu này, giám khảo trừ điểm phần lập luận. Ngược lại, tăng cỡ mẫu là đáp án an toàn nhất vì nó nâng lực mà không đụng tới .
Luôn diễn giải lực bằng ngữ cảnh của đề, không chỉ ghi con số.
Một câu đạt điểm có đủ ba mảnh: xác suất bác bỏ giả thuyết không, với giả thuyết không nói gì, khi sự thật là gì. Chẳng hạn "xác suất kết luận rằng thuốc mới hiệu quả hơn, trong trường hợp tỉ lệ khỏi bệnh thật sự là 0.6". Viết cụt thành "xác suất bác bỏ " là câu đúng nhưng chưa đủ để lấy trọn điểm.
Cẩn thận với câu hỏi trắc nghiệm ghép cặp giữa lực, và .
Đề thường cho một tình huống rồi hỏi đại lượng nào tăng, đại lượng nào giảm. Hãy nhớ quy tắc gốc: và lực luôn đi ngược chiều nhau vì tổng của chúng bằng , còn và lực đi cùng chiều. Nắm hai mối quan hệ này thì phần lớn câu hỏi dạng bảng có thể trả lời trong vài giây mà không cần tính toán.
Lực của kiểm định tại bằng : nếu thuốc mới thật sự cho tỉ lệ đỡ đau 0,40 thì kiểm định có 77% cơ hội phát hiện ra điều đó. Khi hạ mức ý nghĩa xuống 0,01, lực giảm còn xác suất sai lầm loại II tăng, vì miền bác bỏ hẹp lại. Muốn tăng lực mà giữ nguyên , nhóm nghiên cứu nên tăng cỡ mẫu hoặc giảm độ biến thiên của dữ liệu bằng cách kiểm soát chặt điều kiện thử nghiệm.
Tổ chức bảo vệ người tiêu dùng bác bỏ khi trung bình mẫu dưới 96,71 giờ. Nếu tuổi thọ trung bình thật của pin là 96 giờ, kiểm định với 36 viên có lực khoảng 0,639 và xác suất sai lầm loại II khoảng 0,361; tăng mẫu lên 144 viên đẩy lực lên khoảng 0,991. Vậy muốn gần như chắc chắn phát hiện việc pin kém 4 giờ so với quảng cáo, tổ chức nên khảo sát cỡ mẫu lớn hơn nhiều so với 36 viên.