mức ý nghĩa

Trong kiểm định giả thuyết, trước khi thu thập dữ liệu, nhà nghiên cứu phải xác định một ngưỡng xác suất để quyết định khi nào bằng chứng được coi là đủ mạnh. Ngưỡng đó chính là mức ý nghĩa, ký hiệu bằng chữ Hy Lạp $\alpha$. Giá trị phổ biến nhất trong thực hành là $\alpha = 0{,}05$; tuy nhiên, trong các lĩnh vực đòi hỏi độ chính xác cao hơn, người ta có thể dùng $\alpha = 0{,}01$ hoặc $\alpha = 0{,}10$.

Về bản chất, $\alpha$ chính là xác suất mắc sai lầm loại I, nghĩa là xác suất bác bỏ giả thuyết không (null hypothesis) $H_0$ trong khi $H_0$ thực ra đúng. Do đó, quy tắc ra quyết định rất rõ ràng: nếu giá trị p nhỏ hơn hoặc bằng $\alpha$, ta bác bỏ $H_0$ và kết luận có bằng chứng thống kê (statistic) có ý nghĩa; ngược lại, nếu $p > \alpha$, ta không có đủ cơ sở để bác bỏ $H_0$. Vì vậy, chọn $\alpha$ nhỏ đồng nghĩa với việc đặt ra tiêu chuẩn khắt khe hơn để bác bỏ giả thuyết không.

Mức ý nghĩa còn liên hệ trực tiếp với khoảng tin cậy: một kiểm định ở mức $\alpha = 0{,}05$ tương ứng với khoảng tin cậy 95%. Cụ thể, nếu giá trị giả thuyết của tham số không nằm trong khoảng tin cậy $(1-\alpha)\cdot 100\%$, thì kiểm định hai phía ở cùng mức $\alpha$ sẽ cho kết quả bác bỏ $H_0$. Nhờ đó, thí sinh có thể dùng khoảng tin cậy để kiểm tra tính nhất quán với kết quả kiểm định mà không cần tính lại từ đầu. Tuy nhiên, cần lưu ý rằng $\alpha$ là quyết định của nhà nghiên cứu, không phải tính chất của dữ liệu, vì vậy nó phải được chọn trước khi nhìn vào kết quả để tránh thiên lệch.