Đang tải bài học…

AP Statistics

thống kê bền vững (resistant)

resistant statistic

Còn gọi: robust · bền vững · thống kê robust · resistant · kháng ngoại lai · nonresistant statistic

Thống kê bền vững (resistant statistic) là đại lượng mô tả ít thay đổi khi dữ liệu có giá trị ngoại lai hoặc phân phối lệch mạnh.

Khi ta tóm tắt một biến định lượng (quantitative variable) bằng một con số, câu hỏi đặt ra là liệu con số đó có ổn định trước những giá trị cực đoan hay không. Một thống kê bền vững chính là đại lượng mà giá trị ít bị ảnh hưởng bởi các giá trị ngoại lai hoặc bởi hình dạng phân phối bị lệch nặng. Do đó, nó phản ánh tốt hơn vị trí trung tâm (center) hay mức độ phân tán điển hình của tập dữ liệu khi dữ liệu không hoàn toàn sạch.

Trong nhóm các thống kê mô tả một biến định lượng, trung vị (median) và khoảng tứ phân vị (interquartile range) là hai ví dụ điển hình cho tính bền vững. Trung vị chỉ quan tâm đến thứ tự của các quan sát, nên việc đẩy giá trị lớn nhất lên cao thêm cũng không làm thay đổi vị trí chia đôi tập dữ liệu. Tương tự, khoảng tứ phân vị dựa trên hiệu giữa tứ phân vị thứ ba (third quartile) và tứ phân vị thứ nhất (first quartile):

$\text{IQR} = Q_3 - Q_1$

Công thức này cho biết mức độ phân tán của nửa trung tâm dữ liệu; vì nó bỏ qua phần đuôi hai bên nên các giá trị ngoại lai gần như không tác động đến nó.

Ngược lại, trung bình $\bar{x}$ và độ lệch chuẩn (standard deviation) $s$ là những thống kê không bền vững, vì cả hai đều tính toán dựa trên tất cả các giá trị, kể cả giá trị cực đoan. Vì vậy, khi phân phối lệch hoặc có nhiều giá trị ngoại lai, ta nên ưu tiên dùng trung vị và khoảng tứ phân vị để mô tả trung tâm và phân tán. Việc lựa chọn này giúp bức tranh thống kê phản ánh đúng bản chất của đa số dữ liệu thay vì bị kéo lệch bởi một vài giá trị bất thường.

Ký hiệu

\bar{x}

s

\text{IQR}

Q_1

Q_3

Đơn vịCùng đơn vị với biến đang khảo sát

Hay nhầm với

Thuật ngữKhác nhau ở đâuHay nhầm khi

trung bìnhmean

Khác nhau ở đâuTrung bình nhạy cảm với mọi giá trị kể cả giá trị cực đoan, trong khi thống kê bền vững chỉ thay đổi hạn chế dù có vài quan sát bất thường

Hay nhầm khiđề cho phân phối lệch mạnh và hỏi nên dùng thước đo trung tâm nào để báo cáo

Khái niệm này sinh ra từ đâu

giữa thế kỷ 19Frederik Wilhelm BesselAntoine Augustin CournotPeters

Ý tưởng về những đại lượng không bị vài quan sát bất thường kéo lệch nảy sinh từ ngành lý thuyết sai số của thiên văn học và trắc địa thế kỷ 19; công thức tính sai số của một quan sát đơn lẻ do Peters đưa ra năm 1856 được ghi nhận là nguồn cảm hứng cho những phương pháp thống kê mạnh (robust statistics) đầu tiên, tức các phương pháp "kháng" được giá trị ngoại lai (outlier).

Vào thế kỷ 19, những người đo đạc bầu trời và mặt đất phải sống chung với sai số: cùng một ngôi sao, cùng một góc, đo nhiều lần lại ra nhiều con số khác nhau, và thỉnh thoảng có một lần đo hỏng hẳn. Để mô tả mức dao động ấy, nhà thiên văn Đức Frederik Wilhelm Bessel đưa ra khái niệm sai số khả dĩ (probable error) năm 1815, còn Antoine Augustin Cournot năm 1843 là người đầu tiên gọi tên giá trị chia phân phối thành hai nửa bằng nhau. Đến năm 1856, công thức của Peters cho sai số của một quan sát đơn lẻ được dùng rộng rãi và đã gợi cảm hứng cho những kỹ thuật thống kê mạnh sớm nhất, tức các kỹ thuật chịu được quan sát dị thường thay vì bị chúng kéo đi.

Vì sao mang đúng cái tên này? Tên gọi tiếng Anh ghép từ hai mảnh có tuổi đời rất khác nhau. Phần "statistic" đi ngược về tiếng Latinh mới statisticum collegium ("hội đồng nhà nước") và tiếng Ý statista ("nhà chính trị"), gốc sâu hơn nữa là Latinh status, stare — "đứng", "vị thế"; Gottfried Achenwall dùng chữ Statistik trong tiếng Đức năm 1749 để chỉ việc phân tích dữ liệu về nhà nước, và Sir John Sinclair đưa nó vào tiếng Anh năm 1791 qua bộ Statistical Account of Scotland. Phần tính từ "resistant" giữ nguyên nghĩa đời thường là "kháng lại", và trong tài liệu lịch sử nó xuất hiện đúng ở cụm "resistant to outliers" — kháng lại giá trị ngoại lai. Vì vậy cái tên nghe có vẻ lạ thật ra chỉ mô tả đúng hành vi của đại lượng: nó đứng yên khi vài quan sát cực đoan nhúc nhích.

Nguồn đối chiếu

Hay hiểu sai

Bền vững không có nghĩa là tốt hơn hay chính xác hơn trong mọi tình huống.

Khoảng biến thiên không bền vững, dù nó cũng là hiệu hai số như khoảng tứ phân vị.

Độ lệch chuẩn và hệ số tương quan đều không bền vững.

Bền vững là tính chất của thống kê, không phải của tập dữ liệu.

Mẹo phòng thi

Khi so sánh trung bình với trung vị, phải nêu rõ tính bền vững trong bài.

Câu hỏi nên báo cáo thước đo nào luôn cần một câu về hình dạng phân bố.

Cẩn thận bẫy trắc nghiệm thêm một quan sát rất lớn: thống kê nào đổi, thống kê nào không.

Tần suất trong đề AP StatisticsThường xuyên

Ví dụ có lời giải

1Ví dụ 1/2

Một phòng khám ghi lại thời gian chờ (tính bằng phút) của 10 bệnh nhân trong một buổi sáng: 12, 15, 15, 18, 20, 22, 25, 25, 28, 30. Sau khi kiểm tra lại hồ sơ, nhân viên phát hiện bệnh nhân cuối cùng thực ra đã phải chờ 90 phút vì hồ sơ bị thất lạc, chứ không phải 30 phút như đã ghi.

aTính trung bình, trung vị, khoảng tứ phân vị và độ lệch chuẩn của bộ dữ liệu ban đầu.
bTính lại bốn đại lượng trên sau khi sửa giá trị 30 thành 90.
cDựa vào kết quả, cho biết đại lượng nào là thống kê bền vững và giải thích vì sao.

1Bước 1: Dữ liệu đã được sắp xếp tăng dần nên có thể tính ngay các đại lượng của bộ số liệu ban đầu. Tổng của 10 giá trị là

12+15+15+18+20+22+25+25+28+30=210

, do đó

\bar{x}=210/10=21

phút. Vì

n=10

là số chẵn, trung vị là trung bình của giá trị thứ 5 và thứ 6:

M=(20+22)/2=21

phút.

2Bước 2: Chia dãy làm đôi để tìm tứ phân vị. Nửa dưới gồm 12, 15, 15, 18, 20 nên

Q_1=15

; nửa trên gồm 22, 25, 25, 28, 30 nên

Q_3=25

. Vậy khoảng tứ phân vị (interquartile range) là

IQR=25-15=10

phút. Với độ lệch chuẩn, ta dùng

s=\sqrt{\frac{\sum (x_i-\bar{x})^2}{n-1}}

trong đó tử số là tổng bình phương các độ lệch so với trung bình. Ở đây

\sum (x_i-21)^2=326

, nên

s=\sqrt{326/9}=\sqrt{36.22}\approx 6.02

phút.

3Bước 3: Bây giờ thay giá trị lớn nhất 30 bằng 90, dãy mới là 12, 15, 15, 18, 20, 22, 25, 25, 28, 90. Tổng mới bằng

210-30+90=270

, do đó

\bar{x}=270/10=27

phút, tăng thêm 6 phút. Ngược lại, giá trị thứ 5 và thứ 6 vẫn là 20 và 22 vì việc kéo giãn phần đuôi phải không làm xáo trộn thứ tự ở giữa, nên trung vị vẫn là

M=21

phút.

4Bước 4: Với các đại lượng đo độ phân tán, nửa dưới không đổi nên

Q_1=15

, còn nửa trên trở thành 22, 25, 25, 28, 90 với

Q_3=25

; vì vậy

IQR=25-15=10

phút, đúng bằng giá trị cũ. Trong khi đó, riêng độ lệch của quan sát 90 đã đóng góp

(90-27)^2=3969

vào tổng bình phương, đẩy tổng này lên

\sum (x_i-27)^2=4646

. Do đó

s=\sqrt{4646/9}=\sqrt{516.22}\approx 22.72

phút, tức gấp gần bốn lần độ lệch chuẩn (standard deviation) ban đầu.

5Bước 5: So sánh hai bộ kết quả cho thấy trung bình nhảy từ 21 lên 27 và độ lệch chuẩn nhảy từ 6.02 lên 22.72, còn trung vị và khoảng tứ phân vị đứng yên tại 21 và 10. Nguyên nhân nằm ở cách tính: trung bình và độ lệch chuẩn cộng trực tiếp độ lớn của từng quan sát, nên một giá trị ngoại lai (outlier) lớn kéo cả hai theo mình. Trung vị và khoảng tứ phân vị chỉ căn cứ vào vị trí xếp hạng, nên chúng không quan tâm giá trị cực trị lớn đến đâu.

Với dữ liệu ban đầu, thời gian chờ có trung bình 21 phút, trung vị 21 phút, khoảng tứ phân vị 10 phút và độ lệch chuẩn khoảng 6.02 phút. Sau khi sửa 30 thành 90, trung bình tăng lên 27 phút và độ lệch chuẩn tăng vọt lên khoảng 22.72 phút, trong khi trung vị vẫn là 21 phút và khoảng tứ phân vị vẫn là 10 phút. Vì vậy trung vị và khoảng tứ phân vị là những thống kê bền vững đối với thời gian chờ của phòng khám này, còn trung bình và độ lệch chuẩn thì không.

2Ví dụ 2/2

Một công ty môi giới khảo sát giá bán của 200 căn hộ tại một quận và thu được: trung bình 4.2 tỷ đồng, trung vị 3.1 tỷ đồng, độ lệch chuẩn 2.8 tỷ đồng, khoảng tứ phân vị 1.6 tỷ đồng. Biểu đồ hộp (boxplot) của mẫu cho thấy một số căn hộ hạng sang nằm tách hẳn về phía bên phải.

aMô tả hình dạng phân bố giá căn hộ và giải thích căn cứ.
bNếu chỉ được báo cáo một cặp gồm một số đo trung tâm và một số đo độ phân tán, nên chọn cặp nào? Giải thích.
cGiả sử phát hiện thêm một biệt thự giá 50 tỷ đồng bị bỏ sót và đưa vào mẫu. Dự đoán trung bình và trung vị mới thay đổi ra sao.

1Bước 1: Đối chiếu hai số đo trung tâm, ta thấy trung bình 4.2 tỷ lớn hơn hẳn trung vị 3.1 tỷ, chênh nhau tới 1.1 tỷ đồng. Dấu hiệu này, cộng với các điểm tách rời về phía giá cao trên biểu đồ hộp, cho thấy phân bố lệch phải với một đuôi dài kéo về phía các căn hộ đắt tiền. Khi phân bố lệch phải, trung bình luôn bị kéo về phía đuôi nên nằm bên phải trung vị.

2Bước 2: So sánh tiếp hai số đo độ phân tán cũng cho cùng một thông điệp. Độ lệch chuẩn 2.8 tỷ lớn gần gấp đôi khoảng tứ phân vị 1.6 tỷ, mặc dù khoảng tứ phân vị bao trọn 50% số căn hộ ở giữa. Điều đó chứng tỏ phần lớn độ phân tán đo bằng độ lệch chuẩn đến từ một nhóm nhỏ các căn hộ hạng sang chứ không phản ánh khoảng biến động thông thường của thị trường.

thống kê bền vững (resistant)

Hay nhầm với

Khái niệm này sinh ra từ đâu

Thử nghiệm tương tác

Hay hiểu sai

Mẹo phòng thi

Ví dụ có lời giải

Bạn nắm chắc chưa?

Học tiếp từ đây