← Danh mục 100 · Quản Trị Kinh Doanh, Nhân Sự & Vận Hành · Hình tương tác #078

Kiểm Định Thống Kê A/B Testing: Cỡ Mẫu Tối Thiểu, Mức Ý Nghĩa & Bẫy Kết Luận Sớm

Khoa học ra quyết định sản phẩm bằng dữ liệu: phân biệt cải tiến thật sự với nhiễu ngẫu nhiên của đám đông nhỏ.

Hình 78 · sơ đồ 6 trạm & 8 điểm chọn Sa Bàn Phân Luồng Đám Đông 100 Hạt

Chọn kịch bản · kéo thanh · chạy mô phỏng · tháo rời

Số nhỏ trên trạm = thứ tự vận hành. Màu xám = tạm bỏ qua. Xem hình lớn ↗

Chọn kịch bản4 chế độ đối chứng

Đường đi đang kích hoạt · theo số trạm

Mức cải thiện tối thiểu kỳ vọng (MDE)14 % tương đối

Khoảng tối ưu: 10 đến 20 % tương đối. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Tiến độ thu thập cỡ mẫu trước khi chốt100 % chuẩn

Khoảng tối ưu: 95 đến 115 % chuẩn. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Số lần mở xem & can thiệp giữa chừng1 lần

Khoảng tối ưu: 1 đến 2 lần. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Độ tin cậy kết luận thật sự

95,0%

Xác suất Dương tính giả (ảo tưởng thắng)

5,0%

Tỷ lệ phiên bản triển khai tăng thu thật

82,0%

Bấm vào trạm trên hình hoặc nút số bên dưới để đọc vai trò từng bộ phận.

Đọc hình như một mô hình giải thích

Hình tương tác này cô đọng cơ chế vận hành cốt lõi của chủ thể thành 6 trạm trực quan kèm đồng hồ đo và đầu ra đối chứng. Bấm vào từng hàng trong bảng tham chiếu bên dưới để nạp nhanh bộ thông số vào mô hình.

Bảng đối chiếu 4 kịch bản tham khảo (bấm vào dòng bất kỳ để áp dụng)
Kịch bản	Đường đi	Mức cải thiện tối thiểu kỳ vọng (MDE) (% tương đối)	Tiến độ thu thập cỡ mẫu trước khi chốt (% chuẩn)	Số lần mở xem & can thiệp giữa chừng (lần)	Hệ quả quan sát
Thử nghiệm chuẩn 2 chu kỳ tuần đầy đủ (Tối ưu)	1 → 2 → 3 → 4 → 5 → 6	14 % tương đối	100 % chuẩn	1 lần	Thu đủ 100% cỡ mẫu tính trước, khóa kết quả cuối kỳ: sai số dương tính giả giữ đúng 5%
Đặt MDE vi mô 2% khi ít traffic (Thiếu tải)	1 → 2 → 4 → 6	4 % tương đối	30 % chuẩn	1 lần	Đòi phát hiện chênh lệch quá nhỏ khiến thí nghiệm thiếu mẫu, không bao giờ ra kết luận
Nhìn trộm hàng ngày thấy thắng là dừng ngay (Quá ngưỡng)	1 → 2 → 3 → 4 → 5 → 6	32 % tương đối	145 % chuẩn	16 lần	Soi bảng số 16 lần hoặc chạy đồng thời quá nhiều biến làm xác suất kết luận nhầm vọt lên 38%
Kiểm chứng thay đổi lớn thông điệp giá (Thực tế)	1 → 3 → 4 → 5 → 6	18 % tương đối	105 % chuẩn	2 lần	Thay đổi tác động mạnh (MDE 18%) giúp rút ngắn cỡ mẫu cần thiết xuống chỉ 7 ngày

Ý nghĩa Thống kê (p-value < 0.05)
Trả lời câu hỏi: Chênh lệch quan sát được có phải do ngẫu nhiên hay không? Với cỡ mẫu 10 triệu người, mức tăng 0.05% cũng đạt ý nghĩa thống kê rất cao.

Ý nghĩa Thực tiễn Kinh doanh
Trả lời câu hỏi: Độ lớn mức cải thiện (Effect Size) có bõ công chi phí viết code, bảo trì và độ phức tạp vận hành dài hạn hay không?

Quan hệ định lượng minh họa: Cỡ_mẫu_mỗi_nhánh n ≈ 16 × p×(1 − p) ÷ MDE² · Chuẩn: α = 5% (p < 0.05), Power = 80%