Unit 2/3 · ~13 phút · +300 điểm
Đọc kết quả thử nghiệm cho đúng
Mục tiêu học tập
Sau khi hoàn thành bài này, bạn có thể:
- Giải thích ý nghĩa thống kê ở mức dễ hiểu và vì sao chênh lệch nhỏ có thể chỉ là may rủi
- Nhận diện các sai lầm hay gặp khi đọc kết quả: dừng sớm, soi nhiều chỉ số, chia nhỏ phân khúc sau khi chạy
- Kiểm tra chất lượng dữ liệu thử nghiệm trước khi kết luận
Ở bài trước, bạn đã viết giả thuyết, chọn chỉ số và ước lượng cỡ mẫu. Thử nghiệm chạy xong, bảng kết quả hiện ra: phiên bản B có tỷ lệ chuyển đổi cao hơn. Vậy là B thắng? Chưa chắc. Đọc sai kết quả còn nguy hiểm hơn không thử nghiệm, vì đội sẽ tự tin áp dụng một thay đổi không có tác dụng. Bài này giúp bạn đọc kết quả bằng tư duy thống kê ở mức đủ dùng, không cần công thức.
Ý nghĩa thống kê, nói cho dễ hiểu
Giả sử hai phiên bản thực ra như nhau. Bạn vẫn sẽ thấy chúng chênh nhau một chút, giống như tung hai đồng xu giống hệt nhau thì số mặt ngửa hiếm khi bằng nhau. Ý nghĩa thống kê trả lời câu hỏi: “Nếu hai phiên bản thật sự như nhau, khả năng thấy chênh lệch lớn cỡ này chỉ do may rủi là bao nhiêu?”
- Nếu khả năng đó rất thấp (thường lấy ngưỡng dưới 5%, tương ứng mức tin cậy 95%), ta nói chênh lệch có ý nghĩa thống kê.
- Nếu khả năng đó cao, chênh lệch có thể chỉ là nhiễu. Kết luận đúng là “chưa đủ bằng chứng”, không phải “hai bản như nhau”.
Một ví dụ
Ví dụ: trang A có 1.000 lượt truy cập và 20 lần gửi form (2%), trang B có 1.000 lượt và 26 lần (2,6%). Nghe B hơn A tới 30%, nhưng chỉ chênh 6 lần gửi form. Với lượng dữ liệu này, chênh lệch đó hoàn toàn có thể do may rủi. Nếu mỗi trang có 20.000 lượt với cùng tỷ lệ như vậy, bức tranh sẽ đáng tin hơn nhiều. Bạn có thể nhập số liệu vào một công cụ tính ý nghĩa thống kê A/B test để kiểm tra.
Lưu ý
Có ý nghĩa thống kê không có nghĩa là có ý nghĩa kinh doanh. Một chênh lệch rất nhỏ nhưng chắc chắn có thể không đáng công triển khai. Hãy luôn hỏi thêm: mức tăng này tương đương bao nhiêu SQL, bao nhiêu pipeline mỗi quý?
Sai lầm 1: Nhìn sớm và dừng sớm
Đây là sai lầm phổ biến nhất. Đội mở bảng kết quả mỗi ngày, và ngày nào B nhỉnh hơn với dấu “có ý nghĩa” thì dừng luôn. Vấn đề là ở giai đoạn đầu, kết quả dao động rất mạnh. Nhìn càng nhiều lần, càng có nhiều cơ hội bắt gặp một khoảnh khắc trông như thắng.
Cách phòng tránh:
- Định trước cỡ mẫu và thời gian chạy (đã làm ở bài trước), ghi vào nhật ký thử nghiệm.
- Chạy ít nhất trọn tuần, tốt nhất là hai tuần trở lên, để bao được chu kỳ ngày làm việc và cuối tuần. Hành vi khách B2B thứ Hai và Chủ nhật rất khác nhau.
- Chỉ kết luận khi đã đủ cỡ mẫu và thời gian, trừ khi có sự cố nghiêm trọng như phiên bản B làm hỏng form.
Sai lầm 2: Soi nhiều chỉ số, chọn cái đẹp
Chỉ số chính không thắng, đội chuyển sang xem thời gian trên trang, tỷ lệ cuộn, lượt bấm menu… và tìm ra một chỉ số “thắng”. Nếu bạn xem 20 chỉ số, khả năng có ít nhất một cái trông như thắng chỉ do may rủi là khá cao. Đó là lý do phải chọn chỉ số chính trước khi chạy. Các chỉ số khác chỉ để hiểu thêm, không để tuyên bố thắng.
Sai lầm 3: Chia nhỏ phân khúc sau khi chạy
Tương tự, khi tổng thể không thắng, việc chia ra theo ngành, thiết bị, khu vực rồi tìm ô thắng gần như chắc chắn ra “phát hiện”. Hãy coi phát hiện đó là giả thuyết mới, đưa vào danh sách chờ và kiểm chứng bằng một thử nghiệm riêng.
Kiểm tra dữ liệu trước khi đọc
Trước khi nhìn kết quả, hãy chắc dữ liệu đúng. Bảng kiểm tra nhanh:
| Kiểm tra | Dấu hiệu có vấn đề |
|---|---|
| Tỷ lệ chia nhóm | Thiết kế 50/50 mà thực tế lệch nhiều. Đây gọi là lệch tỷ lệ chia mẫu (SRM), thường do lỗi chia nhóm, lỗi chuyển hướng hoặc lỗi tracking |
| Tracking hai phiên bản | Một phiên bản thiếu key event vì thẻ trong GTM chỉ kích hoạt trên URL cũ. Kiểm tra bằng chế độ Preview của GTM và báo cáo DebugView của GA4 trước khi chạy |
| Sự kiện bên ngoài | Giữa chừng có đợt khuyến mãi, hội chợ ngành, sự cố website ảnh hưởng một nhóm |
| Lượt truy cập rác | Lượng truy cập tăng đột biến từ một nguồn lạ, tỷ lệ chuyển đổi bằng 0 |
Sai lầm hay gặp
Hiệu ứng mới lạ: khách quen bấm vào thứ mới chỉ vì nó lạ, sau vài tuần mức tăng biến mất. Với thay đổi lớn về giao diện hoặc email, hãy theo dõi thêm một thời gian sau khi áp dụng để chắc mức tăng còn giữ.
Ba kiểu kết luận
Thắng
Đủ cỡ mẫu, có ý nghĩa thống kê, chỉ số bảo vệ ổn: áp dụng và theo dõi
Thua
Phiên bản mới kém hơn rõ: giữ bản cũ, ghi lại vì sao giả thuyết sai
Chưa rõ
Không đủ bằng chứng: chọn bản dễ vận hành hơn, hoặc thiết kế thử nghiệm mạnh hơn
Kết luận “chưa rõ” rất thường gặp với B2B, và không có gì xấu. Điều xấu là gọi nó là “thắng” để có báo cáo đẹp.
Cùng ôn lại
- Ý nghĩa thống kê cho biết chênh lệch có dễ xảy ra do may rủi hay không; chênh lệch nhỏ với ít dữ liệu thường chưa nói lên gì.
- Định trước cỡ mẫu và thời gian, chạy trọn tuần, không dừng sớm khi thấy đẹp.
- Chỉ một chỉ số chính; phát hiện từ phân khúc chỉ là giả thuyết mới.
- Kiểm tra tỷ lệ chia nhóm, tracking và sự kiện bên ngoài trước khi kết luận.
Một thử nghiệm đọc đúng là tốt, nhưng văn hóa thử nghiệm cần nhịp đều đặn. Bài tiếp theo giúp bạn dựng nhịp thử nghiệm hằng tuần cho cả team.
Kiểm tra kiến thức
Bạn đang học với tư cách khách: quiz vẫn chấm nhưng điểm không được lưu. Đăng nhập hoặc tạo tài khoản để tích điểm và nhận huy hiệu.
Thử nghiệm trang đặt demo dự kiến chạy 4 tuần. Sau 4 ngày, phiên bản B đang hơn A rõ rệt và công cụ báo “có ý nghĩa thống kê”. Anh Long muốn dừng và áp dụng B ngay. Bạn khuyên gì?
Thử nghiệm email chia 50/50 nhưng nhóm A có 5.000 người nhận, nhóm B chỉ có 3.200. Chị Hương nên làm gì trước tiên?
Thử nghiệm form ngắn không thắng ở tổng thể. Anh Bảo chia ra 12 phân khúc và thấy form ngắn thắng ở “ngành dệt may, truy cập bằng máy tính bảng”. Cách xử lý đúng là gì?