Unit 1/3 · ~13 phút · +300 điểm
Giả thuyết và thiết kế thử nghiệm
Mục tiêu học tập
Sau khi hoàn thành bài này, bạn có thể:
- Viết một giả thuyết thử nghiệm đầy đủ gồm căn cứ, thay đổi, đối tượng và chỉ số
- Chọn chỉ số chính và chỉ số bảo vệ phù hợp cho một thử nghiệm marketing B2B
- Ước lượng thử nghiệm có đủ dữ liệu để kết luận hay không trước khi chạy
Bạn đã có kế hoạch, ngân sách và hệ thống dữ liệu. Giờ là lúc dùng chúng để đội học nhanh hơn đối thủ. Marketing không thiếu ý tưởng, nhưng thường thiếu cách biết ý tưởng nào thật sự hiệu quả. Văn hóa thử nghiệm là thói quen biến ý kiến thành giả thuyết, biến giả thuyết thành phép thử, và để dữ liệu quyết định. Bài đầu tiên của module này bắt đầu từ gốc: viết giả thuyết và thiết kế thử nghiệm.
Từ ý tưởng tới giả thuyết
“Thử làm video xem sao” là ý tưởng. Giả thuyết thì cụ thể hơn nhiều. Một khung câu dễ dùng:
Vì [căn cứ quan sát được], chúng tôi tin rằng [thay đổi cụ thể] cho [đối tượng] sẽ làm [chỉ số] thay đổi [hướng], đo bằng [cách đo] trong [thời gian].
Ví dụ của anh Đức, marketing Công ty Phần mềm Nhân sự Tâm Việt:
Vì sales phản hồi khách thường hỏi “triển khai mất bao lâu” ngay cuộc gọi đầu, chúng tôi tin rằng thêm mục “Lộ trình triển khai 4 tuần” lên trang giá cho khách truy cập từ quảng cáo tìm kiếm sẽ làm tăng tỷ lệ gửi form đặt demo, đo bằng key event
book_demotrong GA4, trong 4 tuần.
Phần “vì” rất quan trọng. Nó buộc bạn chỉ ra bằng chứng: dữ liệu GA4, ghi hình phiên truy cập, phản hồi của sales, câu hỏi khách hay gặp. Giả thuyết có căn cứ thường thắng nhiều hơn giả thuyết đoán mò, và khi thua thì bạn vẫn học được điều gì đó về căn cứ ban đầu.
Chọn chỉ số: chính và bảo vệ
Mỗi thử nghiệm nên có:
- Một chỉ số chính (primary metric): con số quyết định thắng thua, chọn trước khi chạy. Chỉ một, để không bị cám dỗ chọn chỉ số nào đẹp sau khi có kết quả.
- Một vài chỉ số bảo vệ (guardrail metric): để chắc thay đổi không gây hại ở chỗ khác.
| Thử nghiệm | Chỉ số chính | Chỉ số bảo vệ |
|---|---|---|
| Rút gọn form từ 8 trường xuống 4 | Tỷ lệ gửi form | Tỷ lệ lead thành MQL |
| Tiêu đề email mới | Tỷ lệ bấm | Tỷ lệ hủy đăng ký |
| Quảng cáo nhắm rộng hơn | Chi phí mỗi SQL | Tỷ lệ lead bị sales loại |
Mẹo
Với B2B, chỉ số càng gần doanh thu càng có ý nghĩa, nhưng càng ít sự kiện nên càng khó đo. Một cách cân bằng là dùng chỉ số giữa phễu (gửi form, đặt demo) làm chỉ số chính, và theo dõi tỷ lệ thành SQL làm chỉ số bảo vệ.
Các kiểu thiết kế thử nghiệm
| Kiểu | Cách làm | Khi nào dùng |
|---|---|---|
| A/B test | Chia ngẫu nhiên người dùng thành hai nhóm cùng lúc, mỗi nhóm thấy một phiên bản | Trang web, email, quảng cáo có đủ lượng truy cập |
| Trước và sau | So sánh giai đoạn trước và sau thay đổi | Không chia nhóm được; cần cẩn thận vì mùa vụ, khuyến mãi có thể làm lệch kết quả |
| Thử trên một nhóm | Áp dụng cho một khu vực, một ngành hoặc một nhóm sales, giữ nhóm khác làm đối chứng | Thay đổi quy trình, kịch bản, kênh offline |
A/B test cho kết luận đáng tin nhất vì hai nhóm chạy cùng thời điểm và được chia ngẫu nhiên. Nhiều công cụ email và quảng cáo có sẵn tính năng chia A/B. Với trang web, bạn cần công cụ thử nghiệm riêng hoặc tính năng của nền tảng làm website; tên và vị trí tính năng có thể khác tùy phiên bản.
Có đủ dữ liệu không?
Đây là câu hỏi hay bị bỏ qua nhất. Hãy hình dung tung đồng xu 10 lần ra 7 mặt ngửa: bạn chưa thể nói đồng xu bị lệch. Tung 1.000 lần ra 700 mặt ngửa thì khác. Thử nghiệm marketing cũng vậy: cỡ mẫu nhỏ thì chênh lệch dễ là do may rủi.
Ba thứ quyết định cần bao nhiêu dữ liệu:
- Tỷ lệ chuyển đổi hiện tại: tỷ lệ càng thấp càng cần nhiều lượt truy cập.
- Mức chênh lệch bạn muốn phát hiện: muốn thấy chênh lệch nhỏ thì cần rất nhiều dữ liệu; chênh lệch lớn thì cần ít hơn.
- Mức chắc chắn mong muốn: thường dùng mức tin cậy 95%.
Bạn có thể dùng các công cụ tính cỡ mẫu A/B test miễn phí: nhập tỷ lệ hiện tại và mức chênh lệch muốn phát hiện, công cụ sẽ cho biết mỗi nhóm cần bao nhiêu lượt. Chia cho lượng truy cập mỗi tuần, bạn biết thử nghiệm phải chạy bao lâu. Nếu kết quả là “vài tháng”, hãy thiết kế lại: thử thay đổi lớn hơn, hoặc đo ở chỉ số có nhiều sự kiện hơn.
Sai lầm hay gặp
Thay đổi nhiều thứ cùng lúc (tiêu đề, hình, form, nút) rồi kết luận “phiên bản B tốt hơn”. Bạn biết B thắng nhưng không biết vì sao. Với lượng truy cập ít, thay đổi lớn vẫn được, nhưng hãy ghi rõ đây là thử nghiệm gộp và lần sau tách dần.
Cùng ôn lại
- Giả thuyết tốt có căn cứ, thay đổi cụ thể, đối tượng, chỉ số và thời gian.
- Chọn một chỉ số chính trước khi chạy, kèm chỉ số bảo vệ để phát hiện tác dụng phụ.
- A/B test đáng tin nhất; trước và sau dễ bị mùa vụ làm lệch.
- Ước lượng cỡ mẫu trước; ít dữ liệu thì thử thay đổi lớn hoặc chỉ số cao hơn trong phễu.
Thử nghiệm chạy xong, việc tiếp theo là đọc kết quả cho đúng. Bài sau sẽ giúp bạn tránh những cái bẫy khiến đội kết luận sai.
Kiểm tra kiến thức
Bạn đang học với tư cách khách: quiz vẫn chấm nhưng điểm không được lưu. Đăng nhập hoặc tạo tài khoản để tích điểm và nhận huy hiệu.
Chị Vy viết: “Thử đổi màu nút trên trang báo giá xem sao”. Bản viết lại nào là giả thuyết tốt nhất?
Anh Đức thử tiêu đề email mới và tỷ lệ mở tăng. Chỉ số bảo vệ nào nên theo dõi kèm?
Website của một công ty bao bì có khoảng 40 lần gửi form báo giá mỗi tháng. Họ muốn A/B test hai phiên bản trang để phát hiện chênh lệch nhỏ. Lời khuyên hợp lý nhất?