A/B Testing - Data Analytics for Business #4

Bài viết thứ 4 trong Series là về A/B testing - một phương pháp để so sánh giữa 2 phiên bản của webpage hoặc ứng dụng nào đó, từ đó tìm ra được phiên bản nào hiệu quả tốt hơn.

Một số ví dụ về A/B testing:

Bài viết này dựa trên project cuối kì của khóa học A/B testing trên Udacity được biên soạn và giảng dạy bởi 2 nhân viên kì cựu của Google. Đây là một khóa học ngắn (tầm 1-2 ngày nếu cày) nhưng vô cùng đầy đủ về A/B testing, tất nhiên nó không hề dễ một chút nào, cần những kiến thức nền tảng về Thống kê và tiếng Anh tốt để có thể hiểu được. Project cũng được thiết kế mang tính thực tiễn rất cao bởi vì đây là bài toán thực tế của Udacity - sử dụng A/B testing để nâng cao trải nghiệm của người học, chỉ có dữ liệu là bị sửa đi để giữ tính bảo mật.

Mô tả chi tiết project được trình bày dễ hiểu ở phần đầu clip

Hoặc ở phần đầu bài viết

Trong thử nghiệm A/B testing của project này, unit of diversion là cookie (không trùng lặp). Sự không trùng lặp của cookie được tính theo ngày. Khi người học tham gia free trial thì sẽ được theo dõi bằng user-id (vì lúc này bắt buộc phải sử dụng tài khoản), cùng user-id sẽ không được tham gia 2 lần trở lên.

Chúng ta cần 2 loại metric cho thử nghiệm: invariate metric và evaluation metric. Invariate metric được sử dụng cho "sanity checks" để đảm bảo cuộc thử nghiệm không bị sai từ đầu. Về cơ bản thì chúng ta chọn những metric không bị thay đổi (ảnh hưởng) bởi cuộc thử nghiệm. Sau đó thì đảm bảo rằng những metric này không thay đổi nhiều giữa control group và experiment group

Evaluation metric thì ngược lại - là những metric mà chúng ta kì vọng có một sự thay đổi. Đối với mỗi metric sẽ có Dmin (difference minimum) tương ứng - thể hiện sự thay đổi nhỏ nhất được coi là có ý nghĩa thống kê. Ví dụ, ở trong thử nghiệm này, bất kì sự thay đổi nào của retention dưới 1% đều không có ý nghĩa thống kê đối với business

Ước lượng phân tích (estimate analytically) của phương sai gần bằng ước lượng thực nghiệm (estimate empirically) trong trường hợp unit of diversion bằng với unit of analysis. Trong trường hợp này thì chỉ đúng với Gross Conversion và Net Conversion. Nếu muốn sử dụng metric Retention thì ta sẽ phải tính lại bằng ước lượng thực nghiệm

Số pageview và duration cho mỗi evaluation metric để đạt được sức mạnh thống kê (với giá trị alpha = 0.05 và beta = 0.2)

Nếu chúng ta sử dụng 100% traffic với 40,000 pageview mỗi ngày và sử dụng cả 3 metric, cuộc thử nghiệm sẽ kéo dài 119 ngày. Trong khi nếu bỏ đi metric Retention, cuộc thử nghiệm sẽ chỉ kéo dài 18 ngày. Để giảm đi rủi ro thì chúng ta sẽ không sử dụng metric Retention nữa.

Đối với invariant metric, chúng ta kì vọng một sự phân chia cân bằng giữa control experiment và experiment group. Khoảng tin cậy được sử dụng ở đây là 95%

Có thể thấy rằng sự thay đổi của Net Conversion là không có ý nghĩa thống kê. Chúng ta kì vọng tăng tỉ lệ học viên trả phí cho Udacity bằng cách hỏi trước học viên xem họ có đủ thời gian dành cho khóa học hay không, nhưng điều đó đã không xảy ra. Thế nên recommendation cho Udacity ở đây là nên giữ giao diện như cũ.

Đây là bài viết của mình trong series "Data Analytics for Business" về chủ đề A/B testing. Bởi vì đây là một project phức tạp và rất dài nên bài viết chỉ tập trung vào các bước và kết quả thu được. Để tham khảo cách làm chi tiết thì các bạn có thể xem ở 2 đường link mình đính ở phần I. Hi vọng các bạn sẽ hiểu hơn về các ứng dụng thực tế của Data Analytics trong Business.