Đây là series Data Analytics mang tính ứng dụng cao trong các lĩnh vực Marketing, Sales, Finance, ... Vì lý thuyết đã có quá nhiều trên Google chỉ việc search là ra, nên mình sẽ tập trung vào thực hành, với các bộ dữ liệu được upvote nhiều nhất trên Kaggle, hoặc lấy từ các đầu sách hay. Các bài viết khác trong series nằm ở đây.
Bài viết thứ 4 trong Series là về A/B testing - một phương pháp để so sánh giữa 2 phiên bản của webpage hoặc ứng dụng nào đó, từ đó tìm ra được phiên bản nào hiệu quả tốt hơn.
Một số ví dụ về A/B testing:

I. Khóa học của Google về A/B testing

Bài viết này dựa trên project cuối kì của khóa học A/B testing trên Udacity được biên soạn và giảng dạy bởi 2 nhân viên kì cựu của Google. Đây là một khóa học ngắn (tầm 1-2 ngày nếu cày) nhưng vô cùng đầy đủ về A/B testing, tất nhiên nó không hề dễ một chút nào, cần những kiến thức nền tảng về Thống kê và tiếng Anh tốt để có thể hiểu được. Project cũng được thiết kế mang tính thực tiễn rất cao bởi vì đây là bài toán thực tế của Udacity - sử dụng A/B testing để nâng cao trải nghiệm của người học, chỉ có dữ liệu là bị sửa đi để giữ tính bảo mật.

Một số đường link tham khảo chi tiết cách làm project

Note: Do A/B testing còn mới ở Việt Nam, nhiều thuật ngữ tiếng Anh rất khó để dịch qua tiếng Việt mà thoát hết ý nên mình sẽ để nguyên.

II. Mô tả project

Mô tả chi tiết project được trình bày dễ hiểu ở phần đầu clip
Hoặc ở phần đầu bài viết

III. Experiment Design

Trong thử nghiệm A/B testing của project này, unit of diversion là cookie (không trùng lặp). Sự không trùng lặp của cookie được tính theo ngày. Khi người học tham gia free trial thì sẽ được theo dõi bằng user-id (vì lúc này bắt buộc phải sử dụng tài khoản), cùng user-id sẽ không được tham gia 2 lần trở lên.

Metric Choice

Chúng ta cần 2 loại metric cho thử nghiệm: invariate metric và evaluation metric. Invariate metric được sử dụng cho "sanity checks" để đảm bảo cuộc thử nghiệm không bị sai từ đầu. Về cơ bản thì chúng ta chọn những metric không bị thay đổi (ảnh hưởng) bởi cuộc thử nghiệm. Sau đó thì đảm bảo rằng những metric này không thay đổi nhiều giữa control group và experiment group
Evaluation metric thì ngược lại - là những metric mà chúng ta kì vọng có một sự thay đổi. Đối với mỗi metric sẽ có Dmin (difference minimum) tương ứng - thể hiện sự thay đổi nhỏ nhất được coi là có ý nghĩa thống kê. Ví dụ, ở trong thử nghiệm này, bất kì sự thay đổi nào của retention dưới 1% đều không có ý nghĩa thống kê đối với business
Bảng metrics được sử dụng trong thử nghiệm
Bảng metrics được sử dụng trong thử nghiệm

IV. Ước lượng độ lệch chuẩn của các metric

Ước lượng phân tích (estimate analytically) của phương sai gần bằng ước lượng thực nghiệm (estimate empirically) trong trường hợp unit of diversion bằng với unit of analysis. Trong trường hợp này thì chỉ đúng với Gross Conversion và Net Conversion. Nếu muốn sử dụng metric Retention thì ta sẽ phải tính lại bằng ước lượng thực nghiệm

V. Sizing

Số pageview và duration cho mỗi evaluation metric để đạt được sức mạnh thống kê (với giá trị alpha = 0.05 và beta = 0.2)
Nếu chúng ta sử dụng 100% traffic với 40,000 pageview mỗi ngày và sử dụng cả 3 metric, cuộc thử nghiệm sẽ kéo dài 119 ngày. Trong khi nếu bỏ đi metric Retention, cuộc thử nghiệm sẽ chỉ kéo dài 18 ngày. Để giảm đi rủi ro thì chúng ta sẽ không sử dụng metric Retention nữa.

VI. Phân tích thử nghiệm

Sanity check

Đối với invariant metric, chúng ta kì vọng một sự phân chia cân bằng giữa control experiment và experiment group. Khoảng tin cậy được sử dụng ở đây là 95%

Phân tích kết quả

Sign test

VII. Kết luận

Có thể thấy rằng sự thay đổi của Net Conversion là không có ý nghĩa thống kê. Chúng ta kì vọng tăng tỉ lệ học viên trả phí cho Udacity bằng cách hỏi trước học viên xem họ có đủ thời gian dành cho khóa học hay không, nhưng điều đó đã không xảy ra. Thế nên recommendation cho Udacity ở đây là nên giữ giao diện như cũ.

VIII. Kết bài

Đây là bài viết của mình trong series "Data Analytics for Business" về chủ đề A/B testing. Bởi vì đây là một project phức tạp và rất dài nên bài viết chỉ tập trung vào các bước và kết quả thu được. Để tham khảo cách làm chi tiết thì các bạn có thể xem ở 2 đường link mình đính ở phần I. Hi vọng các bạn sẽ hiểu hơn về các ứng dụng thực tế của Data Analytics trong Business.
Sắp tới mình sẽ viết thêm nhiều bài viết về khoa học dữ liệu, phân tích insight từ các bộ dữ liệu hay, và cả những chủ đề thú vị khác nữa. Nếu không muốn bỏ lỡ thì hãy follow mình nhé :))