Gain Chart và Lift Chart - Data Analytics for Business #2

Bài viết thứ 2 trong Series là về Gain Chart và Lift Chart - một ứng dụng quan trọng của Data Analytics được sử dụng để đánh giá hiệu quả của mô hình phân loại trong các chiến dịch Marketing. Bộ dữ liệu được sử dụng là bank.csv được lấy từ cuốn sách "Marketing Data Science - Modeling Techniques in Predictive Analytics with R and Python" của Thomas W. Miller. Nếu bạn muốn download sách thì link ở đây.

Các bạn có thể tìm kiếm thêm trên Google và YouTube (hoặc Medium và Towardsdatascience nếu máy bạn có thể truy cập, 2 trang này bị một số nhà mạng VN chặn). Và để hiểu bài viết này thì các bạn cần hiểu rõ cách xây dựng và đánh giá một mô hình phân loại.

Bộ dữ liệu bank.csv gồm 4500 khách hàng trong ngân hàng với các thông tin cơ bản, từ đó chúng ta xây dựng nên một mô hình phân loại để dự đoán khách hàng nào sẽ gửi tiền cho ngân hàng thông qua chiến dịch Marketing. Và thay vì Marketing cho tất cả khách hàng trong kho dữ liệu, chúng ta chỉ Marketing cho những khách hàng được mô hình dự đoán là sẽ gửi tiền. Câu hỏi được đặt ra là mô hình có hiệu quả không so với việc không sử dụng mô hình? Và mức độ hiệu quả như thế nào?

Mô hình sử dụng các thông tin cơ bản của khách hàng như là tuổi, loại hình nghề nghiệp, trình độ học vấn, tình trạng hôn nhân, thu nhập được sử dụng để dự đoán liệu khách hàng sẽ gửi tiền vào ngân hàng hay không thể hiện ở feature "response" (phản hồi).

_ Gain và Lift chart là các công cụ trực quan hóa để đánh giá tính hiệu quả của mô hình bằng việc cho thấy tỉ lệ phản hồi của một nhóm nhất định (sử dụng mô hình) khác thế nào với một nhóm được chọn ngẫu nhiên (không sử dụng mô hình).

_ Diện tích giữa đường Gain/Lift và đường Baseline (không sử dụng mô hình) càng lớn thì mô hình càng tốt

Sau khi xây dựng xong mô hình, chúng ta sẽ thu được xác suất phản hồi của khách hàng (trong TH này thì phản hồi có nghĩa là khách hàng sẽ gửi tiền vào ngân hàng sau khi được Marketing). Và dưới đây là các bước để xây dựng nên Gain Chart và Lift Chart:

Bước 1: Tính xác suất phản hồi campaign cho từng khách hàng

Bước 2: Xếp theo thứ tự xác suất cao tới thấp

Bước 3: Chia thành 10 nhóm mỗi nhóm gồm 10% tổng số khách hàng

Bước 4: Tính số khách hàng phản hồi và tổng của từng nhóm

VD ở nhóm đầu tiên, có tổng số 113 khách hàng, thì nếu sử dụng mô hình, chúng ta sẽ thu được 27 trong tổng số 135 khách hàng có phản hồi, tỉ lệ Gain là 27/135 = 20%, trong khi nếu không sử dụng mô hình thì tỉ lệ Gain chỉ là 10%. Tương tự, ở nhóm thứ 2, nếu sử dụng mô hình thì chúng ta sẽ thu được 24 khách hàng có phản hồi, tỉ lệ Gain là 24/135 + 20% = 38%, trong khi nếu không sử dụng mô hình thì tỉ lệ Gain là 20%.

Lift chart thì về bản chất là giống Gain Chart, chỉ khác về cách trực quan hóa.

VD ở nhóm đầu tiên, nếu sử dụng mô hình, chúng ta sẽ thu được 27 trong tổng số 135 khách hàng có phản hồi, trong khi nếu không sử dụng mô hình thì sẽ thu được 13.5 khách hàng (10% của 135) cho nên Lift = 27/13.5 = 2

Giải thích Lift Chart: Nếu sử dụng mô hình thì với 10% đầu tiên, tỉ lệ số khách hàng phản hồi so với việc không sử dụng mô hình là gấp 2 lần, còn với 20% thì tỉ lệ là gấp 1.89 lần

Mô hình đã được xây dựng và đánh giá. Vấn đề bây giờ là nên chọn điểm ngưỡng bằng bao nhiêu (khi xác suất phản hồi lớn hơn điểm ngưỡng, thì ta coi khách hàng đó có phản hồi), hay nói cách khác là nên chọn top bao nhiêu % khách hàng có xác suất phản hồi cao nhất để tiến hành Marketing, nhằm đạt được sự tối ưu về mặt tài chính. Điều này đòi hỏi thêm nhiều dữ liệu khác để có thể đưa ra được quyết định đúng đắn nhất.

Giả sử với mỗi khách hàng phản hồi, chi phí để Marketing là 5 đô, nếu khách hàng phản hồi thì lượng doanh thu trung bình thu về là 100 đô, và chi phí để hỗ trợ khách hàng là 25 đô, viết một thuật toán đơn giản để tính toán lợi nhuận thu về và ta có biểu đồ sau:

Nếu tiến hành Marketing cho toàn bộ khách hàng, lợi nhuận thu về là 4470 đô, còn nếu sử dụng mô hình với điểm ngưỡng ở 0.07 thì lợi nhuận đạt lớn nhất với 4755 đô (nhiều hơn 285 đô). Nghĩa là sẽ tối ưu nhất nếu chỉ thực hiện Marketing với top 87% số khách hàng có xác suất phản hồi cao nhất. Trong thực tế tỉ lệ này sẽ thấp hơn rất nhiều. Đây là một cách khá đơn giản để có thể tính toán số tiền mình cần bỏ ra và định vị được tập khách hàng quan trọng nhằm thu được kết quả tốt nhất từ chiến dịch Marketing.

Đây là bài viết của mình trong series "Data Analytics for Business" về chủ đề Gain và Lift Chart. Hi vọng các bạn sẽ hiểu hơn về các ứng dụng thực tế của Data Analytics trong Business. Với những bạn muốn tham khảo cách mình xử lí data thì mình có để link Github ở phía dưới.
Link Github