[Dịch] Obama đã gây quỹ thêm 60 triệu đô nhờ chạy 1 A/B testing nhỏ như thế nào?
Hãy luôn nghi ngờ giả thuyết mình đặt ra. Mọi người trong chiến dịch này đều yêu thích video. Tuy nhiên tất cả 3 video banner đều cho lượng sign up thấp hơn, thấp hơn cả những banner hình ảnh.
Link bài gốc: https://www.optimizely.com/insights/blog/how-obama-raised-60-million-by-running-a-simple-experiment/
Bài viết nói về trải nghiệm A/B testing của Dan Siroker và đồng nghiệp trong chiến dịch vận động bổ nhiệm của Obama vào năm 2008. Dan hiện đang là CEO của Optimizely và trước đây là Product Manager tại Google, học khoa học máy tính tại Stanford.
Vào ngày 21/10/2010, Tổng thống Obama đã thăm Palo Alto, California để gây quỹ theo cách truyền thống: bữa ăn tối gây quỹ (thường là những người nổi tiếng tổ chức bữa tiệc ăn tối để gây quỹ, ai muốn gặp gỡ và ăn tối với họ thì phải trả 1 khoản tiền; trong bữa ăn tối này với Obama, mỗi người tham gia phải trả 30,400$ 1 đĩa đồ ăn). Đây là một cách tuyệt vời để gây quỹ nếu tổng thống nước Mỹ có mặt tại bữa ăn tối. Nhưng làm thế nào để bạn có thể gây quỹ khi chưa ai biết về mình và tất cả những gì bạn có là 1 website. Trở lại 2007, Obama còn chưa nổi tiếng, khi Obama đang vận động để được bổ nhiệm đại diện cho đảng dân chủ và mong muốn tăng được phần trăm số phiếu bầu lên 2 con số, tất cả những gì họ có chỉ là 1 website.
Thử nghiệm (A/B testing)
Là 1 người chịu trách nhiệm phân tích cho chiến dịch của Obama vào năm 2o08, công việc của Dan là sử dụng dữ liệu để giúp đưa ra được những quyết định đúng đắn hơn cho chiến dịch. Dan và đồng nghiệp bắt đầu với 1 thử nghiệm nhỏ vào tháng 12/2007. Thử nghiệm này rút ra bài học cho họ rằng mỗi 1 người truy cập website là 1 cơ hội và bằng cách tận dụng cơ hội này thông qua tối ưu hóa website và A/B testing giúp họ gây được hàng chục triệu đô la cho quỹ.
Thử nghiệm này thực hiện trên 2 phần của trang giới thiệu (splash page): Trên phần media (banner) và nút call-to-action “Sign up”.
Họ đã test 4 nút sign up và 6 banner (3 banner hình ảnh và 3 video banner).
4 cách khác nhau thể hiện nút đăng ký gồm
Join us Now
Learn More
Sign up now
Sign up
6 banner gồm
2 hình chân dung Obama trong cuộc vận động
1 hình Obama chụp cùng gia đình
1 video Obama giới thiệu về bản thân và kêu gọi sign up để tiếp tục xem về chiến dịch.
1 video tại Springfield (Virginia) nói về niềm tin của dân chúng về Obama
1 video Obama nói về phân biệt chủng tộc
Họ sử dụng “Google Website Optimizer” và chạy nó như là “full-factorial multivariate” — một cách “ảo tung chảo — thuật ngữ” để nói rằng họ test tất cả các phiên bản của nút và banner cùng 1 lúc. Có 4 nút đăng ký và 6 banner, có nghĩa là có cả thảy 24 (4x6) phiên bản để test. Mỗi 1 người truy cập trang được ngẫu nhiên hiện ra 1 trong 24 phiên bản này và Dan cùng đồng nghiệp theo dõi họ có đăng ký hay không (success metric). Họ đã dự đoán rằng video nói về phân biệt chủng tộc của Obama sẽ gây được lượng Sign up nhiều nhất.
Trước khi bạn kéo xuống dưới và xem kết quả, hãy đoán xem phiên bản banner và nút sign up nào sẽ mang lại lượng sign up nhiều nhất?
1)Chân dung Obama
2)Obama và gia đình
3)1 tấm chân dung khác của Obama
4)Video Obama giới thiệu về bản thân và kêu gọi Sign up để xem tiếp về chiến dịch.
5)Video Obama tại Springfield (Virginia)
6)Video Obama nói về phân biệt chủng tộc
Kết quả
Metric đo sự thành công của thử nghiệm là “tỷ lệ sign up”: số lượng người sign up. Có tổng cộng 310.382 người truy cập tới trang chủ trong suốt quá trình thử nghiệm có nghĩa là mỗi phiên bản test sẽ có 13.000 người thấy. Dưới đây là tỷ lệ sign up cho mỗi phần (nút sign up và banner)
Còn đây là tỷ lệ sign up cho mỗi phiên bản:
The Winner — phiên bản thắng cuộc
Phiên bản banner Obama cùng gia đình + nút “Learn more” cho lượng Sign up nhiều nhất, trái với những gì Dan và đồng nghiệp dự đoán (video Obama nói về phân biệt chủng tộc). Nếu họ không chạy thử nghiệm này thì họ chắc chắn sẽ dùng Video Obama nói về phân biệt chủng tộc để đặt trên banner. Đó sẽ là 1 sai lầm lớn vì thực ra kết quả cho thấy Video này cho lượng sign up thấp nhất, thấp hơn cả các banner hình ảnh tĩnh.
Phiên bản chiến thắng trong thử nghiệm (Obama cùng gia đình + nút Learn More) cho tỷ lệ sign up 11,6% trong khi phiên bản đầu tiên cho tỷ lệ sign up 8.26% mà thôi. Vậy tỷ lệ sign up so đã tăng 40.6% so với phiên bản đầu tiên. Điều gì đã làm tăng 40.6% tỷ lệ sign up?
Nếu bạn cho rằng sự gia tăng tỷ lệ sign up này ổn định trong suốt thời gian chạy chiến dịch, thì chúng ta có thể nhìn vào những con số ở cuối chiến dịch và thấy sự khác biệt mà thử nghiệm nhỏ này mang lại. Khoảng 10 triệu người sign up trên trang này trong suốt chiến dịch. Nếu Dan và đồng nghiệp không chạy thử nghiệm này và chỉ đưa lên phiên bản ban đầu thì con số sign up sẽ chỉ rơi vào khoảng 7.120.000 user. Sự cải tiến về nội dung trang splash page đã mang về thêm được 2.880.000 email.
Những người đăng ký trên splash page được gửi email kêu gọi làm tình nguyện viên và 10% trong số những người này đã trở thành tình nguyện viên. Điều đó có nghĩa rằng 2.880.000 email thu thập được thêm từ sự cải tiến đã mang lại thêm 288.000 tình nguyện viên.
Mỗi email đăng ký qua splash page quyên góp trung bình 21$ suốt chiến dịch tức là 2.880.000 email đó mang lại thêm 60 triệu đô la.
Bài học rút ra
Mỗi 1 người truy cập tới website của bạn là 1 cơ hội. Hãy tận dụng cơ hội đó để tối ưu hóa website và làm A/B testing.
Hãy luôn nghi ngờ giả thuyết mình đặt ra. Mọi người trong chiến dịch này đều yêu thích video. Tuy nhiên tất cả 3 video banner đều cho lượng sign up thấp hơn, thấp hơn cả những banner hình ảnh. Chúng ta sẽ không bao giờ biết được điều này nếu chúng ta không đặt câu hỏi về giả thuyết của chúng ta liệu có đúng hay không.
Làm thử nghiệm (A/B Testing) thường xuyên và càng sớm càng tốt. Dan và đồng nghiệp chạy thử nghiệm này vào 12/2007 và thu hoạch được nhiều lợi ích của nó cho chiến dịch vận động. Bởi vì thử nghiệm đầu tiên này chứng minh rằng nó rất hiệu quả, họ đã tiếp tục làm nhiều thử nghiệm khác trên các trang con trong suốt chiến dịch của Obama.
Về tác giả Dan Siroker
Dan là đồng sáng lập và là CEO của Optimizely. Cảm hứng ban đầu để tạo nên Optimizely đến từ trải nghiệm của Dan với cương vị là người chịu trách nghiệm phân tích cho chiến dịch tranh cử của Obama vào năm 2008. Optimizely là đứa con tinh thần của Dan, với mong mỏi giúp mọi người làm A/B testing dễ dàng hơn. 4 năm sau, Optimizely dẫn đầu trên nền tảng tối ưu hóa, cung cấp A/B testing, multivariate testing và personalization cho website và ứng dụng di động. Dan trước đây là 1 product manager tại Google và học khoa học máy tính tại Stanford.