Experiments With Few Users

Quyển này viết cho ai

Người làm sản phẩm ở doanh nghiệp Việt Nam: product manager, product owner, trưởng nhóm sản phẩm ở công ty phần mềm, ứng dụng di động, sàn thương mại điện tử, fintech và bộ phận số của doanh nghiệp truyền thống; làm việc hằng ngày với kỹ sư, thiết kế, đội bán hàng và chăm sóc khách, thường không có đội nghiên cứu người dùng hay phân tích dữ liệu riêng.

Bạn có đang gặp những chuyện này

• Chạy thử nghiệm A/B hai tuần rồi kết luận từ chênh lệch vài người.
• Không biết cần bao nhiêu người dùng thì kết quả mới đáng tin.
• Thử nghiệm dừng sớm ngay khi thấy con số đẹp.
• Mọi thay đổi đều được gọi là thí nghiệm nhưng không cái nào có giả thuyết viết ra trước.

Mỗi chương trả lời một câu hỏi

1. Chương 1: Kết quả nào cũng giải thích được, thí nghiệm làm gì?

   Tôi đang tin điều gì, và kết quả nào sẽ khiến tôi đổi ý?

   Thí nghiệm không có giả thuyết viết trước thì kết quả nào cũng giải thích được.

2. Chương 2: Ít người dùng thì có còn thí nghiệm được không?

   Với số người dùng hiện có, tôi phát hiện được mức chênh lệch nào?

   Lượng người dùng quyết định loại thí nghiệm làm được, không phải ngược lại.

3. Chương 3: A/B là cách học rẻ nhất, hay đắt nhất?

   Tôi kiểm giả thuyết này bằng cách nào mà không cần chia hai nhóm người dùng?

   Có nhiều cách học rẻ hơn một thử nghiệm A/B.

4. Chương 4: Kết quả đẹp sớm là thắng, hay là may?

   Kết quả này có còn đứng vững nếu tôi chạy thêm một tuần không?

   Kết quả đẹp mà dừng sớm thường là may mắn.

5. Chương 5: Một lần thắng đáng giá hơn một năm ghi chép?

   Nhóm tôi nhớ được gì từ các thí nghiệm của năm ngoái?

   Giá trị của thí nghiệm nằm ở sổ ghi chép qua nhiều tháng, không ở một lần thắng.