An Exam Paper for the Machine

Quyển này viết cho ai

Người làm công nghệ và AI trong doanh nghiệp Việt Nam: nhân viên IT một mình hay trong nhóm nhỏ, lập trình viên, người dựng tính năng AI, trưởng nhóm kỹ thuật ở công ty vừa và nhỏ; vừa phải giữ hệ thống chạy ổn, vừa được giao đưa công cụ và AI mới vào công việc của các phòng khác.

Bạn có đang gặp những chuyện này

• Sửa prompt xong chỉ thử lại ba câu quen tay rồi đưa lên chạy thật.
• Người dùng báo trả lời sai, nhưng không ai nhớ trước đây câu đó từng đúng hay chưa.
• Đổi sang model mới vì rẻ hơn mà không có cách nào so chất lượng hai bên.
• Mỗi người trong nhóm chấm một câu trả lời theo cảm nhận riêng.

Mỗi chương trả lời một câu hỏi

1. Chương 1: Bản sửa hôm qua tốt hơn, hay chỉ trông tốt hơn?

   Làm sao tôi biết lần sửa vừa rồi làm tính năng tốt hơn?

   Không đo thì mọi thay đổi đều trông như cải thiện.

2. Chương 2: Đề do mình nghĩ ra có đang đo đúng người dùng?

   Câu nào đáng đưa vào bộ đề của tôi?

   Đề tốt lấy từ câu người dùng thật đã hỏi, không từ câu người làm nghĩ ra.

3. Chương 3: Mình có thật biết mình muốn máy trả lời gì?

   Một câu trả lời đúng của tính năng tôi trông ra sao?

   Không viết được đáp án mẫu thì chưa rõ mình muốn máy làm gì.

4. Chương 4: Thang chấm càng chi tiết thì càng công bằng, thật không?

   Tôi chấm câu trả lời của máy theo tiêu chí nào?

   Một thang chấm rõ ràng quan trọng hơn một thang chấm tinh vi.

5. Chương 5: Bộ đề năm ngoái còn đang chấm sản phẩm nào?

   Bộ đề của tôi được chạy và bổ sung khi nào?

   Bộ đề không được cập nhật sẽ đo một sản phẩm đã không còn tồn tại.