Kiểm thử chatbot AI doanh nghiệp: chấm câu trả lời trước khi ra mắt
Nội dung chính
Chatbot trả lời trôi chảy không có nghĩa trả lời đúng. Doanh nghiệp cần bộ câu hỏi có đáp án đối chiếu và quy tắc xử lý khi thiếu dữ liệu, nhất là với giá, chính sách và thông tin khách hàng.
Chốt phạm vi và nguồn chuẩn
Liệt kê việc chatbot được làm, không được làm và nguồn được phép dùng. Tài liệu cần có người sở hữu, phiên bản và thời điểm hiệu lực. Nếu hai bảng giá mâu thuẫn, cần sửa nguồn trước; không yêu cầu mô hình tự đoán bản đúng.
RAG giúp tìm tài liệu để trả lời nhưng không bảo đảm câu trả lời luôn dựa đúng nguồn. Cần kiểm cả bước tìm tài liệu và cách mô hình sử dụng tài liệu.
Xây các nhóm câu hỏi
| Nhóm | Điều cần đánh giá |
|---|---|
| Câu hỏi thường gặp | Trả đúng nội dung và điều kiện áp dụng |
| Câu thiếu thông tin | Hỏi lại phần cần thiết, không tự thêm giả định |
| Câu không có trong nguồn | Nói rõ chưa có thông tin, có lối sang nhân viên |
| Chính sách cũ và mới | Chọn đúng bản đang có hiệu lực |
| Yêu cầu dữ liệu riêng | Không tiết lộ dữ liệu ngoài quyền của người hỏi |
| Nội dung gây nhiễu | Không làm theo chỉ dẫn đổi vai trò hoặc bỏ quy tắc trong dữ liệu tra cứu |
Đưa vào cách viết không dấu, lỗi gõ và câu nhiều ý. Tạo một nhóm câu kiểm độc lập chưa dùng khi điều chỉnh, để tránh tối ưu chỉ cho danh sách đã biết.
Mỗi ca kiểm cần gì?
Ghi mã ca, câu hỏi, ngữ cảnh, nguồn đúng, ý bắt buộc, điều không được nói và hành động mong đợi. Ví dụ giả định: hỏi phí đổi trả khi tài liệu chưa nêu mức phí thì đáp án đúng là giải thích phần có nguồn và chuyển người phụ trách, không tự tạo một mức phí.
Người hiểu nghiệp vụ chấm độ đúng; kỹ thuật ghi phiên bản mô hình, tài liệu và cấu hình. Một câu có đường dẫn nguồn vẫn có thể sai nếu đường dẫn không chứng minh điều đã nói.
Chấm theo mức độ ảnh hưởng
Tách lỗi diễn đạt với lỗi làm khách quyết định sai. Đo tỷ lệ đúng theo từng nhóm, tỷ lệ từ chối hợp lý, từ chối nhầm, chuyển nhân viên và thời gian phản hồi. Một điểm trung bình cao có thể che việc nhóm câu về giá vẫn sai.
Đặt tiêu chí trước khi chạy: lỗi lộ dữ liệu hoặc tự thực hiện tác vụ ngoài quyền phải chặn ra mắt; các ngưỡng khác do doanh nghiệp chọn theo rủi ro và mức phục vụ. Không dùng một ngưỡng phần trăm chung cho mọi chatbot.
Thử luồng chuyển người và giới hạn chi phí
Kiểm nút liên hệ có hoạt động, thông tin ngữ cảnh được bàn giao đúng và khách biết khi nào có người trả lời. Khi công cụ tra cứu lỗi hoặc hết hạn mức, chatbot cần báo giới hạn thay vì bịa nội dung.
Đặt giới hạn lượt, độ dài, tác vụ và chi phí; theo dõi cả lượt bị lỗi và bị lạm dụng. Với chức năng thay đổi dữ liệu, dùng API có quyền hẹp và kiểm điều kiện ở máy chủ, không dựa riêng vào lời hướng dẫn cho mô hình.
Sau ra mắt vẫn phải kiểm lại
Thu nhóm câu thất bại đã loại dữ liệu riêng vào bộ kiểm. Chạy hồi quy khi đổi mô hình, prompt, nguồn hoặc quyền công cụ; lưu kết quả trước và sau. Công bố rõ đây là trợ lý tự động và giữ cách liên hệ nhân viên.
Nếu bạn đang cân nhắc chatbot cho doanh nghiệp, xem phạm vi trợ lý AI và chatbot từ dữ liệu doanh nghiệp và yêu cầu bộ ca kiểm thử như trên trước khi nghiệm thu, dù làm với đơn vị nào.
Đọc chuẩn bị chatbot, chọn quy trình tự động hóa và tích hợp API.