Vén màn việc OpenAI cho phép ChatGPT ảo giác 'thoải mái'

Trợ lý Giáo sư Wei Xing vừa phân tích vì sao OpenAI lại cho ChatGPT dễ dàng ảo giác

Bài nghiên cứu mới nhất của OpenAI đã chỉ rõ nguyên nhân vì sao ChatGPT và các mô hình ngôn ngữ lớn khác có thể “bịa ra” thông tin - điều mà giới trí tuệ nhân tạo gọi là “ảo giác” (hallucination). Nghiên cứu cho thấy vấn đề này có thể là không thể khắc phục, ít nhất là đối với người dùng phổ thông.

Báo cáo của OpenAI

Báo cáo cung cấp lời giải thích toán học chặt chẽ nhất từ trước đến nay về việc vì sao các mô hình này lại tự tin đưa ra những khẳng định sai sự thật. Nó chứng minh rằng đây không chỉ là hệ quả đáng tiếc của phương pháp huấn luyện AI hiện tại, mà thực chất là điều tất yếu về mặt toán học.

Một phần nguyên nhân có thể đến từ những lỗi trong dữ liệu nền được dùng để huấn luyện AI. Nhưng thông qua phân tích toán học về cách hệ thống AI học hỏi, các nhà nghiên cứu đã chứng minh rằng ngay cả khi dữ liệu huấn luyện hoàn hảo, vấn đề này vẫn tồn tại.

Cách các mô hình ngôn ngữ phản hồi câu hỏi - bằng cách dự đoán từng từ một dựa trên xác suất - vốn dĩ đã dễ tạo ra lỗi. Các nhà nghiên cứu chỉ ra rằng khi tạo câu tổng thể, tỷ lệ lỗi cao ít nhất là gấp đôi so với khi AI trả lời câu hỏi dạng “có/không”, bởi vì sai sót có thể tích tụ qua nhiều lần dự đoán liên tiếp.

Nói cách khác, tỷ lệ “ảo giác” bị giới hạn bởi khả năng phân biệt câu trả lời đúng - sai của hệ thống AI. Vì việc phân loại này vốn đã khó trong nhiều lĩnh vực tri thức, nên ảo giác trở thành điều không thể tránh khỏi.

Ngoài ra, nghiên cứu còn phát hiện rằng một sự kiện càng ít xuất hiện trong dữ liệu huấn luyện thì mô hình càng dễ “bịa” khi được hỏi về nó. Ví dụ với ngày sinh của những nhân vật nổi tiếng: nếu 20% ngày sinh chỉ xuất hiện đúng một lần trong dữ liệu, thì các mô hình gốc sẽ trả lời sai ít nhất 20% câu hỏi liên quan.

Thực tế chứng minh: khi các nhà nghiên cứu hỏi những mô hình tiên tiến nhất về ngày sinh của Adam Kalai - một trong các tác giả báo cáo - DeepSeek-V3 đã tự tin đưa ra ba đáp án khác nhau: “03-07”, “15-06” và “01-01”. Trong khi đó, ngày sinh thật sự của ông rơi vào mùa thu, tức là không đáp án nào đúng cả.

Cái bẫy đánh giá

Đáng lo ngại hơn, báo cáo phân tích lý do ảo giác vẫn tồn tại dù đã có những nỗ lực chỉnh sửa hậu huấn luyện (chẳng hạn nhờ phản hồi từ con người trước khi công bố AI cho công chúng). Các tác giả đã xem xét 10 bộ chuẩn đánh giá AI lớn, gồm những bộ được Google, OpenAI và các bảng xếp hạng hàng đầu sử dụng. Họ phát hiện rằng 9 trong số này áp dụng hệ thống chấm điểm nhị phân, cho điểm 0 với câu trả lời mà AI thể hiện sự không chắc chắn.

Điều này tạo nên một “dịch bệnh” trừng phạt sự trung thực. Khi một AI trả lời “Tôi không biết”, nó nhận điểm bằng với việc trả lời hoàn toàn sai. Vì thế, chiến lược tối ưu sẽ trở nên rõ ràng: luôn đoán, vì thà đoán bừa còn có thể được điểm hơn là không dám đoán.

Các nhà nghiên cứu chứng minh điều này bằng toán học. Dù xác suất đúng của một câu trả lời là bao nhiêu, thì điểm số kỳ vọng của việc đoán vẫn luôn cao hơn điểm số của việc từ chối trả lời trong hệ thống chấm điểm nhị phân.

Cố tình ảo giác để giữ chân số đông người dùng?

Cách khắc phục mà OpenAI đề xuất là yêu cầu AI cân nhắc mức độ tự tin của chính mình trước khi đưa ra câu trả lời, đồng thời điều chỉnh hệ thống đánh giá để chấm điểm dựa trên điều đó. Ví dụ, AI có thể được nhắc: “Chỉ trả lời nếu bạn chắc chắn trên 75%, bởi vì trả lời sai sẽ bị trừ 3 điểm còn trả lời đúng được cộng 1 điểm”.

Khung toán học của nhóm nghiên cứu cho thấy rằng với ngưỡng tự tin phù hợp, các hệ thống AI sẽ tự nhiên chọn cách thể hiện sự không chắc chắn thay vì đoán bừa. Điều này sẽ giúp giảm thiểu ảo giác. Nhưng vấn đề lớn là trải nghiệm người dùng.

Nhiều người có thói quen cái gì cũng hỏi ChatGPT với ý nghĩ mặc nhiên nó trả lời đúng

Hãy thử hình dung, nếu ChatGPT bắt đầu trả lời “Tôi không biết” trong 30% câu hỏi - một con số còn khiêm tốn theo phân tích của báo cáo - thì những người dùng vốn quen với việc nhận được câu trả lời chắc nịch cho hầu như mọi câu hỏi sẽ nhanh chóng rời bỏ công cụ.

Bản thân Wei Xing từng gặp tình huống tương tự trong một dự án giám sát chất lượng không khí tại Salt Lake City, Utah. Khi hệ thống cảnh báo về mức độ bất định trong các phép đo - do thời tiết xấu hoặc do thiết bị đang được hiệu chỉnh - người dùng lại ít tương tác hơn so với khi màn hình hiển thị số liệu “tự tin”. Ngay cả khi những số liệu “tự tin” đó sau này bị chứng minh là sai.

Vấn đề chi phí tính toán

Không khó để giảm ảo giác dựa trên các phát hiện này. Các phương pháp định lượng mức độ bất định đã tồn tại nhiều thập kỷ. Chúng hoàn toàn có thể được dùng để tạo ra những ước lượng đáng tin cậy, giúp AI lựa chọn thông minh hơn.

Tuy nhiên, ngay cả khi vượt qua được rào cản “người dùng không thích sự bất định”, vẫn còn một trở ngại lớn: chi phí tính toán. Các mô hình ngôn ngữ “biết nhận diện bất định” đòi hỏi khối lượng tính toán cao hơn rất nhiều so với phương pháp hiện tại, vì chúng phải đánh giá nhiều khả năng trả lời khác nhau và ước lượng độ tin cậy. Với một hệ thống xử lý hàng triệu truy vấn mỗi ngày, chi phí vận hành sẽ đội lên đáng kể.

Những phương pháp tinh vi hơn như “học chủ động” (active learning), trong đó AI sẽ đặt câu hỏi ngược lại để làm rõ thông tin nhằm giảm bất định, có thể cải thiện độ chính xác nhưng lại càng nhân bội nhu cầu tính toán. Các cách tiếp cận này hoạt động tốt trong các lĩnh vực chuyên biệt như thiết kế vi mạch - nơi một câu trả lời sai có thể gây thiệt hại hàng triệu USD và vì thế chi phí tính toán lớn được xem là đáng giá. Nhưng với ứng dụng đại trà, nơi người dùng mong đợi phản hồi tức thì, bài toán kinh tế lại trở thành rào cản.

Khi nào AI mới đề cao chính xác?

Cục diện chỉ thay đổi khi AI quản lý những hoạt động kinh doanh then chốt hoặc hạ tầng kinh tế. Trong các lĩnh vực như chuỗi cung ứng, giao dịch tài chính hay chẩn đoán y tế, thiệt hại do ảo giác vượt xa chi phí triển khai mô hình biết cân nhắc bất định. Ở đó, giải pháp mà báo cáo đề xuất trở nên khả thi - thậm chí bắt buộc. Những AI “biết hoài nghi” sẽ phải đắt đỏ hơn.

Nhưng hiện nay, các ứng dụng tiêu dùng vẫn chiếm ưu thế trong ưu tiên phát triển AI. Dù chi phí năng lượng tính trên mỗi token có thể giảm dần và kiến trúc chip ngày càng tiến bộ, thì lượng tính toán cần thiết để AI quyết định liệu mình có đủ chắc chắn để trả lời vẫn sẽ cao hơn nhiều so với cách đoán bừa hiện nay.

Tóm lại, bài nghiên cứu của OpenAI đã vô tình phơi bày một sự thật khó chịu: các động lực kinh doanh chi phối sự phát triển AI tiêu dùng hiện nay vốn không hề ăn khớp với việc giảm thiểu ảo giác. Và cho đến khi những động lực đó thay đổi, ảo giác sẽ còn tiếp diễn.

Bùi Tú