Huyền thoại điện tử 4 nút Mario trở thành thước đo phát triển AI

Game Super Mario trở thành thước đo kiểm tra AI

Các nhà nghiên cứu tại Hao AI Lab thuộc Đại học California San Diego vừa thử nghiệm trí tuệ nhân tạo (AI) bằng cách cho chúng chơi Super Mario Bros: Một trong những trò chơi điện tử huyền thoại. Kết quả cho thấy AI của Anthropic (Claude 3.7 và 3.5) chơi tốt nhất, trong khi AI của Google (Gemini 1.5 Pro) và OpenAI (GPT-4o) gặp nhiều khó khăn.

AI không chơi Mario bằng tay cầm như con người, mà sử dụng một chương trình đặc biệt có tên GamingAgent. Chương trình này hoạt động như một "trợ lý" giúp AI nhận biết tình huống trong game thông qua ảnh chụp màn hình và hướng dẫn cơ bản như: “Nếu có chướng ngại vật hoặc kẻ địch gần đó, hãy nhảy hoặc di chuyển sang trái để né tránh”. Sau đó, AI sẽ tự viết mã Python (ngôn ngữ lập trình) để điều khiển Mario vượt qua các thử thách.

Game Super Mario được các nhà nghiên cứu ra đề bài cho AI

Super Mario Bros đòi hỏi tốc độ phản ứng nhanh và khả năng lập kế hoạch tốt. AI cần quyết định trong chỉ vài giây để giúp Mario nhảy qua hố hoặc tránh kẻ thù. Tuy nhiên, các AI "tư duy" chậm rãi bằng cách suy luận từng bước một (reasoning models) lại không làm tốt bằng những AI phản ứng nhanh nhưng ít suy luận hơn (non-reasoning models).

Từ lâu, game điện tử đã được dùng để đánh giá trí thông minh của AI. Nhưng một số chuyên gia cho rằng chơi game không phản ánh chính xác khả năng thực sự của AI. Lý do là vì game có quy tắc rõ ràng, môi trường đơn giản và AI có thể học từ một lượng dữ liệu khổng lồ trong game – điều không giống với thế giới thực.

Andrej Karpathy, một trong những nhà nghiên cứu AI hàng đầu của OpenAI, gọi đây là “khủng hoảng đánh giá AI” (evaluation crisis), vì hiện nay chưa có cách nào chắc chắn để đo lường AI mạnh đến đâu.

Dù vậy, thử nghiệm này vẫn mang đến một điều thú vị: chúng ta có thể xem AI chơi Mario!

Link bài gốc

Tech Crunch