Tại hội nghị an ninh mạng Black Hat, các nhà nghiên cứu đã phô diễn cách một trợ lý AI mua sắm tại một trong những nhà bán lẻ lớn nhất Hoa Kỳ có thể bị lừa để tuân theo các chỉ dẫn ẩn và tiết lộ thông tin hệ thống nhạy cảm.
Trong một buổi trình diễn tại hội nghị Black Hat ở Las Vegas, các nhà nghiên cứu Netanel Rubin và Dan Avraham đã chia sẻ về một trợ lý AI mua sắm được một nhà bán lẻ lớn tại Hoa Kỳ sử dụng. Trợ lý này có khả năng so sánh sản phẩm và cung cấp thông tin cho người dùng.
Tuy nhiên, cuộc trò chuyện nhanh chóng đi chệch hướng khỏi chủ đề mua sắm. Cuối cùng, các nhà nghiên cứu đã vượt qua các biện pháp bảo vệ của trợ lý AI và buộc mã chạy bên trong môi trường máy tính của nó. Bot đã trả về danh sách thư mục, biến môi trường và các thông tin khác mà một người mua sắm thông thường không bao giờ có thể thấy được.
Nếu rơi vào tay kẻ xấu, loại thông tin này có thể cung cấp manh mối cho kẻ tấn công về hệ thống của nhà bán lẻ, tiềm ẩn nguy cơ tiết lộ bí mật hoặc truy cập có thể dẫn đến các cuộc tấn công tiếp theo, gây rủi ro cho cả công ty và khách hàng của họ.
Nhà bán lẻ bị ảnh hưởng được cho là một trong ba nhà bán lẻ lớn nhất tại Hoa Kỳ, và trợ lý AI này có sẵn thông qua ứng dụng di động công cộng mà khách hàng sử dụng hàng ngày. Công ty Rein Security, nơi Rubin và Avraham làm việc, chuyên cung cấp công nghệ giám sát các tác nhân AI. Tuy nhiên, Rein Security đã không tiết lộ danh tính nhà bán lẻ do lo ngại về pháp lý.
Cuộc tấn công bắt đầu bằng cách lợi dụng khả năng của AI trong việc truy xuất thông tin từ các trang web bên ngoài. Các nhà nghiên cứu đã chèn các chỉ dẫn độc hại vào nội dung mà họ kiểm soát và khiến trợ lý AI đọc chúng. Thay vì chỉ tóm tắt thông tin, AI đã bị thao túng để coi một số nội dung là chỉ dẫn mới cần tuân theo. Đây được gọi là kỹ thuật “indirect prompt injection”.
Các nhà nghiên cứu đã phát hiện ra rằng các lớp bảo vệ của nhà bán lẻ không được áp dụng đồng đều. Giao diện trò chuyện chính có các biện pháp bảo vệ, nhưng chức năng tìm kiếm thông thường của ứng dụng lại không có mức độ bảo mật tương tự. Thông qua lối vào này, Rubin và Avraham đã thuyết phục trợ lý AI tiết lộ thông tin về cấu hình nội bộ của nó, bao gồm tên các công cụ mà nó có thể sử dụng và cú pháp để gọi chúng.
Sau đó, họ tạo ra một bộ chỉ dẫn khác khiến trợ lý AI chạy mã bên trong môi trường máy tính của chính nó. Trợ lý đã trả về danh sách các tệp và thông tin khác về hệ thống đó, chứng tỏ cuộc tấn công đã thành công và các lệnh của nhà nghiên cứu đã được thực thi.
Các nhà nghiên cứu cho biết họ đã báo cáo các lỗ hổng vào ngày 13 tháng 3. Hơn 90 ngày sau, vào ngày 16 tháng 7, Rein Security cho biết các lỗ hổng này vẫn chưa được khắc phục. Họ nhấn mạnh rằng họ không truy cập thông tin khách hàng thực tế, không thay đổi đơn hàng nào hoặc cố gắng phá rối hệ thống của nhà bán lẻ.
Vụ việc nêu bật rủi ro tiềm ẩn của các trợ lý AI mua sắm khi chúng ngày càng được trao quyền truy cập vào nhiều công cụ và thông tin nội bộ. Mặc dù người tiêu dùng không thể làm nhiều để ngăn chặn những lỗ hổng này, nhưng các công ty cần đảm bảo các biện pháp bảo vệ mạnh mẽ cho các hệ thống AI của họ. Việc cập nhật ứng dụng bán lẻ cũng là một cách để đảm bảo người dùng nhận được các bản vá bảo mật khi chúng có sẵn.
Theo CNET.
