Roblox vừa công bố Sentinel – một hệ thống trí tuệ nhân tạo mã nguồn mở, miễn phí sử dụng, được thiết kế để phát hiện sớm các dấu hiệu có thể dẫn tới việc trẻ em bị lạm dụng trực tuyến. Động thái này được đưa ra trong bối cảnh nền tảng đang chịu áp lực lớn từ dư luận và các vụ kiện liên quan đến an toàn người dùng.
Với hơn 111 triệu người dùng hoạt động hàng tháng, Roblox cho biết Sentinel đã giúp phát hiện và báo cáo hàng trăm vụ việc tiềm ẩn tới cơ quan thực thi pháp luật. Matt Kaufman, Giám đốc An toàn của Roblox, cho biết trước đây công ty chủ yếu dùng các bộ lọc để chặn từ ngữ tục tĩu hoặc lời lẽ lạm dụng, nhưng các biện pháp này chỉ xử lý được nội dung trong một vài dòng hội thoại.
Công nghệ giám sát theo thời gian dài
Theo Kaufman, các hành vi liên quan đến nguy cơ xâm hại trẻ em thường diễn ra trong một khoảng thời gian dài, không thể phát hiện chỉ qua một tin nhắn. Sentinel được phát triển để nhận diện các mẫu hội thoại hình thành theo thời gian, thay vì chỉ dựa vào từ khóa đơn lẻ. Hệ thống phân tích từng đoạn hội thoại một phút trong khoảng 6 tỷ tin nhắn trao đổi mỗi ngày, đánh giá chúng trong ngữ cảnh.
Để làm được điều này, các kỹ sư đã tạo ra hai bộ dữ liệu: một chứa các đoạn trò chuyện an toàn và một gồm các đoạn vi phạm nguyên tắc an toàn trẻ em. Dữ liệu này liên tục được cập nhật để mô hình AI cải thiện độ chính xác.
Naren Koneru, Phó Chủ tịch Kỹ thuật về tin cậy và an toàn, cho biết hệ thống theo dõi hành vi người dùng theo thời gian để xác định xu hướng tương tác an toàn hay rủi ro. Việc gắn cờ chỉ diễn ra khi tổng thể hoạt động của người dùng cho thấy dấu hiệu nguy hiểm, chứ không dựa trên một tin nhắn đơn lẻ.
Quy trình xử lý khi phát hiện rủi ro
Khi AI đánh dấu một người dùng cần xem xét, nhóm kiểm duyệt sẽ xem toàn bộ lịch sử trò chuyện, danh sách bạn bè và trò chơi đã tham gia. Nếu cần, Roblox sẽ chuyển vụ việc cho cơ quan thực thi pháp luật và Trung tâm Quốc gia về Trẻ em Mất tích và Bị bóc lột (NCMEC).
Bước tiến này diễn ra trong bối cảnh Roblox đang đối mặt với các vụ kiện nghiêm trọng. Một vụ kiện tại Iowa cáo buộc một bé gái 13 tuổi bị kẻ xấu liên hệ qua Roblox, sau đó bị bắt cóc và đưa qua nhiều bang. Đơn kiện cho rằng thiết kế trò chơi của Roblox đã vô tình tạo điều kiện cho kẻ xấu tiếp cận trẻ em.
Roblox khẳng định cấm chia sẻ thông tin cá nhân, hình ảnh, video qua chat và giới hạn nhắn tin trực tiếp với người dùng dưới 13 tuổi nếu không có sự cho phép của phụ huynh. Tin nhắn không được mã hóa đầu cuối, cho phép công ty giám sát và xử lý vi phạm.
Dù thừa nhận không hệ thống nào đảm bảo an toàn tuyệt đối, Roblox tin rằng các công nghệ AI như Sentinel sẽ nâng cao khả năng phát hiện sớm và giảm thiểu rủi ro cho trẻ em trên nền tảng.