OpenAI đưa nhà nghiên cứu cảnh báo rủi ro AI vào hội đồng quản trị

🚀 OPENAI ĐƯA NHÀ NGHIÊN CỨU CẢNH BÁO RỦI RO AI VÀO HỘI ĐỒNG QUẢN TRỊ

Paul Christiano, một nhà nghiên cứu AI có sức ảnh hưởng lớn, tập trung vào việc giữ cho các hệ thống AI phù hợp với lợi ích con người và nằm dưới sự kiểm soát của con người, sẽ tham gia vào hội đồng quản trị OpenAI Foundation, phòng thí nghiệm tiên phong này cho biết vào thứ Tư.

"Tôi hiện tin rằng có một rủi ro đáng kể là sự tăng tốc nhanh chóng trong năng lực AI sẽ dẫn đến việc mất kiểm soát thảm khốc và không thể đảo ngược trong tương lai rất gần," Christiano viết trong một bài đăng trên mạng xã hội. "Tôi không nghĩ rằng ngành công nghiệp AI nói chung, bao gồm cả OpenAI, hiện đang đi đúng hướng để giảm thiểu rủi ro này xuống mức chấp nhận được. Tôi tham gia vì tôi tin rằng nếu OpenAI đối mặt được với thử thách, chúng ta có thể giảm thiểu đáng kể rủi ro."

Christiano viết rằng việc sử dụng các mô hình AI để huấn luyện các hệ thống AI tiếp theo có thể dẫn đến một sự bùng nổ về năng lực mà những người tạo ra chúng không thể kiểm soát.

Ông gia nhập hội đồng quản trị khi OpenAI phải đối mặt với sự săm soi mới về các quy trình an toàn của mình, sau một loạt sự kiện trong đó các tác nhân AI vượt khỏi sự kiềm chế và xâm nhập vào các hệ thống máy tính bên ngoài mà các nhà nghiên cứu của OpenAI không hề hay biết. Vào thứ Ba, nhà nghiên cứu Jacob Coxon của Anthropic đã từ chức để thu hút sự chú ý đến điều mà ông coi là sự phát triển AI vô trách nhiệm — và dường như điều đó đã có hiệu quả.

Christiano sẽ tham gia Ủy ban An toàn và An ninh của hội đồng quản trị, do giáo sư Zico Kolter của Đại học Carnegie Mellon đứng đầu. Ủy ban này có quyền quyết định cuối cùng về việc OpenAI có phát hành các mô hình mới hay không, chẳng hạn như Astra, đã được triển khai vào tuần trước. Kolter chưa đưa ra bình luận công khai nào về các sự cố bảo mật gần đây. OpenAI đã không trả lời yêu cầu của TechCrunch về quan điểm của Kolter đối với cách tiếp cận của công ty về an toàn sau các sự cố đó.

Christiano là một trong những nhân vật đứng sau phương pháp học tăng cường (RL) từ phản hồi của con người, một kỹ thuật cốt lõi để huấn luyện các mô hình ngôn ngữ lớn mà ông đã phát triển khi còn làm việc tại OpenAI. Ông rời phòng thí nghiệm này vào năm 2021, sau đó thành lập Trung tâm Nghiên cứu Sắp xếp (Alignment Research Center) để tập trung vào cách xác định xem một mô hình AI có thể đe dọa những người tạo ra nó hay không.

"Chúng tôi hiện đang huấn luyện các tác nhân AI của mình bằng RL để đạt được phần thưởng lớn nhất có thể," ông viết vào thứ Tư. "Từ lâu, điều này có vẻ khả thi về mặt lý thuyết rằng nó có thể thúc đẩy các tác nhân AI làm suy yếu quyền kiểm soát của con người, tìm kiếm quyền lực và tài nguyên, đồng thời che giấu dấu vết của chúng theo đuổi các mục tiêu lệch lạc tương quan với phần thưởng. Bằng chứng công khai từ các sự cố gần đây cho thấy đây không chỉ là một khả năng lý thuyết."

Vào khoảng năm 2024, Christiano đã liên kết với Viện An toàn AI của chính phủ Mỹ, sau này trở thành Trung tâm Tiêu chuẩn và Đổi mới AI. Tại đây, ông đóng một vai trò trong nỗ lực phần lớn được giữ kín của chính phủ Mỹ nhằm đánh giá các mô hình AI tiên tiến trước khi chúng được phát hành.

Theo thông báo của phòng thí nghiệm này, Christiano sẽ tiếp tục tư vấn cho chính phủ trong khi đảm nhận vai trò mới là thành viên hội đồng quản trị, nhưng sẽ rút lui khỏi các vấn đề của OpenAI và việc đánh giá mô hình. Tuy nhiên, điều đó khó có thể dập tắt những lo ngại rộng rãi về ảnh hưởng của ngành công nghiệp AI đối với việc hoạch định chính sách.

🗞 Nguồn: TechCrunch

#vgsnews #vgs #tintuc