Hành trình trải nghiệm AI cục bộ: Hào hứng, choáng ngợp và đầy ức chế
Tác giả chia sẻ hành trình bước đầu thử nghiệm chạy các mô hình AI cục bộ trên máy tính để bảo mật dữ liệu cá nhân. Trải nghiệm này mang lại cảm giác mới lạ nhưng cũng đầy rẫy sự phức tạp và thử thách.
Tôi đang dấn thân vào một hành trình mà trước đây tôi từng ngần ngại: thực sự sử dụng AI thường xuyên. Việc phải giao phó dữ liệu cá nhân nhất của mình cho các dịch vụ đám mây là một rào cản lớn đối với tôi, nhưng giờ đây, việc chạy các mô hình mạnh mẽ trực tiếp trên thiết bị để khám phá khả năng của chúng ngày càng trở nên khả thi hơn. Liệu công nghệ này có thực sự hữu ích đến mức đáng để vung đống tiền vào một chiếc máy tính hoặc laptop có dung lượng RAM đắt đỏ? Tôi sẽ cố gắng giúp bạn tìm ra câu trả lời. Tôi không phải là chuyên gia về AI, đây sẽ là một hành trình khám phá của riêng tôi, nhưng biết đâu tôi có thể giúp bạn nhận ra liệu hành trình đó có đáng thử hay không — và tôi sẽ liên tục cập nhật quá trình này.
Một phần lớn trong chiến lược quảng bá của Apple cho các dòng máy Mac để bàn mới chính là khả năng chạy AI cục bộ cực tốt, bên cạnh đó là hàng loạt các dòng máy tính Windows RTX Spark sắp ra mắt với RAM lên tới 128GB nhằm phục vụ cho AI tác vụ (agentic AI). AI cục bộ và các tác nhân AI đang thực sự rất ‘hot’ ở thời điểm hiện tại. Nhưng nghiêm túc mà nói, ý tưởng có một trợ lý nhỏ sống hoàn toàn bên trong chiếc hộp trên bàn làm việc, chỉ phục vụ một mình tôi chứ không phải chịu sự chi phối từ các 'ông lớn' như OpenAI, Google, Microsoft hay Anthropic, mang lại cảm giác khác biệt hoàn toàn so với việc đặt niềm tin vào các dịch vụ đám mây hay mua gói thuê bao chatbot.
Đừng hiểu nhầm ý tôi, tôi vẫn sẽ không đời nào để nó viết lách, biên tập hộ hay tạo ra những tờ rơi xấu xí. Nhưng giờ đây, với sự đảm bảo về quyền riêng tư, có lẽ cuối cùng tôi cũng có thể nghĩ ra những công việc lặt vặt hữu ích để “giao phó” cho nó.
Vì vậy, như một phần trong quá trình thử nghiệm liên tục của tôi với chiếc M5 Ultra Mac Studio, cũng như thử nghiệm trên các hệ thống Mac và Windows khác, tôi đã cài đặt một số mô hình ngôn ngữ lớn (LLM) chạy cục bộ và bắt đầu mày mò. Dưới đây là tình hình thực tế hiện tại.
🌐 HÀNH TRÌNH TRẢI NGHIỆM AI CỤC BỘ: HÀO HỨNG, CHOÁNG NGỢP VÀ ĐẦY ỨC CHẾ Tôi đang dấn thân vào một hành trình mà trước đây tôi từng ngần ngại: thực sự sử dụng AI thường xuyên. Việc phải giao phó dữ liệu cá nhân nhất của mình cho các dịch vụ đám mây là một rào cản lớn đối với tôi, nhưng giờ đây, việc chạy các mô hình mạnh mẽ trực tiếp trên thiết bị để khám phá khả năng của chúng ngày càng trở nên khả thi hơn. Liệu công nghệ này có thực sự hữu ích đến mức đáng để vung đống tiền vào một chiếc máy tính hoặc laptop có dung lượng RAM đắt đỏ? Tôi sẽ cố gắng giúp bạn tìm ra câu trả lời. Tôi không phải là chuyên gia về AI, đây sẽ là một hành trình khám phá của riêng tôi, nhưng biết đâu tôi có thể giúp bạn nhận ra liệu hành trình đó có đáng thử hay không — và tôi sẽ liên tục cập nhật quá trình này. Một phần lớn trong chiến lược quảng bá của Apple cho các dòng máy Mac để bàn mới chính là khả năng chạy AI cục bộ cực tốt, bên cạnh đó là hàng loạt các dòng máy tính Windows RTX Spark sắp ra mắt với RAM lên tới 128GB nhằm phục vụ cho AI tác vụ (agentic AI). AI cục bộ và các tác nhân AI đang thực sự rất ‘hot’ ở thời điểm hiện tại. Nhưng nghiêm túc mà nói, ý tưởng có một trợ lý nhỏ sống hoàn toàn bên trong chiếc hộp trên bàn làm việc, chỉ phục vụ một mình tôi chứ không phải chịu sự chi phối từ các 'ông lớn' như OpenAI, Google, Microsoft hay Anthropic, mang lại cảm giác khác biệt hoàn toàn so với việc đặt niềm tin vào các dịch vụ đám mây hay mua gói thuê bao chatbot. Đừng hiểu nhầm ý tôi, tôi vẫn sẽ không đời nào để nó viết lách, biên tập hộ hay tạo ra những tờ rơi xấu xí. Nhưng giờ đây, với sự đảm bảo về quyền riêng tư, có lẽ cuối cùng tôi cũng có thể nghĩ ra những công việc lặt vặt hữu ích để “giao phó” cho nó. Vì vậy, như một phần trong quá trình thử nghiệm liên tục của tôi với chiếc M5 Ultra Mac Studio, cũng như thử nghiệm trên các hệ thống Mac và Windows khác, tôi đã cài đặt một số mô hình ngôn ngữ lớn (LLM) chạy cục bộ và bắt đầu mày mò. Dưới đây là tình hình thực tế hiện tại. 🗞 Nguồn: The Verge #vgsnews #vgs #tintuc
Nguồn: The Verge
