Mô hình mở Muse Spark của Meta đạt tốc độ 20 token/giây trên 2 máy Mac Studio gắn chip M5 Ultra
Meta vừa ra mắt mô hình mở Muse Spark Open với 816 tỷ tham số, được tinh chỉnh đặc biệt để chạy mượt mà trên hệ sinh thái Apple. Mô hình này đạt tốc độ xử lý 20 token/giây khi kết hợp 2 thiết bị Apple M5 Ultra Mac Studio qua cổng Thunderbolt.
Ai bảo Apple cần phải tự tạo ra một mô hình AI hàng đầu của riêng mình để chiến thắng? Rõ ràng, tất cả những gì hãng cần làm là hợp tác với một công ty khác đang đổ lượng lớn tài nguyên vào việc xây dựng các mô hình quy mô lớn. Bằng chứng rõ ràng nhất là quan hệ đối tác vừa được công bố giữa Apple và Meta AI, trong đó mô hình mở Muse Spark Open mới đã được tinh chỉnh đặc biệt để mang lại thông lượng cao trên các thiết bị Apple.
Meta vừa phát hành Muse Spark Open và gọi đây là "mô hình trọng số mở của Mỹ có năng lực nhất tính đến nay." Mô hình này nhắm đến các tác vụ tự trị (agentic) và lập trình, đồng thời được cho là "vượt trội trong các tác vụ dài hạn, kỹ thuật phần mềm phức tạp và suy luận nhiều bước."
Xét về các yếu tố kiến trúc cốt lõi của Muse Spark Open, đây là một mô hình Hỗn hợp chuyên gia (Mixture-of-Experts - MoE) khổng lồ với 816 tỷ tham số nhưng chỉ kích hoạt 42 tỷ tham số tại một thời điểm, mang lại khả năng suy luận sâu của một mô hình gần một nghìn tỷ tham số mà không bị gánh nặng tính toán quá lớn. Nó cũng có cửa sổ ngữ cảnh lên tới 1 triệu token.
Hơn nữa, thay vì sử dụng các bộ chuyển đổi mô đun riêng biệt hoặc hợp nhất giai đoạn cuối để xử lý đầu vào phi văn bản, kiến trúc của mô hình mang tính đa phương thức tự nhiên, nghĩa là nó có thể trực tiếp diễn giải văn bản dài bên cạnh chuỗi video thô theo từng khung hình.
Để cho phép mô hình Muse Spark Open chạy hiệu quả trên các thiết bị biên, đặc biệt là các thiết bị từ Apple, Meta đã tích hợp một số tính năng bao gồm:
- Kiến trúc bộ nhớ gộp (Pooled Memory Architecture): Chúng ta đã biết rằng một chip Apple M5 Ultra đơn lẻ có thể tận dụng tới 512 GB bộ nhớ thống nhất (phiên bản 512 GB sẽ ra mắt vào cuối tháng này) và khi hai thiết bị như vậy được ghép nối bằng khung công nghệ MLX của Apple, cụm thiết bị sẽ biến thành một siêu máy tính bộ nhớ thống nhất 1 TB, cho phép toàn bộ tệp trọng số 816 tỷ tham số nằm hoàn toàn trên thiết bị.
- Giảm thiểu độ trễ (Latency Mitigation): Kiến trúc tận dụng băng thông bộ nhớ khổng lồ 1,2 TB/s của Apple M5 Ultra. Do các mô hình MoE phụ thuộc vào việc định tuyến các token hoạt động đến các chuyên gia chuyên biệt ngay lập tức, băng thông tốc độ cao này đảm bảo lát cắt 42 tỷ tham số cần thiết cho bất kỳ lớp token riêng lẻ nào được đọc mà không gây ra các nút thắt cổ chai nghiêm trọng trong đường ống tính toán.
- Kéo trọng số động (Dynamic Weight Pulling): Bộ chuyển đổi MLX tích hợp giao tiếp nguyên bản với các cấu trúc kho lưu trữ Hugging Face, ánh xạ trọng số trực tiếp vào không gian bộ nhớ Apple Silicon mà không cần chuyển đổi định dạng cục bộ tốn kém.
Tất nhiên, mô hình Muse Spark Open của Meta cũng có thể chạy hiệu quả trên các thiết bị biên hiệu năng cao khác bằng cách áp dụng một số thủ thuật:
- Nhân GPU Helion tùy chỉnh: Khi được triển khai bên ngoài hệ sinh thái của Apple trên phần cứng rời, kiến trúc này sử dụng các nhân GPU Helion tùy chỉnh, có khả năng tự động điều chỉnh tích hợp trong SGLang, mang lại tốc độ ở cấp độ nhân nhanh hơn từ 1,03x đến 3,95x trên silicon của NVIDIA và AMD, bên cạnh mức tăng hiệu năng tổng thể 3% dành riêng cho phần cứng AMD MI350.
Đối với các nhà phát triển muốn tiếp tục sửa đổi hoặc mở rộng kiến trúc, mô hình được xây dựng nguyên bản để tận dụng framework TorchTitan của PyTorch, cho phép tinh chỉnh phân tán sạch sẽ và tùy chỉnh cấu trúc.
Trong khi đó, mô hình này vượt trội hơn tất cả các LLM trọng số mở khác của Mỹ trên hầu hết mọi bài kiểm tra chuẩn (benchmark), và có thể tự đứng vững trước các mô hình đến từ Trung Quốc. Mặc dù vậy, Muse Spark Open vẫn yếu hơn đáng kể so với một số mô hình khác của Meta, bao gồm cả Muse Spark 1.3.
Cuối cùng, để có cái nhìn tổng quan về thông lượng, xin lưu ý rằng Muse Spark Open có thể đạt khoảng 20 token mỗi giây khi hai thiết bị Apple M5 Ultra Mac Studio được kết nối qua Thunderbolt và khoảng 36 token mỗi giây khi kết nối 4 thiết bị như vậy. Lưu ý mô hình yêu cầu ít nhất 359 GB bộ nhớ.
⚡ MÔ HÌNH MỞ MUSE SPARK CỦA META ĐẠT TỐC ĐỘ 20 TOKEN/GIÂY TRÊN 2 MÁY MAC STUDIO GẮN CHIP M5 ULTRA Ai bảo Apple cần phải tự tạo ra một mô hình AI hàng đầu của riêng mình để chiến thắng? Rõ ràng, tất cả những gì hãng cần làm là hợp tác với một công ty khác đang đổ lượng lớn tài nguyên vào việc xây dựng các mô hình quy mô lớn. Bằng chứng rõ ràng nhất là quan hệ đối tác vừa được công bố giữa Apple và Meta AI, trong đó mô hình mở Muse Spark Open mới đã được tinh chỉnh đặc biệt để mang lại thông lượng cao trên các thiết bị Apple. Meta vừa phát hành Muse Spark Open và gọi đây là "mô hình trọng số mở của Mỹ có năng lực nhất tính đến nay." Mô hình này nhắm đến các tác vụ tự trị (agentic) và lập trình, đồng thời được cho là "vượt trội trong các tác vụ dài hạn, kỹ thuật phần mềm phức tạp và suy luận nhiều bước." Xét về các yếu tố kiến trúc cốt lõi của Muse Spark Open, đây là một mô hình Hỗn hợp chuyên gia (Mixture-of-Experts - MoE) khổng lồ với 816 tỷ tham số nhưng chỉ kích hoạt 42 tỷ tham số tại một thời điểm, mang lại khả năng suy luận sâu của một mô hình gần một nghìn tỷ tham số mà không bị gánh nặng tính toán quá lớn. Nó cũng có cửa sổ ngữ cảnh lên tới 1 triệu token. Hơn nữa, thay vì sử dụng các bộ chuyển đổi mô đun riêng biệt hoặc hợp nhất giai đoạn cuối để xử lý đầu vào phi văn bản, kiến trúc của mô hình mang tính đa phương thức tự nhiên, nghĩa là nó có thể trực tiếp diễn giải văn bản dài bên cạnh chuỗi video thô theo từng khung hình. Để cho phép mô hình Muse Spark Open chạy hiệu quả trên các thiết bị biên, đặc biệt là các thiết bị từ Apple, Meta đã tích hợp một số tính năng bao gồm: Kiến trúc bộ nhớ gộp (Pooled Memory Architecture): Chúng ta đã biết rằng một chip Apple M5 Ultra đơn lẻ có thể tận dụng tới 512 GB bộ nhớ thống nhất (phiên bản 512 GB sẽ ra mắt vào cuối tháng này) và khi hai thiết bị như vậy được ghép nối bằng khung công nghệ MLX của Apple, cụm thiết bị sẽ biến thành một siêu máy tính bộ nhớ thống nhất 1 TB, cho phép toàn bộ tệp trọng số 816 tỷ tham số nằm hoàn toàn trên thiết bị. Giảm thiểu độ trễ (Latency Mitigation): Kiến trúc tận dụng băng thông bộ nhớ khổng lồ 1,2 TB/s của Apple M5 Ultra. Do các mô hình MoE phụ thuộc vào việc định tuyến các token hoạt động đến các chuyên gia chuyên biệt ngay lập tức, băng thông tốc độ cao này đảm bảo lát cắt 42 tỷ tham số cần thiết cho bất kỳ lớp token riêng lẻ nào được đọc mà không gây ra các nút thắt cổ chai nghiêm trọng trong đường ống tính toán. Kéo trọng số động (Dynamic Weight Pulling): Bộ chuyển đổi MLX tích hợp giao tiếp nguyên bản với các cấu trúc kho lưu trữ Hugging Face, ánh xạ trọng số trực tiếp vào không gian bộ nhớ Apple Silicon mà không cần chuyển đổi định dạng cục bộ tốn kém. Tất nhiên, mô hình Muse Spark Open của Meta cũng có thể chạy hiệu quả trên các thiết bị biên hiệu năng cao khác bằng cách áp dụng một số thủ thuật: Nhân GPU Helion tùy chỉnh: Khi được triển khai bên ngoài hệ sinh thái của Apple trên phần cứng rời, kiến trúc này sử dụng các nhân GPU Helion tùy chỉnh, có khả năng tự động điều chỉnh tích hợp trong SGLang, mang lại tốc độ ở cấp độ nhân nhanh hơn từ 1,03x đến 3,95x trên silicon của NVIDIA và AMD, bên cạnh mức tăng hiệu năng tổng thể 3% dành riêng cho phần cứng AMD MI350. Đối với các nhà phát triển muốn tiếp tục sửa đổi hoặc mở rộng kiến trúc, mô hình được xây dựng nguyên bản để tận dụng framework TorchTitan của PyTorch, cho phép tinh chỉnh phân tán sạch sẽ và tùy chỉnh cấu trúc. Trong khi đó, mô hình này vượt trội hơn tất cả các LLM trọng số mở khác của Mỹ trên hầu hết mọi bài kiểm tra chuẩn (benchmark), và có thể tự đứng vững trước các mô hình đến từ Trung Quốc. Mặc dù vậy, Muse Spark Open vẫn yếu hơn đáng kể so với một số mô hình khác của Meta, bao gồm cả Muse Spark 1.3. Cuối cùng, để có cái nhìn tổng quan về thông lượng, xin lưu ý rằng Muse Spark Open có thể đạt khoảng 20 token mỗi giây khi hai thiết bị Apple M5 Ultra Mac Studio được kết nối qua Thunderbolt và khoảng 36 token mỗi giây khi kết nối 4 thiết bị như vậy. Lưu ý mô hình yêu cầu ít nhất 359 GB bộ nhớ. 🗞 Nguồn: Wccftech #vgsnews #vgs #tintuc
Nguồn: Wccftech
