d-Matrix ra mắt cụm máy chủ Squadron, đưa khả năng suy luận AI quy mô trung tâm dữ liệu lên tầm cao mới

🖥️ D-MATRIX RA MẮT CỤM MÁY CHỦ SQUADRON, ĐƯA KHẢ NĂNG SUY LUẬN AI QUY MÔ TRUNG TÂM DỮ LIỆU LÊN TẦM CAO MỚI

d-Matrix hôm nay đã công bố d-Matrix Squadron, một hệ thống gồm nhiều rack mang lại công suất tính toán suy luận hiệu quả cao tính bằng megawatt để chạy các mô hình AI với tốc độ cực nhanh và tiết kiệm năng lượng ở quy mô trung tâm dữ liệu. Nhận được lợi ích từ kiến trúc tính toán tập trung vào bộ nhớ độc đáo của d-Matrix, các cụm Squadron rất lý tưởng cho các phòng thí nghiệm AI, doanh nghiệp và các tổ chức có chủ quyền với các ứng dụng AI nhạy bén với độ trễ bao gồm lập trình, tác nhân cá nhân, an ninh mạng và giao dịch tần số cao.

Được phát triển hợp tác với Arista, Broadcom và Supermicro, Squadron đã được d-Matrix triển khai tại trung tâm dữ liệu ở Arizona để phục vụ công tác nghiên cứu và phát triển nội bộ, đồng thời đang được giao cho các khách hàng ưu tiên để triển khai trong trung tâm dữ liệu của riêng họ. Ngoài ra, các khối xây dựng của Squadron gồm máy chủ d-Matrix Corsair và d-Matrix Corsair SquadRacks hiện đã chính thức có mặt trên thị trường.

"Hành trình mang lại lợi thế tính toán tập trung vào bộ nhớ cho khách hàng đi đôi với sự chuyển đổi của d-Matrix từ một công ty chip chuyên ụng thành một doanh nghiệp hạ tầng tính toán trung tâm dữ liệu", ông Sid Sheth, Nhà sáng lập kiêm CEO của d-Matrix cho biết khi công bố Squadron trong bài phát biểu quan trọng tại ngày khai mạc Hội nghị Thượng đỉnh OCP Toàn cầu tại Trung tâm Hội nghị San Jose. "Với việc Squadron đang được vận chuyển và các máy chủ Corsair cũng như SquadRacks hiện đã sẵn sàng cung cấp rộng rãi, thời gian chờ đợi đã kết thúc. Khách hàng giờ đây có quyền truy cập vào cơ sở hạ tầng suy luận quy mô trung tâm dữ liệu hiệu quả nhất thế giới để xây dựng và đẩy nhanh các ứng dụng AI độ trễ cực thấp của họ."

"Việc đưa cơ sở hạ tầng AI thế hệ mới ra thị trường ở quy mô lớn đòi hỏi chuyên môn sâu về kỹ thuật, tích hợp hệ thống và sản xuất", ông Charles Liang, Chủ tịch kiêm CEO của Supermicro chia sẻ. "Sự hợp tác của chúng tôi với d-Matrix chứng minh khả năng của Supermicro trong việc cung cấp các công nghệ AI đổi mới thông qua các Giải pháp Khối Xây dựng Trung tâm Dữ liệu (DCBBS) đã được kiểm chứng của chúng tôi. Chúng tôi giúp khách hàng triển khai hạ tầng suy luận hiệu quả, hiệu năng cao đồng thời rút ngắn thời gian đưa vào vận hành để hỗ trợ các khối lượng công việc AI tiên tiến nhất và môi trường tính toán dị thể."

Toàn bộ nền tảng Corsair hiện đã có mặt

Squadron có sẵn trong nhiều cấu hình khác nhau, mở rộng quy mô lên tới 16 rack d-Matrix SquadRacks (mỗi rack gồm tám máy chủ đơn của d-Matrix) thành một cụm tính toán tích hợp hoàn chỉnh với tối đa 1.024 XPU d-Matrix Corsair. Các cụm được kết nối liền mạch với các card mạng d-Matrix JetStream NIC và được tối ưu hóa để dễ dàng triển khai với phần mềm d-Matrix Aviator. Do các cụm Squadron làm mát bằng không khí và được xây dựng dựa trên các tiêu chuẩn ngành, khách hàng có thể tích hợp trực tiếp chúng vào các trung tâm dữ liệu họ đang vận hành mà không cần làm mát bằng chất lỏng hay tốn kém thời gian xây dựng lại trung tâm dữ liệu.

Các máy chủ Corsair và hệ thống quy mô rack SquadRacks được xây dựng với XPU Corsair, card mạng JetStream và phần mềm Aviator. Khách hàng có thể triển khai một máy chủ Corsair đơn lẻ, một SquadRack đầy đủ hoặc mở rộng toàn bộ thành một cụm Squadron nhiều rack, tất cả đều trên cùng một kiến trúc làm mát bằng không khí, theo tiêu chuẩn ngành có thể lắp đặt trực tiếp vào các trung tâm dữ liệu hiện có.

Squadron tạo raột cột mốc trong ngành, chứng minh tính khả thi của AFD

Được tối ưu hóa để triển khai AI với tốc độ và hiệu quả, các cụm Squadron có thể chạy các mô hình đầy đủ độc quyền trên XPU Corsair và cũng được thiết kế cho các môi trường dị thể, nơi công việc được chia sẻ giữa GPU và XPU, một phương pháp gọi là tính toán phân rã (disaggregated compute).

Trong bài phát biểu tại OCP, ông Sheth tiết lộ rằng d-Matrix đã triển khai thành công tính năng Phân rã Attention-FFN (AFD) bằng cách sử dụng hệ thống Squadron của riêng mình kết hợp với các máy chủ GPU.

Công việc này đã chứng minh rằng, khi giảm tải các Chuyên gia/FFN (Experts/FFN) sang các rack Corsair, hệ thống dị thể có khả năng tận dụng các thuộc tính hiệu quả của Corsair để tạo ra 845 token mỗi giây cho mỗi người dùng. Với 64 người dùng đồng thời, thiết lập AFD dị thể đã mang lại tổng thông lượng là 20.415 token mỗi giây.

Trong khi AFD đã được thảo luận trong toàn ngành về mặt lý thuyết như một ứng dụng tính toán phân rã đầy hứa hẹn, d-Matrix là đơn vị đầu tiên trình iển khai nó chạy trên silicon thực tế hiện có sẵn ngày hôm nay.

🗞 Nguồn: TechPowerUp

#vgsnews #vgs #tintuc