CPU NVIDIA Vera khởi động sandbox AI nhanh gấp 8 lần so với AMD EPYC Zen 5
CPU NVIDIA Vera mới đây đã chứng minh hiệu năng vượt trội trong các tác vụ Agentic AI khi khởi động 2.000 sandbox nhanh hơn cả thời gian AMD EPYC Zen 5 bật 1.000 sandbox. Kiến trúc Arm của NVIDIA mang lại hiệu suất tốt hơn tới 8 lần so với các đối thủ x86 trong các bài kiểm tra thực tế.
CPU Vera của NVIDIA tiếp tục thể hiện hiệu năng trên từng nhân mạnh mẽ trong các tác vụ Agentic AI, như được minh họa bởi Daytona.
Daytona là một môi trường chạy chuyên dụng dành cho việc thực thi mã do AI tạo ra và các chuỗi tác tác vụ (agent workflow). Nhóm phát triển đã chia sẻ các điểm benchmark mới nhất của họ, đặt CPU NVIDIA Vera đối đầu với các con chip AMD EPYC Zen 5 để xem kiến trúc của Vera mang lại lợi ích gì cho các sandbox agentic, và kết quả thực sự rất đáng kinh ngạc.
Như chúng ta đã biết qua nhiều năm, các quy trình làm việc của Agentic AI được cung cấp năng lượng bởi hạ tầng CPU mạnh mẽ. Sự chuyển dịch từ GPU sang CPU là rất đáng kể trong kỷ nguyên Agentic AI, và với các khối lượng công việc bao gồm hệ thống tệp, phần phụ thuộc, shell và các bài kiểm tra trở thành tâm điểm của thị trường AI mới, các CPU phải được thiết kế sao cho nhanh chóng, hiệu quả và hỗ trợ những loại quy trình này.
CPU NVIDIA Vera được thiết kế với tư duy lấy AI làm trung tâm, và điều này được thể hiện rõ trong các bài benchmark. Nhóm Daytona đã đo lường hiệu năng của các con chip trên các quy trình làm việc agentic bằng cách sử dụng cùng một tác vụ lập trình-agent trên các 'hạm đội lớn' (large fleet) sandbox của Daytona. Điều cốt yếu là các CPU này không chỉ hỗ trợ số lượng lớn sandbox mà còn phải khởi động chúng thật nhanh chóng.
Trong các thử nghiệm, CPU NVIDIA Vera đạt thông lượng đỉnh là 13,3 công việc agent hoàn thành mỗi giây. Quan trọng hơn, nó có thể đưa 1.000 sandbox vào hoạt động chỉ trong vòng chưa đầy 11 giây (10,8 giây) và 2.000 sandbox trong vòng 27 giây. Để so sánh, con chip EPYC Zen 5 của AMD mất tới 88 giây để đưa 1.000 sandbox vào hoạt động. Đó là tốc độ nhanh hơn gấp 8 lần về thời gian đưa sandbox trực tuyến.
Hiệu năng trên từng nhân nhanh hơn của Vera phát huy tác dụng ở đây. Chip AMD EPYC Zen 5 cơ bản được sử dụng trong phép so sánh là EPYC 9755, mất 88,4 giây để đưa 1.000 sandbox trực tuyến. Con chip EPYC 9575F có xung nhịp cao hơn làm được điều tương tự trong 32,3 giây.
AMD đã có thể mang lại hiệu suất nhanh hơn trên một con chip có xung nhịp cao hơn, nhưng Vera vẫn dẫn đầu nhờ hiệu năng trên từng nhân vượt trội hơn kiến trúc Zen 5. CPU Vera có thể đưa 2.000 sandbox trực tuyến nhanh hơn thời gian Zen 5 khởi động 1.000 sandbox, một sự cải thiện tốc độ khổng lồ.
AMD từ đó đã phát hành các CPU Zen 6 EPYC, hứa hẹn mang lại kết quả tốt hơn nhiều trong cùng các tác vụ Agentic AI vì đó là một trong những lĩnh vực trọng tâm của họ. Tuy nhiên, Vera chắc chắn là một bước tiến lớn của NVIDIA trong không gian Agentic AI so với các CPU Grace trước đây, mang lại hiệu suất vượt trội Zen 5 và cạnh tranh sòng phẳng với các dòng chip Zen 6.
EPYC 9575F: đạt mức ổn định khoảng 8 công việc agent/giây
EPYC 9755: đạt mức ổn định khoảng 11 công việc agent/giây
NVIDIA Vera: đạt 13,3 công việc agent/giây và duy trì gần mức 13 cho đến 2.000 sandbox
Một số liệu thú vị khác được Daytona chia sẻ là thông lượng trên mỗi máy, bao gồm số lượng máy cần thiết để duy trì các khối lượng công việc này. Để hoàn thành 1.000 công việc mỗi giây, nền tảng Vera của NVIDIA sẽ yêu cầu ít hơn 15% số máy so với EPYC 9755 và ít hơn 38% số máy so với CPU EPYC 9575F.
Điều này góp phần tối ưu tổng chi phí sở hữu (TCO), giúp các công ty làm được nhiều việc hơn với ít máy chủ hơn, tiết kiệm điện năng, giảm chi phí làm mát và cắt giảm chi phí thiết lập các nhà máy AI quy mô lớn. Hoặc bạn có thể đạt được thông lượng cao hơn trong cùng một khoản đầu tư hạ tầng so với đối thủ.
'Con số làm tôi hứng thú không phải là đỉnh điểm. Mà là điều xảy ra sau khi máy đã đầy tải. Vera tiếp tục chạy các tác vụ agent ở tốc độ gần như không đổi cho đến khi đạt 2.000 sandbox. Nó chậm đi một chút nhưng vẫn giữ được sự ổn định thay vì sập nguồn. Hàng nghìn agent trên một cỗ máy đơn lẻ và Vera vẫn giữ chúng hoạt động. Đó mới là điều quan trọng.' — Vedran Jukić, Đồng sáng lập kiêm CTO
Các agent đang biến hạ tầng thành một bài toán về mật độ: mỗi agent cần hệ thống tệp, công cụ và môi trường riêng, và những môi trường đó phải được tạo ra hàng nghìn cái một và duy trì năng suất trên phần cứng chia sẻ.
Ở tiêu chí đó, NVIDIA Vera đã nổi bật. Nó đưa 1.000 sandbox Daytona trực tuyến trong 10,8 giây và 2.000 sandbox trong 27,4 giây, sau đó duy trì gần 13 công việc agent hoàn thành mỗi giây ngay cả ở mức 2.000 sandbox đồng thời — sử dụng ít hơn khoảng 15% máy so với EPYC 9755 và ít hơn khoảng 38% so với 9575F cho cùng một khối lượng công việc.
⚡ CPU NVIDIA VERA KHỞI ĐỘNG SANDBOX AI NHANH GẤP 8 LẦN SO VỚI AMD EPYC ZEN 5 CPU Vera của NVIDIA tiếp tục thể hiện hiệu năng trên từng nhân mạnh mẽ trong các tác vụ Agentic AI, như được minh họa bởi Daytona. Daytona là một môi trường chạy chuyên dụng dành cho việc thực thi mã do AI tạo ra và các chuỗi tác tác vụ (agent workflow). Nhóm phát triển đã chia sẻ các điểm benchmark mới nhất của họ, đặt CPU NVIDIA Vera đối đầu với các con chip AMD EPYC Zen 5 để xem kiến trúc của Vera mang lại lợi ích gì cho các sandbox agentic, và kết quả thực sự rất đáng kinh ngạc. Như chúng ta đã biết qua nhiều năm, các quy trình làm việc của Agentic AI được cung cấp năng lượng bởi hạ tầng CPU mạnh mẽ. Sự chuyển dịch từ GPU sang CPU là rất đáng kể trong kỷ nguyên Agentic AI, và với các khối lượng công việc bao gồm hệ thống tệp, phần phụ thuộc, shell và các bài kiểm tra trở thành tâm điểm của thị trường AI mới, các CPU phải được thiết kế sao cho nhanh chóng, hiệu quả và hỗ trợ những loại quy trình này. CPU NVIDIA Vera được thiết kế với tư duy lấy AI làm trung tâm, và điều này được thể hiện rõ trong các bài benchmark. Nhóm Daytona đã đo lường hiệu năng của các con chip trên các quy trình làm việc agentic bằng cách sử dụng cùng một tác vụ lập trình-agent trên các 'hạm đội lớn' (large fleet) sandbox của Daytona. Điều cốt yếu là các CPU này không chỉ hỗ trợ số lượng lớn sandbox mà còn phải khởi động chúng thật nhanh chóng. Trong các thử nghiệm, CPU NVIDIA Vera đạt thông lượng đỉnh là 13,3 công việc agent hoàn thành mỗi giây. Quan trọng hơn, nó có thể đưa 1.000 sandbox vào hoạt động chỉ trong vòng chưa đầy 11 giây (10,8 giây) và 2.000 sandbox trong vòng 27 giây. Để so sánh, con chip EPYC Zen 5 của AMD mất tới 88 giây để đưa 1.000 sandbox vào hoạt động. Đó là tốc độ nhanh hơn gấp 8 lần về thời gian đưa sandbox trực tuyến. Hiệu năng trên từng nhân nhanh hơn của Vera phát huy tác dụng ở đây. Chip AMD EPYC Zen 5 cơ bản được sử dụng trong phép so sánh là EPYC 9755, mất 88,4 giây để đưa 1.000 sandbox trực tuyến. Con chip EPYC 9575F có xung nhịp cao hơn làm được điều tương tự trong 32,3 giây. AMD đã có thể mang lại hiệu suất nhanh hơn trên một con chip có xung nhịp cao hơn, nhưng Vera vẫn dẫn đầu nhờ hiệu năng trên từng nhân vượt trội hơn kiến trúc Zen 5. CPU Vera có thể đưa 2.000 sandbox trực tuyến nhanh hơn thời gian Zen 5 khởi động 1.000 sandbox, một sự cải thiện tốc độ khổng lồ. AMD từ đó đã phát hành các CPU Zen 6 EPYC, hứa hẹn mang lại kết quả tốt hơn nhiều trong cùng các tác vụ Agentic AI vì đó là một trong những lĩnh vực trọng tâm của họ. Tuy nhiên, Vera chắc chắn là một bước tiến lớn của NVIDIA trong không gian Agentic AI so với các CPU Grace trước đây, mang lại hiệu suất vượt trội Zen 5 và cạnh tranh sòng phẳng với các dòng chip Zen 6. EPYC 9575F: đạt mức ổn định khoảng 8 công việc agent/giây EPYC 9755: đạt mức ổn định khoảng 11 công việc agent/giây NVIDIA Vera: đạt 13,3 công việc agent/giây và duy trì gần mức 13 cho đến 2.000 sandbox Một số liệu thú vị khác được Daytona chia sẻ là thông lượng trên mỗi máy, bao gồm số lượng máy cần thiết để duy trì các khối lượng công việc này. Để hoàn thành 1.000 công việc mỗi giây, nền tảng Vera của NVIDIA sẽ yêu cầu ít hơn 15% số máy so với EPYC 9755 và ít hơn 38% số máy so với CPU EPYC 9575F. Điều này góp phần tối ưu tổng chi phí sở hữu (TCO), giúp các công ty làm được nhiều việc hơn với ít máy chủ hơn, tiết kiệm điện năng, giảm chi phí làm mát và cắt giảm chi phí thiết lập các nhà máy AI quy mô lớn. Hoặc bạn có thể đạt được thông lượng cao hơn trong cùng một khoản đầu tư hạ tầng so với đối thủ. 'Con số làm tôi hứng thú không phải là đỉnh điểm. Mà là điều xảy ra sau khi máy đã đầy tải. Vera tiếp tục chạy các tác vụ agent ở tốc độ gần như không đổi cho đến khi đạt 2.000 sandbox. Nó chậm đi một chút nhưng vẫn giữ được sự ổn định thay vì sập nguồn. Hàng nghìn agent trên một cỗ máy đơn lẻ và Vera vẫn giữ chúng hoạt động. Đó mới là điều quan trọng.' — Vedran Jukić, Đồng sáng lập kiêm CTO Các agent đang biến hạ tầng thành một bài toán về mật độ: mỗi agent cần hệ thống tệp, công cụ và môi trường riêng, và những môi trường đó phải được tạo ra hàng nghìn cái một và duy trì năng suất trên phần cứng chia sẻ. Ở tiêu chí đó, NVIDIA Vera đã nổi bật. Nó đưa 1.000 sandbox Daytona trực tuyến trong 10,8 giây và 2.000 sandbox trong 27,4 giây, sau đó duy trì gần 13 công việc agent hoàn thành mỗi giây ngay cả ở mức 2.000 sandbox đồng thời — sử dụng ít hơn khoảng 15% máy so với EPYC 9755 và ít hơn khoảng 38% so với 9575F cho cùng một khối lượng công việc. 🗞 Nguồn: Wccftech #vgsnews #vgs #tintuc
Nguồn: Wccftech
