LattePanda ra mắt Mu Ultra: Mô-đun máy tính x86 siêu nhỏ chuyên dụng cho AI trên thiết bị

🖥️ LATTEPANDA RA MẮT MU ULTRA: MÔ-ĐUN MÁY TÍNH X86 SIÊU NHỎ CHUYÊN DỤNG CHO AI TRÊN THIẾT BỊ

Đội ngũ LattePanda hôm nay đã ra mắt LattePanda Mu Ultra, một mô-đun máy tính x86 siêu nhỏ được thiết kế chuyên biệt cho AI trên thiết bị. Được cung cấp sức mạnh bởi các bộ vi xử lý Intel Core Ultra 5 226V và Ultra 7 256V, sản phẩm mang lại hiệu năng AI lên tới 115 TOPS trong một kích thước nhỏ gọn 69.6 mm × 60 mm. Được xây dựng để giải quyết các thách thức về phần cứng, khả năng tính toán và phần mềm khi chạy AI cục bộ, LattePanda Mu Ultra mang đến khả năng điện toán AI mạnh mẽ cho các kỹ sư, nhà tích hợp hệ thống và nhà sản xuất OEM trong lĩnh vực robot, tự động hóa công nghiệp, thiết bị cầm tay, AI thị giác và nhiều ứng dụng biên thông minh khác.

Hiệu năng AI 115 TOPS trong một mô-đun x86 nhỏ gọn

LattePanda Mu Ultra kết hợp CPU, GPU và NPU của bộ vi xử lý Intel Core Ultra 5 226V và Ultra 7 256V để mang lại hiệu năng AI lên tới 115 TOPS (INT8), bao gồm 47 TOPS từ NPU chuyên dụng.

Kích thước 69.6 mm × 60 mm mang sức mạnh tính toán x86 vào các thiết bị bị giới hạn không gian, từ thiết bị cầm tay và camera thông minh cho đến robot và các hệ thống biên thông minh khác.

Chạy AI cục bộ trên thiết bị

LattePanda Mu Ultra chạy các tác vụ AI trực tiếp trên thiết bị, cho phép suy luận độ trễ thấp, bảo mật dữ liệu tốt hơn và ít phụ thuộc hơn vào điện toán đám mây.

Trong quá trình thử nghiệm, LattePanda Mu Ultra đạt tốc độ tạo văn bản 18 token/s với mô hình Qwen3.5-9B và 55 token/s với Qwen3.5-2B, sử dụng lượng tử hóa INT4 với OpenVINO GenAI trên iGPU. Các kết quả này chứng minh khả năng hỗ trợ AI đàm thoại cục bộ với độ phản hồi cao mà không cần suy luận qua đám mây. Điều này làm cho thiết bị phù hợp với các ứng dụng như trợ lý giọng nói cục bộ, xử lý tài liệu ngoại tuyến và truy xuất tri thức riêng tư, giữ lại các dữ liệu nhạy cảm ngay trên thiết bị.

Bộ nhớ băng thông cao cho các tác vụ AI

LattePanda Mu Ultra trang bị 16 GB bộ nhớ LPDDR5X-8533, với tối đa 11.6 GB dành cho bộ nhớ đồ họa, cung cấp băng thông cần thiết cho các tác vụ AI nặng trên CPU, GPU và NPU.

Kiến trúc bộ nhớ được thiết kế để hỗ trợ các tác vụ từ mô hình ngôn ngữ lớn (LLM) và AI đa phương thức cho đến xử lý cảm biến thời gian thực. Với mức tiêu thụ điện năng khi không tải chỉ từ 2.5 W, mô-đun này cũng rất phù hợp cho các ứng dụng di động và luôn bật (always-on) đòi hỏi hiệu quả năng lượng.

Đưa AI trên thiết bị vào các hệ thống x86 hiện có

Việc triển khai AI trực tiếp trên thiết bị không chỉ đơn thuần là chọn phần cứng phù hợp. Đảm bảo khả năng tương thích phần mềm trên toàn bộ ngăn xếp AI cũng có thể làm tăng đáng kể chi phí phát triển.

LattePanda Mu Ultra hỗ trợ Windows và Linux, đồng thời duy trì khả năng tương thích với hệ sinh thái phần mềm x86 hiện có. Thiết bị cũng hỗ trợ các công cụ và framework AI phổ biến, bao gồm Intel OpenVINO, llama.cpp và Ollama.

Điều này cho phép các nhóm kỹ sư và nhà sản xuất OEM tận dụng các ứng dụng x86 và quy trình phát triển hiện có, giúp dễ dàng thêm các tính năng AI trên thiết bị mà không cần phải xây dựng lại hệ thống từ đầu.

Nâng cấp với thiết kế mô-đun

LattePanda Mu Ultra giữ nguyên kích thước chuẩn và cổng kết nối của dòng LattePanda Mu, đồng thời tương thích tốt với các bo mạch mang (carrier board) hiện có. Khi kết hợp với bo mạch 3.5-inch Lite Carrier Board, Mini Carrier hoặc M.2 M Key Carrier Board, người dùng có thể nâng cấp các hệ thống hiện có mà không cần thiết kế lại toàn bộ bo mạch mang.

Với các giao tiếp bao gồm PCIe 4.0, USB 3.2 Gen 2, USB 2.0, HDMI / DisplayPort, eDP, GPIO, UART và I2C, LattePanda Mu Ultra có thể hỗ trợ mọi thứ từ tạo mẫu nhanh và phát triển số lượng nhỏ cho đến sản xuất hàng loạt.

Năm ứng dụng chính cho AI trên thiết bị
• Thiết bị đầu cuối AI thông minh: Chạy LLM cục bộ cho các thiết bị dịch thuật, trợ lý giọng nói và ứng dụng tri thức riêng tư.
• Thiết bị cầm tay: Mang tính toán x86 hiệu suất cao vào các thiết bị cầm tay như máy phân tích phổ và thiết bị chẩn đoán di động.
• Robot di động tự hành (AMR): Hỗ trợ hợp nhất cảm biến thời gian thực, SLAM và điều hướng tự hành.
• Robot dịch vụ: Chạy các tác vụ AI thị giác, giọng nói và đa phương thức dựa trên LLM.
• AI thị giác trên thiết bị: Xử lý video độ phân giải cao cục bộ trong camera thông minh và hệ thống kiểm tra bằng robot.

Thông số kỹ thuật chính
• Tùy chọn vi xử lý: Intel Core Ultra 5 226V (RAM 16 GB) hoặc Intel Core Ultra 7 256V (RAM 16 GB)
• Hiệu năng AI: Lên tới 115 TOPS (CPU + GPU + NPU, INT8)
• NPU: Lên tới 47 TOPS INT8
• GPU: Intel Arc Graphics (tối đa 8 nhân Xe)
• Bộ nhớ: 16 GB LPDDR5X-8533
• VRAM khả dụng: Lên tới 11.6 GB cho LLM lớn và KV Cache
• Xuất màn hình: Tối đa 3 cổng HDMI / DisplayPort, 1 cổng eDP
• Kích thước: 69.6 mm × 60 mm

"Đưa AI chạy trên đám mây tương đối đơn giản. Thách thức thực sự xuất hiện khi các nhà phát triển cần triển khai nó trên các thiết bị vật lý - nơi không gian hạn chế, nguồn điện quan trọng và việc di chuyển phần mềm hiện có có thể tốn kém," Youliang Yu, giám đốc sản phẩm LattePanda cho biết. "LattePanda Mu Ultra giải quyết những thách thức này bằng thiết kế x86 nhỏ gọn, hiệu năng AI cao và tiêu thụ điện năng thấp."

Sản phẩm hiện đã có sẵn trên cửa hàng trực tuyến chính thức của LattePanda với mức giá khởi điểm từ 599 USD.

🗞 Nguồn: TechPowerUp

#vgsnews #vgs #tintuc