Kết nối iPhone 17 Pro Max với MacBook Pro M4 Pro giúp tăng tốc chạy mô hình AI lớn

⚡ KẾT NỐI IPHONE 17 PRO MAX VỚI MACBOOK PRO M4 PRO GIÚP TĂNG TỐC CHẠY MÔ HÌNH AI LỚN

Qwen3.8-27B là một mô hình AI có năng lực, với điều kiện bạn sở hữu sự kết hợp đủ giữa VRAM và RAM hệ thống. Trên MacBook Pro M4 Pro, 24GB bộ nhớ thống nhất của máy có thể là yếu tố giới hạn tốc độ tiền nạp (prefill) khi chạy mô hình AI này. May mắn thay, một người dùng đã kết nối iPhone 17 Pro Max với chiếc Mac di động thông qua cổng USB-C, và bằng cách chạy phần mềm tùy chỉnh, anh ấy đã có thể đạt hiệu suất tiền nạp cao hơn tới 44 phần trăm khi chạy cùng một mô hình AI đó.

Ngay cả khi bộ nhớ được nâng lên 20.480MB, MacBook Pro M4 Pro vẫn chỉ bị giới hạn ở Cửa sổ ngữ cảnh 64K, biến iPhone 17 Pro Max trở thành một thiết bị cần thiết

Để vượt qua giới hạn bộ nhớ thống nhất 24GB của máy Mac, thành viên Reddit "u/StayLameBro" chia nhỏ công việc giữa thiết bị này và iPhone 17 Pro Max theo hai cách. Đối với việc tăng tốc tiền nạp, MacBook Pro chạy các lớp từ 1 đến 40 của mỗi lô 256 token và truyền các kích hoạt (activations) sang điện thoại. Đối với iPhone, nó chạy các lớp từ 41 đến 64 trên GPU của con chip A19 Pro trong khi máy Mac bắt đầu xử lý lô tiếp theo. Các GPU giúp hiệu suất của điện thoại nhanh hơn khoảng 2,4 lần so với khi không có chúng.

Neural Engine cũng không hề ngồi yên ở đây, vì mỗi 16K ngữ cảnh cũ được biên dịch thành một mô hình Neural Engine, giúp giảm thời gian viết mỗi token ở ngữ cảnh 140k từ 279ms xuống còn 176ms so với việc chỉ sử dụng GPU của A19 Pro. Đối với hiệu suất bao trùm việc tiền nạp một tệp 2.000 token vào một phiên đã lưu: Ở ngữ cảnh 8K, một mình máy Mac đạt 132 token/giây so với 177 token/giây khi dùng chung với iPhone, đánh dấu mức tăng 35 phần trăm. Ở mức 16K, con số này tăng từ 109 token/giây lên 157 token/giây, tạo ra mức tăng trưởng đáng kinh ngạc là 44 phần trăm.

Tại Cửa sổ ngữ cảnh 32K, tốc độ tiền nạp tăng từ 101 token/giây lên 130 token/giây để mang lại mức cải thiện 29 phần trăm. Bằng cách kết nối iPhone 17 Pro Max với MacBook Pro M4 Pro, người ta có thể cho rằng bạn sẽ đạt được tốc độ tiền nạp đáng kinh ngạc bằng cách chạy phần mềm tùy chỉnh. Đáng tiếc, đây lại là một kịch bản "quá tốt để là sự thật" khi thành viên Reddit chỉ ra một số hạn chế. Ví dụ, điện thoại không làm tăng tốc độ tạo văn bản dưới 64K, công việc đó vẫn thuộc về máy Mac.

Cũng đáng chú ý là con chip A20 Pro cung cấp sức mạnh cho iPhone 18 Pro và iPhone 18 Pro Max có thể mang lại nhiều không gian hiệu năng hơn, không chỉ nhờ hiệu suất vượt trội mà còn nhờ Neural Engine 16 lõi kép của nó, được cho là mang lại thông lượng cao hơn so với GPU 7 lõi của SoC cho các tác vụ được thiết kế riêng biệt cho NPU. Phần mềm tùy chỉnh hiện đang là mã nguồn mở và có thể được tải xuống từ GitHub dưới tên gọi "backburner."

Ngay cả khi chỉ là một thử nghiệm, bạn đã có thể thấy rằng tốc độ tiền nạp được cải thiện mang lại mức tăng đáng kể. Dĩ nhiên, các khả năng của nó có thể được khám phá sâu hơn, mặc dù điều này cũng có thể đồng nghĩa với việc các thiết bị như iPhone có thể bước vào kỷ nguyên khan hiếm tương tự như DRAM và SSD.

🗞 Nguồn: Wccftech

#vgsnews #vgs #tintuc