Micron cảnh báo rào cản bộ nhớ AI ngày càng trầm trọng do tốc độ tính toán vượt xa băng thông HBM
Micron cho biết khoảng cách giữa năng lực tính toán và băng thông bộ nhớ HBM đang ngày càng nới rộng, tạo ra thách thức lớn về tản nhiệt và hiệu năng cho hệ thống AI. Để giải quyết vấn đề này, ngành công nghệ sẽ cần đến các công nghệ đóng gói và tiến trình tiên tiến hơn trong tương lai.
Micron khám phá bộ nhớ băng thông cao (HBM) là gì, tại sao nó lại thiết yếu, cách thức so sánh với DDR truyền thống và những thách thức chính đòi hỏi phải đổi mới hơn nữa để duy trì nhu cầu ngày càng tăng của AI.
Khi các mô hình ngôn ngữ lớn (LLM) về AI tiếp tục phát triển, nhu cầu về các công nghệ bộ nhớ tiên tiến đã trở nên tối quan trọng đối với việc mở rộng và cải tiến liên tục của các mô hình này. Nhưng bộ nhớ hiện đang trở thành một nút thắt cổ chai lớn giới hạn hiệu suất của các hệ thống AI.
HBM hiện là loại DRAM hàng đầu được sử dụng trong các bộ tăng tốc AI hàng đầu. Để đạt được các hoạt động tối đa trên một hệ thống AI tiêu biểu, một phần lớn công việc bị ràng buộc bởi bộ nhớ khi các bộ xử lý tính toán chờ dữ liệu đến. Một khi công việc hoàn tất, hệ thống bước vào giai đoạn giới hạn tính toán, trong đó dữ liệu được truyền đến đủ nhanh để giữ cho các bộ xử lý bận rộn. Với HBM, giới hạn băng thông bộ nhớ được nâng lên, cho phép các khối lượng công việc AI đòi hỏi nhiều bộ nhớ đạt hiệu suất cao hơn trước khi chạm giới hạn bộ nhớ.
Raghu Sreeramaneni, Thành viên Thiết kế Kiến trúc HBM của Micron, đã làm sáng tỏ "Rào cản bộ nhớ" này trong bài thuyết trình tại Hot Chips 2026. Công ty tuyên bố rằng trong khi năng lực tính toán đang tiến 3 lần cứ sau mỗi hai năm, thì bộ nhớ chỉ tiến <2 lần cứ sau mỗi hai năm. Hiện tại, có ba loại kiến trúc bộ nhớ: bộ nhớ gắn 2.5D, bộ nhớ tiên tiến 2.5D và DRAM xử lý trong bộ nhớ (Processing-in-memory DRAM).
Các điểm chính từ bài phát biểu tại Hot Chips 2026 bao gồm:
- Bộ nhớ đóng vai trò trung tâm trong việc mở rộng hiệu suất LLM (nhiều tính toán hơn, tập dữ liệu lớn hơn, nhiều tham số hơn).
- Tính toán tăng tỷ lệ ~3× cứ sau hai năm; băng thông HBM chỉ tăng ~2× cứ sau hai năm → rào cản bộ nhớ vẫn tồn tại và có thể đang tồi tệ hơn.
- Trong một GPU SIP điển hình với bốn stack HBM 12 tầng, silicon bộ nhớ chiếm khoảng 90% tổng số silicon (gấp 8 lần silicon GPU).
- HBM là giải pháp bộ nhớ phức tạp nhất về mặt đa chức năng (đóng gói + quy trình + thiết kế) trong một form factor có kích thước bằng con tem thư.
- Khối lượng công việc AI thường bị giới hạn bởi bộ nhớ; băng thông HBM cao hơn sẽ đẩy đường giới hạn lên cao hơn và khai thác nhiều hiệu suất đỉnh của bộ xử lý hơn.
- Chiều cao các stack đã tăng từ 4 tầng lên 16 tầng (con đường hướng tới 20 tầng tồn tại nhưng vấp phải các rào cản lớn về nhiệt/cơ học).
- Bài báo đào tạo Llama 3 của Meta quy trách nhiệm 17% các gián đoạn không mong muốn cho HBM.
Tốc độ tăng tốc này trong AI đòi hỏi một giải pháp bộ nhớ tiên tiến và HBM đóng một vai trò quan trọng trong phân khúc này. Vấn đề với HBM hiện tại là khi mật độ tăng lên trên mỗi DRAM, hiệu quả (pJ/bit) sẽ giảm xuống. Để giải quyết vấn đề này, ngành công nghiệp cần chuyển sang các công nghệ quy trình và đóng gói đột phá, cùng khả năng giảm tải từ GPU thông qua D2D PHY tiên tiến & có khả năng hỗ trợ các tính năng tùy chỉnh.
Hiện tại, Micron đang cung cấp HBM4, giải pháp HBM nhanh nhất của họ cho đến nay. Nó cung cấp băng thông lên tới 2800 GB/s, gấp đôi IO và có số kênh gấp đôi so với HBM3E. Mỗi thế hệ, HBM đều chứng kiến sự gia tăng về tốc độ dữ liệu, Kênh giả (Pseudo-Channels), mật độ và Chiều cao stack.
Các khối xây dựng cơ bản của HBM vẫn giữ nguyên, với các thay đổi gia tăng qua mỗi thế hệ. Các kiến trúc HBM bao gồm các die DRAM xếp chồng chứa nhiều kênh độc lập & mỗi kênh có 2 kênh giả, bao gồm một bus Lệnh/Địa chỉ chung và một bus dữ liệu độc lập.
Sau đó là die cơ sở (base die), giao tiếp lệnh và dữ liệu giữa máy chủ và DRAM. Die cơ sở có Microbump PHY kết nối máy chủ với die cơ sở và có 3D TSV PHY liên kết ngăn xếp DRAM với die cơ sở. Trục này chạy từ trên xuống dưới của khối HBM. Khối HBM sau đó được kết nối với interposer bằng các kết nối điểm tới điểm ngắn và có mật độ cực cao (HBM4 có 2K IO).
Đến các ưu điểm của HBM so với các giải pháp DRAM dựa trên DDR truyền thống, thứ nhất là băng thông hệ thống cao hơn nhiều có thể đạt được trên GPU bằng cách sử dụng nhiều stack HBM. Trong khi các giải pháp dựa trên DDR cung cấp dung lượng cao hơn, chúng cũng chiếm nhiều không gian hơn, trong khi HBM nằm gần GPU hơn và cung cấp băng thông trong vùng đa TB/s, so với mức đa GB/s của DDR.
Cũng có những nhược điểm đi kèm với HBM. Một trong số đó là vấn đề nhiệt trở thành vấn đề lớn hơn khi giải pháp mở rộng quy mô.
Micron kêu gọi sự cần thiết của các đổi mới về nhiệt để giải quyết thách thức này. Vấn đề không hẳn là vấn đề công suất mà là vấn đề mật độ công suất, và die cơ sở là vùng bị ảnh hưởng nặng nề do phần lớn chức năng tiên tiến nằm bên trong die cơ sở, và khi chiều cao stack tăng lên, điều đó dẫn đến hoạt động của die tăng lên. Một số giải pháp bao gồm làm mát bằng chất lỏng và gắn kết lai (Hybrid bonding), nhưng Micron cũng đang làm việc trên các giải pháp "đóng gói tiên tiến" thế hệ tiếp theo có thể giúp giảm thiểu các vấn đề về nhiệt.
Những giải pháp này bao gồm việc sử dụng Gắn kết hợp nhất (Fusion bonding) để hỗ trợ các bước nhảy cực kỳ khít với độ phân giải đơn micron, cho phép di chuyển đáng kể nhiều dữ liệu hơn thông qua gói. Nó làm giảm số lượng lớp điện môi giữa các die DRAM trong stack, cải thiện khả năng kháng nhiệt.
Micron cũng đang nghiên cứu các thiết kế IO tốc độ cao mới với giải pháp SerDes được tối ưu hóa bộ nhớ hơn. Nghiên cứu cũng đang diễn ra trong việc mở rộng các stack HBM vượt ra ngoài 16-Hi, nhưng Micron tuyên bố vẫn còn rất nhiều công việc cần phải làm.
HBM đã nổiขึ้น thành nền tảng không thể thiếu cung cấp sức mạnh cho các hệ thống AI ngày nay - mang lại băng thông, mật độ và hiệu quả năng lượng phi thường thông qua việc xếp chồng tinh vi, tính song song cực độ và đóng gói tiên tiến mà DDR truyền thống đơn giản không thể sánh được.
Tuy nhiên, con đường phía trước còn lâu mới thẳng tắp. Rào cản bộ nhớ dai dẳng, sự tương tác phức tạp giữa nhiệt, độ tin cậy, tương tác chip-gói và các stack ngày càng cao đòi hỏi sự đổi mới liên tục, đa chức năng.
Khi khối lượng công việc AI phát triển và ranh giới giữa tính toán và bộ nhớ tiếp tục mờ đi, chuyên môn tập thể của ngành sẽ là thiết yếu để vượt qua những thách thức này, mở rộng dung lượng và hiệu suất, đồng thời duy trì tiến bộ đáng chú ý đang định hình lại tương lai của điện toán.
⚡ MICRON CẢNH BÁO RÀO CẢN BỘ NHỚ AI NGÀY CÀNG TRẦM TRỌNG DO TỐC ĐỘ TÍNH TOÁN VƯỢT XA BĂNG THÔNG HBM Micron khám phá bộ nhớ băng thông cao (HBM) là gì, tại sao nó lại thiết yếu, cách thức so sánh với DDR truyền thống và những thách thức chính đòi hỏi phải đổi mới hơn nữa để duy trì nhu cầu ngày càng tăng của AI. Khi các mô hình ngôn ngữ lớn (LLM) về AI tiếp tục phát triển, nhu cầu về các công nghệ bộ nhớ tiên tiến đã trở nên tối quan trọng đối với việc mở rộng và cải tiến liên tục của các mô hình này. Nhưng bộ nhớ hiện đang trở thành một nút thắt cổ chai lớn giới hạn hiệu suất của các hệ thống AI. HBM hiện là loại DRAM hàng đầu được sử dụng trong các bộ tăng tốc AI hàng đầu. Để đạt được các hoạt động tối đa trên một hệ thống AI tiêu biểu, một phần lớn công việc bị ràng buộc bởi bộ nhớ khi các bộ xử lý tính toán chờ dữ liệu đến. Một khi công việc hoàn tất, hệ thống bước vào giai đoạn giới hạn tính toán, trong đó dữ liệu được truyền đến đủ nhanh để giữ cho các bộ xử lý bận rộn. Với HBM, giới hạn băng thông bộ nhớ được nâng lên, cho phép các khối lượng công việc AI đòi hỏi nhiều bộ nhớ đạt hiệu suất cao hơn trước khi chạm giới hạn bộ nhớ. Raghu Sreeramaneni, Thành viên Thiết kế Kiến trúc HBM của Micron, đã làm sáng tỏ "Rào cản bộ nhớ" này trong bài thuyết trình tại Hot Chips 2026. Công ty tuyên bố rằng trong khi năng lực tính toán đang tiến 3 lần cứ sau mỗi hai năm, thì bộ nhớ chỉ tiến <2 lần cứ sau mỗi hai năm. Hiện tại, có ba loại kiến trúc bộ nhớ: bộ nhớ gắn 2.5D, bộ nhớ tiên tiến 2.5D và DRAM xử lý trong bộ nhớ (Processing-in-memory DRAM). Các điểm chính từ bài phát biểu tại Hot Chips 2026 bao gồm: • Bộ nhớ đóng vai trò trung tâm trong việc mở rộng hiệu suất LLM (nhiều tính toán hơn, tập dữ liệu lớn hơn, nhiều tham số hơn). • Tính toán tăng tỷ lệ ~3× cứ sau hai năm; băng thông HBM chỉ tăng ~2× cứ sau hai năm → rào cản bộ nhớ vẫn tồn tại và có thể đang tồi tệ hơn. • Trong một GPU SIP điển hình với bốn stack HBM 12 tầng, silicon bộ nhớ chiếm khoảng 90% tổng số silicon (gấp 8 lần silicon GPU). • HBM là giải pháp bộ nhớ phức tạp nhất về mặt đa chức năng (đóng gói + quy trình + thiết kế) trong một form factor có kích thước bằng con tem thư. • Khối lượng công việc AI thường bị giới hạn bởi bộ nhớ; băng thông HBM cao hơn sẽ đẩy đường giới hạn lên cao hơn và khai thác nhiều hiệu suất đỉnh của bộ xử lý hơn. • Chiều cao các stack đã tăng từ 4 tầng lên 16 tầng (con đường hướng tới 20 tầng tồn tại nhưng vấp phải các rào cản lớn về nhiệt/cơ học). • Bài báo đào tạo Llama 3 của Meta quy trách nhiệm 17% các gián đoạn không mong muốn cho HBM. Tốc độ tăng tốc này trong AI đòi hỏi một giải pháp bộ nhớ tiên tiến và HBM đóng một vai trò quan trọng trong phân khúc này. Vấn đề với HBM hiện tại là khi mật độ tăng lên trên mỗi DRAM, hiệu quả (pJ/bit) sẽ giảm xuống. Để giải quyết vấn đề này, ngành công nghiệp cần chuyển sang các công nghệ quy trình và đóng gói đột phá, cùng khả năng giảm tải từ GPU thông qua D2D PHY tiên tiến & có khả năng hỗ trợ các tính năng tùy chỉnh. Hiện tại, Micron đang cung cấp HBM4, giải pháp HBM nhanh nhất của họ cho đến nay. Nó cung cấp băng thông lên tới 2800 GB/s, gấp đôi IO và có số kênh gấp đôi so với HBM3E. Mỗi thế hệ, HBM đều chứng kiến sự gia tăng về tốc độ dữ liệu, Kênh giả (Pseudo-Channels), mật độ và Chiều cao stack. Các khối xây dựng cơ bản của HBM vẫn giữ nguyên, với các thay đổi gia tăng qua mỗi thế hệ. Các kiến trúc HBM bao gồm các die DRAM xếp chồng chứa nhiều kênh độc lập & mỗi kênh có 2 kênh giả, bao gồm một bus Lệnh/Địa chỉ chung và một bus dữ liệu độc lập. Sau đó là die cơ sở (base die), giao tiếp lệnh và dữ liệu giữa máy chủ và DRAM. Die cơ sở có Microbump PHY kết nối máy chủ với die cơ sở và có 3D TSV PHY liên kết ngăn xếp DRAM với die cơ sở. Trục này chạy từ trên xuống dưới của khối HBM. Khối HBM sau đó được kết nối với interposer bằng các kết nối điểm tới điểm ngắn và có mật độ cực cao (HBM4 có 2K IO). Đến các ưu điểm của HBM so với các giải pháp DRAM dựa trên DDR truyền thống, thứ nhất là băng thông hệ thống cao hơn nhiều có thể đạt được trên GPU bằng cách sử dụng nhiều stack HBM. Trong khi các giải pháp dựa trên DDR cung cấp dung lượng cao hơn, chúng cũng chiếm nhiều không gian hơn, trong khi HBM nằm gần GPU hơn và cung cấp băng thông trong vùng đa TB/s, so với mức đa GB/s của DDR. Cũng có những nhược điểm đi kèm với HBM. Một trong số đó là vấn đề nhiệt trở thành vấn đề lớn hơn khi giải pháp mở rộng quy mô. Micron kêu gọi sự cần thiết của các đổi mới về nhiệt để giải quyết thách thức này. Vấn đề không hẳn là vấn đề công suất mà là vấn đề mật độ công suất, và die cơ sở là vùng bị ảnh hưởng nặng nề do phần lớn chức năng tiên tiến nằm bên trong die cơ sở, và khi chiều cao stack tăng lên, điều đó dẫn đến hoạt động của die tăng lên. Một số giải pháp bao gồm làm mát bằng chất lỏng và gắn kết lai (Hybrid bonding), nhưng Micron cũng đang làm việc trên các giải pháp "đóng gói tiên tiến" thế hệ tiếp theo có thể giúp giảm thiểu các vấn đề về nhiệt. Những giải pháp này bao gồm việc sử dụng Gắn kết hợp nhất (Fusion bonding) để hỗ trợ các bước nhảy cực kỳ khít với độ phân giải đơn micron, cho phép di chuyển đáng kể nhiều dữ liệu hơn thông qua gói. Nó làm giảm số lượng lớp điện môi giữa các die DRAM trong stack, cải thiện khả năng kháng nhiệt. Micron cũng đang nghiên cứu các thiết kế IO tốc độ cao mới với giải pháp SerDes được tối ưu hóa bộ nhớ hơn. Nghiên cứu cũng đang diễn ra trong việc mở rộng các stack HBM vượt ra ngoài 16-Hi, nhưng Micron tuyên bố vẫn còn rất nhiều công việc cần phải làm. HBM đã nổiขึ้น thành nền tảng không thể thiếu cung cấp sức mạnh cho các hệ thống AI ngày nay - mang lại băng thông, mật độ và hiệu quả năng lượng phi thường thông qua việc xếp chồng tinh vi, tính song song cực độ và đóng gói tiên tiến mà DDR truyền thống đơn giản không thể sánh được. Tuy nhiên, con đường phía trước còn lâu mới thẳng tắp. Rào cản bộ nhớ dai dẳng, sự tương tác phức tạp giữa nhiệt, độ tin cậy, tương tác chip-gói và các stack ngày càng cao đòi hỏi sự đổi mới liên tục, đa chức năng. Khi khối lượng công việc AI phát triển và ranh giới giữa tính toán và bộ nhớ tiếp tục mờ đi, chuyên môn tập thể của ngành sẽ là thiết yếu để vượt qua những thách thức này, mở rộng dung lượng và hiệu suất, đồng thời duy trì tiến bộ đáng chú ý đang định hình lại tương lai của điện toán. 🗞 Nguồn: Wccftech #vgsnews #vgs #tintuc
