Samsung hé lộ lộ trình phát triển HBM: Tiến tới zHBM 3D xếp chồng trực tiếp lên chip xử lý cho AI

⚡ SAMSUNG HÉ LỘ LỘ TRÌNH PHÁT TRIỂN HBM: TIẾN TỚI ZHBM 3D XẾP CHỒNG TRỰC TIẾP LÊN CHIP XỬ LÝ CHO AI

Samsung đã đưa ra một tầm nhìn táo bạo về việc cải tiến lớp đế HBM (base die) bằng các tiến trình logic tiên tiến nhằm giải quyết các thách thức về băng thông và năng lượng của kiến trúc này, đồng thời phác thảo lộ trình ba giai đoạn từ việc tận dụng không gian, mở rộng chức năng cho đến tích hợp hoàn toàn 3D zHBM, biến lớp đế thành một đối tác thông minh cho các hệ thống AI thế hệ mới.

Samsung vạch ra lộ trình HBM 3 pha hướng tới zHBM 3D thực thụ nhằm xếp chồng DRAM trực tiếp lên bộ tính toán cho AI

Trong bài thuyết trình của Sangwook Han, thuộc Nhóm Thiết kế DRAM của Samsung, cuộc thảo luận chính xoay quanh sự tiến hóa của HBM bằng cách sử dụng các tiến trình logic tiên tiến, với lớp đế HBM (HBM base die) làm trọng tâm.

Bài thuyết trình tại hội nghị Hot Chips bắt đầu bằng việc tóm tắt lại kiến trúc HBM, bao gồm hai phần cốt lõi: C-die (Core Die) bao gồm lõi, ô nhớ DRAM và B-die (Base Die) nằm ở phía dưới để xử lý các tiến trình DRAM khác nhau. Core Die có thể mở rộng lên tới 16 tầng (16-Hi) bằng cách sử dụng các tiến trình DRAM tiên tiến như D1a, D1b, D1c... và chúng được kết nối bằng một số đế xuyên silicon (TSV). Chip HBM có một PHY nằm trong lớp đế để có thể kết nối với Chip tính toán (XPU: GPU, TPU...) thông qua đường dẫn kết nối nhanh nhằm di chuyển dữ liệu tốc độ cao.

Tổng quan chính về sự tiến hóa của lớp đế HBM

Người trình bày: Sang-Woo Kan, Nhóm Thiết kế DLM, Bộ phận Kinh doanh Bộ nhớ Samsung.

Thông điệp cốt lõi: Các tiến trình logic tiên tiến biến lớp đế HBM từ một giao diện đơn giản thành một đối tác thông minh, chủ động cho các hệ thống AI.

Động lực chính: Băng thông cao hơn (tăng gấp đôi qua mỗi thế hệ) và nhu cầu dung lượng ngày càng tăng, bị giới hạn bởi mật độ TSV và công suất/diện tích I/O của PHY.

Giải pháp: Chuyển lớp đế sang các tiến trình logic tiên tiến → Custom HBM (CHBM) → Advanced HBM (AHBM) → ZHBM (3D thực thụ).

Nhìn vào xu hướng hiện tại trong sự tiến hóa của DRAM/HBM, băng thông cao hơn là động lực chính khi nhu cầu AI tiếp tục tăng trưởng và nhu cầu cung cấp dữ liệu cho các bộ tăng tốc tính toán ngày càng lớn.

Hiện tại, HBM4 cung cấp băng thông hơn 3 TB/s cho mỗi stack, HBM4E đẩy mức này lên khoảng 4 TB/s và HBM5 tăng gấp đôi băng thông so với HBM4 với dung lượng hơn 60 GB. Tuy nhiên, việc mở rộng băng thông đi kèm với một số hạn chế, chủ yếu là số lượng TSV, giới hạn khoảng cách (pitch limit), số lượng I/O và giới hạn tốc độ bên trong lớp đế.

Công nghệ tiến trình tiên tiến là một giới hạn khác, và qua mỗi thế hệ, khoảng cách tiến trình giữa B-die và xPU SoC đang dần thu hẹp. Tuy nhiên, việc sử dụng các nút logic tiên tiến mang lại nhiều lợi ích. Samsung cho biết họ đã áp dụng các tiến trình D1c và 4nm cho HBM4, với mục tiêu chính là giảm công suất và thu gọn diện tích hoạt động. Những thay đổi này đánh dấu sự khởi đầu của việc tích hợp thực sự giữa DRAM và logic tiên tiến.

Một trong những lĩnh vực mà Samsung muốn tập trung là HBM tùy chỉnh (custom HBM), khám phá việc tích hợp các tính năng gia tăng giá trị trên lớp đế. Trên các lớp đế HBM tiêu chuẩn, bạn sẽ thấy các chức năng dữ liệu và đường dẫn kiểm tra cơ bản. Đối với HBM tùy chỉnh, ý tưởng cốt lõi là tận dụng các tiến trình logic tiên tiến để tích hợp các chức năng giống như SoC bên trong lớp đế trong khi vẫn chia sẻ các tầng lõi tiêu chuẩn.

Vì giải pháp HBM tùy chỉnh đã sử dụng các tiến trình logic tiên tiến, nó có thể giúp giải phóng một phần diện tích từ xPU bằng cách giảm bớt một số chức năng nhất định. HBM tùy chỉnh cũng thay thế PHY HBM truyền thống (có trên các mô-đun HBM tiêu chuẩn) bằng giao diện D2D sử dụng các tiến trình logic tiên tiến. Điều này không chỉ có diện tích nhỏ hơn mà còn có các kênh ngắn hơn giúp cải thiện trực tiếp hiệu quả sử dụng năng lượng. Điều này cũng giải phóng diện tích silicon quý giá để mở rộng xPU.

Bắt đầu từ HBM4 đến HBM5, giải pháp HBM tùy chỉnh với các tiến trình logic tiên tiến có thể giảm đáng kể diện tích PHY và D2D. Mặc dù điều này dẫn đến chiều dài kênh ngắn hơn, nhưng nó cũng đặt ra một thách thức là sự hình thành các điểm nóng nhiệt (thermal hotspots).

Để giải quyết vấn đề này, Samsung đã giới thiệu công nghệ Khối đường dẫn nhiệt (Heat Path Block - HPB), được xây dựng dựa trên giải pháp cHBM4 (custom HBM4) của hãng, giúp giảm nhiệt độ đỉnh hơn 35% và phủ 50% diện tích PHY.

Khi giải pháp này đã được áp dụng, bước tiếp theo là chuyển dịch phần logic từ xPU sang cHBM. Ứng viên chính là bộ điều khiển bộ nhớ (memory controller), có thể quản lý được về mặt tác động nhiệt. Khối thứ hai đang được xem xét là sơ đồ sửa lỗi ô nhớ "SRAM-Base" gần bộ điều khiển (Near-MC), tận dụng không gian lớp đế chưa sử dụng để làm tài nguyên sửa lỗi SRAM, cho phép giải mã địa chỉ lỗi ở cấp độ ô nhớ và chuyển hướng trong bộ điều khiển bộ nhớ.

Ở giai đoạn thứ hai, Samsung cũng đề xuất tích hợp bộ điều khiển mở rộng bộ nhớ/phy trong không gian chưa sử dụng để mở rộng dung lượng bộ nhớ cần thiết trong bối cảnh AI hiện nay khi cửa sổ ngữ cảnh (context windows) phát triển theo cấp số nhân, thúc đẩy nhu cầu lưu trữ cache KV khổng lồ. PHY có thể được sử dụng để tích hợp dung lượng cao hơn thông qua các giải pháp bộ nhớ ngoài. Các khía cạnh silicon khác có thể chuyển bớt sang lớp đế trên cHBM bao gồm các "Phần tử xử lý" (Processing Elements) tính toán một phần, cũng có thể làm giảm yêu cầu băng thông D2D, giảm công suất và gánh nặng nhiệt.

Lộ trình cách mạng ba giai đoạn

Tất cả các giai đoạn này dẫn đến giai đoạn thứ ba, đó là tích hợp 3D. Đối với điều này, Samsung đang phát triển một giải pháp HBM mới gọi là zHBM, tích hợp theo chiều dọc HBM lên trên XPU. Giải pháp kết nối chặt chẽ này giúp tiết kiệm thêm diện tích silicon và loại bỏ việc sử dụng bộ xen kẽ 2.5D (2.5D interposer).

Giải pháp zHBM của Samsung tận dụng các I/O phân tán để giảm thiểu khoảng cách di chuyển dữ liệu bên trong stack HBM, trong khi cấu trúc 3D loại bỏ các giao diện 2D thông thường đồng thời mang lại hiệu suất cao hơn nhiều cho các hệ thống được thiết kế với mức tiêu thụ điện năng cực thấp. Việc giảm công suất đến từ việc giảm công suất I/O, vì các tối ưu hóa loại bỏ SerDes để giúp loại bỏ việc tích tụ chi phí năng lượng không cần thiết.

So với một stack HBM4e tiêu chuẩn, giải pháp zHBM được cho là mang lại cải thiện 70% về hiệu quả sử dụng năng lượng, tăng 230% băng thông DRAM, tiết kiệm tới 100W cho mỗi mô-đun DRAM, và cung cấp thêm 8.3% năng lượng cho XPU (GPU trong ví dụ này). Giải pháp được trình bày có bốn stack zHBM nằm trên một XPU.

Để hỗ trợ zHBM, Samsung đang phát triển các công nghệ đóng gói tiên tiến như WoW (Wafer on Wafer) và HCB (Hybrid Cube Bonding) nhằm cho phép mật độ I/O cực cao để xây dựng thiết kế SoC-DRAM thống nhất.

Tóm lại, sự tiến hóa của lớp đế HBM thông qua các tiến trình logic tiên tiến đánh dấu một sự chuyển đổi mang tính bước ngoặt đối với các kiến trúc bộ nhớ kỷ nguyên AI. Bằng cách di chuyển lớp đế sang các nút tiên tiến, Samsung mở ra tính linh hoạt chưa từng có vượt ra ngoài việc định tuyến dữ liệu và kiểm tra truyền thống. Lộ trình ba pha hiện thực hóa tầm nhìn này:
• Pha 1 thu hồi diện tích silicon XPU có giá trị thông qua giao diện T2D nhỏ gọn, các khối đường dẫn nhiệt để quản lý nhiệt và giảm bớt bộ điều khiển bộ nhớ — cho phép mật độ lõi cao hơn và sửa lỗi từng ô hiệu quả thông qua SRAM nhúng.
• Pha 2 mở rộng chức năng bằng cách tích hợp đo từ xa RAS nâng cao, kiểm tra trên die, mở rộng dung lượng gần bộ nhớ và các phần tử xử lý chọn lọc (AHBM). Cách tiếp cận kết hợp này làm giảm sự di chuyển dữ liệu, hạ thấp công suất và giải quyết cả nhu cầu về băng thông lẫn dung lượng của các mô hình AI thế hệ tiếp theo.
• Pha 3 hiện thực hóa sự hội tụ 3D thực sự với ZHBM, loại bỏ bộ xen kẽ 2.5D. Các I/O phân tán và việc xếp chồng theo chiều dọc mang lại công suất cực thấp (mục tiêu khoảng ~0.5 pJ/bit), băng thông gấp đôi và khoảng không nhiệt ở cấp độ hệ thống đáng kể để có hiệu suất tính toán cao hơn.

Cùng với nhau, những tiến bộ này, HBM tùy chỉnh hôm nay và ZHBM ngày mai, định vị lớp đế như một đối tác hoạt động tích cực, thông minh đối với XPU. Bằng cách làm chủ việc đóng gói tiên tiến và thiết kế đồng bộ SoC-DRAM thống nhất, chúng ta sẽ vượt qua các bức tường về công suất, diện tích và dung lượng đang kìm hãm các hệ thống AI, mở đường cho hiệu suất, hiệu năng và khả năng mở rộng cao hơn trong những năm tới.

🗞 Nguồn: Wccftech

#vgsnews #vgs #tintuc