d-Matrix giới thiệu Raptor 3D DRAM: Đột phá băng thông ngang ngửa SRAM nhưng tiết kiệm điện gấp 10 lần HBM

⚡ D-MATRIX GIỚI THIỆU RAPTOR 3D DRAM: ĐỘT PHÁ BĂNG THÔNG NGANG NGỬA SRAM NHƯNG TIẾT KIỆM ĐIỆN GẤP 10 LẦN HBM

d-Matrix đề xuất 3D DRAM như một giải pháp cho vấn đề dữ liệu AI ngày càng tăng, sử dụng bộ nhớ xếp chồng để cung cấp băng thông giống như SRAM với hiệu suất cao hơn nhiều lần so với HBM.

Thời điểm của 3D DRAM đã đến

Khi kích thước mô hình AI và KV cache tiếp tục mở rộng, các giới hạn về dung lượng và băng thông ngày càng rõ rệt. Cho đến nay, tất cả các nhà sản xuất DRAM lớn đều đang hướng tới các giải pháp thế hệ tiếp theo tích hợp logic với DRAM, nhưng d-Matrix tuyên bố "Thời điểm cho 3D DRAM" chính là ngay bây giờ.

Hiện nay, có hai công nghệ bộ nhớ hàng đầu cho các tác vụ AI: SRAM và HBM. SRAM rất nhanh, nhưng không thể mở rộng về dung lượng, có hiện tượng rò rỉ cao hơn và đắt gấp 100 lần so với các giải pháp HBM.

HBM cung cấp dung lượng cao cần thiết cho các mô hình lớn, nhưng việc mở rộng băng thông HBM là một thách thức khi các giới hạn về năng lượng, quy trình và đóng gói xuất hiện. Hiện tại, giải pháp DRAM HBM4 hàng đầu cung cấp băng thông khoảng ~20 TB/s, kém xa mức băng thông 300 TB/s của các giải pháp SRAM như bộ tăng tốc SRAM của Corsair.

Một giải pháp HBM 100 TB/s ở mức 2.4 pJ/bit sẽ cần tới 1.92KW chỉ riêng cho công suất HBM. Vì vậy, ý tưởng là đưa công nghệ này lên bước tiến hóa tiếp theo, đó là 3D-DRAM.

So sánh công nghệ bộ nhớ

d-Matrix đề xuất hai cách để làm 3D DRAM: một là DRAM xếp chồng nằm phía trên lớp logic, và hai là các die DRAM được xếp chồng bên dưới die Logic. Phương pháp đầu tiên đặt ra thách thức về nhiệt, khi nhiệt lượng tỏa ra phải thoát qua lớp stack DRAM nhạy cảm với nhiệt, và phương pháp thứ hai liên quan đến thách thức cấp nguồn, khi hàng trăm watt phải được truyền qua các TSV trong stack DRAM.

Người ta cho rằng một stack 1-Hi với lớp logic ở trên ở mật độ công suất <0.5W/mm2 có thể được làm mát bằng chất lỏng một cách đáng tin cậy (DRAM <100C) với khả năng cấp nguồn cần thiết.

Vậy tại sao lại là 3D DRAM? Người ta khẳng định rằng 3D DRAM với tính toán xếp chồng trên bộ nhớ cung cấp các đặc tính băng thông và năng lượng giống như SRAM. Dung lượng thấp hơn HBM, nhưng chiếm ít không gian hơn và dung lượng lớn hơn giải pháp SRAM. 3D DRAM có từ bốn lớp trở xuống mang lại độ hoàn thiện (yield) tốt hơn, băng thông cao hơn nhiều, không có giới hạn PHY hoặc beachfront, và hoạt động ở mức năng lượng bằng 1/10 HBM.

Thông số kỹ thuật Raptor 3D DRAM

Giải pháp này, được gọi là Raptor 3D DRAM, được xây dựng trên công nghệ quy trình tiết kiệm chi phí với die logic dựa trên quy trình 4nm (N4) của TSMC, die phía dưới sử dụng 3D DRAM, và tích hợp bằng cách xếp chồng F2F (Face-to-Face) 36-micron, cho phép quy trình chi phí thấp, âm lượng lớn và độ hoàn thiện cao. Mỗi card 3D DRAM cung cấp băng thông hơn 100 TB/s ở mức 0.37 pJ/bit (32 GB), trong khi giải pháp DRAM HBM4 192 GB cung cấp băng thông 18 TB/s ở mức 2-3 pJ/bit. Con số này cao hơn 5,6 lần về băng thông, tiết kiệm năng lượng hơn 5-8 lần và mật độ IO dày đặc hơn 7 lần so với HBM4.

Nhưng bản thân 3D DRAM cũng vấp phải nhiều thách thức tích hợp khác nhau. Trong số đó, d-Matrix tập trung giải quyết một số vấn đề chính:
• Công suất I/O: Không có cấu trúc burst, không có PHY DBI
• Ánh xạ ngân hàng (Bank-to-channel mapping): 840 ngân hàng =/= 256x4
• Khả năng dự phòng mà không làm phá vỡ tính đối xứng của kênh
• Nhiệt độ: Tj=105C -> làm mới (refresh) nhanh hơn 8 lần

Để giảm tiêu thụ năng lượng, d-Matrix không sử dụng một vài mảng systolic lớn và không để dữ liệu trên công nghệ tính toán, mà khớp bước (pitch-match) bộ tăng tốc tensor với các ngân hàng mà DRAM cung cấp.

Có tổng cộng 256 bộ tăng tốc tensor trên chiplet này, và d-Matrix khớp bước các ngân hàng với bộ tăng tốc tensor để giảm lượng dữ liệu cần di chuyển. Tuy nhiên, có sự không khớp về kích thước flit gốc mà TE mong đợi, đó là các flit 128-byte so với những gì DRAM cung cấp là 32 byte cho mỗi cột cho mỗi ngân hàng. Mỗi kênh có ba ngân hàng và chúng chỉ nhận được 96 byte trong khi Chi mong đợi 128 byte. Raptor có thể lấy vượt mức này, nhưng khi đó rất nhiều băng thông bị lãng phí.

Vấn đề thứ hai là bức tường công suất I/O. Ngay cả sau khi công suất được đẩy xuống 0.37 pJ mỗi bit, nếu bạn muốn đẩy băng thông lên tới 100 terabyte mỗi giây, thì đó là 300 watt công suất IO. Và không giống như HBM, flit chu kỳ đơn.

Die logic nằm ở phía trên và lý do nó nằm ở phía trên là để dễ dàng đặt một tấm làm mát (cold plate) và lấy nhiệt ra. Nhưng 3D DRAM được thiết kế cho nhiệt độ mối nối (junction temperature) là 105C. Do đó, để có thể thích ứng với điều kiện đó, nó làm mới nhanh hơn tám lần. Khi nhiệt độ tăng lên, DRAM này bắt đầu rò rỉ. Và so với DRAM tiêu chuẩn, 3D DRAM làm mới cứ sau 4 mili giây.

Vấn đề tiếp theo là độ hoàn thiện (yield). Với 3D DRAM, mỗi microbank được thiết kế rất nhỏ: 1366 hàng, mỗi hàng 5,33 megabyte. Bằng cách đó, DRAM chỉ mất 1,37% băng thông bộ nhớ. Và để giải quyết các vấn đề RAS, có mã sửa lỗi rất mạnh, đó là mã sửa lỗi Reed Solomon T =2 trên die logic về cơ bản có thể sửa các lỗi ký hiệu, hai lỗi ký hiệu trên 128 byte.

Tóm lại, d-Matrix so sánh Raptor 3D DRAM với nền tảng NVIDIA Rubin R200 kết hợp với HBM4. Với hiệu suất sử dụng băng thông hiệu dụng từ 83-85%, Raptor 3D DRAM mang lại băng thông cao hơn 23,4 lần (GB/s/mm2) và hiệu quả sử dụng năng lượng tốt hơn 13,5 lần (mW/GB/s) so với giải pháp HBM4 của NVIDIA.

3D DRAM, được minh họa bằng hệ thống Raptor, cung cấp một điểm trung gian hấp dẫn kết hợp băng thông gần như SRAM và hiệu quả sử dụng năng lượng với dung lượng cao hơn đáng kể so với các giải pháp SRAM thuần túy, đồng thời tránh được các giới hạn về băng thông, công suất và beachfront của HBM.

Bằng cách xếp chồng logic lên trên DRAM tùy chỉnh với các kết nối dọc ngắn, nó mang lại 100 TB/s với pJ/bit tốt hơn khoảng một bậc độ lớn so với HBM, làm cho nó đặc biệt phù hợp với giai đoạn giải mã bị ràng buộc bởi băng thông bộ nhớ vốn thống trị các mô hình LLM hiện đại và tác vụ agentic. Dung lượng vẫn đủ cho các mô hình lớn ngày nay trong việc triển khai quy mô tủ rack thực tế, và các cải tiến thiết kế chung trong ánh xạ ngân hàng, cấu trúc liên kết fabric, giao thức, nhiệt và độ tin cậy cho phép công nghệ mở rộng quy mô một cách hiệu quả.

Nhìn chung, 3D DRAM cung cấp một con đường thiết thực hướng tới các bộ tăng tốc suy luận nhanh hơn, hiệu quả hơn, cân bằng các nhu cầu cạnh tranh về dung lượng, băng thông và năng lượng. Câu hỏi bây giờ là: các nhà sản xuất DRAM khác sẽ mất bao lâu để đưa ra những đổi mới 3D DRAM của riêng họ?

🗞 Nguồn: Wccftech

#vgsnews #vgs #tintuc