HBM là gì? Tại sao máy chủ AI phụ thuộc vào bộ nhớ có băng thông cao

HBM là một loại bộ nhớ băng thông cao xếp chồng nhiều lớp DRAM theo chiều dọc và kết nối chúng với GPU, AI ASIC và các chip tính toán khác thông qua giao diện siêu rộng. Máy chủ AI phụ thuộc vào HBM không phải vì bộ nhớ thông thường hoàn toàn không đủ, mà vì huấn luyện mô hình lớn, suy luận ngữ cảnh dài và các dịch vụ đồng thời cao đòi hỏi băng thông bộ nhớ, dung lượng, hiệu suất năng lượng cao hơn nhiều và khoảng cách đóng gói ngắn hơn. Khi hiểu rõ về HBM, bạn có thể hiểu tốt hơn logic cạnh tranh đằng sau các công ty chip AI và bộ nhớ như NVIDIA, AMD, SK hynix, Samsung và Micron.

Những Điểm Chính

• HBM vẫn là một loại DRAM, nhưng nó sử dụng kiến trúc xếp chồng 3D.
• Băng thông cao của HBM đến từ giao diện siêu rộng và khoảng cách kết nối ngắn hơn.
• Máy chủ AI sử dụng HBM để giảm bớt vấn đề bức tường bộ nhớ của GPU.
• Dung lượng HBM ảnh hưởng đến kích thước mô hình, độ dài ngữ cảnh và độ đồng thời suy luận.
• Các điểm nghẽn sản xuất HBM bao gồm tỷ lệ đạt, đóng gói, kiểm thử và kiểm soát nhiệt.
• HBM3E và HBM4 có khả năng cùng tồn tại qua nhiều thế hệ nền tảng AI.

HBM Là Gì và Cấu Trúc của Nó Khác Biệt Như Thế So Với Bộ Nhớ Thông Thường?

HBM là viết tắt của High Bandwidth Memory (Bộ nhớ băng thông cao). Đây vẫn là một dạng DRAM, nhưng có cấu trúc khác với các module bộ nhớ máy chủ thông thường. HBM xếp chồng nhiều die DRAM theo chiều dọc, kết nối chúng thông qua các kết nối liên thông dọc như TSV, sau đó đóng gói chúng cùng với GPU hoặc bộ tăng tốc AI. Vai trò cốt lõi của nó không phải là lưu trữ dữ liệu lâu dài, mà là phân phối tốc độ cao các tham số mô hình, activation, bộ nhớ đệm và các kết quả trung gian trong quá trình tính toán.

Bộ nhớ DDR thông thường thường được lắp đặt trên bo mạch chủ của máy chủ và phục vụ CPU, hệ điều hành, cơ sở dữ liệu cùng các khối lượng công việc đa dụng. HBM nằm gần GPU hoặc AI ASIC hơn nhiều, với khoảng cách kết nối ngắn hơn và giao diện rộng hơn. Bạn có thể hình dung DDR là bộ nhớ chính có dung lượng lớn của máy chủ, còn HBM là lớp cung cấp dữ liệu tốc độ cao nằm sát chip tính toán. Cả hai đều quan trọng, nhưng chúng phục vụ các vị trí và mục tiêu hiệu năng khác nhau.

HBM được cấu thành từ nhiều die DRAM, một die nền, TSV, micro bump, một interposer và đế đóng gói. TSV là các kênh thẳng đứng đi qua silicon và kết nối các lớp DRAM khác nhau. Interposer cung cấp các kết nối nội liên có mật độ cao giữa GPU và HBM. Trong tiêu chuẩn HBM4, JEDEC mở rộng độ rộng giao diện lên 2048-bit để đáp ứng nhu cầu của AI và HPC về băng thông cao hơn, dung lượng lớn hơn và hiệu suất năng lượng tốt hơn.

"High Bandwidth" trong HBM không đến đơn giản từ việc đẩy xung nhịp lên cao hơn. Nó đến từ việc tăng tổng thông lượng thông qua các kênh dữ liệu rộng hơn nhiều. GDDR thường dựa vào tốc độ cao hơn trên mỗi chân, trong khi HBM truyền dữ liệu qua nhiều kênh song song hơn. Thiết kế này phù hợp hơn với các bộ tăng tốc AI có giới hạn nghiêm ngặt về công suất và không gian, bởi vì diện tích bao bì xung quanh GPU là có hạn và các chip bộ nhớ không thể được trải ra vô hạn định.

Một quan niệm sai lầm phổ biến khác cần được làm rõ: HBM không phải là SSD và cũng không phải là NAND Flash. Giống như DRAM thông thường, HBM là bộ nhớ dễ bay hơi (volatile) và không thể lưu giữ dữ liệu sau khi mất điện. Nó cũng không thể thay thế hoàn toàn bộ nhớ DDR trong máy chủ, vì HBM thường được đóng gói cùng với GPU, có giá thành đắt đỏ, chi phí dung lượng cao và không dễ mở rộng. Nó phù hợp hơn để lưu trữ các dữ liệu có giá trị cao mà chip tính toán cần ngay lập tức.

Tóm tắt: HBM là công nghệ DRAM xếp tầng được thiết kế cho điện toán hiệu năng cao. Thông qua nhiều lớp DRAM, TSV, die nền, interposer và đóng gói tiên tiến, nó đưa bộ nhớ lại gần GPU hơn và mang lại thông lượng dữ liệu cực cao thông qua giao diện siêu rộng. Sự khác biệt giữa HBM và DDR thông thường không phải là cái này tiên tiến còn cái kia lỗi thời, mà là chúng phục vụ các vị trí khác nhau trong hệ thống: DDR đảm nhiệm bộ nhớ hệ thống tổng quát, trong khi HBM cung cấp dữ liệu tốc độ cao ở gần bộ tăng tốc AI. Khi hiểu được điều này, bạn sẽ thấy tại sao các bản ra mắt chip AI luôn nhấn mạnh dung lượng, băng thông và thế hệ của HBM.

Tại Sao Máy Chủ AI Phụ Thuộc Vào HBM?

Máy chủ AI phụ thuộc vào HBM vì khả năng tính toán của GPU đã vượt xa tốc độ mà bộ nhớ truyền thống có thể đưa dữ liệu vào các đơn vị tính toán. Nếu dữ liệu không thể liên tục đi vào GPU, nhiều lõi tính toán sẽ phải chờ bộ nhớ, khiến các bộ tăng tốc AI đắt tiền không thể hoạt động hết công suất. Nút thắt này thường được gọi là "bức tường bộ nhớ" (memory wall). HBM không trực tiếp tạo ra sức mạnh tính toán, nhưng nó quyết định việc GPU có thể liên tục nhận đủ dữ liệu hay không.

Việc huấn luyện mô hình lớn đọc lặp đi lặp lại các trọng số mô hình, activation, gradient và trạng thái bộ tối ưu hóa. Mô hình càng lớn thì càng có nhiều tham số và dữ liệu trung gian, và sự phụ thuộc vào băng thông cũng như dung lượng bộ nhớ càng trở nên mạnh mẽ. Quá trình suy luận (inference) cũng đòi hỏi khắt khe không kém, đặc biệt khi các mô hình ngữ cảnh dài, mô hình suy luận (reasoning models), hội thoại nhiều lượt và các yêu cầu đồng thời cao làm cho KV Cache phình to. Trong phần giới thiệu về Blackwell Ultra, NVIDIA nhấn mạnh rằng 288GB HBM3E là yếu tố then chốt cho các mô hình đa nghìn tỷ tham số có ngữ cảnh dài và suy luận đồng thời cao. Điều này cho thấy cuộc cạnh tranh về bộ tăng tốc AI đã mở rộng từ việc chỉ tập trung vào sức mạnh tính toán sang hệ thống bộ nhớ.

Trong quá trình huấn luyện, giá trị đầu tiên của HBM là cải thiện mức sử dụng GPU. GPU giỏi trong tính toán song song quy mô lớn, nhưng chỉ khi dữ liệu được cung cấp liên tục. Nếu băng thông HBM không đủ, các đơn vị tính toán ma trận có thể phải chờ, và FLOPS lý thuyết không thể chuyển hóa hoàn toàn thành thông lượng thực tế. Giá trị thứ hai là giảm phân chia mô hình. Khi một mô hình hoặc trạng thái huấn luyện không thể chứa vừa trong HBM của một GPU đơn lẻ, nó phải được chia tách trên nhiều GPU, làm tăng độ phức tạp trong truyền thông, đồng bộ hóa và lập lịch. Giá trị thứ ba là hiệu suất năng lượng. Việc di chuyển dữ liệu bản thân nó đã tiêu tốn đáng kể điện năng. Bởi vì HBM nằm gần GPU, nó có thể tăng thông lượng trong khi mức tiêu thụ điện năng tương đối được kiểm soát.

HBM ngày càng trở nên quan trọng trong quá trình suy luận (inference). Ở các giai đoạn trước, nhiều người cho rằng huấn luyện phụ thuộc nhiều hơn vào HBM, trong khi suy luận chủ yếu là vấn đề chi phí tính toán. Các ứng dụng ngữ cảnh dài và tác nhân (agent) đã thay đổi quan điểm đó. KV Cache tăng lên theo độ dài ngữ cảnh, số người dùng đồng thời và độ dài đầu ra, liên tục chiếm dụng HBM. NVIDIA H200 đi kèm với 141GB HBM3E và băng thông bộ nhớ 4.8TB/s; AMD Instinct MI325X đi kèm với 256GB HBM3E và băng thông bộ nhớ đỉnh lên tới 6TB/s. Các thông số này cho thấy các nhà sản xuất bộ tăng tốc AI không chỉ đang tăng thêm năng lực tính toán, mà còn tăng dung lượng và băng thông bộ nhớ.

HBM cũng ảnh hưởng đến tổng chi phí sở hữu của máy chủ AI. Nếu một GPU chỉ có thể phát huy một phần hiệu năng của mình do nút thắt cổ chai về bộ nhớ, các nhà cung cấp đám mây sẽ cần mua thêm nhiều GPU để hoàn thành cùng một nhiệm vụ. Ngược lại, dung lượng HBM lớn hơn và băng thông cao hơn có thể tăng thông lượng của từng GPU và giảm chi phí cơ sở hạ tầng cho mỗi token hoặc mỗi nhiệm vụ huấn luyện. Tất nhiên, chi phí thực tế còn phụ thuộc vào kiến trúc mô hình, độ chính xác, chiến lược song song hóa, kết nối mạng và tối ưu hóa phần mềm, vì vậy không nên coi HBM là biến số duy nhất.

Tóm tắt: Máy chủ AI cần HBM vì việc tính toán các mô hình lớn ngày càng bị giới hạn bởi nguồn cung dữ liệu. Huấn luyện cần băng thông để cải thiện khả năng sử dụng GPU và dung lượng để giảm việc phân chia mô hình. Suy luận cần băng thông để giảm độ trễ và dung lượng để hỗ trợ KV Cache, ngữ cảnh dài và các yêu cầu đồng thời. Nếu không có đủ HBM, GPU có thể gặp tình trạng sử dụng thấp, giao tiếp giữa các GPU nhiều hơn, độ trễ suy luận dài hơn và chi phí dịch vụ trên mỗi đơn vị cao hơn. HBM không phải là thông số thứ yếu của chip AI; nó là tài nguyên hệ thống cốt lõi quyết định hiệu suất của máy chủ AI.

Sự khác biệt giữa HBM, DDR và GDDR là gì?

HBM, DDR và GDDR đều dựa trên công nghệ DRAM, nhưng chúng phục vụ những vị trí và mục tiêu khác nhau. HBM tập trung vào băng thông cực cao và hiệu suất năng lượng bên trong gói chip. DDR tập trung vào dung lượng tổng quát, tính chuẩn hóa và khả năng mở rộng. GDDR tập trung vào băng thông cao trên card đồ họa với chi phí được kiểm soát ở mức tương đối. Máy chủ AI thường không chỉ dựa vào một loại bộ nhớ duy nhất, mà cho phép HBM, DDR và các tầng lưu trữ khác phối hợp cùng nhau.

Server DDR5 thường được lắp vào các khe cắm bộ nhớ trên bo mạch chủ và phục vụ CPU, hệ điều hành, cơ sở dữ liệu, tiền xử lý dữ liệu và các tác vụ tính toán đa dụng. Ngược lại, HBM được đóng gói gần GPU hoặc AI ASIC và phục vụ dữ liệu đang được bộ tăng tốc xử lý. Ngay cả khi một máy chủ AI chứa nhiều GPU và mỗi GPU có lượng HBM lớn, máy chủ vẫn cần bộ nhớ DDR hệ thống cho các tác vụ CPU, ngăn xếp mạng, hệ thống lập lịch và chuẩn bị dữ liệu.

GDDR phổ biến hơn trong GPU tiêu dùng, card đồ họa trạm làm việc và một số card tăng tốc. Nó thường được đặt xung quanh GPU trên bo mạch PCB và đạt băng thông cao thông qua tốc độ cao hơn trên mỗi chân. So với GDDR, HBM có giao diện rộng hơn, hiệu quả năng lượng tốt hơn và đóng gói chặt chẽ hơn, nhưng nó cũng có chi phí và độ phức tạp sản xuất cao hơn nhiều. Đây là lý do tại sao GPU gaming thường tiếp tục sử dụng GDDR, trong khi các bộ tăng tốc AI hàng đầu có nhiều khả năng sử dụng HBM hơn.

HBM không thể thay thế hoàn toàn DDR. Lý do rất đơn giản: HBM đắt đỏ, khó mở rộng như DIMM sau khi đóng gói, và chi phí trên mỗi dung lượng của nó không phù hợp để chứa toàn bộ bộ nhớ hệ thống. Một lượng lớn việc xử lý dữ liệu sơ bộ, bộ nhớ đệm tệp tin, suy luận CPU, cơ sở dữ liệu và điều phối hệ thống trong các máy chủ AI vẫn đòi hỏi DDR. HBM phù hợp hơn để lưu trữ dữ liệu có giá trị cao mà GPU cần ngay lúc này, thay vì đưa toàn bộ dữ liệu của máy chủ vào HBM.

HBM cũng sẽ không hoàn toàn thay thế GDDR. GPU tiêu dùng và nhiều ứng dụng trạm làm việc đều nhạy cảm về chi phí, và phần lớn khối lượng công việc chơi game, kết xuất và AI nhẹ không nhất thiết đòi hỏi băng thông ở mức HBM hay chi phí đóng gói cao. HBM chỉ trở nên hợp lý khi các lợi ích về hiệu năng, hiệu suất năng lượng và mật độ đóng gói xứng đáng với chi phí. Việc sử dụng các giải pháp bộ nhớ khác nhau trong các dòng sản phẩm của AMD, NVIDIA và các nhà cung cấp khác về bản chất là sự cân bằng giữa hiệu năng, chi phí, mức tiêu thụ điện năng và định vị thị trường.

Tóm tắt: HBM, DDR và GDDR không đơn giản là thay thế lẫn nhau; chúng phân chia công việc. DDR phù hợp cho bộ nhớ hệ thống thông dụng, GDDR phù hợp cho các tình huống đồ họa và GPU có độ nhạy cảm về chi phí cao hơn, còn HBM phù hợp cho các chip AI và HPC cần băng thông, dung lượng và hiệu suất năng lượng cao nhất. Đối với máy chủ AI, HBM giải quyết việc cung cấp dữ liệu tốc độ cao gần GPU, DDR giải quyết bộ nhớ hệ thống cho toàn bộ máy, trong khi SSD và HDD xử lý việc lưu trữ dữ liệu ở các tầng xa hơn. Hạ tầng AI hiệu quả phụ thuộc vào sự phối hợp của các tầng bộ nhớ và lưu trữ, chứ không chỉ xếp chồng một loại bộ nhớ duy nhất.

HBM Được Sản Xuất Như Thế Nào, và Tại Sao Nó Đắt và Khó Mở Rọng Sản Lượng?

HBM đắt đỏ và khó mở rộng không chỉ vì tấm wafer DRAM có chi phí cao, mà còn vì nó đòi hỏi nhiều die đã được xác nhận hoạt động tốt phải được mỏng hóa, khắc, xếp chồng, gắn kết, đóng gói, kiểm thử, rồi sau đó được xác nhận cùng với GPU ở cấp độ hệ thống. Bất kỳ vấn đề nào ở một lớp chip, kết nối, hay bước đóng gói đều có thể ảnh hưởng đến tỉ lệ sản phẩm đạt yêu cầu của cả chồng HBM. Việc tăng năng lực sản xuất wafer không đồng nghĩa với việc lượng HBM bán được sẽ tăng theo cùng tốc độ.

Sản xuất HBM thường bắt đầu từ các tấm wafer DRAM tiên tiến. Các nhà sản xuất trước tiên sản xuất các die DRAM, sau đó thực hiện quá trình mỏng hóa wafer và hình thành TSV, rồi sàng lọc các die phù hợp cho việc xếp chồng. Sau đó, nhiều die phải được căn chỉnh chính xác, gắn kết và kết nối với die nền để tạo thành một chồng HBM hoàn chỉnh. Chồng die đó cũng phải được tích hợp với GPU, interposer và đế đóng gói, trước khi trải qua kiểm tra điện, kiểm tra nhiệt, kiểm tra độ tin cậy và xác nhận nền tảng của khách hàng.

CoWoS thường xuất hiện cùng với HBM vì các GPU AI hàng đầu thường cần công nghệ đóng gói tiên tiến để đặt GPU và nhiều chồng HBM trong cùng một module. CoWoS của TSMC là công nghệ đóng gói 2.5D sử dụng interposer để tích hợp chip logic và HBM, cung cấp các kết nối mật độ cao cho điện toán hiệu năng cao. Cần phân biệt rõ các khái niệm: HBM là bộ nhớ, CoWoS là nền tảng đóng gói, còn GPU là chip tính toán. Kết hợp lại với nhau, chúng tạo thành một module tăng tốc AI.

HBM khó mở rộng quy mô vì nó tiêu tốn nhiều nguồn sản xuất hơn. Một bộ tăng tốc AI cao cấp có thể mang nhiều chồng HBM, và mỗi chồng đòi hỏi nhiều die DRAM. So với DRAM thông thường, HBM tiêu tốn nhiều tài nguyên wafer, đóng gói, kiểm thử và vật liệu hơn. Triển vọng thị trường bộ nhớ năm 2026 của SK hynix (2026 memory market outlook) cũng lưu ý rằng HBM3E và HBM4 sẽ tiếp tục là những hướng quan trọng cho nhu cầu bộ nhớ AI, trong khi khả năng cung ứng phụ thuộc vào công suất, năng suất và quá trình xác thực của khách hàng.

Kiểm soát nhiệt là một thách thức khác. HBM sử dụng cấu trúc xếp chồng 3D, khiến nhiệt từ các die bên trong khó tỏa ra hơn. Càng xếp nhiều lớp, băng thông càng cao và mật độ công suất càng lớn, thì quản lý nhiệt càng trở nên quan trọng. Cuộc cạnh tranh về HBM trong tương lai sẽ không chỉ xoay quanh băng thông và dung lượng, mà còn liên quan đến vật liệu, thiết kế die nền, cấu trúc đóng gói, giải pháp tản nhiệt và thiết kế cấp hệ thống.

Nếu bạn đang theo dõi các công ty trong chuỗi cung ứng HBM, bạn không chỉ nên nhìn vào vị thế dẫn đầu công nghệ mà còn cần chú ý đến chi phí giao dịch thực tế. Trên thị trường công khai, các công ty niêm yết tại Mỹ như Micron, NVIDIA, AMD, Marvell, Seagate và Western Digital đều liên quan đến bộ nhớ AI, chip hoặc trung tâm dữ liệu. Khi theo dõi các tài sản liên quan qua Biya, bạn cũng nên chú ý đến lợi nhuận của công ty, quá trình phê duyệt của khách hàng, chi tiêu vốn và định giá. Biya miễn phí hoa hồng $0 cho giao dịch cổ phiếu Mỹ, trong khi các khoản phí nền tảng, phí tổ chức bên ngoài và các khoản phí khác tuân theo Biểu phí giao dịch cổ phiếu Mỹ và hiển thị trên đơn hàng. Thông tin thị trường công khai không cấu thành lời khuyên đầu tư.Việc cung cấp dịch vụ phụ thuộc vào vị trí của người dùng, kết quả xác minh danh tính, quy tắc của nền tảng, cũng như các luật và quy định hiện hành.

Tóm tắt: Sự khan hiếm của HBM đến từ toàn bộ chuỗi cung ứng, không phải từ một bước sản xuất duy nhất. Nó đòi hỏi DRAM tiên tiến, TSV, đóng gép xếp chồng, die nền, interposer, đóng gói tiên tiến, kiểm định thử nghiệm và quản lý nhiệt phải cùng trưởng thành. Việc mở rộng tấm wafer chỉ giải quyết được một phần của vấn đề. Các yếu tố quyết định thực sự đối với sản lượng giao hàng là tỷ lệ đạt, năng lực đóng gói, kiểm định của khách hàng và độ tin cậy của hệ thống. Đây là lý do vì sao giá bán trung bình và biên lợi nhuận của HBM thường cao hơn DRAM thông thường. Giá cao của nó không chỉ do nhu cầu mạnh mẽ, mà còn vì nó gắn kết bộ nhớ, đóng gói và thiết kế bộ tăng tốc AI lại với nhau.

HBM3E và HBM4 Đang Tiến Hóa Như Thế Nào, và Cạnh Tranh Trong Tương Lai Sẽ Phụ Thuộc Vào Điều Gì?

HBM đang chuyển từ HBM3E sang HBM4, nhưng các sản phẩm cũ và mới sẽ không chuyển đổi ngay lập tức. Tình huống thực tế hơn là HBM3E tiếp tục phục vụ nhiều bộ tăng tốc AI hiện có, HBM4 mở rộng cùng với các GPU và AI ASIC thế hệ mới, còn HBM4E cùng HBM tùy chỉnh bước vào giai đoạn xác thực của khách hàng. Cạnh tranh trong tương lai không chỉ nằm ở việc ai có nhiều công suất hơn, mà còn ở việc ai có thể cân bằng giữa băng thông, dung lượng, năng suất, việc đủ điều kiện của khách hàng, nguồn lực đóng gói và kỷ luật chi tiêu vốn.

Việc nâng cấp thế hệ HBM chủ yếu diễn ra theo bốn hướng: băng thông cao hơn, dung lượng lớn hơn, hiệu suất năng lượng tốt hơn và khả năng tùy chỉnh mạnh hơn. Tài liệu của Micron về HBM4 cho thấy HBM4 sử dụng giao tiếp 2048-bit và được thiết kế để mang lại băng thông và dung lượng cao hơn cho AI và HPC. Khi Samsung công bố xuất khẩu thương mại HBM4, công ty cho biết HBM4 của mình đạt tốc độ truyền ổn định 11,7Gbps và có thể được nâng cấp thêm lên 13Gbps. Trong trưng bày HBM4E, Samsung cũng đã đề cập đến tốc độ 16Gbps mỗi chân và băng thông 4.0TB/s, cho thấy giai đoạn cạnh tranh tiếp theo sẽ tiếp tục xoay quanh nút thắt cổ chai dữ liệu của bộ tăng tốc AI.

Một thay đổi quan trọng trong HBM4 là die nền tảng (base die) tiến gần hơn đến việc tùy chỉnh ở cấp hệ thống. Trong quá khứ, HBM trông giống như một sản phẩm bộ nhớ được tiêu chuẩn hóa. Trong tương lai, HBM có thể ngày càng trở thành một thành phần hệ thống được cùng định nghĩa bởi các nhà cung cấp GPU, các nhà thiết kế ASIC, các hãng sản xuất bộ nhớ và các foundry. Khách hàng có thể yêu cầu tối ưu hóa sâu hơn về giao thức giao tiếp, quản lý năng lượng, kích thước đóng gói, tính toàn vẹn tín hiệu, đường dẫn tản nhiệt và phương pháp truy cập dữ liệu. Điều này làm tăng rào cản kỹ thuật và cũng có thể gắn kết các khách hàng hàng đầu chặt chẽ hơn với các nhà cung cấp HBM hàng đầu.

Để đánh giá năng lực cạnh tranh của các nhà sản xuất HBM, bạn có thể theo dõi tám chỉ số:

• Thời điểm sản xuất hàng loạt cho HBM3E, HBM4 và HBM4E;
• Việc được chứng nhận bởi NVIDIA, AMD và các khách hàng ASIC tùy chỉnh;
• Cơ cấu sản phẩm trên các sản phẩm 8-Hi, 12-Hi và các sản phẩm xếp tầng cao hơn;
• Doanh thu HBM tính theo tỷ trọng trong mảng kinh doanh DRAM;
• Liệu năng suất và biên lợi nhuận gộp có cùng được cải thiện hay không;
• Liệu các đơn hàng dài hạn có bao phủ công suất mới hay không;
• Liệu các nguồn lực CoWoS, substrate và kiểm thử có đủ hay không;
• Liệu chi phí đầu tư vốn có thể dẫn đến dư thừa cung trong tương lai hay không.

Đối với nhà đầu tư cá nhân, HBM vừa là vấn đề công nghệ, vừa là vấn đề chu kỳ. Về phía cầu, cần theo dõi việc huấn luyện AI, suy luận (inference), chi phí đầu tư của các nhà cung cấp dịch vụ đám mây và việc triển khai ASIC tùy chỉnh. Về phía cung, cần theo dõi các kế hoạch mở rộng, quá trình chứng nhận khách hàng và năng suất của SK hynix, Samsung và Micron. Về định giá, cần cân nhắc liệu thị trường đã phản ánh kỳ vọng tăng trưởng cao vào giá hay chưa. Để theo dõi các công ty niêm yết tại Mỹ liên quan, bạn có thể sử dụng tra cứu thông tin cổ phiếu Mỹ để xem thông tin cơ bản, sau đó đối chiếu với báo cáo tài chính, các đợt ra mắt sản phẩm và thay đổi về đơn hàng. Người dùng đáp ứng điều kiện dịch vụ áp dụng cũng có thể tải xuống ứng dụng để xem lại phí giao dịch và công bố rủi ro.

Tóm tắt: Giai đoạn tiếp theo của cuộc cạnh tranh HBM sẽ chuyển từ thông số bộ nhớ thuần túy sang cuộc chiến cấp hệ thống bao gồm bộ nhớ, chip logic và đóng gói nâng cao. HBM3E sẽ tiếp tục hỗ trợ nhiều nền tảng hiện có, trong khi HBM4 phục vụ các bộ tăng tốc AI thế hệ mới với giao diện rộng hơn, băng thông cao hơn và khả năng tùy chỉnh mạnh hơn. Việc các nhà sản xuất có thể tạo ra lợi nhuận dài hạn hay không phụ thuộc vào sự phê duyệt của khách hàng, năng suất sản xuất hàng loạt, nguồn lực đóng gói, cơ cấu sản phẩm và kỷ luật chi tiêu vốn. Tăng trưởng cao của ngành không có nghĩa là lợi nhuận hoặc giá cổ phiếu của các công ty liên quan nhất định sẽ tăng đồng bộ. Nhà đầu tư vẫn cần xem xét kết quả kinh doanh mới nhất, chu kỳ cung-cầu và định giá.

Khi đã hiểu về HBM, chuỗi cung ứng chip AI trở nên rõ ràng hơn. Với các bộ tăng tốc của NVIDIA và AMD, bạn không chỉ nên nhìn vào sức mạnh tính toán, mà còn phải xem xét dung lượng và băng thông HBM. Với SK hynix, Samsung và Micron, cạnh tranh không chỉ nằm ở sản lượng bộ nhớ xuất kho, mà còn ở việc được khách hàng chứng nhận, tỷ lệ đạt sản phẩm và cơ cấu doanh thu từ HBM. Các đơn vị đóng gói nâng cao như TSMC cũng có thể ảnh hưởng đến nhịp cung ứng cuối cùng. Với nhà đầu tư cá nhân, việc theo dõi chuỗi cung ứng HBM có nghĩa là đưa nâng cấp công nghệ, chi tiêu vốn, chứng nhận sản phẩm, giá bộ nhớ và chi phí giao dịch vào cùng một khung phân tích. Phân tích thị trường công khai nên hỗ trợ cho phán đoán, không thay thế việc tự đánh giá rủi ro của cá nhân. Bất kỳ giao dịch nào cũng cần dựa trên kế hoạch vốn, quy tắc nền tảng và yêu cầu quy định tại địa phương của chính bạn.

Câu hỏi thường gặp

HBM là DRAM hay một công nghệ bộ nhớ độc lập?

HBM là một loại DRAM, nhưng nó sử dụng xếp chồng 3D, TSV, giao diện siêu rộng và đóng gói tiên tiến. Nguyên lý lưu trữ của nó tương tự DDR, nhưng cấu trúc sản phẩm, phương thức kết nối và trường hợp sử dụng đều khác biệt. Nó chủ yếu phục vụ GPU, AI ASIC và bộ tăng tốc HPC.

Máy chủ AI có thể chỉ dùng HBM mà không cần DDR không?

Thường thì không. HBM chủ yếu phục vụ GPU hoặc bộ tăng tốc AI, trong khi DDR đảm nhiệm bộ nhớ hệ thống CPU, hệ điều hành, tiền xử lý dữ liệu, cơ sở dữ liệu và các tác vụ đa năng. Máy chủ AI cần HBM và DDR phối hợp cùng nhau, thay vì thay thế toàn bộ các tầng bộ nhớ bằng một loại bộ nhớ duy nhất.

Dung lượng HBM lớn hơn có luôn khiến mô hình chạy nhanh hơn không?

Không nhất thiết. Dung lượng HBM lớn hơn có thể chứa các mô hình lớn hơn, KV Cache và các khối lượng công việc theo lô, nhưng tốc độ thực tế còn bị ảnh hưởng bởi băng thông HBM, sức mạnh tính toán của GPU, kiến trúc mô hình, tối ưu hóa phần mềm, lựa chọn độ chính xác và giao tiếp đa GPU. Chỉ dựa vào dung lượng là không đủ để đánh giá hiệu năng.

Bộ nhớ HBM bên trong máy chủ AI có thể được nâng cấp riêng lẻ không?

Thường thì không. HBM được tích hợp chặt chẽ với GPU, interposer và substrate đóng gói, vì vậy rất khó để thay thế riêng lẻ như một thanh bộ nhớ sau khi máy chủ xuất xưởng. Khi cần nhiều HBM hơn, người dùng thường thay thế bộ tăng tốc (accelerator), thêm GPU hoặc điều chỉnh chiến lược triển khai mô hình.

Tại sao GPU tiêu dùng hiếm khi sử dụng HBM?

Những lý do chính là chi phí và độ phức tạp của khâu đóng gói. Hầu hết các khối lượng công việc chơi game, văn phòng, sáng tạo nội dung và AI nhẹ đều có thể được đáp ứng bằng GDDR hoặc DDR mà không phải trả chi phí đóng gói tiên tiến của HBM. HBM phù hợp hơn cho các bộ tăng tốc AI cao cấp, HPC và trung tâm dữ liệu.

Những rủi ro chính trong chuỗi cung ứng HBM là gì?

Các rủi ro chính bao gồm tốc độ chi tiêu vốn cho AI chậm lại, sự chậm trễ trong việc khách hàng phê duyệt sản phẩm, sản lượng thấp hơn kỳ vọng, tình trạng thiếu công suất đóng gói tiên tiến, các vấn đề về nhiệt và tình trạng cung vượt cầu sau khi mở rộng. Khi đánh giá các công ty liên quan, nhà đầu tư nên tham khảo các báo cáo tài chính mới nhất, thông tin công bố sản phẩm, quy tắc của nền tảng và các yêu cầu quy định tại địa phương.