Mối Quan Hệ Giữa HBM và GPU Là Gì? Tại Sao Lượng Giao Hàng của NVIDIA Phụ Thuộc vào Bộ Nhớ Băng Thông Cao

HBM không phải là lõi tính toán của GPU. Đây là bộ nhớ tốc độ cao mà các GPU AI cao cấp không thể hoạt động hiệu quả nếu thiếu nó. GPU thực hiện tính toán ma trận, trong khi HBM liên tục cung cấp cho nó các trọng số mô hình, giá trị kích hoạt, bộ nhớ đệm KV và các dữ liệu khác. Nếu dung lượng bộ nhớ không đủ, mô hình hoặc ngữ cảnh sẽ không thể chứa vừa; nếu băng thông không đủ, kể cả GPU mạnh nhất cũng phải dành thời gian chờ dữ liệu. Hiểu mối quan hệ giữa HBM và GPU giúp bạn đánh giá các giới hạn thực sự đằng sau hoạt động của NVIDIA, các nhà cung cấp bộ nhớ, công nghệ đóng gói nâng cao của TSMC và số lượng máy chủ AI được giao hàng.

Những Điểm Chính

• HBM là bộ nhớ băng thông cao, trong khi GPU là bộ xử lý tính toán song song.
• Hiệu năng của GPU AI phụ thuộc vào năng lực tính toán, dung lượng bộ nhớ, băng thông và đóng gói.
• NVIDIA H100, H200, B200, Blackwell Ultra và Rubin liên tục nâng cao thông số kỹ thuật của HBM.
• Sự thiếu hụt ở HBM, chip GPU (die) hoặc đóng gói CoWoS đều có thể hạn chế sản lượng giao hàng cuối cùng.
• HBM4 cải thiện băng thông nhưng làm tăng độ phức tạp về xác nhận, nhiệt và chuỗi cung ứng.
• Đầu tư vào HBM đòi hỏi theo dõi đơn hàng, sản lượng, việc xác nhận của khách hàng và định giá.

Mối Quan Hệ Giữa HBM và GPU Là Gì?

GPU là bộ xử lý thực hiện tính toán, trong khi HBM là bộ nhớ tốc độ cao được đặt gần GPU. Bạn có thể hình dung GPU như "động cơ tính toán" chịu trách nhiệm cho phép nhân ma trận, các phép toán tensor và khối lượng công việc song song, còn HBM là "hệ thống cấp dữ liệu tốc độ cao" liên tục cung cấp dữ liệu cho động cơ đó. Trong quá trình huấn luyện và suy luận AI, GPU liên tục đọc trọng số mô hình, token đầu vào, các activation, kết quả trung gian và KV cache. HBM không trực tiếp thực hiện tính toán AI, nhưng nó quyết định liệu những dữ liệu này có thể đến GPU đủ nhanh hay không.

Trong máy tính truyền thống, CPU, bộ nhớ và bộ lưu trữ thường được phân tán ở các phần khác nhau của bo mạch chủ. Trong một GPU AI cao cấp, cấu trúc gọn gàng hơn nhiều: chip GPU và nhiều chồng HBM thường được kết nối với nhau thông qua một lớp interposer và công nghệ đóng gói tiên tiến. CoWoS của TSMC là một ví dụ điển hình. Nó tích hợp các chip logic và các chồng HBM vào cùng một gói đóng gói có mật độ cao, cho phép GPU truy cập bộ nhớ thông qua các kênh dữ liệu cực rộng.

HBM nổi bật nhờ cấu trúc xếp chồng và giao diện siêu rộng. Nó không phải là bộ nhớ thông thường được bố trí dưới dạng một chip phẳng đơn lẻ. Thay vào đó, nhiều die DRAM được xếp chồng theo chiều dọc, kết nối với nhau thông qua TSV, và liên kết với bộ điều khiển bộ nhớ của GPU thông qua một die nền và interposer. So với bộ nhớ đồ họa thông thường, HBM gần giống hơn với một bể dữ liệu băng thông cao được đặt bên cạnh GPU.

Cấu trúc này cũng giải thích một hiểu lầm phổ biến: HBM không phải là sự thay thế cho GPU, cũng không phải là một loại chip tính toán khác. Về bản chất, nó vẫn là DRAM, nhưng được đóng gói và kết nối theo cách phù hợp hơn với GPU AI. Tensor Cores của GPU thực hiện việc tính toán, trong khi HBM cung cấp dữ liệu. Hai thành phần này phụ thuộc lẫn nhau, nhưng trách nhiệm của chúng hoàn toàn khác biệt.

Từ góc độ phần mềm, huấn luyện và suy luận mô hình không đơn thuần chỉ là "đọc dữ liệu một lần." Các mô hình Transformer liên tục đọc trọng số, tính toán attention, tạo ra các activation và duy trì KV cache trong quá trình suy luận. Giải thích của Google Cloud về GPU memory cũng nhấn mạnh rằng bộ nhớ không đủ sẽ trực tiếp hạn chế cách các mô hình được tinh chỉnh và chạy. Đối với các nhà phát triển, dung lượng bộ nhớ quyết định việc mô hình có thể chạy hay không; băng thông bộ nhớ quyết định mức độ mượt mà khi chạy.

Đối với nhà đầu tư, mối quan hệ này rất quan trọng. Khi nhìn vào các GPU AI của NVIDIA, chỉ tập trung vào FLOPS, Tensor Cores hay CUDA Cores là chưa đủ. Khi nhìn vào các công ty HBM, việc coi họ chỉ là những khoản đầu tư theo chu kỳ DRAM thông thường cũng là chưa đủ. Các chip AI cao cấp đã trở thành những sản phẩm tổng hợp bao gồm die logic GPU, ngăn xếp HBM, đóng gói tiên tiến và kết nối hệ thống. Mỗi thành phần đều có thể ảnh hưởng đến nguồn cung cuối cùng.

Tóm tắt: Mối quan hệ giữa HBM và GPU có thể được mô tả như sự phối hợp giữa bộ nhớ tốc độ cao và lõi tính toán. GPU thực hiện các phép tính song song quy mô lớn cho các mô hình AI, trong khi HBM truyền trọng số mô hình, kết quả trung gian và dữ liệu ngữ cảnh với băng thông cực cao. Không có GPU, HBM không thể tự mình thực hiện tính toán AI; không có đủ HBM, các đơn vị tính toán của GPU có thể phải nhàn rỗi chờ đợi dữ liệu. Do đó, để đánh giá khả năng thực sự của một GPU AI, không chỉ cần nhìn vào hiệu năng tính toán đỉnh mà còn phải xem xét dung lượng HBM, băng thông bộ nhớ, công nghệ đóng gói và các kết nối ở cấp hệ thống.

Tại Sao Bộ Nhớ Thông Thường Khó Đáp Ứng Yêu Cầu Của GPU AI Cấp Cao

GPU AI cao cấp sử dụng HBM không phải vì bộ nhớ đồ họa thông thường vô dụng, mà vì huấn luyện và suy luận mô hình lớn đòi hỏi thông lượng dữ liệu cực cao trong phạm vi công suất và không gian đóng gói hạn chế. Khả năng tính toán của GPU đang tăng lên nhanh chóng. Nếu băng thông bộ nhớ không theo kịp, các đơn vị tính toán sẽ phải chờ dữ liệu, và khả năng tính toán lý thuyết sẽ không thể chuyển hóa thành thông lượng thực tế. HBM giúp giảm nhẹ vấn đề "bức tường bộ nhớ" trong bộ tăng tốc AI thông qua giao diện rộng hơn, đường kết nối ngắn hơn và hiệu suất băng thông tốt hơn.

"Bức tường bộ nhớ" (memory wall) có nghĩa là tốc độ tính toán cải thiện nhanh hơn tốc độ di chuyển dữ liệu. Phép nhân ma trận trong các mô hình AI trông có vẻ là bài toán tính toán, nhưng mỗi phép tính đều đòi hỏi phải đọc trọng số và dữ liệu đầu vào. Trong quá trình suy luận của mô hình ngôn ngữ lớn, giai đoạn decode thường cần đọc đi đọc lại trọng số mô hình; ngữ cảnh càng dài, KV cache càng lớn. Trong tình huống này, dung lượng và băng thông bộ nhớ ảnh hưởng trực tiếp đến số người dùng đồng thời, thông lượng token và độ trễ.

Sự khác biệt giữa HBM, GDDR và DDR không đơn giản là "cái nào nhanh hơn." Chúng được thiết kế theo logic sản phẩm khác nhau:

GPU tiêu dùng vẫn sử dụng rộng rãi GDDR vì các sản phẩm chơi game, kết xuất đồ họa và hàng tiêu dùng đại chúng nhạy cảm hơn với chi phí, giá cả và khối lượng cung ứng. GDDR có thể mang lại hiệu suất bộ nhớ mạnh mẽ với độ phức tạp đóng gói thấp hơn. HBM phù hợp hơn với các trung tâm dữ liệu: từng chiếc GPU có giá đắt đỏ, và khách hàng sẵn sàng trả thêm tiền để có thông lượng cao hơn, hiệu suất năng lượng tốt hơn và dung lượng mô hình lớn hơn.

Việc tách biệt giữa "dung lượng" và "băng thông" cũng rất quan trọng. Dung lượng trả lời câu hỏi liệu thứ gì đó có thể vừa vặn hay không; băng thông trả lời câu hỏi tốc độ đọc dữ liệu nhanh như thế nào. Dung lượng bộ nhớ lớn hơn có thể chứa các mô hình lớn hơn, ngữ cảnh dài hơn và nhiều bộ nhớ đệm KV hơn. Băng thông bộ nhớ cao hơn cho phép GPU đọc các dữ liệu đó nhanh hơn. Cả hai đều quan trọng, nhưng chúng không thể thay thế cho nhau.

Đào tạo AI phụ thuộc rất lớn vào cả dung lượng và băng thông. Việc đào tạo đòi hỏi bộ nhớ lưu trữ cho trọng số mô hình, activations, gradient và trạng thái của optimizer. Suy luận (inference) cũng ngày càng phụ thuộc nhiều hơn vào HBM vì ngữ cảnh dài, hội thoại nhiều lượt, sinh dữ liệu tăng cường truy xuất (retrieval-augmented generation) và các dịch vụ có độ đồng thời cao đều làm tăng áp lực lên bộ nhớ cục bộ. HBM không tự động giải quyết mọi vấn đề về hiệu năng, nhưng nó là điều kiện then chốt để các GPU AI cấp cao vượt qua điểm nghẽn bộ nhớ.

Vậy HBM không đơn thuần chỉ là một nhãn hiệu đắt tiền và tiên tiến hơn. Nó là kết quả của việc kiến trúc GPU AI đạt đến giai đoạn mà việc truyền tải bộ nhớ trở nên quan trọng. Khi mật độ tính toán tăng lên, các kiến trúc bộ nhớ thông thường dễ gặp giới hạn về diện tích đóng gói, mức tiêu thụ điện năng và băng thông. HBM sử dụng phương pháp sản xuất phức tạp hơn để đổi lấy khả năng truyền dữ liệu lớn hơn trên mỗi đơn vị diện tích.

Tóm tắt: Bộ nhớ thông thường vẫn có giá trị, nhưng nó gặp khó khăn trong việc đồng thời đáp ứng các yêu cầu cao cấp của GPU AI về băng thông, hiệu suất điện, khoảng cách kết nối và mật độ dung lượng. GDDR phù hợp hơn với các GPU tiêu dùng nhạy cảm về chi phí, số lượng lớn, trong khi DDR phù hợp hơn làm bộ nhớ hệ thống của CPU. Các GPU AI cao cấp sử dụng HBM vì cả huấn luyện lẫn suy luận đều làm tăng áp lực di chuyển dữ liệu: tham số mô hình phải được đọc, kích hoạt phải được ghi, bộ nhớ đệm KV phải được giữ cục bộ, và ngữ cảnh dài cùng độ đồng thời cao càng làm tăng nhu cầu bộ nhớ. Ưu điểm của HBM là nó đặt nhiều dữ liệu hơn gần GPU hơn, di chuyển nó nhanh hơn và tiêu thụ điện năng thấp hơn trên mỗi đơn vị băng thông.

HBM Ảnh hưởng Như thế nào đến Hiệu suất Thực tế của GPU AI của NVIDIA

NVIDIA liên tục tăng dung lượng và băng thông HBM vì sức mạnh tính toán Tensor Core mới bổ sung cần đủ nguồn cung dữ liệu. Sự tiến hóa từ H100, H200, B200, và Blackwell Ultra đến Rubin cho thấy một hướng đi rõ ràng: khi khả năng tính toán tăng lên, dung lượng và băng thông bộ nhớ cục bộ cũng phải tăng theo. Nếu không, việc huấn luyện và suy luận AI sẽ bị giới hạn bởi việc truy cập trọng số mô hình, KV cache, ngữ cảnh dài và phục vụ đồng thời, khiến hiệu suất phần cứng không thể được khai thác tối đa.

Các thông số kỹ thuật công khai cho thấy rằng mỗi thế hệ GPU trung tâm dữ liệu của NVIDIA đều làm cho HBM trở nên quan trọng hơn. NVIDIA H100 phiên bản SXM cung cấp 80GB HBM và băng thông bộ nhớ cấp 3,35TB/s. NVIDIA H200 nâng con số này lên 141GB HBM3e và băng thông 4,8TB/s. Ở thế hệ Blackwell, DGX B200 cung cấp 1.440GB bộ nhớ GPU và băng thông HBM3e 64TB/s trên tám GPU Blackwell, điều này ngụ ý khoảng 180GB và băng thông cấp 8TB/s cho mỗi GPU. Nhìn xa hơn nữa, NVIDIA Rubin được lên kế hoạch sử dụng HBM4, với tối đa 288GB trên mỗi GPU và băng thông tổng hợp lên tới 22TB/s.

Những thay đổi đặc tả này cho thấy NVIDIA không đơn thuần chỉ là thêm nhiều sức mạnh tính toán. Việc huấn luyện AI tiêu tốn rất nhiều bộ nhớ: trọng số mô hình, giá trị kích hoạt, gradient, trạng thái bộ tối ưu và các bộ đệm huấn luyện phân tán đều chiếm dung lượng. Dung lượng HBM lớn hơn có thể giảm việc dỡ dữ liệu sang CPU, giảm áp lực phân chia trên nhiều thiết bị, và cho phép kích thước batch lớn hơn hoặc cấu trúc mô hình phức tạp hơn. Băng thông cao hơn giúp GPU đọc và ghi dữ liệu nhanh hơn, cải thiện mức utilizing của thiết bị.

Giá trị của HBM trong suy luận (inference) thường bị đánh giá thấp. Nhiều người cho rằng suy luận chỉ đơn giản là "chạy mô hình một lần", nhưng suy luận với ngữ cảnh dài liên tục mở rộng bộ nhớ đệm KV; càng nhiều người dùng đồng thời, sự tiêu thụ bộ nhớ cục bộ càng rõ rệt. Giai đoạn decode cũng thường xuyên đọc trọng số, và băng thông không đủ sẽ trực tiếp ảnh hưởng đến tốc độ sinh token. Đối với các nhà cung cấp dịch vụ đám mây, HBM không chỉ là một thông số kỹ thuật. Nó ảnh hưởng đến việc một máy chủ có thể xử lý bao nhiêu yêu cầu và có thể sinh bao nhiêu token trên mỗi watt.

Tuy nhiên, HBM không phải là một giải pháp phổ quát cho mọi trường hợp. Hiệu năng thực tế vẫn phụ thuộc vào kiến trúc mô hình, lượng tử hóa (quantization), chiến lược gộp lô (batching), FlashAttention và các tối ưu hóa kernel khác, kết nối liên kết GPU, mạng, và hệ thống lập lịch. Nếu workload chủ yếu bị giới hạn bởi giao tiếp mạng, việc chỉ đơn thuần tăng băng thông HBM sẽ không cải thiện tổng tốc độ theo kiểu tuyến tính. Nếu phần mềm không thể khai thác hết phần cứng, băng thông đỉnh có thể chỉ còn là một con số trên tờ thông số kỹ thuật.

Bạn có thể dùng ba câu hỏi để đánh giá mức độ phụ thuộc của một workload AI chạy trên GPU vào HBM:

1. Trọng số mô hình, kích hoạt (activations) và bộ nhớ đệm KV (KV cache) có gần đạt giới hạn dung lượng bộ nhớ không?
2. Khối lượng công việc có lặp đi lặp lại việc đọc lượng lớn trọng số, làm giới hạn thông lượng giải mã hay suy luận không?
3. Trong huấn luyện hoặc suy luận đa GPU, nút thắt cổ chai nằm ở bộ nhớ cục bộ hay giao tiếp giữa các GPU?

Nếu câu trả lời chỉ đến bộ nhớ cục bộ, dung lượng và băng thông HBM là các chỉ số cốt lõi. Nếu nút thắt cổ chai đến từ mạng, lập lịch hoặc phần mềm, HBM vẫn quan trọng, nhưng không phải là yếu tố quyết định duy nhất.

Tóm tắt: Các nâng cấp hiệu năng GPU AI của NVIDIA về bản chất là những nâng cấp trên toàn bộ mặt bằng tính toán, bộ nhớ, kết nối và phần mềm. Bước chuyển từ H100 sang H200 làm nổi bật giá trị về dung lượng và băng thông của HBM3e. B200 và Blackwell Ultra gắn HBM dung lượng lớn hơn với Tensor Core mạnh hơn. Bước chuyển của Rubin sang HBM4 được thiết kế để hỗ trợ nhu cầu suy luận với ngữ cảnh dài, đa phương thức, MoE và độ đồng thời cao. HBM ảnh hưởng đến hiệu năng thực tế của GPU không phải bằng cách thay thế các đơn vị tính toán, mà bằng cách liên tục cung cấp dữ liệu cho chúng. Tính toán càng mạnh, càng cần hệ thống bộ nhớ nhanh hơn, gần hơn và lớn hơn.

Tại Sao Lượng GPU NVIDIA Xuất Khỏi Phụ Thuộc Vào HBM

NVIDIA không giao các hạt die GPU thô cho khách hàng. Công ty giao các bộ tăng tốc AI đã trải qua quá trình ghép đôi HBM, đóng gói nâng cao, lắp ráp module và kiểm chứng hệ thống. Ngay cả khi các wafer GPU đã được sản xuất, sản lượng GPU giao cuối cùng vẫn có thể bị hạn chế nếu không có đủ các chồng HBM đạt chuẩn, nếu hiệu suất sản xuất không đạt yêu cầu, nếu việc kiểm chứng nền tảng chưa hoàn tất, hoặc nếu năng lực đóng gói nâng cao như CoWoS bị căng thẳng. Do đó, sản lượng giao hàng của NVIDIA phụ thuộc vào HBM không chỉ vì hiệu năng, mà còn vì cơ cấu sản xuất và chuỗi cung ứng.

Một GPU AI cao cấp thường đòi hỏi nhiều bước để hoàn thiện:

1. TSMC sản xuất die logic GPU và cải thiện tỷ lệ đạt;
2. SK hynix, Micron, Samsung và các nhà cung cấp khác sản xuất HBM;
3. HBM trải qua các công đoạn xếp chồng DRAM, TSV, die nền, kiểm tra và phân loại;
4. Die GPU và nhiều chồng HBM được đưa vào đóng gói nâng cao;
5. Sản phẩm đã đóng gói hoàn tất kiểm tra độ tin cậy, công suất, nhiệt và tín hiệu;
6. Sau đó được lắp ráp thành module SXM, bo mạch HGX, hệ thống DGX hoặc máy chủ hoàn chỉnh.

Trong chuỗi này, die GPU, chồng HBM, đóng gói CoWoS, substrate, hệ thống tản nhiệt và lắp ráp máy chủ đều phải sẵn có với tỷ lệ phù hợp. Việc chỉ mở rộng một phần của chuỗi không nhất thiết làm tăng sản lượng giao hàng cuối cùng. Nếu có đủ die GPU nhưng không đủ HBM, việc giao hàng không thể diễn ra. Nếu HBM có sẵn nhưng CoWoS thì không, việc giao hàng không thể diễn ra. Ngay cả sau khi đóng gói hoàn tất, sự chậm trễ trong hệ thống nguồn của máy chủ, làm mát hoặc bo mạch chủ vẫn có thể ảnh hưởng đến lịch giao hàng cuối cùng.

HBM cũng không phải là một linh kiện tiêu chuẩn có thể thay thế tự do. Các sản phẩm HBM từ các nhà cung cấp khác nhau có thể khác nhau về mức tiêu thụ điện năng, tốc độ, đặc tính nhiệt, thiết kế die nền, khả năng tương thích đóng gói và độ tin cậy. NVIDIA có thể phê duyệt nhiều nhà cung cấp HBM, nhưng mỗi sản phẩm HBM phải được xác nhận cho một nền tảng cụ thể. Để một nhà cung cấp bộ nhớ gia nhập chuỗi cung ứng của NVIDIA, việc "có thể sản xuất HBM" là chưa đủ. Hãng phải chứng minh rằng sản phẩm của mình có thể vận hành đáng tin cậy với GPU mục tiêu, gói đóng gói mục tiêu và môi trường máy chủ mục tiêu.

Đây cũng là lý do vì sao thị trường cùng lúc theo dõi HBM, CoWoS và máy chủ AI. Nhu cầu HBM tăng cao mang lại lợi ích cho các nhà cung cấp bộ nhớ như SK hynix, Micron và Samsung. Nhu cầu về chip logic GPU ảnh hưởng đến công suất node tiên tiến của TSMC. Các gói chip lớn hơn và nhiều ngăn xếp HBM hơn làm tăng áp lực lên công suất CoWoS. GPU AI đã chuyển từ cạnh tranh trên một chip đơn sang cạnh tranh ở cấp hệ thống trên toàn bộ các lĩnh vực bộ nhớ, đúc chip, đóng gói, máy chủ và trung tâm dữ liệu.

Đối với các nhà đầu tư, logic này cũng giải thích tại sao tin tức về HBM có thể ảnh hưởng đến tâm lý chuỗi cung ứng của NVIDIA. Nếu một nhà cung cấp HBM nhận được sự chứng nhận từ khách hàng chủ chốt, thị trường có thể đánh giá lại cơ hội đơn hàng của họ. Nếu công suất CoWoS mở rộng nhanh hơn dự kiến, kỳ vọng về lượng hàng hệ thống NVIDIA xuất xưởng cũng có thể cải thiện. Nếu công suất HBM mở rộng quá nhanh, các nhà đầu tư cũng cần theo dõi giá bộ nhớ và nguy cơ đảo chiều của chu kỳ hàng tồn kho.

Nếu bạn theo dõi các cái tên niêm yết tại Mỹ như NVIDIA, TSMC và Micron, bạn có thể sử dụng tra cứu thông tin cổ phiếu Mỹ để theo dõi dữ liệu của các công ty liên quan, biến động thị trường và tín hiệu giao dịch. Tuy nhiên, tin tức liên quan đến HBM cần được diễn giải cùng với báo cáo lợi nhuận, chi phí vốn, quy trình phê duyệt của khách hàng, lịch giao hàng và định giá. Một tiêu đề đơn lẻ về chuỗi cung ứng không nên được coi là kết luận đầu tư mang tính tất định.

Tóm tắt: Lượng GPU NVIDIA xuất xưởng phụ thuộc vào HBM vì hai lý do. Thứ nhất, GPU AI cần HBM để cung cấp bộ nhớ cục bộ dung lượng cao, băng thông cao, nếu không các đơn vị tính toán không thể liên tục nhận dữ liệu. Thứ hai, NVIDIA cuối cùng bán các bộ tăng tốc AI và hệ thống hoàn chỉnh, chứ không phải các die GPU đơn lẻ. Mỗi GPU cao cấp đòi hỏi nhiều chồng HBM đủ tiêu chuẩn, đóng gói nâng cao, kiểm tra mô-đun và lắp ráp máy chủ. Khi phân tích nguồn cung của NVIDIA, bạn cần xem xét đồng thời các die GPU, chồng HBM, năng lực CoWoS, substrate, làm mát, nguồn điện và triển khai đám mây, chứ không chỉ một con số sản xuất chip đơn lẻ.

HBM4 Có Thể Thay Đổi Hiệu Suất GPU và Phân Tích Chuỗi Cung Ứng Như Thế Nào

HBM4 sẽ tiếp tục cải thiện băng thông bộ nhớ cục bộ và mật độ dung lượng cho GPU AI, nhưng nó sẽ không làm cho chuỗi cung ứng trở nên đơn giản hơn. Thay vào đó, HBM4 gắn kết GPU, nhà cung cấp bộ nhớ, base die, đóng gói tiên tiến và làm mát hệ thống chặt chẽ hơn nữa. Bạn có thể coi HBM4 như một hướng nâng cấp quan trọng của GPU AI thế hệ tiếp theo: nó có thể giảm thiểu điểm nghẽn bộ nhớ trong suy luận ngữ cảnh dài, phục vụ đồng thời cao và triển khai mô hình lớn, nhưng nó cũng làm tăng độ phức tạp về xác thực, sản lượng, chi phí và đóng gói.

Từ góc độ tiêu chuẩn, một trong những thay đổi quan trọng nhất của HBM4 là giao diện rộng hơn. Tiêu chuẩn JESD270-4 HBM4 hỗ trợ giao diện 2048-bit và tốc độ truyền lên đến 8Gb/s, cho phép băng thông lên đến 2TB/s cho mỗi stack. So với HBM3E, HBM4 không chỉ đơn thuần tăng tần số; nó tăng cường truyền dữ liệu song song thông qua giao diện rộng hơn và nhiều kênh hơn.

Các nhà cung cấp bộ nhớ đã đang cạnh tranh xung quanh HBM4. Samsung HBM4 nhấn mạnh 2048 I/O và băng thông lên tới 3.300GB/s. Micron HBM4 quy định giao tiếp bus 2048 chân, tốc độ trên 11.0Gbps và hơn 2.8TB/s cho mỗi stack. SK hynix HBM4 nhấn mạnh băng thông và hiệu suất cao hơn cho các khách hàng AI thế hệ tiếp theo. Những tín hiệu này cho thấy HBM4 đã trở thành chiến trường cốt lõi của các nhà cung cấp bộ nhớ đang cạnh tranh để đạt chứng nhận nền tảng AI và các đơn hàng cao cấp.

Tuy nhiên, HBM4 cũng mang lại nhiều khó khăn hơn. Giao diện rộng hơn và băng thông cao hơn nghĩa là tính toàn vẹn tín hiệu, quản lý công suất, quản lý nhiệt và không gian đóng gói trở nên khó kiểm soát hơn. Die nền cũng trở nên quan trọng hơn vì nó không chỉ là lớp dưới cùng của ngăn xếp bộ nhớ; nó còn có thể đảm nhận các chức năng giao diện, logic và tùy biến phức tạp hơn. Trong tương lai, các nhà cung cấp HBM và các nhà sản xuất GPU sẽ cần bắt đầu thiết kế chung sớm hơn, và chu kỳ xác nhận của khách hàng có thể trở nên quan trọng hơn nữa.

HBM4 có thể cải thiện:

• Băng thông bộ nhớ cục bộ của GPU;
• Kích thước mô hình và ngữ cảnh mà một GPU đơn lẻ có thể hỗ trợ;
• Thông lượng token trong một số kịch bản suy luận;
• Dự phòng cho các dịch vụ ngữ cảnh dài và đồng thời cao;
• Áp lực hiệu suất năng lượng cho một số tác vụ truyền dữ liệu.

HBM4 không thể tự mình giải quyết:

• Nút thắt mạng lưới multi-GPU hoặc multi-node;
• Giới hạn về điện, làm mát bằng chất lỏng và triển khai rack tại trung tâm dữ liệu;
• Vấn đề về lập lịch phần mềm, tối ưu hóa kernel và tỷ lệ cache hit;
• Độ phức tạp tính toán của kiến trúc mô hình AI;
• Chi phí HBM cao và nguy cơ dư thừa nguồn cung tiềm ẩn.

Xét từ góc độ phân tích ngành, kỷ nguyên HBM4 đòi hỏi phải theo dõi xem sản phẩm có thực sự được ứng dụng hay không, chứ không chỉ dựa vào việc nhà cung cấp có công bố hay không. Ngay cả khi hai nhà cung cấp cùng cung cấp HBM4, kết quả vẫn có thể khác nhau rất nhiều tùy thuộc vào việc sản phẩm của họ có vượt qua kiểm định tại NVIDIA, AMD hay các khách hàng ASIC tùy chỉnh hay không; có bước vào sản xuất hàng loạt hay không; hiệu suất sản xuất có ổn định hay không; và có phù hợp với loại đóng gói mục tiêu hay không. Kế hoạch sản lượng, xuất mẫu, kiểm định khách hàng, thỏa thuận cung ứng dài hạn và doanh thu ghi nhận đều mang ý nghĩa khác nhau.

Nếu bạn coi HBM là một chủ đề giao dịch, bạn cũng nên chú ý đến chi phí giao dịch thực tế. Chi phí giao dịch cổ phiếu Mỹ không chỉ bao gồm hoa hồng; chúng còn có thể bao gồm phí nền tảng, phí môi giới bên ngoài, phí hoạt động giao dịch và các khoản phí khác. Biya miễn phí hoa hồng $0 cho giao dịch cổ phiếu Mỹ, trong khi phí nền tảng, phí môi giới bên ngoài và các chi phí khác tuân theo biểu phí giao dịch cổ phiếu Mỹ và trang đặt lệnh. Việc cung cấp dịch vụ phụ thuộc vào vị trí của người dùng, kết quả xác minh danh tính, quy tắc của nền tảng và các luật cũng như quy định hiện hành. Thông tin thị trường công khai, quy tắc giao dịch và cấu trúc phí không cấu thành lời khuyên đầu tư.

Tóm tắt: HBM4 sẽ đẩy hệ thống bộ nhớ GPU AI hướng tới băng thông cao hơn và dung lượng lớn hơn, nhưng nó cũng sẽ làm cho việc phân tích chuỗi cung ứng trở nên phức tạp hơn. Bạn không nên chỉ nhìn vào việc "băng thông HBM4 cao hơn". Bạn cũng cần theo dõi die nền tảng, đóng gói, quản lý nhiệt, đánh giá của khách hàng, năng suất và thời điểm sản xuất hàng loạt. Đối với NVIDIA, HBM4 giúp các nền tảng tương lai như Rubin hỗ trợ suy luận ngữ cảnh dài và huấn luyện thông lượng cao. Đối với các nhà cung cấp bộ nhớ, HBM4 là một cơ hội để cải thiện cơ cấu sản phẩm. Đối với các nhà đầu tư, HBM4 đại diện cho cả một chủ đề tăng trưởng và những rủi ro tiềm ẩn từ việc mở rộng công suất, biến động giá và kỳ vọng quá nóng.

Cách Theo Dõi Chuỗi Cung Ứng HBM và GPU Từ Góc Độ Đầu Tư

Để phân tích chuỗi cung ứng HBM và GPU, chỉ nói "NVIDIA rất mạnh" hay "HBM đang thiếu hụt" là chưa đủ. Một cách tiếp cận hiệu quả hơn là chia chuỗi cung ứng thành sáu tầng: nhu cầu, thông số kỹ thuật, công suất, chứng nhận, giá cả và ghi nhận tài chính. Sự tăng trưởng về số lượng GPU được NVIDIA xuất xưởng sẽ thúc đẩy nhu cầu HBM, nhưng doanh thu và lợi nhuận của các nhà cung cấp bộ nhớ vẫn phụ thuộc vào thế hệ sản phẩm, cơ cấu khách hàng, giá hợp đồng, tỷ lệ sản lượng đạt yêu cầu, chi phí đầu tư vốn và chu kỳ DRAM truyền thống.

Bạn có thể tập trung vào các chỉ số sau:

Các chủ đề HBM dễ gặp hai loại đánh giá sai cực đoan. Thứ nhất là chỉ nhìn vào nhu cầu mà bỏ qua nguồn cung. Nhu cầu GPU AI mạnh mẽ không có nghĩa là HBM sẽ luôn trong tình trạng khan hiếm. Khi các nhà cung cấp bộ nhớ mở rộng công suất một cách mạnh mẽ, giá cả và tồn kho có thể quay lại chu kỳ biến động. Thứ hai là chỉ nhìn vào các nhà cung cấp bộ nhớ mà bỏ qua khâu đóng gói và hệ thống. Ngay cả khi nguồn cung HBM tăng, việc giao hàng GPU của NVIDIA cũng không nhất thiết tăng cùng tốc độ nếu CoWoS, chất nền, làm mát bằng chất lỏng, nguồn điện hoặc lắp ráp máy chủ không theo kịp.

Nhà đầu tư cũng cần phân biệt giữa vị thế dẫn đầu kỹ thuật và lợi ích tài chính. Việc là công ty đầu tiên công bố HBM4 không có nghĩa là công ty đó sẽ ngay lập tức tạo ra doanh thu quy mô lớn. Việc vượt qua kiểm định khách hàng không nhất thiết có nghĩa là sản lượng biên lợi nhuận cao sẽ tăng vọt ngay lập tức. Việc gia nhập chuỗi cung ứng không tự động có nghĩa là định giá đã hợp lý. Đối với các công ty HBM, những câu hỏi quan trọng hơn là tỷ trọng của HBM cao cấp trong tổng doanh thu, mức đóng góp vào biên lợi nhuận, các thỏa thuận cung ứng dài hạn, kỷ luật vốn, và liệu các chu kỳ DRAM/NAND truyền thống có tạo ra gánh nặng hay không.

Nếu bạn theo dõi NVIDIA, TSMC, Micron, các ADR liên quan đến SK hynix hoặc các mã khác trong chuỗi cung ứng AI tại thị trường Mỹ và Hong Kong, bạn có thể sử dụng Biya để xem dữ liệu thị trường đa tài sản và truy cập giao dịch. Đối với những người dùng đáp ứng các điều kiện dịch vụ liên quan, ứng dụng Biya cũng có thể được sử dụng để theo dõi biến động thị trường cổ phiếu Mỹ, cổ phiếu Hong Kong và tài sản số. Trước khi giao dịch, bạn vẫn nên kiểm tra phí trên trang đặt lệnh, yêu cầu pháp lý tại địa phương, mức độ chấp nhận rủi ro và điều kiện đủ điều kiện mở tài khoản.

Một khung theo dõi có kỷ luật hơn là xem HBM như một “bộ khuếch đại ở khâu giữa” của nhu cầu điện toán. Khi các nhà cung cấp dịch vụ đám mây tiếp tục tăng chi tiêu vốn (capex) cho AI, các nền tảng mới của NVIDIA tăng hàm lượng HBM, CoWoS mở rộng song song, các nhà cung cấp bộ nhớ vượt qua kiểm định chất lượng, và kỷ luật giá được duy trì, chủ đề HBM có nhiều khả năng chuyển hóa thành kết quả tài chính. Ngược lại, nếu chi tiêu vốn phía hạ tầng chậm lại, công suất được giải phóng dồn dập một lúc, giá giảm xuống, hoặc hàng tồn kho tăng lên, HBM có thể chuyển từ một câu chuyện tăng trưởng trở lại thành một câu chuyện về chu kỳ bộ nhớ.

Tóm tắt: Logic đầu tư của HBM và GPU không đơn giản là "NVIDIA mạnh thì tất cả các công ty HBM đều mạnh." Một cái nhìn toàn diện hơn nên bao gồm thông số nền tảng GPU, hàm lượng HBM, việc được khách hàng chứng nhận, đóng gói nâng cao, chi phí đầu tư của các đám mây, giá bộ nhớ và định giá của công ty. HBM là điểm nghẽn then chốt trong chuỗi cung ứng GPU AI và là biến số quan trọng trong quá trình chuyển đổi của ngành bộ nhớ từ chu kỳ truyền thống sang cơ cấu sản phẩm AI cao cấp. Nhưng mọi chủ đề chuỗi cung ứng đều trải qua các giai đoạn kỳ vọng, đơn hàng, doanh thu, lợi nhuận và định giá lại. Trước khi giao dịch, thông tin công khai, dữ liệu tài chính và ranh giới rủi ro cần được xem xét cùng nhau.

Khi bạn hiểu được mối quan hệ giữa HBM và GPU, việc phân tách các động lực lợi nhuận khác nhau trong chuỗi cung ứng chip AI trở nên dễ dàng hơn. NVIDIA chủ yếu hưởng lợi từ nền tảng GPU và hệ sinh thái phần mềm của mình. TSMC hưởng lợi từ các tiến trình sản xuất tiên tiến và CoWoS. Các nhà cung cấp bộ nhớ hưởng lợi từ việc nâng cấp cơ cấu sản phẩm HBM. Các nhà sản xuất máy chủ và nhà cung cấp dịch vụ đám mây hấp thụ các thay đổi về triển khai và chi phí vốn. Khi theo dõi các cổ phiếu liên quan của Mỹ và Hồng Kông thông qua Biya, bạn có thể so sánh biến động giá, lợi nhuận, lịch giao hàng, cấu trúc phí và định giá trong cùng một khung phân tích. Biya miễn phí hoa hồng cho giao dịch cổ phiếu Mỹ, trong khi phí nền tảng, phí đại lý bên ngoài và các chi phí khác tùy thuộc vào trung tâm phí và trang đơn hàng.Các cổ phiếu chuỗi cung ứng AI phổ biến có thể biến động mạnh, vì vậy bạn nên hiểu về các loại lệnh giao dịch, cấu trúc phí, tình hình cơ bản của công ty và mức độ chấp nhận rủi ro của bản thân trước khi giao dịch.

Câu hỏi thường gặp

HBM là một phần của GPU hay là một chip độc lập?

HBM là một khối DRAM được sản xuất độc lập, nhưng trong các GPU AI cao cấp, nó thường được tích hợp với die GPU bên trong cùng một package tiên tiến. Nó không phải là lõi tính toán của GPU, nhưng là bộ nhớ cục bộ thiết yếu cho bộ tăng tốc AI hoàn chỉnh. Nói một cách đơn giản, nó là một chip độc lập về sản xuất, nhưng là một phần của module GPU ở cấp độ hệ thống.

Tại sao GPU chơi game thường sử dụng GDDR thay vì HBM?

GPU dùng cho gaming thường sử dụng GDDR vì nó có chi phí thấp hơn và độ phức tạp đóng gói thấp hơn, khiến nó phù hợp hơn cho các sản phẩm tiêu dùng sản xuất số lượng lớn. HBM cung cấp băng thông cao hơn và hiệu suất tốt hơn, nhưng chi phí sản xuất, chứng nhận và đóng gói tiên tiến của nó cũng cao hơn, do đó nó chủ yếu được sử dụng trong AI trung tâm dữ liệu, HPC và các bộ tăng tốc chuyên nghiệp cao cấp.

Dung Lượng HBM Lớn Hơn Có Luôn Có Nghĩa Là Hiệu Năng GPU Mạnh Hơn Không?

Dung lượng HBM lớn hơn không phải lúc nào cũng đồng nghĩa với hiệu năng GPU mạnh hơn. Dung lượng lớn hơn có thể chứa các mô hình, lô (batch) lớn hơn và bộ nhớ đệm KV, nhưng tốc độ thực tế còn phụ thuộc vào băng thông bộ nhớ, khả năng tính toán, tối ưu hóa phần mềm, kiến trúc mô hình, kết nối giữa các GPU và cấu hình máy chủ. Dung lượng quyết định khối lượng công việc có thể vừa hay không; băng thông và khả năng tính toán quyết định tốc độ chạy nhanh đến đâu.

NVIDIA Có Thể Đồng Thời Mua HBM Từ Nhiều Nhà Cung Cấp Không?

NVIDIA có thể mua HBM từ nhiều nhà cung cấp, nhưng sản phẩm của mỗi nhà cung cấp phải vượt qua kiểm định về hiệu năng, mức tiêu thụ điện, độ tin cậy và khả năng tương thích đóng gói cho một nền tảng GPU cụ thể. Việc bổ sung nhà cung cấp có thể mở rộng nguồn cung và giảm rủi ro phụ thuộc vào một nguồn duy nhất, nhưng HBM không đạt yêu cầu không thể đơn giản được thay thế vào một nền tảng đang sản xuất.

Tại sao tình trạng thiếu HBM có thể làm trì hoãn việc giao GPU của NVIDIA?

Tình trạng thiếu HBM có thể làm trì hoãn việc giao GPU của NVIDIA vì mỗi GPU AI có thể bán được đều yêu cầu nhiều stack HBM đã được kiểm định, tiếp theo là đóng gói tiên tiến và thử nghiệm hệ thống. Ngay cả khi các die GPU đã được sản xuất xong, tình trạng thiếu HBM, CoWoS, substrate hay lắp ráp máy chủ vẫn có thể làm trì hoãn việc giao hàng cuối cùng.

Nhà đầu tư cá nhân có thể đánh giá như thế nào về việc chuỗi cung ứng HBM có bị thừa cung hay không?

Nhà đầu tư cá nhân nên theo dõi đồng thời việc mở rộng công suất HBM, việc đạt chứng nhận từ khách hàng, giá bán trung bình, hàng tồn kho, thời gian giao hàng, chi phí đầu tư của các nhà cung cấp dịch vụ đám mây, và sản lượng xuất xưởng GPU. Chỉ dựa vào kế hoạch công suất của nhà cung cấp là chưa đủ. Điều mấu chốt là các đơn hàng có thực sự chuyển hóa thành doanh thu và lợi nhuận hay không. Các đánh giá cụ thể cần dựa trên báo cáo tài chính, công bố thông tin của doanh nghiệp và hồ sơ nộp cho cơ quan quản lý.