Liệu Suy luận AI Có Cần Nhiều Lưu Trữ Hơn Huấn Luyện Không? Phân Tích Nhu Cầu Bộ Nhớ Máy Chủ và Lưu Trữ Dữ Liệu

Suy luận AI không nhất thiết phải “cần nhiều dung lượng lưu trữ hơn” so với huấn luyện, nhưng nó mang tính liên tục hơn, phân tầng hơn và gắn kết chặt chẽ hơn với các hệ thống kinh doanh thực tế. Huấn luyện thường đòi hỏi các bộ dữ liệu quy mô lớn, các điểm kiểm tra mô hình (model checkpoints) và các đường ống dữ liệu tốc độ cao. Ngược lại, suy luận chạy trực tuyến trong thời gian dài. Nó cần tải trọng số mô hình, duy trì KV cache, hỗ trợ các yêu cầu đồng thời, gọi cơ sở kiến thức RAG, và lưu giữ nhật ký cùng dữ liệu phản hồi. Khi đánh giá nhu cầu máy chủ AI, bạn không thể chỉ nhìn vào GPU. Bạn cũng cần phân biệt giữa HBM, DRAM, ổ cứng NVMe SSD, HDD, lưu trữ đối tượng (object storage) và các hệ thống lưu trữ doanh nghiệp.

Những điểm chính

• Training hoạt động giống hơn như một khối lượng công việc đỉnh điểm mang tính tập trung, trong khi inference là một dịch vụ trực tuyến chạy lâu dài.
• Áp lực bộ nhớ của inference đến từ trọng số mô hình, KV cache, cửa sổ ngữ cảnh dài và tính đồng thời.
• RAG đưa dữ liệu riêng tư của doanh nghiệp, chỉ mục vector và bản ghi quyền hạn vào các hệ thống lưu trữ.
• Nhu cầu lưu trữ của máy chủ AI cần được hiểu qua các tầng HBM, DRAM, SSD và HDD.
• Phân tích đầu tư cần vượt ra ngoài nhãn "AI storage" và xem xét giá cả, dung lượng và cơ cấu khách hàng.

Trước Hết Hãy Trả Lời Câu Hỏi Cốt Lõi: AI Inference Không Luôn Cần Nhiều Tổng Dung Lượng Lưu Trữ Hơn, nhưng Nó Liên Tục Hơn và Phụ Thuộc Nhiều Hơn vào Lưu Trữ Phân Tầng

Suy luận AI không vượt qua huấn luyện ở mọi khía cạnh lưu trữ. Giai đoạn huấn luyện yêu cầu kho dữ liệu khổng lồ, hình ảnh, video, tập dữ liệu đã được làm sạch, tập dữ liệu đã token hóa, các checkpoint mô hình và hồ sơ thí nghiệm. Giai đoạn suy luận yêu cầu duy trì các mô hình trực tuyến trong thời gian dài, liên tục xử lý yêu cầu của người dùng, lưu trữ bộ nhớ đệm ngữ cảnh, truy xuất cơ sở kiến thức của doanh nghiệp và ghi lại các kết quả đầu ra cùng phản hồi. Áp lực huấn luyện tập trung hơn, trong khi áp lực suy luận kéo dài dai dẳng hơn. Đó là lý do vì sao câu hỏi "cái nào cần nhiều dung lượng lưu trữ hơn" phải được tách thành hai câu hỏi: bộ nhớ khi vận hành và lưu trữ dữ liệu lâu dài.

Tại sao quá trình huấn luyện lại cần nhiều dung lượng lưu trữ đến vậy? Bởi vì việc huấn luyện mô hình nền tảng (foundation model) đọc lặp đi lặp lại các tập dữ liệu quy mô lớn và lưu nhiều điểm kiểm tra (checkpoint) huấn luyện. Một điểm kiểm tra là bản chụp nhanh trạng thái của mô hình trong quá trình huấn luyện, được dùng để tiếp tục huấn luyện, so sánh các thí nghiệm hoặc quay lại phiên bản trước đó. Việc huấn luyện mô hình lớn cũng tạo ra các phiên bản dữ liệu đã làm sạch, kết quả đánh giá, nhật ký (log) và các tệp trọng số mô hình, tất cả đều đòi hỏi hệ thống tệp thông lượng cao, lưu trữ đối tượng (object storage) hoặc các hệ thống lưu trữ song song.

Tại sao suy luận (inference) cũng tạo ra nhu cầu lưu trữ liên tục? Bởi vì sau khi một mô hình đi vào hoạt động, nó không đơn giản chỉ "tải trọng số một lần" rồi dừng lại. Mỗi yêu cầu có thể tạo ra một prompt, đầu ra, phản hồi của người dùng, nhật ký lỗi, hồ sơ kiểm toán và trạng thái trung gian. Suy luận doanh nghiệp cũng thường được kết hợp với RAG, đưa tài liệu nội bộ, cơ sở tri thức, chỉ mục vector, hồ sơ quyền hạn và tệp gốc vào hệ thống. Khi suy luận mở rộng từ chatbot sang dịch vụ khách hàng, tìm kiếm, trợ lý lập trình, tự động hóa văn phòng và quy trình agent, các đối tượng lưu trữ cũng mở rộng từ "tệp mô hình" sang "dữ liệu vận hành kinh doanh."

Quan trọng hơn, HBM, DRAM, SSD và HDD không nên được coi là cùng một loại "bộ nhớ". HBM và DRAM là bộ nhớ dùng khi chạy, ảnh hưởng đến việc tải mô hình, dung lượng bộ nhớ GPU, cache và thông lượng suy luận. SSD và HDD liên quan nhiều hơn đến việc lưu trữ lâu dài, ảnh hưởng đến việc đọc mô hình, truy xuất dữ liệu, lưu giữ nhật ký và lưu trữ dữ liệu lạnh. Việc suy luận có cần nhiều bộ nhớ hơn huấn luyện hay không phụ thuộc vào việc bạn đang hỏi về "bộ nhớ dùng trong quá trình tính toán" hay "dữ liệu được lưu trữ trong thời gian dài".

Tóm tắt: Suy luận AI không nhất thiết vượt qua huấn luyện về quy mô dữ liệu huấn luyện thô, nhưng nó làm cho nhu cầu lưu trữ trở nên liên tục hơn, trực tuyến hơn và phân tầng hơn. Huấn luyện giống như một công trình xây dựng lớn, đòi hỏi việc điều phối tập trung một lượng lớn dữ liệu và sức mạnh tính toán trong thời gian ngắn. Suy luận giống như hạ tầng hoạt động 24 giờ, liên tục phản hồi các yêu cầu, duy trì bộ nhớ đệm, truy xuất cơ sở tri thức, lưu trữ nhật ký và hỗ trợ phát lại nghiệp vụ. Khi bạn đánh giá nhu cầu máy chủ AI, hãy chia vấn đề thành hai lớp: HBM và DRAM là bộ nhớ thời gian chạy, quyết định độ trễ và thông lượng; và SSD, HDD, lưu trữ đối tượng và hệ thống lưu trữ doanh nghiệp, quyết định việc dữ liệu có thể được giữ lại theo thời gian theo cách chi phí thấp và dễ quản lý hay không.

Phân Tích Các Tầng Bộ Nhớ Của Máy Chủ AI: HBM, DRAM, SSD, và HDD Mỗi Loại Giải Quyết Vấn Đề Gì

"Bộ nhớ" bên trong một máy chủ AI không phải là một khái niệm duy nhất. HBM nằm gần GPU và cung cấp hỗ trợ tính toán băng thông cao. DRAM của CPU hỗ trợ bộ nhớ máy chủ, điều phối và lưu trữ đệm dữ liệu. SSD NVMe xử lý dữ liệu nóng, đọc nhanh, tải mô hình và tải trước dữ liệu. HDD hoặc lưu trữ đối tượng xử lý việc lưu trữ khối lượng lớn với chi phí thấp. Nhu cầu suy luận (inference) ngày càng tăng ảnh hưởng đến tất cả các tầng này, nhưng mỗi tầng có một logic chuỗi cung ứng khác nhau. Không nên gộp chung tất cả vào một hạng mục rộng là "nhu cầu lưu trữ AI".

NVIDIA GB200 NVL72 kết nối 36 CPU Grace và 72 GPU Blackwell trong một hệ thống quy mô tủ máy làm mát bằng chất lỏng, nhấn mạnh miền NVLink 72 GPU và khả năng suy luận LLM theo thời gian thực. Loại hệ thống này cho thấy rằng các máy chủ AI cao cấp đã chuyển từ cuộc cạnh tranh về hiệu năng của từng card đơn lẻ sang sự phối hợp ở cấp độ tủ máy trên các phương diện bộ nhớ, kết nối, nguồn điện và làm mát. Đối với suy luận, mô hình càng lớn, ngữ cảnh càng dài và mức độ đồng thời càng cao thì băng thông và dung lượng bộ nhớ xung quanh GPU càng trở nên quan trọng.

Tại sao HBM lại là nút thắt cổ chai chung cho cả huấn luyện lẫn suy luận cấp cao? Bởi vì nó ảnh hưởng trực tiếp đến hiệu quả đọc của trọng số mô hình, các trạng thái trung gian (activations) và KV cache. Mô hình càng lớn thì càng cần nhiều trọng số và trạng thái trung gian được đặt trong bộ nhớ tốc độ cao. Tài liệu sản phẩm trung tâm dữ liệu AI của Micron bao gồm cả huấn luyện AI và suy luận trong các giải pháp bộ nhớ và lưu trữ của hãng, bao phủ HBM, DRAM và SSD trung tâm dữ liệu. Điều này cho thấy máy chủ AI không còn chỉ là việc mua GPU; mà là một cuộc nâng cấp toàn diện về bộ nhớ, lưu trữ và kiến trúc hệ thống.

Tại sao CPU, DRAM và SSD NVMe lại trở nên quan trọng hơn trong quá trình suy luận (inference)? Bởi vì các dịch vụ suy luận phải xử lý việc lập lịch yêu cầu người dùng, chuyển đổi mô hình, bộ nhớ đệm kết quả truy xuất, đọc embedding và ghi nhật ký. Trong các kịch bản có độ đồng thời cao, GPU không phải là điểm nghẽn duy nhất. Bộ nhớ của máy chủ, mạng, đọc ghi SSD và điều phối dịch vụ đều ảnh hưởng đến độ trễ từ đầu đến cuối. Enterprise RAG, AI search và trợ lý lập trình đặc biệt phụ thuộc vào lớp dữ liệu nóng vì các tài liệu liên quan, chỉ mục vector và siêu dữ liệu phân quyền phải được truy cập nhanh chóng.

Tại sao ổ HDD vẫn có thể hưởng lợi từ sự tăng trưởng dữ liệu AI? Bởi vì không phải tất cả dữ liệu được tạo ra bởi AI đều là "dữ liệu nóng." Video gốc, kho dữ liệu huấn luyện, nhật ký, câu trả lời lịch sử, bộ dữ liệu đánh giá, lưu trữ tuân thủ và bản sao lưu lạnh phụ thuộc nhiều hơn vào dung lượng chi phí thấp theo thời gian. Khi Seagate ra mắt ổ cứng Exos M 30TB, công ty đã liên kết dung lượng cao, hiệu suất năng lượng và nhu cầu lưu trữ dữ liệu trung tâm dữ liệu AI trong cùng một câu chuyện. Điều này cho thấy HDD vẫn là một lớp quan trọng trong vòng đời dữ liệu AI.

Tóm tắt: Nhu cầu về máy chủ AI không nên được đánh giá chỉ thông qua GPU, và không nên gộp chung tất cả các dạng "lưu trữ" với nhau. HBM quyết định hiệu quả cung cấp dữ liệu trong quá trình tính toán của mô hình. DRAM hỗ trợ việc lập lịch và caching phía host. Ổ SSD NVMe xử lý dữ liệu nóng và các tác vụ đọc nhanh. HDD và lưu trữ đối tượng (object storage) đảm nhận việc lưu trữ dài hạn và kiểm soát chi phí trên dung lượng. Huấn luyện (training) nhấn mạnh vào các pipeline dữ liệu thông lượng cao và checkpoint, trong khi suy luận (inference) nhấn mạnh vào việc lưu trú của mô hình, truy cập độ trễ thấp, quản lý cache và lưu giữ log. Khi phân tích chuỗi cung ứng máy chủ AI, trước tiên hãy xác định nhu cầu thuộc tầng nào, sau đó xác định xem nó ánh xạ tới HBM, DRAM, NAND, SSD, HDD, hệ thống lưu trữ hay nhà cung cấp dịch vụ đám mây.

Tại Sao Suy Luận (Inference) Thúc Đẩy Nhu Cầu Bộ Nhớ: KV Cache, Bối Cảnh Dài, Đồng Thời Cao, và Khối Lượng Công Việc Agent

Áp lực bộ nhớ của suy luận AI chủ yếu đến từ KV cache, cửa sổ ngữ cảnh dài, đồng thời cao và quy trình làm việc của agent. Khi việc huấn luyện mô hình đã hoàn tất, suy luận không đơn giản chỉ là việc đọc trọng số một lần. Các mô hình ngôn ngữ lớn tạo ra văn bản token theo token, và mỗi yêu cầu phải giữ lại các trạng thái attention trung gian cho các token lịch sử. Ngữ cảnh càng dài, độ đồng thời càng cao và càng nhiều lệnh gọi agent, thì áp lực lên bộ nhớ GPU, bộ nhớ CPU và hệ thống cache càng lớn. Ở quy mô lớn, việc quản lý bộ nhớ trực tiếp quyết định thông lượng, độ trễ và chi phí.

Tại sao KV cache lại trở thành một biến số then chốt? Vì quá trình sinh tự hồi quy (autoregressive) phải tham chiếu đến các token đã được sinh ra trước đó mỗi khi xuất ra một token mới. Để tránh phải tính toán lại toàn bộ ngữ cảnh lịch sử, hệ thống lưu trữ các trạng thái trung gian key/value. Đó chính là KV cache. Bài báo PagedAttention chỉ ra rằng KV cache trong việc phục vụ LLM rất lớn và tăng giảm một cách động theo các yêu cầu. Nếu quản lý kém hiệu quả, phân mảnh và sao chép dư thừa có thể giới hạn kích thước batch. Cơ chế quản lý phân trang của vLLM làm giảm lãng phí KV cache, điều này phản ánh vai trò trung tâm của áp lực bộ nhớ trong quá trình suy luận (inference).

Tại sao ngữ cảnh dài khiến suy luận chuyển từ bài toán tính toán thành bài toán bộ nhớ? Bởi vì khi cửa sổ ngữ cảnh mở rộng, mô hình phải duy trì các trạng thái trung gian cho nhiều token lịch sử hơn. Nghiên cứu IceCache năm 2026 cũng nhấn mạnh rằng dung lượng bộ nhớ KV cache tăng tuyến tính theo độ dài chuỗi, khiến việc suy luận trên chuỗi dài trở thành một nút thắt nghiêm trọng về bộ nhớ. Nói cách khác, ngữ cảnh dài không đơn thuần là “đọc nhiều văn bản hơn.” Nó cùng lúc làm tăng cache, băng thông, dung lượng bộ nhớ GPU và độ phức tạp của việc lập lịch.

AI Agentic càng làm tăng áp lực lên bộ nhớ và dữ liệu. Trong phân tích của mình về nhu cầu bộ nhớ của AI Agentic, TrendForce nhận thấy rằng các yêu cầu suy luận đang chuyển từ các truy vấn một lần sang các vòng lặp lặp lại liên tục, và dung lượng KV cache sẽ mở rộng cùng với các cửa sổ ngữ cảnh lớn hơn. Điều này có nghĩa là các agent không chỉ trả lời câu hỏi. Chúng lập kế hoạch, gọi công cụ, truy xuất thông tin, tạo mã, kiểm tra kết quả và chỉnh sửa lại. Mỗi bước có thể tạo ra các trạng thái trung gian và các bản ghi có thể phát lại.

Tóm tắt: Việc suy luận (inference) càng trở nên phổ biến thì hệ thống bộ nhớ và bộ nhớ đệm càng quan trọng. Theo tư duy truyền thống, huấn luyện là giai đoạn tốn nhiều tài nguyên nhất. Tuy nhiên, trong các hệ thống kinh doanh thực tế, suy luận phải hoạt động trực tuyến, hỗ trợ đồng thời liên tục và phản hồi với độ trễ thấp. KV cache mở rộng theo độ dài ngữ cảnh và khối lượng yêu cầu. Ngữ cảnh dài làm gia tăng áp lực lên bộ nhớ GPU. Quy trình làm việc của Agent tạo ra nhiều trạng thái trung gian và nhật ký hơn. Khi quan sát nhu cầu về máy chủ AI, hãy đặc biệt chú ý đến ba câu hỏi: Các mô hình có đang ngày càng lớn hơn không? Lượng yêu cầu từ người dùng có đang tăng lên không? Cửa sổ ngữ cảnh và số bước của Agent có đang ngày càng dài hơn không? Nếu ba biến số này tiếp tục tăng, nhu cầu về HBM, DRAM, SSD và quản lý bộ nhớ đệm ở phía suy luận sẽ tiếp tục tăng trưởng.

Phân Tích Nhu Cầu Lưu Trữ Dữ Liệu: RAG, Cơ Sở Dữ Liệu Vector, Nhật Ký, Dữ Liệu Phản Hồi và Lưu Trữ Tuân Thủ

Nhu cầu lưu trữ dữ liệu được tạo ra bởi suy luận AI không chỉ đến từ chính mô hình. Nó còn đến từ kỹ thuật hệ thống cần thiết để kết nối dữ liệu riêng tư của doanh nghiệp với mô hình. RAG đòi hỏi cơ sở tri thức, cơ sở dữ liệu vector, chỉ mục và lưu trữ tài liệu nguồn. Môi trường sản xuất phải lưu giữ nhật ký yêu cầu, bản ghi câu trả lời, phản hồi của người dùng, bản ghi quyền hạn và thông tin kiểm toán. Suy luận xâm nhập sâu vào quy trình kinh doanh bao nhiêu thì càng nhiều đối tượng dữ liệu phải được lưu trữ, và càng nhiều hệ thống lưu trữ phải hỗ trợ độ trễ thấp, khả năng mở rộng, kiểm soát truy cập và lưu trữ tuân thủ.

Giải thích của Google Cloud về RAG nhấn mạnh rằng RAG thường sử dụng một hệ thống truy xuất để lấy các sự kiện, và rằng truy xuất hiện đại thường sử dụng cơ sở dữ liệu vector để lưu trữ các embedding nhằm tìm nhanh các tài liệu liên quan thông qua độ tương đồng ngữ nghĩa. Điều này cho thấy suy luận AI doanh nghiệp không chỉ đơn giản là gọi API của một mô hình. Nó đòi hỏi một chuỗi xử lý dữ liệu hoàn chỉnh: các tệp nguồn đi vào hệ thống, được chia thành các phần nhỏ, chuyển đổi thành embedding, ghi vào chỉ mục vector, và được truy xuất theo quyền trong quá trình suy luận.

Tại sao RAG làm tăng nhu cầu về dữ liệu nóng của doanh nghiệp? Bởi vì nó đòi hỏi hệ thống phải nhanh chóng tìm thấy thông tin liên quan trong quá trình suy luận. Cơ sở kiến thức càng được cập nhật thường xuyên, chứa càng nhiều tài liệu, và cấu trúc phân quyền càng phức tạp, thì hệ thống lưu trữ càng phải hỗ trợ truy xuất độ trễ thấp, cập nhật gia tăng và cách ly đa người thuê. Kiến trúc RAG của AI tạo sinh trên Google Cloud chia RAG thành nhập dữ liệu, nhúng, truy xuất, tạo sinh và quản trị, cho thấy RAG về bản chất là một hệ thống kỹ thuật kết hợp giữa mô hình, cơ sở dữ liệu, hệ thống truy xuất và kiểm soát phân quyền.

Tại sao nhật ký và dữ liệu phản hồi được lưu trữ theo thời gian? Bởi vì doanh nghiệp cần đánh giá chất lượng mô hình, truy vết các câu trả lời sai, phân tích nhu cầu người dùng, tái hiện sự cố, cải thiện prompt, cập nhật cơ sở kiến thức và đáp ứng các yêu cầu kiểm toán. Trong các tình huống chăm sóc khách hàng, tài chính, y tế, đánh giá mã nguồn và nâng cao năng suất doanh nghiệp, hồ sơ trả lời thường không thể chỉ tồn tại tạm thời trong bộ nhớ. Trong các ngành có độ nhạy cảm cao, doanh nghiệp còn phải phân biệt dữ liệu nào có thể dùng để cải thiện, dữ liệu nào phải được làm sạch, mã hóa hoặc lưu trữ theo quy định.

Dữ liệu nóng và dữ liệu lạnh cũng cần được hiểu một cách riêng biệt. Dữ liệu nóng hỗ trợ việc suy luận hiện tại, bao gồm chỉ mục vector, tài liệu phổ biến, nhật ký gần đây và tệp mô hình có tần suất sử dụng cao. Dữ liệu lạnh hỗ trợ lưu trữ dài hạn, bao gồm kho ngữ liệu nguồn, nhật ký lịch sử, các phiên bản mô hình cũ, phản hồi hết hạn và hồ sơ tuân thủ. Dữ liệu nóng phụ thuộc nhiều hơn vào SSD, bộ nhớ và cơ sở dữ liệu hiệu suất cao. Dữ liệu lạnh phụ thuộc nhiều hơn vào HDD, lưu trữ đối tượng và kho lưu trữ chi phí thấp. Suy luận càng lớn thì việc phân tầng nóng/lạnh càng trở nên quan trọng. Việc đặt toàn bộ dữ liệu vào lớp hiệu suất cao làm tăng chi phí, trong khi đặt tất cả vào lớp lạnh làm chậm quá trình suy luận.

Tóm tắt: Suy luận AI không chỉ tiêu tốn bộ nhớ; nó còn tạo ra nhu cầu lưu trữ dữ liệu mới. RAG mang theo tài liệu nguồn, embeddings, chỉ mục vector và siêu dữ liệu phân quyền. Các hệ thống sản xuất tạo ra prompt, phản hồi, phản hồi người dùng, nhật ký lỗi và hồ sơ kiểm toán. Vận hành lâu dài cũng tạo ra các phiên bản mô hình, kết quả đánh giá và hồ sơ tuân thủ. Khi đánh giá xem suy luận có thúc đẩy nhu cầu lưu trữ hay không, đừng chỉ hỏi mô hình lớn đến mức nào. Hãy hỏi xem doanh nghiệp có đang kết nối AI với cơ sở tri thức, quy trình nghiệp vụ và hệ thống tuân thủ hay không. Suy luận càng chuyển từ “tính năng trò chuyện” sang “quy trình doanh nghiệp”, nhu cầu lưu trữ càng mở rộng từ các tệp mô hình sang quản lý toàn bộ vòng đời dữ liệu.

Cái Nào Thúc Đẩy Chuỗi Cung Ứng Lưu Trữ Nhiều Hơn: Suy Luận hay Huấn Luyện? Điều Này Phụ Thuộc vào Kịch Bản, Quy Mô, và Khoảng Thời Gian

Huấn luyện và suy luận kéo chuỗi cung ứng lưu trữ theo những hướng khác nhau. Huấn luyện mô hình nền tảng thúc đẩy nhu cầu về HBM, hệ thống tệp song song tốc độ cao, quy trình dữ liệu huấn luyện, và lưu trữ checkpoint. Suy luận quy mô lớn thúc đẩy nhu cầu về HBM/DRAM, SSD NVMe, cơ sở dữ liệu vector, lưu trữ doanh nghiệp, lưu trữ nhật ký, và dung lượng HDD. Trong ngắn hạn, huấn luyện tạo ra những đỉnh điểm rõ nét hơn. Về dài hạn, suy luận mang tính liên tục hơn. Bạn không thể xác định doanh nghiệp nào được hưởng lợi chỉ bằng cách sử dụng riêng lẻ từ "huấn luyện" hay "suy luận."

Nhu cầu lưu trữ từ việc huấn luyện các mô hình nền tảng mang tính tập trung cao hơn. Quá trình huấn luyện đòi hỏi phải đưa một lượng lớn dữ liệu vào các cụm GPU với tốc độ cao. Hệ thống lưu trữ phải hỗ trợ việc đọc thông lượng cao, truy cập đồng thời và ghi checkpoint. Khi quá trình huấn luyện bị lỗi, các checkpoint giúp khôi phục tiến trình. Trong quá trình lặp lại của mô hình, nhiều phiên bản trọng số và hồ sơ đánh giá cũng cần được lưu trữ. Vì vậy, việc huấn luyện giống như một dự án kỹ thuật quy mô lớn, đòi hỏi khả năng tính toán, băng thông và thông lượng dữ liệu cực cao trong một khoảng thời gian hạn chế.

Nhu cầu lưu trữ từ suy luận quy mô lớn mang tính bền vững hơn. Đó không phải là một quá trình diễn ra một lần rồi kết thúc sau khi huấn luyện; nó xử lý các yêu cầu mỗi ngày, mỗi giờ và mỗi giây. Trong bài viết AI inference drives memory demand, TrendForce chia nhỏ nhu cầu phần cứng suy luận thành QPS cao hơn, cửa sổ ngữ cảnh dài hơn và nhiều bước suy luận hơn. Cả ba biến số này đều đẩy áp lực lên bộ nhớ, bộ nhớ đệm và hệ thống dữ liệu. Một khi quy trình làm việc của agent trở nên phổ biến, các yêu cầu suy luận chuyển đổi từ dạng hỏi đáp một lượt sang lặp liên tục, biến áp lực lưu trữ thành một thách thức vận hành lâu dài.

Các phần khác nhau của chuỗi cung ứng được hưởng lợi vì những lý do khác nhau. HBM chủ yếu gắn liền với các nền tảng GPU cao cấp và suy luận mô hình lớn. DRAM gắn với bộ nhớ máy chủ, bộ nhớ đệm và lập lịch của máy chủ. NAND/SSD gắn với dữ liệu nóng, tải mô hình, lập chỉ mục và nhật ký. HDD gắn với dữ liệu lạnh, kho ngữ liệu gốc, video và kho lưu trữ dài hạn. Các hệ thống lưu trữ doanh nghiệp được hưởng lợi từ quản trị dữ liệu, các dự án RAG và kiến trúc đám mây lai. NetworkWorld, dẫn nguồn Dell'Oro, lưu ý rằng thị trường ổ lưu trữ, bao gồm HDD và SSD, được dự báo sẽ tăng trưởng với tốc độ CAGR trên 20% trong năm năm tới, với cả hai công nghệ tiếp tục đảm nhận những vai trò khác nhau qua các tầng hạ tầng AI.

Tóm tắt: Cả huấn luyện (training) và suy luận (inference) đều thúc đẩy chuỗi cung ứng lưu trữ, nhưng theo những cách khác nhau. Huấn luyện mang tính tập trung hơn và phụ thuộc nhiều hơn vào khả năng xử lý dữ liệu quy mô lớn một lần và các checkpoint. Suy luận mang tính bền vững hơn và phụ thuộc nhiều hơn vào bộ nhớ trực tuyến, KV cache, dữ liệu nóng của RAG, lưu giữ nhật ký (log) và lưu trữ dữ liệu lạnh. Khi đánh giá các cơ hội trong chuỗi cung ứng, trước tiên hãy xác định tình huống: huấn luyện mô hình nền tảng, RAG doanh nghiệp, tìm kiếm AI, chăm sóc khách hàng, trợ lý lập trình, hay tạo sinh đa phương thức. Các tình huống khác nhau trỏ đến các tầng khác nhau. HBM, DRAM, NAND, SSD, HDD và hệ thống lưu trữ doanh nghiệp không nên bị gộp chung vào một khái niệm rộng.

Nhà đầu tư có thể theo dõi nhu cầu máy chủ AI như thế nào: Từ năng lực chip đến chi phí hệ thống và rủi ro giao dịch

Nếu bạn đang theo dõi nhu cầu máy chủ AI, bạn không nên chỉ nhìn vào số lượng GPU xuất xưởng. Bạn cũng cần theo dõi dung lượng HBM, cấu hình DRAM máy chủ, hoạt động mua sắm SSD doanh nghiệp, sản lượng xuất xưởng HDD theo exabyte, chi tiêu vốn của đám mây và khối lượng cuộc gọi API suy luận. Nhu cầu suy luận đang mở rộng có thể hỗ trợ chuỗi cung ứng lưu trữ, nhưng điều đó không có nghĩa là mọi công ty lưu trữ đều được hưởng lợi như nhau. Những câu hỏi thực sự là: nhu cầu rơi vào tầng nào, giá cả có bền vững không, công suất có đang mở rộng quá nhanh không, và khách hàng có đang hình thành thói quen mua sắm lâu dài hay không?

Phân tích chuỗi cung ứng không nên dừng lại ở cụm từ “lưu trữ AI.” HBM liên quan đến việc gắn kết GPU cao cấp và năng lực đóng gói nâng cao. DRAM liên quan đến việc nâng cấp nền tảng máy chủ và nhu cầu bộ nhớ đệm. NAND/SSD liên quan đến dữ liệu nóng, việc tải mô hình và hoạt động mua sắm lưu trữ doanh nghiệp. HDD liên quan đến sản lượng vận chuyển theo exabyte, nhu cầu nearline và lưu trữ dữ liệu lạnh. Hệ thống lưu trữ gắn liền với RAG doanh nghiệp, quản trị dữ liệu và triển khai đám mây kết hợp. Nghiên cứu của Dell’Oro về các thành phần máy chủ và lưu trữ trung tâm dữ liệu dự báo rằng doanh thu từ các linh kiện máy chủ và lưu trữ chủ chốt sẽ tăng trưởng với tốc độ CAGR 25% trong năm năm tới và tiến gần mốc 1.000 tỷ USD, cho thấy cơ sở hạ tầng AI đã mở rộng từ chip sang các linh kiện cấp hệ thống.

Nếu bạn mở rộng nhu cầu máy chủ AI sang giao dịch trên thị trường công khai, bạn cũng cần cân nhắc đến chi phí giao dịch thực tế. Cổ phiếu công nghệ, cổ phiếu chip lưu trữ và các công ty hạ tầng AI có thể biến động mạnh. Chi phí giao dịch có thể bao gồm không chỉ hoa hồng, mà còn phí nền tảng, phí tổ chức bên ngoài, phí hoạt động giao dịch và các khoản phí hiển thị trên trang đặt lệnh. Lấy phí giao dịch cổ phiếu Mỹ của Biya làm ví dụ, hoa hồng giao dịch cổ phiếu Mỹ là 0 USD, trong khi phí nền tảng, phí tổ chức bên ngoài và các khoản phí khác được áp dụng theo biểu phí và hiển thị trên trang đặt lệnh. Việc sử dụng dịch vụ phụ thuộc vào vị trí của người dùng, kết quả xác minh danh tính, quy tắc của nền tảng cùng các luật và quy định hiện hành.

Những rủi ro của việc đầu tư vào lưu trữ AI cũng cần được đặt lên hàng đầu. Thứ nhất, chi phí đầu tư hạ tầng đám mây có thể chậm lại theo từng giai đoạn. Thứ hai, HBM, DRAM, NAND và HDD mỗi loại đều có chu kỳ công suất riêng, và giá tăng có thể kích hoạt mở rộng nguồn cung. Thứ ba, các công nghệ tối ưu hóa suy luận có thể giảm lượng bộ nhớ cần thiết cho mỗi yêu cầu. Thứ tư, các dự án RAG và agent của doanh nghiệp có thể chịu ảnh hưởng từ bảo mật dữ liệu, tuân thủ và ROI, nên mức độ áp dụng có thể không tăng theo đường thẳng. Thứ năm, định giá các cổ phiếu liên quan có thể đã phản ánh trước kỳ vọng lạc quan. Nếu giá cả, đơn hàng hoặc biên lợi nhuận gộp không đạt kỳ vọng, biến động có thể bị khuếch đại.

Tóm tắt: Nhà đầu tư thông thường nên chuyển đổi nhu cầu máy chủ AI thành các chỉ số có thể quan sát được thay vì dừng lại ở mức khái niệm. Bạn có thể theo dõi thông số cấu hình nền tảng GPU, dung lượng HBM, DRAM máy chủ, SSD doanh nghiệp, sản lượng xuất xưởng tính theo exabyte của HDD, chi tiêu vốn của đám mây, số lượng cuộc gọi suy luận (inference), và biên lợi nhuận gộp của các công ty lưu trữ. Tăng trưởng suy luận thực sự có thể khiến chuỗi lưu trữ trở nên quan trọng hơn, nhưng mức độ hưởng lợi phụ thuộc vào tầng sản phẩm, cơ cấu khách hàng, chu kỳ giá và bối cảnh cạnh tranh. Trước khi giao dịch, bạn cũng cần hiểu rõ các loại lệnh, cấu trúc phí, quy tắc nền tảng và yêu cầu pháp lý địa phương, thay vì coi một xu hướng ngành là sự đảm bảo cho lợi nhuận.

Nếu bạn thường xuyên theo dõi máy chủ AI, HBM, DRAM, NAND, SSD, HDD và các công ty công nghệ Mỹ, bạn có thể đưa các chỉ báo kỹ thuật, lợi nhuận công ty, biến động thị trường và phí giao dịch vào một khung chung. Biya là ví giao dịch tài sản toàn cầu hỗ trợ giao dịch cổ phiếu Mỹ, cổ phiếu Hồng Kông và tiền mã hóa. Bạn cũng có thể sử dụng tra cứu thông tin cổ phiếu Mỹ để theo dõi các mã chip lưu trữ, máy chủ AI và điện toán đám mây. Nếu vị trí của bạn, kết quả xác minh danh tính và các quy tắc áp dụng đáp ứng điều kiện dịch vụ liên quan, bạn cũng có thể tải ứng dụng để quản lý dữ liệu thị trường, danh sách theo dõi và quy trình giao dịch.Thông tin trên chỉ giới thiệu thông tin thị trường công khai, logic kỹ thuật và cấu trúc phí. Nó không cấu thành lời khuyên đầu tư.

Câu hỏi thường gặp

Suy luận AI có cần nhiều dung lượng lưu trữ hơn huấn luyện không?

Suy luận AI không nhất thiết yêu cầu nhiều dữ liệu thô hơn huấn luyện, nhưng nó phụ thuộc liên tục hơn vào bộ nhớ và lưu trữ phân tầng. Huấn luyện cần các tập dữ liệu lớn, checkpoint và đường truyền dữ liệu tốc độ cao. Suy luận cần trọng số mô hình thường trú, KV cache, cơ sở dữ liệu RAG, nhật ký yêu cầu và dữ liệu phản hồi. So sánh đúng cách nên tách biệt bộ nhớ thời gian chạy khỏi việc lưu trữ dữ liệu dài hạn, thay vì đơn giản so sánh quy mô dữ liệu một lần.

Tại sao KV cache trong suy luận LLM sử dụng nhiều bộ nhớ máy chủ đến vậy?

KV cache lưu trữ các trạng thái trung gian key/value được tạo ra trong quá trình suy luận (inference) của mô hình để mô hình không cần tính toán lại các token lịch sử. Bối cảnh càng dài và số lượng yêu cầu đồng thời càng nhiều, KV cache càng tiêu tốn nhiều bộ nhớ GPU và bộ nhớ hệ thống. Nó cải thiện hiệu quả suy luận, nhưng đồng thời cũng có thể giới hạn kích thước batch, thông lượng và độ trễ, khiến nó trở thành biến số bộ nhớ cốt lõi trong việc phục vụ LLM quy mô lớn.

Sự Khác Biệt Giữa HBM, DRAM và SSD Trong Máy Chủ AI Là Gì?

HBM nằm gần GPU và cung cấp khả năng tính toán mô hình với băng thông cao. DRAM nằm ở phía máy chủ và hỗ trợ lập lịch, caching và chuẩn bị dữ liệu. SSD đảm nhận việc tải mô hình, đọc dữ liệu nóng, chỉ mục vector và ghi log. Cả ba đều hỗ trợ máy chủ AI, nhưng chúng khác nhau về tốc độ, dung lượng, chi phí và vị trí trong hệ thống. Phân tích chuỗi cung ứng nên xem xét nhu cầu về HBM, bộ nhớ máy chủ và SSD doanh nghiệp một cách riêng biệt.

Tại sao các ứng dụng RAG doanh nghiệp làm tăng nhu cầu lưu trữ dữ liệu?

Enterprise RAG đưa tài liệu nội bộ, cơ sở tri thức, embeddings, chỉ mục vector, bản ghi phân quyền và nhật ký truy xuất vào hệ thống AI. Khi mô hình trả lời câu hỏi, nó cần truy xuất các dữ liệu này, đồng thời hệ thống cũng lưu trữ prompt, phản hồi, đánh giá và thông tin kiểm toán. RAG được tích hợp càng sâu vào quy trình làm việc, doanh nghiệp càng cần các lớp dữ liệu nóng, cơ sở dữ liệu vector, lưu trữ đối tượng và kho lưu trữ lạnh.

Nhà đầu tư thông thường có thể đánh giá như thế nào để biết nhu cầu lưu trữ cho AI là có thật?

Nhà đầu tư thông thường có thể theo dõi chi phí vốn của các nhà cung cấp dịch vụ đám mây, lượng xuất xưởng máy chủ AI, công suất HBM, cấu hình DRAM của máy chủ, mức độ mua SSD doanh nghiệp, lượng xuất xưởng HDD theo exabyte, và biên lợi nhuận gộp của các công ty lưu trữ. Nhu cầu thực tế thường thể hiện qua đơn hàng, tỷ lệ sử dụng công suất, cơ cấu sản phẩm, và biến động giá. Chỉ riêng sự hào hứng của thị trường mang tính khái niệm là chưa đủ để chứng minh nhu cầu dài hạn, vì vậy báo cáo tài chính và công bố rủi ro vẫn rất quan trọng.

Liệu Tăng Trưởng Nhu Cầu Lưu Trữ AI Có Nghĩa Là Cổ Phiếu Lưu Trữ Chắc Chắn Được Lợi?

Sự tăng trưởng nhu cầu lưu trữ do AI không có nghĩa là tất cả các cổ phiếu ngành lưu trữ đều được hưởng lợi như nhau. HBM, DRAM, NAND, SSD, HDD và các hệ thống lưu trữ doanh nghiệp mỗi loại có các yếu tố thúc đẩy nhu cầu khác nhau. Chu kỳ giá, mở rộng công suất, mức độ tập trung khách hàng và cạnh tranh đều ảnh hưởng đến khả năng sinh lời. Trước khi giao dịch, nhà đầu tư cũng nên cân nhắc về định giá, cơ cấu phí, quy tắc của nền tảng và yêu cầu pháp lý tại địa phương, thay vì coi một xu hướng ngành như sự đảm bảo cho lợi nhuận đầu tư.