AI 伺服器如何拉動儲存需求?HBM、伺服器 DRAM、企業級 SSD 和 HDD 的分工

AI 伺服器與資料中心儲存基礎設施

AI 伺服器拉動儲存需求,不是因為「伺服器數量變多」這麼簡單,而是因為訓練、推理、多模態資料、RAG 檢索和企業私有資料接入,會讓資料在 GPU、CPU、記憶體、SSD 和 HDD 之間高頻流動。HBM 解決 GPU 側頻寬瓶頸,伺服器 DRAM 支撐系統側任務,企業 SSD 承接熱資料和推理快取,HDD 則承擔資料湖和歸檔容量。你如果關注 AI 基建或儲存產業鏈,需要同時看速度、容量、成本、功耗和供給週期。

核心要點

  • AI 伺服器會同時拉動高頻寬、低延遲和大容量儲存需求。
  • HBM 直接綁定 GPU 算力,核心價值是頻寬、容量和能效。
  • 伺服器 DRAM 支撐 CPU、調度、快取、資料庫和推理服務框架。
  • 企業 SSD 負責熱資料、checkpoint、向量檢索和部分 KV cache。
  • HDD 仍是 AI 資料湖、備份、歸檔和冷溫資料的容量底座。
  • 投資判斷不能只看漲價,還要看訂單、產能、庫存和估值。

AI 伺服器為什麼會拉動儲存需求?

AI 伺服器機架與資料流轉

AI 伺服器拉動儲存需求的核心原因,是 AI 工作負載從單純「算力密集」變成「資料密集 + 記憶體密集 + 儲存密集」。訓練需要持續讀取大規模資料集,推論需要載入模型權重和保留上下文狀態,多模態模型還會處理圖片、語音、影片和日誌。只增加 GPU 不夠,資料必須在 HBM、DRAM、SSD 和 HDD 之間分層流動,才能讓算力持續工作。

傳統伺服器常見瓶頸是 CPU、網路或磁碟 I/O;AI 伺服器的瓶頸更複雜。GPU 可以在極短時間內完成大量矩陣運算,但如果模型權重、激活值、KV cache、訓練樣本或 checkpoint 不能及時送到計算單元,GPU 就會等待資料。你可以把 AI 資料中心理解為一個分層漏斗:最靠近 GPU 的 HBM 最快但最貴,CPU 側 DRAM 容量更大但頻寬較低,NVMe SSD 負責熱資料與低延遲讀寫,HDD 則提供大規模、低成本的容量池。

英偉達的 GB300 NVL72 規格可以說明這種趨勢:一個機架級系統把 72 個 Blackwell Ultra GPU、36 個 Grace CPU、37TB fast memory、20TB GPU memory 和 17TB CPU memory 放在同一架構下。也就是說,AI 伺服器已經不只是「GPU 插在主機板上」,而是 GPU、CPU、記憶體、互聯和儲存協同設計的機架級資料系統。

不同 AI 場景對應的儲存層不同:

AI 場景 主要數據 關鍵指標 主要儲存層
大模型訓練 訓練集、參數、激活值 頻寬、吞吐、穩定性 HBM、DRAM、SSD、HDD
模型微調 私有數據、checkpoint 讀寫速度、恢復速度 SSD、DRAM、HDD
線上推理 模型權重、KV cache 延遲、並發、容量 HBM、DRAM、SSD
RAG 檢索 向量索引、文檔庫 IOPS、查詢延遲 企業 SSD、DRAM
多模態 AI 圖片、視頻、語音 容量、吞吐、成本 SSD、HDD
備份歸檔 歷史版本、日誌、合規數據 $/TB、可靠性 HDD、物件儲存

這一鏈條裡,HBM 負責「最快的數據」,伺服器 DRAM 負責「系統側活躍數據」,企業 SSD 負責「高頻讀寫和熱數據」,HDD 負責「長期保存的大容量數據」。因此,AI 伺服器並不是只利好單一儲存品類,而是讓整個儲存金字塔重新分工。

小結:AI 伺服器拉動儲存需求,關鍵不在於伺服器數量本身,而在於 AI 工作負載把資料規模、存取頻率、上下文長度和系統並發同時放大。訓練需要高吞吐資料輸入,推理需要低延遲快取和更長上下文,多模態模型需要保存更多原始素材,企業 AI 還會把私有資料接入模型系統。HBM、伺服器 DRAM、企業 SSD 和 HDD 分別解決不同層級的問題:越靠近 GPU,越強調頻寬和延遲;越靠近資料湖,越強調容量、成本和可靠性。判斷 AI 儲存需求時,應把「速度型需求」和「容量型需求」分開看,而不是簡單認為某一種儲存會替代所有其他儲存。

HBM 在 AI 伺服器中解決什麼問題?

HBM 與伺服器記憶體晶片需求

HBM 在 AI 伺服器中的作用,是解決 GPU 側的「頻寬牆」和「顯示記憶體容量牆」。AI 模型越大,參數、激活值和 KV cache 佔用越高,GPU 需要在極短時間內讀取大量資料。HBM 靠近 GPU 封裝,頻寬遠高於普通伺服器 DRAM,因此直接影響訓練吞吐、推理並發、長上下文能力和單位 token 成本。

你可以把 HBM 理解為 AI GPU 的「高速工作台」。如果工作台太小,模型權重和上下文放不下;如果數據搬運太慢,GPU 算力會被閒置。英偉達介紹 Blackwell Ultra 時提到,單 GPU 可配置 288GB HBM3e,面向更大模型、更長上下文和推理工作負載。這說明 HBM 的升級方向不是單一容量增加,而是容量、頻寬、能效和封裝能力同步提升。

HBM 的供給壁壘也高於普通 DRAM。它需要多層堆疊、TSV、先進封裝、良率控制和客戶認證,不能簡單用普通記憶體產線快速替代。Micron 宣布面向 NVIDIA Vera Rubin 的 HBM4 36GB 12-high 進入高量產階段,單堆疊頻寬超過 2.8TB/s,並強調功耗效率提升,這反映 HBM 已經從「高端記憶體產品」變成 AI 平台路線圖的一部分。

HBM 與其他記憶體的分工可以這樣看:

類型 靠近位置 優勢 局限 AI 場景
HBM GPU 封裝附近 極高頻寬、低延遲 成本高、供應緊 訓練、推理、KV cache
伺服器 DRAM CPU 與系統記憶體 容量較大、通用性強 頻寬低於 HBM 排程、快取、資料庫
LPDDR/CXL 記憶體 擴展記憶體層 功耗或擴展性更好 生態仍在演進 推理擴展、記憶體池化
SSD 本地或網路儲存 容量更大、成本更低 延遲高於記憶體 checkpoint、熱資料

HBM 需求還會反向影響普通 DRAM 市場。TrendForce 在 AI server demand 相關判斷中提到,DRAM 供應商持續把產能轉向 HBM 和伺服器應用,傳統 DRAM 與 NAND Flash 合約價也受到供需緊張影響。這意味著 HBM 不只是一個單獨產品,它會改變晶圓產能、資本開支和客戶鎖單策略。

對投資者來說,觀察 HBM 不能只看「價格漲了多少」,還要看幾個變數:

  • 單 GPU HBM 容量是否繼續提高;
  • HBM3E、HBM4、HBM4E 的代際切換節奏;
  • NVIDIA、AMD、Google、ASIC 客戶認證進度;
  • 儲存廠商長期供貨協議和預付款安排;
  • HBM 產能是否擠壓伺服器 DRAM 或消費 DRAM 供給。

小結:HBM 是 AI 伺服器中最直接綁定 GPU 算力的儲存品類,它解決的是 GPU 側頻寬、容量和能效問題。大模型訓練、推理並發、長上下文和 agentic AI 都會增加 HBM 壓力。但 HBM 的價值不只來自「需求強」,還來自製程、封裝、良率、客戶認證和長期供貨關係。它與普通 DRAM 不是簡單替代關係,而是處在更靠近 GPU 的高速層。分析 HBM 產業鏈時,需要同時看 GPU 平台路線圖、單卡 HBM 容量、供應商份額、產能爬坡和下游客戶鎖單情況。

伺服器 DRAM 為什麼也會被 AI 推動?

伺服器 DRAM 與 CPU 記憶體系統

伺服器 DRAM 被 AI 推動,是因為 GPU 之外仍有大量系統側任務需要 CPU 和主機記憶體承接。HBM 負責 GPU 本地運算,但資料前處理、任務調度、資料庫、向量檢索、網路協定堆疊、推論服務框架、虛擬化和容器管理,都離不開伺服器 DRAM。AI 推理越普及,通用伺服器記憶體配置越容易上移。

很多人容易誤解:既然 HBM 離 GPU 更近,伺服器 DRAM 是否會被邊緣化?實際情況相反。AI 叢集是異構系統,GPU 並不單獨完成所有任務。模型服務需要 CPU 處理請求分發、token 調度、快取管理、日誌記錄和安全策略;RAG 系統還要呼叫向量資料庫和企業文件庫;私有雲部署還會疊加容器、監控、權限和資料治理。所有這些任務都需要更高容量、更高頻寬、更低功耗的伺服器記憶體。

SK hynix 在 2025 年三季度業績 中提到,強勁的 HBM 和高效能伺服器產品銷售推動季度表現,並表示下一年 HBM 供應討論已經完成。這類表述說明,伺服器端需求不只集中在 HBM,也包括高容量 DDR5、企業 SSD 和面向 AI 伺服器的整體記憶體組合。

伺服器 DRAM 的需求場景主要包括:

場景 DRAM 作用 需求變化
AI 訓練前處理 清洗、切分、快取訓練資料 資料規模越大,記憶體越緊張
線上推理服務 請求調度、batching、上下文管理 併發越高,記憶體配置越高
RAG 與向量資料庫 索引快取、查詢加速 企業資料接入增加記憶體需求
多租戶雲服務 容器、虛擬化、隔離 需要更高容量與穩定性
CPU-GPU 協同 資料搬運、協議棧、服務編排 系統側記憶體壓力上升

後續還要關注 CXL、記憶體池化和更大容量模組。CXL 的意義在於把記憶體擴展從單機主機板限制中解放出來,讓資料中心可以更靈活配置記憶體資源。它不會立刻取代傳統 DRAM,但可能改變伺服器記憶體的採購結構:一部分高頻任務繼續使用本地 DRAM,一部分容量擴展任務透過 CXL 記憶體池或新型模組實現。

伺服器 DRAM 的投資邏輯與 HBM 不同。HBM 更像高壁壘、高 ASP、高客戶集中度產品;伺服器 DRAM 則覆蓋更廣,受 AI 推理、通用伺服器、企業 IT 支出和雲廠商資本開支共同影響。它的彈性可能不如 HBM 極端,但持續性更依賴 AI 推理能否真正從少數超大模型平台擴散到企業應用。

小結:伺服器 DRAM 受 AI 推動的原因,是 AI 伺服器並非只有 GPU 在工作。CPU 側調度、資料預處理、向量檢索、快取管理、推理服務框架和企業私有雲部署,都需要更大容量、更高效能的系統記憶體。HBM 解決 GPU 內部頻寬,伺服器 DRAM 解決系統側承載,兩者是分工關係。判斷伺服器 DRAM 需求時,不能只看訓練叢集,還要看推理服務部署、RAG 應用、企業 AI 私有化、雲端廠商伺服器更新和 CXL 等新架構變化。

企業 SSD 在 AI 伺服器中負責哪些任務?

企業 SSD 在 AI 伺服器中的核心任務,是承接高頻讀寫、熱資料、模型載入、checkpoint、向量檢索和部分推理快取。它不像 HBM 那樣直接貼近 GPU,也不像 HDD 那樣主打低成本容量,而是位於「速度與容量之間」的關鍵層。AI 推理、RAG 和 agentic AI 越發展,企業 SSD 在資料路徑中的存在感越強。

訓練階段,SSD 經常用於讀取訓練樣本、寫入 checkpoint、保存中間結果和支援任務恢復。大型訓練任務執行時間長,一旦中斷,需要從 checkpoint 快速恢復;如果儲存系統寫入慢,不只影響恢復,還可能拖慢訓練節奏。推理階段,SSD 的作用進一步擴大:模型權重載入、embedding index、向量資料庫、使用者上下文、檢索結果快取,都可能依賴低延遲 NVMe SSD。

TrendForce 在 AI to Reshape the Global Technology Landscape 中提到,QLC SSD 正在被用於 warm 和 cold AI data storage layers,例如模型 checkpoint 和資料集歸檔,並預計到 2026 年 QLC SSD 將佔企業 SSD 市場約 30%。這說明企業 SSD 的增長不僅來自高效能 TLC 產品,也來自更強調容量成本的 QLC 產品。

更值得關注的是 KV cache。長上下文推理和多輪對話會讓 KV cache 快速膨脹,GPU HBM 和主機 DRAM 都可能不夠用。TrendForce 在 enterprise SSD market 觀察中指出,AI Agent 服務和 CSP 採購需求推動企業 SSD 收入創新高,並提到 DRAM 成本與容量限制正促使市場把高效能 SSD 納入記憶體層級。學術界也在研究 SSD-backed KV cache,例如 Tutti 將 NVMe SSD 引入長上下文 LLM serving,以緩解 HBM 與 DRAM 容量限制。

企業 SSD 內部也要分層看:

SSD 類型 優勢 更適合場景 注意點
高效能 TLC SSD 低延遲、高耐久 線上資料庫、RAG、熱資料 成本較高
QLC SSD 容量大、成本更低 checkpoint、資料集、warm data 寫入耐久需評估
SCM / XL-FLASH 類 SSD 延遲更低 KV cache、GPU direct storage 生態和成本仍在演進
一般消費級 SSD 成本低 非關鍵本地任務 不適合高強度企業負載

你在分析企業 SSD 需求時,要區分「效能型需求」和「容量型需求」。效能型需求來自低延遲推理、向量資料庫和快取;容量型需求來自訓練集、checkpoint、多媒體素材和企業資料湖。兩類需求都會受 AI 拉動,但對應產品、利潤率和供應商不同。

小結:企業 SSD 是 AI 儲存層級中最容易被低估的一層。它不如 HBM 與 GPU 綁定得直接,也不如 HDD 在容量成本上明顯,但它承擔了熱資料、checkpoint、模型載入、RAG 檢索和部分 KV cache 的任務。AI 從訓練走向大規模推理後,SSD 的價值會從「資料存放設備」轉向「推理服務路徑的一部分」。分析時應把 TLC、QLC、SCM、近線 SSD 分開看,分別對應低延遲、高耐久、容量成本和新式記憶體層級擴展需求。

HDD 為什麼仍然是 AI 資料中心的容量基座?

HDD 仍然是 AI 資料中心的容量基座,因為不是所有資料都需要放在 SSD 或記憶體裡。原始訓練資料、圖片、影片、語音、日誌、備份、合規留存和歷史版本,大量屬於 warm data 或 cold data,更看重 $/TB、可靠性和規模化部署成本。AI 資料越多,HDD 的低成本容量價值越清晰。

AI 時代並沒有讓 HDD 消失,而是讓 HDD 的位置更明確。SSD 負責熱資料和低延遲存取,HDD 負責海量資料湖和長期保存。尤其是多模態模型和企業私有資料接入,會產生大量非結構化資料。如果所有資料都放在 SSD 上,成本、功耗和機櫃密度都會成為問題。

Western Digital 的 The Long-Term Case for HDD Storage 強調,資料中心選擇儲存時會綜合考慮 TCO、採購成本、功耗、密度、效能和生命週期,並引用 IDC 判斷 SSD 相對 HDD 存在 5–10 倍 $/TB 溢價。這個差距解釋了為什麼 hyperscale 資料中心即使大量採購 SSD,也不會把 HDD 從容量層完全移除。

Seagate 也在 30TB drives 發布中把高容量硬碟與 AI 資料中心、資料主權和混合資料中心投資聯繫起來。高容量 nearline HDD、HAMR、UltraSMR 等路線,本質上都是圍繞一個目標:在同樣機櫃、能耗和維護條件下,提高可用容量密度,降低長期資料保存成本。

SSD 與 HDD 的分工可以這樣理解:

維度 企業 SSD 企業 HDD
核心優勢 延遲低、IOPS 高 $/TB 低、容量大
主要資料 熱資料、索引、快取 資料湖、備份、歸檔
AI 場景 推理、RAG、checkpoint 訓練素材、多模態資料
成本敏感度 中高 極高
替代關係 替代部分高頻 HDD 場景 保留大容量底層角色

HDD 的風險也要看清。QLC SSD 容量變大後,會替代部分近線 HDD 場景;如果 AI 資料中心更看重功耗和讀取速度,SSD 會搶走一部分 warm data。但只要 AI 繼續製造海量非結構化資料,HDD 仍有難以替代的經濟性。

小結:HDD 在 AI 資料中心中的價值,不是速度,而是大規模容量的經濟性。AI 訓練、多模態資料、企業資料湖、日誌、備份和合規歸檔,會不斷產生不需要即時存取但必須長期保存的資料。SSD 會在熱資料和部分 warm data 場景中擴大份額,QLC SSD 也會侵蝕部分 HDD 場景,但 HDD 依然承擔容量底座角色。判斷 HDD 產業鏈時,應重點看 hyperscale 客戶訂單、高容量 nearline 產品、HAMR 進展、長期採購協議、庫存水平和單位容量成本。

如何判斷 AI 儲存需求是短期週期還是長期趨勢?

判斷 AI 儲存需求,要把長期資料增長和短期價格週期分開。長期看,訓練資料、多模態內容、推理快取、企業私有資料和資料主權都會增加儲存容量;短期看,儲存價格可能受產能轉移、客戶提前鎖單、庫存修正和資本開支節奏影響。需求真實存在,不代表價格和股價會線性上漲。

儲存行業天然具有週期屬性。過去 DRAM、NAND 和 HDD 都經歷過「漲價—擴產—庫存—降價」的循環。AI 改變的是需求結構和客戶鎖單強度,但並沒有消除週期。Reuters 報道科技巨頭提高資料中心和 AI 基建資本開支時,提到 data storage firms 受 AI 資料需求提振,Western Digital 和 Seagate 的訂單與市場預期明顯改善。但如果雲廠商 capex 放緩,或者客戶前期囤貨過多,後續也可能出現庫存調整。

你可以用以下清單跟蹤 AI 儲存需求:

觀察維度 重點指標 對應品類
雲廠商 capex 資料中心、GPU 叢集、機架級系統投資 HBM、DRAM、SSD、HDD
GPU 平台路線圖 單 GPU HBM 容量、頻寬、交付節奏 HBM
推理部署 長上下文、並發量、RAG 應用 DRAM、SSD
企業 AI 私有資料接入、本地部署、合規儲存 SSD、HDD
儲存價格 DRAM、NAND、enterprise SSD 合約價 DRAM、SSD
HDD 訂單 nearline HDD、長期採購協議 HDD
庫存水準 客戶庫存、通路庫存、供應商庫存 全品類

中段還要加入交易成本視角。如果你關注 AI 儲存產業鏈相關美股,例如記憶體、硬碟、半導體設備、伺服器和資料中心公司,除了研究財報和訂單,也要留意實際交易成本。美股交易成本通常不只包括佣金,還可能包括平台費、外部機構費、交易活動費等。Biya 美股交易費用 說明中,美股交易佣金為 0 美元,平台費、外部機構費及其他費用以費用中心和訂單頁面展示為準。相關服務是否可用,取決於用戶所在地、身分驗證結果、平台規則及適用法律法規;公開市場資訊和費用結構不構成投資建議。

風險側同樣重要。AI capex 若過度前置,儲存廠商可能短期業績亮眼,但中期面臨訂單放緩;HBM 擴產如果快於需求,價格彈性會下降;QLC SSD 可能替代部分 HDD;CXL 與記憶體池化可能改變伺服器 DRAM 採購結構;客戶長期協議能降低波動,但也可能限制價格繼續上行空間。

小結:AI 儲存需求既有長期趨勢,也有短期週期。長期趨勢來自資料規模、推理部署、多模態內容、企業 AI 和資料主權;短期週期來自產能分配、漲價節奏、庫存水準、客戶鎖單和資本開支波動。對投資者來說,最重要的是不要把「需求增長」直接等同於「所有儲存公司都會持續受益」。不同公司在 HBM、DRAM、NAND、企業 SSD、HDD 和設備環節的敞口不同,利潤彈性、估值水準和週期風險也不同。更穩妥的分析方式,是把品類、客戶、產能、訂單和價格分開追蹤。

如果你關注 AI 伺服器產業鏈,可以把儲放放進更完整的觀察框架:上游看 HBM、DRAM、NAND、HDD 和先進封裝,中游看伺服器、交換機、液冷、電源和資料中心建設,下游看雲廠商 capex、企業 AI 部署和推理調用量。你也可以用 美股資訊查詢 追蹤相關公司行情、財報時間和基礎資訊,再結合 Biya 記錄多資產交易、匯率成本和帳單明細。若所在地區符合服務適用條件,使用前應查看平台規則、訂單費用和當地監管要求;儲存產業鏈波動較大,任何交易決策都應建立在獨立判斷和風險承受能力之上。

FAQ

AI 伺服器為什麼同時需要 HBM 和伺服器 DRAM?

AI 伺服器同時需要 HBM 和伺服器 DRAM,因為兩者服務不同計算層。HBM 靠近 GPU,負責模型權重、激活值和 KV cache 的高速存取;伺服器 DRAM 靠近 CPU,負責調度、快取、資料庫、推理服務框架和系統管理。兩者不是替代關係,而是 GPU 側與系統側分工。

企業 SSD 在 AI 推理中有什麼作用?

企業 SSD 在 AI 推理中主要負責模型載入、熱數據讀取、向量檢索、RAG 數據存取、checkpoint 和部分 KV cache 場景。低延遲、高 IOPS 和穩定寫入能力會影響推理服務體驗,但具體配置取決於模型大小、並發量、上下文長度和系統架構。

HDD 為什麼沒有被 SSD 完全替代?

HDD 沒有被 SSD 完全替代,是因為 AI 數據中心仍需要低成本、大容量的存儲底座。SSD 更適合熱數據和低延遲任務,HDD 更適合數據湖、訓練素材、日誌、備份和歸檔。兩者在分層存儲架構中互補,而不是簡單替代。

QLC SSD 適合哪些 AI 數據中心場景?

QLC SSD 更適合容量敏感、訪問頻率中等的 AI 數據中心場景,例如模型 checkpoint、數據集歸檔、warm data、部分對象存儲和近線數據層。高寫入、高耐久、低延遲任務仍需評估 TLC SSD、SCM SSD 或其他企業級方案。

投資者如何跟蹤 AI 存儲需求變化?

投資者可以跟蹤雲廠商 capex、AI 服務器出貨、HBM 供應協議、DRAM/NAND 合約價、企業 SSD 收入、高容量 HDD 訂單和庫存水平。單一漲價新聞不足以判斷長期趨勢,應結合財報、產能、客戶結構和估值風險綜合分析。

AI 存儲需求增長是否一定利好所有存儲公司?

AI 存儲需求增長不一定利好所有存儲公司。不同公司在 HBM、服務器 DRAM、NAND、企業 SSD、HDD、控制器和設備環節的敞口不同,利潤彈性也不同。還要看客戶集中度、產能擴張、成本控制、庫存位置和當前估值水平。

*本文僅供一般資訊參考,不構成來自 BiyaPay 或其子公司及關聯公司的法律、稅務或其他專業建議,也無意取代向財務顧問或任何其他專業人士尋求建議。

對於本出版物內容的準確性、完整性或及時性,我們不作任何明示或暗示的陳述或保證。

關於的相關部落格

選擇國家或地區以閱讀本地部落格