HBMとは何か？なぜAIサーバーはHigh-Bandwidth Memoryに依存するのか

HBMは、複数層のDRAMを積層し、超広帯域インターフェースを通じてGPU、AI ASIC、その他のコンピュートチップに接続する高帯域幅メモリの一種です。AIサーバーがHBMに依存するのは、通常のメモリが完全に不足しているからではなく、大規模モデルのトレーニング、長いコンテキストの推論、高同時実行性のサービスには、より高いメモリ帯域幅、容量、エネルギー効率、より短いパッケージング距離が必要だからです。HBMを理解すれば、NVIDIA、AMD、SK hynix、Samsung、MicronなどのAIチップおよびメモリ企業の背後にある競争の論理をより深く理解できるようになります。

重要なポイント

• HBMは依然としてDRAMの一種ですが、3D積層アーキテクチャを使用しています。
• HBMの高い帯域幅は、超ワイドなインターフェースと短い接続距離によるものです。
• AIサーバーは、GPUのメモリウォール問題を緩和するためにHBMを使用しています。
• HBMの容量は、モデルサイズ、コンテキスト長、推論の同時実行数に影響を与えます。
• HBM製造のボトルネックには、歩留まり、パッケージング、テスト、熱制御が含まれます。
• HBM3EとHBM4は、複数のAIプラットフォーム世代にわたって共存する可能性が高いでしょう。

HBMとは何か、そしてその構造は通常のメモリとどう違うのか？

HBMはHigh Bandwidth Memory(高帯域幅メモリ)の略です。依然としてDRAMの一種ですが、その構造は通常のサーバーメモリモジュールとは異なります。HBMは複数のDRAMダイを垂直に積み重ね、TSVなどの垂直配線を通じてそれらを接続し、GPUやAIアクセラレータと共にパッケージ化します。その主な役割は長期的なデータ保存ではなく、計算中のモデルパラメータ、アクティベーション、キャッシュ、中間結果を高速に供給することです。

一般的なDDRメモリは通常、サーバーのマザーボードに搭載され、CPU、オペレーティングシステム、データベース、汎用ワークロードに対応します。HBMはGPUやAI ASICにはるかに近い位置にあり、接続距離が短く、インターフェースが広くなっています。DDRはサーバーの大容量メインメモリと考えることができ、一方HBMはコンピュートチップの近くにある高速データ供給層です。どちらも重要ですが、それぞれ異なる役割と性能目標を持っています。

HBMは、複数のDRAMダイ、ベースダイ、TSV、マイクロバンプ、インターポーザ、およびパッケージ基板で構成されています。TSVはシリコンを貫通して異なるDRAM層を接続する垂直チャネルです。インターポーザはGPUとHBM間の高密度インターコネクトを提供します。HBM4規格において、JEDECはインターフェース幅を2048ビットに拡張し、AIおよびHPCによるより高い帯域幅、より大容量、より優れた電力効率への要求に応えています。

HBMの「High Bandwidth（高帯域幅）」は、単に周波数を高めることから来るものではありません。それは、はるかに広いデータチャネルによって総スループットを増加させることで実現されています。GDDRはピンあたりの高速化に依存することが多いのに対し、HBMはより多くの並列チャネルを通じてデータを転送します。この設計は、厳しい電力およびスペースの制約があるAIアクセラレータにより適しています。GPU周辺のパッケージ面積は限られており、メモリチップを無限に広げることはできないからです。

もう一つのよくある誤解を解消しておく必要がある。HBMはSSDではなく、NANDフラッシュでもない。通常のDRAMと同様に、HBMは揮発性メモリであり、電源が切れた後はデータを保持できない。また、サーバーにおいてDDRメモリを完全に置き換えることもできない。HBMは通常GPUと一緒にパッケージ化されており、高価で、容量当たりのコストが高く、容易に拡張できないためである。むしろ、演算チップが即座に必要とする高価値データを格納することに適している。

概要: HBMは高性能コンピューティング向けに設計されたスタック型DRAM技術です。複数のDRAM層、TSV、ベースダイ、インターポーザー、先進的なパッケージング技術を通じて、メモリをGPUの近くに配置し、超ワイドなインターフェースによって極めて高いデータスループットを実現します。HBMと一般的なDDRの違いは、一方が先進的でもう一方が時代遅れというものではなく、システム内で異なる役割を担っているという点にあります。DDRは一般的なシステムメモリを担当し、HBMはAIアクセラレータの近くで高速なデータ供給を行います。このことを理解すれば、AIチップの発表で常にHBMの容量、帯域幅、世代が強調される理由が見えてきます。

なぜAIサーバーはHBMに依存するのか?

AIサーバーがHBMに依存するのは、GPUの演算能力が従来のメモリが演算ユニットにデータを供給できる速度をはるかに超えて成長したためです。データがGPUに継続的に入力されなければ、多くの演算コアがメモリを待つことになり、高価なAIアクセラレータがフル負荷で動作できなくなります。このボトルネックは「メモリウォール」と呼ばれることが多いです。HBMは演算能力を直接生み出すわけではありませんが、GPUが十分なデータを継続的に受け取れるかどうかを決定します。

大規模モデルの学習では、モデルの重み、アクティベーション、勾配、オプティマイザの状態を繰り返し読み書きします。モデルが大きくなるほどパラメータや中間データが増え、メモリの帯域幅と容量への依存が強まります。推論もまた負荷が高く、特にロングコンテキストモデル、推論モデル、マルチターンの会話、高同時実行のリクエストによってKV Cacheが拡大する場合には顕著です。NVIDIAは Blackwell Ultra の紹介において、288GBのHBM3Eがロングコンテキスト、数兆パラメータ規模のモデル、そして高同時実行の推論にとって極めて重要であると強調しています。これは、AIアクセラレータの競争が計算性能のみならず、メモリシステムへと拡大していることを示しています。

トレーニング中において、HBMの第1の価値はGPUの利用率向上です。GPUは大規模な並列計算に優れていますが、データが継続的に供給される場合に限られます。HBMの帯域幅が不十分な場合、行列演算ユニットが待機状態になり、理論上のFLOPSを実際のスループットとして十分に発揮できなくなることがあります。第2の価値はモデル分割の削減です。モデルやトレーニング状態が1つのGPUのHBMに収まらない場合、複数のGPUに分割する必要があり、通信、同期、スケジューリングの複雑さが増大します。第3の価値はエネルギー効率です。データの移動自体が多大な電力を消費します。HBMはGPUの近くに配置されているため、比較的抑制された消費電力の下でスループットを向上させることができます。

HBMは推論においてますます重要になっています。以前の段階では、多くの人々がトレーニングはHBMへの依存度が高い一方、推論は主に計算コストの問題だと考えていました。しかし、ロングコンテキストやエージェントアプリケーションの登場により、その見方は変わりました。KV Cacheはコンテキスト長、同時ユーザー数、生成長に伴って増大し、HBMを占有し続けます。NVIDIA H200は141GBのHBM3Eと4.8TB/sのメモリ帯域幅を搭載しており、AMD Instinct MI325Xは256GBのHBM3Eと最大6TB/sのピークメモリ帯域幅を備えています。これらの仕様が示すように、AIアクセラレータベンダーは演算性能を高めるだけでなく、メモリ容量と帯域幅も増強しています。

HBMはAIサーバーの総所有コストにも影響を与えます。メモリのボトルネックのためにGPUが性能の一部しか発揮できない場合、クラウドプロバイダーは同じタスクを完了するためにより多くのGPUを購入する必要があります。対照的に、より大きなHBM容量とより高い帯域幅は、単一GPUのスループットを向上させ、トークンあたりまたはトレーニングタスクあたりのインフラストラクチャコストを下げる可能性があります。もちろん、実際のコストはモデルアーキテクチャ、精度、並列化戦略、ネットワークインターコネクト、ソフトウェアの最適化にも依存するため、HBMを唯一の変数と見なすべきではありません。

概要: AIサーバーにHBMが必要なのは、大規模モデルの計算がデータ供給によってますます制約されるようになっているからです。学習ではGPUの利用率を向上させるための帯域幅と、モデルの分割を減らすための容量が必要です。推論ではレイテンシを低減するための帯域幅と、KV Cache、長いコンテキスト、同時リクエストを支えるための容量が必要です。HBMが不足していると、GPUの利用率低下、GPU間通信の増加、推論レイテンシの長期化、単位サービスあたりのコスト増加に直面する可能性があります。HBMはAIチップの副次的な仕様ではなく、AIサーバーの効率を決定する中核的なシステムリソースなのです。

HBM、DDR、GDDRの違いとは？

HBM、DDR、GDDRはいずれもDRAM技術に基づいていますが、それぞれ異なる位置づけと目標を持っています。HBMはパッケージ内での極めて高い帯域幅とエネルギー効率に重点を置いています。DDRは汎用的な容量、標準化、スケーラビリティに重点を置いています。GDDRは比較的抑えられたコストでグラフィックスカード上の高帯域幅に重点を置いています。AIサーバーは通常、単一種類のメモリのみに依存するのではなく、HBM、DDR、およびその他のストレージ階層が連携して動作することを可能にしています。

サーバー向けDDR5は通常、マザーボード上のメモリスロットに搭載され、CPU、オペレーティングシステム、データベース、データ前処理、汎用コンピューティングタスクに対応します。一方、HBMはGPUやAI ASICの近くにパッケージングされ、アクセラレータが現在処理しているデータに対応します。AIサーバーに複数のGPUが搭載され、各GPUが大容量のHBMを備えていても、サーバーにはCPUタスク、ネットワークスタック、スケジューリングシステム、データ準備のために、システム用DDRメモリが依然として必要です。

GDDRは、コンシューマー向けGPU、ワークステーション向けグラフィックスカード、および一部のアクセラレーターカードでより一般的に使用されています。通常はPCB上でGPUの周囲に配置され、ピンあたりの速度を高めることで高い帯域幅を実現します。GDDRと比較して、HBMはより広いインターフェース、優れた電力効率、より密なパッケージングを備えていますが、その一方でコストと製造の複雑さがはるかに高くなります。これが、ゲーミングGPUでは引き続きGDDRが使用されるのに対し、最上位のAIアクセラレーターではHBMが採用される可能性が高い理由です。

HBMはDDRを完全に置き換えることはできません。その理由は明白です。HBMは高価であり、パッケージング後にDIMMのように容易に拡張できず、その容量コストはシステムメモリ全体を担うには適していません。AIサーバーにおける大量のデータ前処理、ファイルキャッシング、CPU推論、データベース、システムスケジューリングなどは、依然としてDDRを必要とします。HBMは、GPUが現在使用している高価値データを保存することに適しており、サーバー内のすべてのデータをHBMに格納するためのものではありません。

HBMがGDDRを完全に置き換えることもありません。コンシューマー向けGPUや多くのワークステーション用途はコストに敏感であり、ほとんどのゲーム、レンダリング、軽量なAIワークロードは、必ずしもHBMレベルの帯域幅やパッケージングコストを必要としません。性能、エネルギー効率、パッケージ密度の向上がコストに見合う場合にのみ、HBMの採用がより合理的になります。AMD、NVIDIA、その他のベンダーの製品ラインにおいて異なるメモリソリューションが使われているのは、本質的に性能、コスト、消費電力、市場ポジショニングの間のトレードオフなのです。

要約: HBM、DDR、GDDRは単純に相互に置き換えるものではなく、役割分担をしています。DDRは汎用システムメモリに適しており、GDDRはコスト感度がより高いグラフィックスやGPUの用途に適しており、HBMは最高の帯域幅、容量、エネルギー効率が必要なAIおよびHPCチップに適しています。AIサーバーにおいて、HBMはGPU付近での高速データ供給を担い、DDRはマシン全体のシステムメモリを担い、SSDとHDDはより遠い層でのデータストレージを担当します。効率的なAIインフラは、単一のメモリタイプを積み重ねるだけではなく、メモリとストレージの各層の連携に依存しています。

HBMはどのように製造され、なぜ高価で増産が難しいのか？

HBMが高価で増産が遅いのは、DRAMウェハーの費用がかさむだけではなく、良品と確認された複数のダイを薄く削り、エッチングし、積み重ね、接合し、パッケージングし、テストし、その後システムレベルでGPUとともに検証する必要があるためです。チップの層、接続、パッケージング工程のいずれかに問題が発生すると、HBMスタック全体の歩留まりに影響が及びます。ウェハー容量を増やしても、販売可能なHBMが同じペースで増えるわけではありません。

HBMの製造は通常、先端DRAMウェーハから始まります。メーカーはまずDRAMダイを製造し、次にウェーハの薄化とTSV形成を行い、その後スタッキングに適したダイを選別します。その後、複数のダイを精密に位置合わせし、接合してベースダイに接続し、完全なHBMスタックを形成する必要があります。さらに、そのスタックをGPU、インターポーザ、パッケージ基板と統合した上で、電気試験、熱試験、信頼性試験、そして顧客のプラットフォーム認定を経なければなりません。

CoWoSはHBMと一緒に語られることが多いですが、これはハイエンドAI GPUが通常、GPUと複数のHBMスタックを同じモジュール内に搭載するために先進的なパッケージング技術を必要とするからです。TSMCのCoWoSは、インターポーザーを使用してロジックチップとHBMを統合する2.5Dパッケージング技術であり、ハイパフォーマンスコンピューティング向けに高密度な相互接続を提供します。これらの概念は明確に区別する必要があります。HBMはメモリであり、CoWoSはパッケージングプラットフォームであり、GPUは演算チップです。これらが一体となって、AIアクセラレータモジュールを構成します。

HBMは製造リソースをより多く消費するため、スケールさせることが困難です。ハイエンドAIアクセラレータには複数のHBMスタックが搭載されることがあり、各スタックには複数のDRAMダイが必要です。通常のDRAMと比較して、HBMはウェハー、パッケージング、テスト、および材料のリソースをより多く消費します。SK hynixの2026年メモリ市場展望では、HBM3EとHBM4がAIメモリ需要の重要な方向性であり続ける一方、供給能力はキャパシティ、歩留まり、顧客検証に依存することも指摘されています。

熱制御ももう一つの課題です。HBMは3Dスタック構造を採用しているため、内部ダイからの熱が放散しにくくなっています。積層数が多くなるほど帯域幅は高くなり、電力密度も高くなるため、熱管理の重要性はますます高まります。将来のHBM競争は、帯域幅と容量だけでなく、材料、ベースダイ設計、パッケージ構造、冷却ソリューション、システムレベル設計にも及ぶでしょう。

HBMサプライチェーン企業をフォローするなら、技術力の優位性だけでなく、実際の取引コストにも目を向ける必要があります。公開市場では、Micron、NVIDIA、AMD、Marvell、Seagate、Western Digitalなど米国上場企業が、AIメモリ、チップ、またはデータセンターに関連しています。Biyaを通じて関連資産をトラッキングする際は、企業の決算、顧客認定、資本支出、バリュエーションにも注目すべきです。Biyaは米国株取引の手数料を0ドルとしていますが、プラットフォーム手数料、外部機関手数料、その他の費用については、米国株取引手数料および注文の表示をご確認ください。公開市場の情報は投資助言を構成するものではありません。サービスの利用可否は、ユーザーの所在地、本人確認の結果、プラットフォームのルール、および適用される法令によって異なります。

要約: HBMの希少性は、単一の製造工程ではなく、サプライチェーン全体に由来します。それは、先進DRAM、TSV、積層ボンディング、ベースダイ、インターポーザー、先進パッケージング、試験認定、熱管理がともに成熟することを必要とします。ウェハーの増産は問題の一部しか解決しません。出荷量を真に左右するのは、歩留まり、パッケージング能力、顧客認定、そしてシステムの信頼性です。これが、HBMの平均販売価格とマージンが通常のDRAMより高いことが多い理由です。その高価格は、需要の強さだけによるものではなく、メモリ、パッケージング、AIアクセラレータの設計を結びつけていることにも起因しています。

HBM3EとHBM4はどのように進化しており、今後の競争は何にかかっているのか?

HBMはHBM3EからHBM4へと移行しつつありますが、新旧製品が瞬時に切り替わるわけではありません。より現実的な状況は、HBM3Eが多くの既存のAIアクセラレータで引き続き使用され、HBM4が次世代GPUやAI ASICとともに拡大し、HBM4EとカスタムHBMが顧客検証の段階に入るというものです。今後の競争は、単に誰がより多くの生産能力を持っているかではなく、帯域幅、容量、歩留まり、顧客認定、パッケージングリソース、資本支出の規律のバランスを誰が取れるかにかかっています。

HBMの世代交代は主に4つの方向へ進んでいます。より高い帯域幅、より大容量、より優れた省エネルギー性能、そしてより強力なカスタマイズ性です。MicronのHBM4資料によると、HBM4は2048ビットインターフェースを採用し、AIおよびHPC向けに高い帯域幅と容量を実現するように設計されています。SamsungがHBM4の量産出荷を発表した際、同社のHBM4は11.7Gbpsの安定した転送速度を達成し、さらに13Gbpsまで強化できると述べました。同社のHBM4Eショーケースでは、Samsungはピンあたり16Gbpsおよび4.0TB/sの帯域幅についても言及しており、競争の次の段階がAIアクセラレータのデータボトルネックをめぐって引き続き展開されることを示しています。

HBM4における重要な変化のひとつは、ベースダイがシステムレベルのカスタマイズに近づいていることです。従来、HBMはむしろ標準化されたメモリ製品のように見えていました。今後、HBMはGPUベンダー、ASIC設計者、メモリメーカー、ファウンドリが共同で定義するシステムコンポーネントへと、ますます変化していく可能性があります。顧客は、インターフェースプロトコル、電源管理、パッケージサイズ、シグナルインテグリティ、放熱経路、データアクセス方法において、より深い最適化を求めるかもしれません。これにより技術的ハードルが上がると同時に、有力顧客と有力HBMサプライヤーの結びつきが一層強まる可能性もあります。

HBMメーカーの競争力を判断するには、以下の8つの指標を追跡するとよいでしょう：

• HBM3E、HBM4、HBM4Eの量産時期。
• NVIDIA、AMD、およびカスタムASIC顧客による認定の状況。
• 8-Hi、12-Hi、およびそれ以上のスタック製品における製品ミックス。
• DRAM事業に占めるHBM収益の割合。
• 歩留まりと粗利益率がともに改善するかどうか。
• 長期注文が新設備の生産能力をカバーするかどうか。
• CoWoS、基板、テストのリソースが十分かどうか。
• 資本支出が将来の供給過剰につながる可能性があるかどうか。

個人投資家にとって、HBMは技術の問題であると同時に景気循環の問題でもあります。需要面では、AIのトレーニング、推論、クラウドプロバイダーの設備投資、およびカスタムASICの展開に注目しましょう。供給面では、SK hynix、Samsung、Micronの拡張計画、顧客認定、および歩留まりに注目しましょう。バリュエーションの面では、市場がすでに高成長の期待を織り込んでいるかどうかを検討する必要があります。関連する米国上場企業を追跡するには、米国株情報検索を利用して基本情報を確認し、その後、決算報告、製品発表、受注状況の変化と突き合わせて確認するとよいでしょう。適用されるサービス条件を満たすユーザーは、Appをダウンロードして、注文手数料やリスク開示内容を確認することもできます。

要約：HBM競争の次の段階は、純粋なメモリのスペック競争から、メモリ、ロジックチップ、先進パッケージングを横断するシステムレベルの戦いへと移行します。HBM3Eは引き続き多くの既存プラットフォームを支え、HBM4はより広いインターフェース、より高い帯域幅、より強力なカスタマイズ性をもって次世代AIアクセラレータに対応します。メーカーが長期的なリターンを生み出せるかどうかは、顧客認証、量産歩留まり、パッケージングリソース、製品ミックス、そして設備投資の規律にかかっています。業界の高い成長は、関連企業の利益や株価が必ずしも連動して上昇することを意味しません。投資家は依然として最新の決算、需給サイクル、バリュエーションを考慮する必要があります。

HBMを理解すると、AIチップのサプライチェーンがより明確に見えてきます。NVIDIAやAMDのアクセラレータについては、演算性能だけでなく、HBMの容量と帯域幅にも注目すべきです。SK hynix、Samsung、Micronにとって、競争はメモリの出荷量だけではなく、顧客認定、歩留まり、HBM収益の構成比にも及びます。TSMCをはじめとする先端パッケージングのプレイヤーも、最終的な供給ペースに影響を与える可能性があります。個人投資家にとって、HBMサプライチェーンを追跡するということは、技術のアップグレード、設備投資、製品認定、メモリ価格、取引コストを同じフレームワークの中に置くことを意味します。市場の公開情報の分析は判断を支えるものであり、個人のリスク評価に取って代わるものではありません。すべての取引は、ご自身の資金計画、プラットフォームの規則、および現地の規制要件に基づいて行うべきです。

FAQ

HBMはDRAMですか、それとも独立したメモリ技術ですか?

HBMはDRAMの一種ですが、3Dスタッキング、TSV、超ワイドインターフェース、先進的なパッケージング技術を使用しています。その記憶原理はDDRと類似していますが、製品構造、接続方法、使用用途は異なります。主にGPU、AI ASIC、HPCアクセラレータ向けに使用されます。

AIサーバーはDDRなしでHBMだけを使えますか?

通常はできません。HBMは主にGPUやAIアクセラレータ向けであり、DDRはCPUのシステムメモリ、オペレーティングシステム、データ前処理、データベース、汎用タスクを担当します。AIサーバーでは、すべてのメモリ階層を一つのメモリタイプで置き換えるのではなく、HBMとDDRが連携して動作する必要があります。

HBMの容量が大きいほど、常にモデルは速く実行されますか?

一概には言えません。HBM容量が大きいほど、より大きなモデル、KVキャッシュ、バッチワークロードを扱えますが、実際の速度はHBM帯域幅、GPUの演算能力、モデルアーキテクチャ、ソフトウェアの最適化、精度の選択、マルチGPU間通信などの影響も受けます。容量だけで性能を判断することはできません。

AIサーバー内のHBMは個別にアップグレードできますか?

通常はできません。HBMはGPU、インターポーザー、パッケージ基板と高度に統合されているため、サーバーが出荷された後はメモリモジュールのように個別に交換することは困難です。より多くのHBMが必要な場合、ユーザーは通常、アクセラレータを交換するか、GPUを追加するか、モデルのデプロイ戦略を調整します。

なぜコンシューマー向けGPUはほとんどHBMを使用しないのですか?

主な理由はコストとパッケージングの複雑さです。ゲーミング、オフィス、クリエイター向け、軽量AIワークロードのほとんどは、HBMの高度なパッケージングコストを支払うことなく、GDDRやDDRで対応できます。HBMはハイエンドのAI、HPC、データセンター向けアクセラレータにより適しています。

HBMサプライチェーンにおける主なリスクは何ですか?

主なリスクには、AI設備投資の減速、顧客認定の遅れ、予想を下回る歩留まり、先進パッケージング容量の不足、熱の問題、そして増産後の供給過剰が含まれます。関連企業を評価する際、投資家は最新の決算報告、製品開示、プラットフォームの規則、および現地の規制要件を参照すべきです。