Apa itu HBM? Mengapa Server AI Bergantung pada Memori Berbandwidth Tinggi

Server AI dan infrastruktur memori bandwidth tinggi

HBM adalah jenis memori bandwidth tinggi yang menumpuk secara vertikal beberapa lapis DRAM dan menghubungkannya ke GPU, AI ASIC, dan chip komputasi lainnya melalui antarmuka yang sangat lebar. Server AI bergantung pada HBM bukan karena memori biasa sepenuhnya tidak memadai, tetapi karena pelatihan model besar, inferensi konteks panjang, dan layanan dengan konkurensi tinggi membutuhkan bandwidth memori, kapasitas, dan efisiensi energi yang jauh lebih tinggi, serta jarak pengemasan yang lebih pendek. Setelah memahami HBM, Anda dapat lebih memahami logika kompetitif di balik perusahaan chip AI dan memori seperti NVIDIA, AMD, SK hynix, Samsung, dan Micron.

Poin-Poin Penting

  • HBM tetap merupakan jenis DRAM, tetapi menggunakan arsitektur susunan 3D.
  • Bandwidth tinggi HBM berasal dari antarmuka yang sangat lebar dan jarak koneksi yang lebih pendek.
  • Server AI menggunakan HBM untuk mengurangi masalah dinding memori GPU.
  • Kapasitas HBM memengaruhi ukuran model, panjang konteks, dan konkurensi inferensi.
  • Hambatan manufaktur HBM mencakup yield, pengemasan, pengujian, dan kontrol termal.
  • HBM3E dan HBM4 kemungkinan akan hidup berdampingan selama beberapa generasi platform AI.

Apa Itu HBM, dan Bagaimana Strukturnya Berbeda dari Memori Biasa?

Memori berbandwidth tinggi HBM dan struktur pengemasan chip

HBM adalah singkatan dari High Bandwidth Memory. Ini masih merupakan bentuk DRAM, tetapi strukturnya berbeda dari modul memori server biasa. HBM menumpuk beberapa die DRAM secara vertikal, menghubungkannya melalui TSV dan interkoneksi vertikal lainnya, lalu mengemasnya bersama dengan GPU atau akselerator AI. Peran utamanya bukan untuk penyimpanan data jangka panjang, melainkan untuk pengiriman parameter model, aktivasi, cache, dan hasil perantara secara berkecepatan tinggi selama proses komputasi.

Memori DDR biasa biasanya dipasang pada motherboard server dan melayani CPU, sistem operasi, basis data, serta beban kerja serbaguna. HBM terletak jauh lebih dekat ke GPU atau AI ASIC, dengan jarak koneksi yang lebih pendek dan antarmuka yang lebih lebar. Anda dapat menganggap DDR sebagai memori utama berkapasitas besar pada server, sedangkan HBM adalah lapisan pasokan data berkecepatan tinggi yang berada dekat dengan chip komputasi. Keduanya penting, tetapi keduanya melayani posisi dan tujuan performa yang berbeda.

HBM terdiri dari beberapa die DRAM, die dasar, TSV, micro bump, interposer, dan substrat kemasan. TSV adalah kanal vertikal yang menembus silikon dan menghubungkan berbagai lapisan DRAM. Interposer menyediakan interkoneksi berkepadatan tinggi antara GPU dan HBM. Dalam standar HBM4, JEDEC memperluas lebar antarmuka menjadi 2048-bit untuk memenuhi kebutuhan AI dan HPC akan bandwidth yang lebih tinggi, kapasitas yang lebih besar, dan efisiensi energi yang lebih baik.

Komponen Lokasi Fungsi Utama Dampak pada Kinerja
DRAM Die Di dalam tumpukan HBM Menyimpan data selama operasi Menentukan kapasitas dan sebagian kecepatan
Base Die Bagian bawah tumpukan Mengelola antarmuka dan transfer sinyal Mempengaruhi efisiensi energi dan kustomisasi
TSV Melalui silikon Menghubungkan beberapa lapisan chip secara vertikal Meningkatkan efisiensi transfer data bertumpuk
Micro Bump Di antara lapisan chip Memungkinkan koneksi yang presisi Mempengaruhi yield dan reliabilitas
Interposer Di bawah GPU dan HBM Menyediakan interkoneksi berdensitas tinggi Menentukan skala paket dan bandwidth
Package Substrate Bagian bawah modul Menghubungkan modul akselerator Mempengaruhi pengiriman daya, pensinyalan, dan pendinginan

“Bandwidth Tinggi” dalam HBM tidak hanya berasal dari sekadar menaikkan frekuensi lebih tinggi. Bandwidth tersebut berasal dari peningkatan total throughput melalui kanal data yang jauh lebih lebar. GDDR sering mengandalkan kecepatan per-pin yang lebih tinggi, sementara HBM mentransfer data melalui lebih banyak kanal paralel. Desain ini lebih cocok untuk akselerator AI dengan keterbatasan daya dan ruang yang ketat, karena area paket di sekitar GPU terbatas dan chip memori tidak dapat disebar tanpa batas.

Kesalahpahaman umum lainnya perlu diperjelas: HBM bukanlah SSD dan bukan NAND Flash. Seperti DRAM biasa, HBM adalah memori volatil dan tidak dapat menyimpan data setelah daya mati. HBM juga tidak dapat sepenuhnya menggantikan memori DDR di server, karena HBM biasanya dikemas bersama dengan GPU, harganya mahal, kapasitasnya berbiaya tinggi, dan tidak mudah diperluas. HBM lebih cocok untuk menyimpan data bernilai tinggi yang langsung dibutuhkan oleh chip komputasi.

Ringkasan: HBM adalah teknologi DRAM bertumpuk yang dirancang untuk komputasi berkinerja tinggi. Melalui beberapa lapisan DRAM, TSV, die dasar, interposer, dan pengemasan tingkat lanjut, HBM membawa memori lebih dekat ke GPU dan memberikan throughput data yang sangat tinggi melalui antarmuka ultra-lebar. Perbedaan antara HBM dan DDR biasa bukanlah bahwa yang satu canggih dan yang lainnya usang, melainkan keduanya melayani posisi yang berbeda dalam sistem: DDR menangani memori sistem umum, sementara HBM menyediakan data berkecepatan tinggi di dekat akselerator AI. Setelah memahami hal ini, Anda dapat melihat mengapa peluncuran chip AI selalu menekankan kapasitas, bandwidth, dan generasi HBM.

Mengapa Server AI Bergantung pada HBM?

Server AI dan permintaan bandwidth memori GPU

Server AI bergantung pada HBM karena kemampuan komputasi GPU telah tumbuh jauh melampaui kecepatan memori tradisional dalam menyuplai data ke unit komputasi. Jika data tidak dapat terus-menerus masuk ke GPU, banyak core komputasi akan menunggu memori, sehingga akselerator AI yang mahal tidak dapat berjalan pada beban penuh. Kemacetan ini sering disebut "memory wall." HBM tidak secara langsung menciptakan daya komputasi, tetapi menentukan apakah GPU dapat terus-menerus menerima data yang cukup.

Pelatihan model besar membaca berulang kali bobot model, aktivasi, gradien, dan status optimizer. Semakin besar modelnya, semakin banyak parameter dan data perantara yang dimilikinya, dan semakin kuat pula ketergantungannya pada bandwidth dan kapasitas memori. Inferensi juga sangat menuntut, terutama ketika model konteks panjang, model penalaran, percakapan multi-putaran, dan permintaan konkurensi tinggi memperluas KV Cache. Dalam pengantarannya tentang Blackwell Ultra, NVIDIA menekankan bahwa 288GB HBM3E sangat penting untuk model konteks panjang dengan triliunan parameter serta inferensi konkurensi tinggi. Hal ini menunjukkan bahwa persaingan akselerator AI telah meluas dari sekadar komputasi ke sistem memori.

Selama pelatihan, nilai pertama dari HBM adalah meningkatkan utilisasi GPU. GPU sangat baik dalam komputasi paralel skala besar, tetapi hanya jika data terus-menerus dipasok. Jika bandwidth HBM tidak mencukupi, unit komputasi matriks mungkin menunggu, dan FLOPS teoretis tidak dapat sepenuhnya diterjemahkan menjadi throughput nyata. Nilai kedua adalah mengurangi partisi model. Ketika sebuah model atau status pelatihan tidak dapat dimuat di dalam HBM dari satu GPU, model tersebut harus dibagi ke beberapa GPU, sehingga meningkatkan kompleksitas komunikasi, sinkronisasi, dan penjadwalan. Nilai ketiga adalah efisiensi energi. Perpindahan data itu sendiri mengonsumsi daya yang signifikan. Karena HBM berada dekat dengan GPU, HBM dapat meningkatkan throughput dengan konsumsi daya yang relatif terkendali.

HBM semakin penting selama inferensi. Pada tahap-tahap awal, banyak orang berasumsi bahwa pelatihan lebih bergantung pada HBM, sementara inferensi terutama merupakan masalah biaya komputasi. Aplikasi konteks panjang dan agen telah mengubah pandangan tersebut. KV Cache tumbuh seiring dengan panjang konteks, jumlah pengguna bersamaan, dan panjang generasi, serta terus menduduki HBM. NVIDIA H200 dilengkapi dengan 141GB HBM3E dan bandwidth memori 4.8TB/s; AMD Instinct MI325X dilengkapi dengan 256GB HBM3E dan bandwidth memori puncak hingga 6TB/s. Spesifikasi ini menunjukkan bahwa para vendor akselerator AI tidak hanya menambah kapasitas komputasi, tetapi juga meningkatkan kapasitas dan bandwidth memori.

Beban Kerja AI Tekanan Data Utama Lebih Bergantung pada Bandwidth atau Kapasitas Peran HBM
Pelatihan pralatih model besar Bobot, gradien, aktivasi Bandwidth dan kapasitas Meningkatkan utilisasi GPU
Penyetelan instruksi Bobot model, status pelatihan Lebih sensitif terhadap kapasitas Mengurangi partisi model
Inferensi waktu nyata Pembacaan bobot, KV Cache Lebih sensitif terhadap bandwidth Mengurangi latensi generasi
Inferensi konteks panjang KV Cache skala besar Lebih sensitif terhadap kapasitas Menampung konteks lebih panjang
Layanan konkurensi tinggi Cache dan status multi-pengguna Bandwidth dan kapasitas Meningkatkan throughput per GPU
Model multimodal Fitur gambar, video, dan teks Bandwidth dan kapasitas Mendukung aliran data kompleks

HBM juga memengaruhi total biaya kepemilikan server AI. Jika sebuah GPU hanya dapat melepaskan sebagian kinerjanya karena hambatan memori, penyedia cloud perlu membeli lebih banyak GPU untuk menyelesaikan tugas yang sama. Sebaliknya, kapasitas HBM yang lebih besar dan bandwidth yang lebih tinggi dapat meningkatkan throughput per GPU dan menurunkan biaya infrastruktur per token atau per tugas pelatihan. Tentu saja, biaya riil juga bergantung pada arsitektur model, presisi, strategi paralelisme, interkoneksi jaringan, dan optimalisasi perangkat lunak, sehingga HBM tidak boleh dianggap sebagai satu-satunya variabel.

Ringkasan: Server AI membutuhkan HBM karena komputasi model besar semakin dibatasi oleh pasokan data. Pelatihan membutuhkan bandwidth untuk meningkatkan utilisasi GPU dan kapasitas untuk mengurangi partisi model. Inferensi membutuhkan bandwidth untuk mengurangi latensi dan kapasitas untuk mendukung KV Cache, konteks panjang, dan permintaan konkuren. Tanpa HBM yang cukup, GPU dapat mengalami utilisasi rendah, komunikasi antar-GPU yang lebih tinggi, latensi inferensi yang lebih lama, dan biaya layanan per unit yang lebih tinggi. HBM bukanlah spesifikasi sekunder dari chip AI; melainkan sumber daya sistem inti yang menentukan efisiensi server AI.

Apa Perbedaan antara HBM, DDR, dan GDDR?

Perbedaan antara chip HBM, DDR, dan GDDR serta memori

HBM, DDR, dan GDDR semuanya didasarkan pada teknologi DRAM, tetapi keduanya melayani posisi dan tujuan yang berbeda. HBM berfokus pada bandwidth yang sangat tinggi dan efisiensi energi di dalam kemasan. DDR berfokus pada kapasitas umum, standardisasi, dan skalabilitas. GDDR berfokus pada bandwidth tinggi pada kartu grafis dengan biaya yang relatif terkendali. Server AI biasanya tidak hanya mengandalkan satu jenis memori, tetapi memungkinkan HBM, DDR, dan lapisan penyimpanan lainnya bekerja bersama-sama.

Server DDR5 biasanya dipasang di slot memori pada papan induk dan melayani CPU, sistem operasi, basis data, praproses data, dan tugas komputasi tujuan umum. Sebaliknya, HBM dikemas dekat dengan GPU atau AI ASIC dan melayani data yang sedang diproses oleh akselerator. Bahkan jika sebuah server AI berisi beberapa GPU dan setiap GPU memiliki jumlah HBM yang besar, server tersebut tetap membutuhkan memori DDR sistem untuk tugas CPU, tumpukan jaringan, sistem penjadwalan, dan persiapan data.

GDDR lebih umum digunakan pada GPU konsumen, kartu grafis workstation, dan beberapa kartu akselerator. GDDR biasanya ditempatkan di sekitar GPU pada PCB dan mencapai bandwidth tinggi melalui kecepatan per-pin yang lebih tinggi. Dibandingkan dengan GDDR, HBM memiliki antarmuka yang lebih lebar, efisiensi energi yang lebih baik, dan pengemasan yang lebih rapat, tetapi juga memiliki biaya dan kompleksitas manufaktur yang jauh lebih tinggi. Inilah sebabnya GPU gaming biasanya terus menggunakan GDDR, sementara akselerator AI kelas atas lebih cenderung menggunakan HBM.

Dimensi Perbandingan HBM DDR5 GDDR
Lokasi Utama Dekat paket GPU/AI ASIC Motherboard server PCB kartu grafis
Tujuan Utama Bandwidth sangat tinggi dan efisiensi energi Kapasitas umum dan skalabilitas Bandwidth grafis dan GPU
Fitur Antarmuka Sangat lebar, jarak pendek Kanal memori terstandarisasi Kecepatan per-pin lebih tinggi
Tingkat Biaya Tertinggi Relatif lebih rendah Di antara HBM dan DDR
Kemampuan Upgrade Sebagian besar tetap setelah pengemasan Dapat diperluas melalui modul memori Biasanya tetap pada kartu grafis
Aplikasi Tipikal AI, HPC, GPU pusat data Server CPU, basis data GPU gaming, workstation

HBM tidak dapat sepenuhnya menggantikan DDR. Alasannya sederhana: HBM mahal, tidak mudah diperluas seperti DIMM setelah dikemas, dan biaya kapasitasnya tidak cocok untuk menampung seluruh memori sistem. Sejumlah besar pra-pemrosesan data, caching file, inferensi CPU, basis data, dan penjadwalan sistem di server AI masih memerlukan DDR. HBM lebih cocok untuk menyimpan data bernilai tinggi yang saat ini dibutuhkan GPU, bukan untuk memasukkan semua data di server ke dalam HBM.

HBM juga tidak akan sepenuhnya menggantikan GDDR. GPU konsumer dan banyak aplikasi workstation sangat sensitif terhadap biaya, dan sebagian besar beban kerja gaming, rendering, serta AI ringan tidak selalu memerlukan bandwidth setara HBM atau biaya pengemasan yang tinggi. HBM menjadi lebih masuk akal hanya ketika keuntungan dalam hal performa, efisiensi energi, dan kepadatan paket sepadan dengan biayanya. Penggunaan solusi memori yang berbeda-beda di seluruh lini produk AMD, NVIDIA, dan vendor lain pada dasarnya merupakan kompromi antara performa, biaya, konsumsi daya, dan penempatan pasar.

Ringkasan: HBM, DDR, dan GDDR tidak saling menggantikan begitu saja; mereka membagi tugas. DDR cocok untuk memori sistem umum, GDDR cocok untuk skenario grafis dan GPU yang lebih sensitif terhadap biaya, dan HBM cocok untuk chip AI dan HPC yang membutuhkan bandwidth, kapasitas, dan efisiensi energi tertinggi. Untuk server AI, HBM menyelesaikan pasokan data berkecepatan tinggi di dekat GPU, DDR menyelesaikan memori sistem untuk seluruh mesin, sementara SSD dan HDD menangani penyimpanan data di lapisan yang lebih jauh. Infrastruktur AI yang efisien bergantung pada koordinasi lapisan memori dan penyimpanan, bukan sekadar menumpuk satu jenis memori saja.

Bagaimana HBM Diproduksi, dan Mengapa Mahal serta Sulit Diskalakan?

HBM mahal dan lambat untuk diperluas bukan hanya karena wafer DRAM berharga mahal, tetapi juga karena prosesnya memerlukan beberapa die yang diketahui baik (known-good dies) untuk di-thinning, di-etch, ditumpuk, disambung (bonded), dikemas, diuji, dan kemudian divalidasi bersama GPU di tingkat sistem. Setiap masalah pada satu lapisan chip, sambungan, atau langkah pengemasan dapat memengaruhi yield dari seluruh tumpukan HBM. Peningkatan kapasitas wafer tidak berarti HBM yang dapat dijual meningkat dengan kecepatan yang sama.

Proses manufaktur HBM biasanya dimulai dari wafer DRAM canggih. Para produsen terlebih dahulu memproduksi die DRAM, kemudian melakukan penipisan wafer dan pembentukan TSV, lalu melakukan penyaringan terhadap die yang cocok untuk ditumpuk. Selanjutnya, beberapa die harus diselaraskan secara presisi, diikat, dan dihubungkan ke die dasar untuk membentuk satu tumpukan HBM yang lengkap. Tumpukan tersebut juga harus diintegrasikan dengan GPU, interposer, dan substrat kemasan, sebelum melalui pengujian listrik, pengujian termal, pengujian keandalan, dan kualifikasi platform pelanggan.

CoWoS sering muncul bersamaan dengan HBM karena GPU AI kelas atas biasanya membutuhkan pengemasan lanjutan untuk menempatkan GPU dan beberapa tumpukan HBM dalam modul yang sama. TSMC CoWoS adalah teknologi pengemasan 2.5D yang menggunakan interposer untuk mengintegrasikan chip logika dan HBM, menyediakan interkoneksi berdensitas tinggi untuk komputasi berkinerja tinggi. Konsep-konsep ini harus dipisahkan dengan jelas: HBM adalah memori, CoWoS adalah platform pengemasan, dan GPU adalah chip komputasi. Bersama-sama, ketiganya membentuk modul akselerator AI.

Tahap Manufaktur Tugas Inti Hambatan Umum Dampak pada Produk Akhir
Wafer DRAM Memproduksi chip memori Hasil proses tingkat lanjut Mempengaruhi kapasitas, kecepatan, dan biaya
Pembentukan TSV Membangun kanal vertikal Kesulitan etsa dan pengisian logam Mempengaruhi kualitas koneksi bertumpuk
Penyaringan die Memilih chip yang memenuhi syarat Akurasi deteksi cacat Mempengaruhi hasil keseluruhan
Perekatan tumpukan Menghubungkan beberapa lapisan chip Penyelarasan, kelengkungan, cacat perekatan Menentukan keandalan tumpukan
Die dasar Mengelola antarmuka kecepatan tinggi Desain logika dan pilihan proses Mempengaruhi efisiensi energi dan kustomisasi
Pengemasan tingkat lanjut Mengintegrasikan GPU dan HBM Kapasitas CoWoS dan sejenisnya Menentukan laju pengiriman
Pengujian dan kualifikasi Memvalidasi stabilitas Waktu pengujian dan standar pelanggan Mempengaruhi waktu produksi massal
Manajemen termal Mengontrol suhu tumpukan Kepadatan daya yang lebih tinggi Mempengaruhi kinerja dan masa pakai

HBM sulit diskalakan karena mengonsumsi lebih banyak sumber daya manufaktur. Akselerator AI kelas atas dapat membawa beberapa tumpukan HBM, dan setiap tumpukan memerlukan beberapa die DRAM. Dibandingkan dengan DRAM biasa, HBM mengonsumsi lebih banyak sumber daya wafer, pengemasan, pengujian, dan material. Prospek pasar memori 2026 dari SK hynix juga mencatat bahwa HBM3E dan HBM4 akan tetap menjadi arah penting bagi permintaan memori AI, sementara kemampuan pasokan bergantung pada kapasitas, yield, dan validasi pelanggan.

Kontrol termal adalah tantangan lainnya. HBM menggunakan struktur bertumpuk 3D, sehingga panas dari die internal lebih sulit terdisipasi. Semakin banyak lapisan yang ditumpuk, semakin tinggi bandwidth, dan semakin tinggi kepadatan daya, semakin penting manajemen termal menjadi. Persaingan HBM di masa depan tidak hanya soal bandwidth dan kapasitas, tetapi juga material, desain base die, struktur pengemasan, solusi pendinginan, dan desain tingkat sistem.

Jika Anda mengikuti perusahaan rantai pasokan HBM, Anda tidak hanya perlu memperhatikan kepemimpinan teknologi, tetapi juga biaya transaksi yang sebenarnya. Di pasar publik, perusahaan yang tercatat di AS seperti Micron, NVIDIA, AMD, Marvell, Seagate, dan Western Digital berkaitan dengan memori AI, chip, atau pusat data. Saat melacak aset terkait melalui Biya, Anda juga harus memperhatikan laba perusahaan, kualifikasi pelanggan, belanja modal, dan valuasi. Biya tidak mengenakan komisi untuk perdagangan saham AS, sedangkan biaya platform, biaya institusi eksternal, dan biaya lainnya mengacu pada biaya perdagangan saham AS dan tampilan pesanan. Informasi pasar publik tidak merupakan saran investasi.Ketersediaan layanan bergantung pada lokasi pengguna, hasil verifikasi identitas, aturan platform, serta hukum dan peraturan yang berlaku.

Ringkasan: Kelangkaan HBM berasal dari seluruh rantai pasokan, bukan dari satu langkah manufaktur. Ini memerlukan DRAM canggih, TSV, penyambungan bertumpuk, base die, interposer, pengemasan lanjutan, kualifikasi pengujian, dan manajemen termal yang matang bersama-sama. Ekspansi wafer hanya menyelesaikan sebagian dari masalah. Penentu sebenarnya dari volume pengiriman adalah yield, kapasitas pengemasan, kualifikasi pelanggan, dan keandalan sistem. Inilah sebabnya mengapa harga rata-rata jual HBM dan margin biasanya lebih tinggi daripada DRAM biasa. Harganya yang tinggi bukan hanya karena permintaan yang kuat, tetapi juga karena mengikat memori, pengemasan, dan desain akselerator AI menjadi satu kesatuan.

Bagaimana HBM3E dan HBM4 Berevolusi, dan Apa yang Akan Menjadi Kunci Persaingan di Masa Depan?

HBM sedang bergerak dari HBM3E menuju HBM4, tetapi produk lama dan baru tidak akan beralih secara instan. Situasi yang lebih realistis adalah HBM3E terus melayani banyak akselerator AI yang sudah ada, HBM4 berkembang bersama GPU dan AI ASIC generasi berikutnya, serta HBM4E ditambah HBM kustom memasuki tahap validasi pelanggan. Persaingan di masa depan tidak hanya tentang siapa yang memiliki kapasitas lebih besar, tetapi siapa yang mampu menyeimbangkan bandwidth, kapasitas, yield, kualifikasi pelanggan, sumber daya pengemasan, dan disiplin belanja modal.

Peningkatan generasi HBM terutama bergerak dalam empat arah: bandwidth yang lebih tinggi, kapasitas yang lebih besar, efisiensi energi yang lebih baik, dan kustomisasi yang lebih kuat. Material HBM4 dari Micron menunjukkan bahwa HBM4 menggunakan antarmuka 2048-bit dan dirancang untuk menghadirkan bandwidth dan kapasitas yang lebih tinggi untuk AI dan HPC. Ketika Samsung mengumumkan pengiriman komersial HBM4, mereka menyatakan bahwa HBM4-nya mencapai kecepatan transfer stabil sebesar 11,7Gbps dan dapat ditingkatkan lebih lanjut hingga 13Gbps. Dalam pameran HBM4E, Samsung juga menyebutkan bandwidth 16Gbps per pin dan 4.0TB/s, yang menunjukkan bahwa tahap kompetisi berikutnya akan terus berputar di sekitar hambatan data akselerator AI.

Generasi HBM Arah Peningkatan Utama Tahap Aplikasi Tipikal Titik Pengamatan Kunci
HBM2/2E Membangun arsitektur bertumpuk berbandwidth tinggi AI awal dan HPC Validasi teknologi dan biaya
HBM3 Meningkatkan kapasitas dan bandwidth Pelatihan AI generatif Skala adopsi GPU
HBM3E Kecepatan lebih tinggi dan tumpukan lebih besar Platform AI arus utama saat ini Kualifikasi pelanggan dan kemampuan pasokan
HBM4 Antarmuka 2048-bit, base die kustom Akselerator AI generasi berikutnya Hasil panen (yield), efisiensi energi, dan produksi massal
HBM4E/HBM kustom Kinerja lebih tinggi dan koordinasi sistem GPU/ASIC generasi berikutnya Co-design dan pengendalian biaya

Salah satu perubahan penting dalam HBM4 adalah bahwa die dasar bergerak lebih dekat ke kustomisasi tingkat sistem. Di masa lalu, HBM tampak lebih seperti produk memori yang terstandarisasi. Di masa depan, HBM mungkin semakin menjadi komponen sistem yang didefinisikan bersama oleh vendor GPU, perancang ASIC, produsen memori, dan foundry. Pelanggan mungkin menuntut optimalisasi yang lebih mendalam dalam protokol antarmuka, manajemen daya, ukuran paket, integritas sinyal, jalur termal, dan metode akses data. Hal ini meningkatkan hambatan teknis dan mungkin juga mengikat pelanggan terkemuka lebih erat dengan pemasok HBM terkemuka.

Untuk menilai daya saing produsen HBM, Anda dapat melacak delapan indikator:

  • Waktu produksi massal untuk HBM3E, HBM4, dan HBM4E;
  • Kualifikasi oleh NVIDIA, AMD, dan pelanggan ASIC kustom;
  • Campuran produk di seluruh produk 8-Hi, 12-Hi, dan tumpukan yang lebih tinggi;
  • Pendapatan HBM sebagai pangsa dari bisnis DRAM;
  • Apakah yield dan margin kotor membaik bersamaan;
  • Apakah pesanan jangka panjang menutupi kapasitas baru;
  • Apakah sumber daya CoWoS, substrat, dan pengujian mencukupi;
  • Apakah belanja modal dapat menyebabkan kelebihan pasokan di masa depan.

Bagi investor ritel, HBM merupakan isu teknologi sekaligus isu siklus. Dari sisi permintaan, perhatikan pelatihan AI, inferensi, belanja modal penyedia cloud, dan penerapan ASIC kustom. Dari sisi pasokan, perhatikan rencana ekspansi, kualifikasi pelanggan, dan yield dari SK hynix, Samsung, dan Micron. Dari sisi valuasi, pertimbangkan apakah pasar sudah memasukkan ekspektasi pertumbuhan tinggi ke dalam harga. Untuk melacak perusahaan terkait yang terdaftar di AS, Anda dapat menggunakan pencarian informasi saham AS untuk melihat informasi dasar, lalu memeriksa silang laporan keuangan, peluncuran produk, dan perubahan pesanan. Pengguna yang memenuhi syarat layanan yang berlaku juga dapat mengunduh App untuk meninjau biaya transaksi dan pengungkapan risiko.

Ringkasan: Tahap berikutnya dari persaingan HBM akan bergeser dari spesifikasi memori murni menuju pertarungan tingkat sistem yang mencakup memori, chip logika, dan pengemasan canggih. HBM3E akan terus mendukung banyak platform yang sudah ada, sementara HBM4 melayani akselerator AI generasi berikutnya dengan antarmuka yang lebih lebar, bandwidth yang lebih tinggi, dan kustomisasi yang lebih kuat. Apakah para produsen dapat menghasilkan imbal hasil jangka panjang bergantung pada kualifikasi pelanggan, hasil produksi massal, sumber daya pengemasan, campuran produk, dan disiplin belanja modal. Pertumbuhan industri yang tinggi tidak berarti keuntungan atau harga saham perusahaan terkait pasti akan naik secara serentak. Investor tetap perlu mempertimbangkan laba terbaru, siklus permintaan-penawaran, dan valuasi.

Setelah Anda memahami HBM, rantai pasok chip AI menjadi lebih jelas. Untuk akselerator NVIDIA dan AMD, Anda tidak hanya perlu melihat tenaga komputasi, tetapi juga kapasitas dan bandwidth HBM. Untuk SK hynix, Samsung, dan Micron, kompetisi bukan hanya tentang pengiriman memori, tetapi juga kualifikasi pelanggan, yield, dan komposisi pendapatan HBM. Pemain pengemasan tingkat lanjut seperti TSMC juga dapat memengaruhi kecepatan pasokan akhir. Bagi investor ritel, melacak rantai pasok HBM berarti memasukkan peningkatan teknologi, belanja modal, kualifikasi produk, harga memori, dan biaya perdagangan ke dalam kerangka yang sama. Analisis pasar publik harus mendukung penilaian, bukan menggantikan penilaian risiko pribadi. Setiap transaksi harus didasarkan pada rencana modal Anda sendiri, aturan platform, dan persyaratan regulasi setempat.

FAQ

Apakah HBM DRAM atau teknologi memori independen?

HBM adalah sejenis DRAM, tetapi menggunakan tumpukan 3D, TSV, antarmuka ultra-lebar, dan pengemasan tingkat lanjut. Prinsip penyimpanannya mirip dengan DDR, tetapi struktur produknya, metode koneksi, dan kasus penggunaannya berbeda. HBM terutama melayani GPU, AI ASIC, dan akselerator HPC.

Bisakah server AI hanya menggunakan HBM tanpa DDR?

Biasanya tidak. HBM terutama melayani GPU atau akselerator AI, sedangkan DDR menangani memori sistem CPU, sistem operasi, praproses data, basis data, dan tugas tujuan umum. Server AI membutuhkan HBM dan DDR untuk bekerja bersama, bukan mengganti semua lapisan memori dengan satu jenis memori.

Apakah kapasitas HBM yang lebih besar selalu membuat model berjalan lebih cepat?

Belum tentu. Kapasitas HBM yang lebih besar dapat menampung model yang lebih besar, KV Cache, dan beban kerja batch, tetapi kecepatan aktual juga dipengaruhi oleh bandwidth HBM, daya komputasi GPU, arsitektur model, optimasi perangkat lunak, pilihan presisi, dan komunikasi multi-GPU. Kapasitas saja tidak cukup untuk menilai kinerja.

Bisakah HBM di dalam server AI ditingkatkan secara terpisah?

Biasanya tidak. HBM sangat terintegrasi dengan GPU, interposer, dan substrat paket, sehingga sulit untuk diganti secara terpisah seperti modul memori setelah server meninggalkan pabrik. Ketika membutuhkan lebih banyak HBM, pengguna biasanya mengganti akselerator, menambah jumlah GPU, atau menyesuaikan strategi penerapan model.

Mengapa GPU konsumen jarang menggunakan HBM?

Alasan utamanya adalah biaya dan kompleksitas pengemasan. Sebagian besar beban kerja gaming, kantor, kreator, dan AI ringan dapat dilayani oleh GDDR atau DDR tanpa harus membayar biaya pengemasan canggih HBM. HBM lebih cocok untuk akselerator AI kelas atas, HPC, dan pusat data.

Apa saja risiko utama dalam rantai pasokan HBM?

Risiko utama meliputi perlambatan belanja modal AI, kualifikasi pelanggan yang tertunda, hasil produksi yang lebih rendah dari perkiraan, kekurangan kapasitas pengemasan canggih, masalah termal, dan kelebihan pasokan setelah ekspansi. Saat mengevaluasi perusahaan terkait, investor harus merujuk pada laporan keuangan terbaru, pengungkapan produk, aturan platform, dan persyaratan regulasi setempat.

*Artikel ini disediakan untuk tujuan informasi umum dan tidak merupakan nasihat hukum, pajak, atau nasihat profesional lainnya dari BiyaPay atau anak perusahaan serta afiliasinya, dan tidak dimaksudkan sebagai pengganti untuk mendapatkan nasihat dari penasihat keuangan atau profesional lainnya.

Kami tidak membuat pernyataan atau jaminan apa pun, baik tersurat maupun tersirat, mengenai keakuratan, kelengkapan, atau ketepatan waktu isi publikasi ini.

Blog terkait

Pilih Negara atau Wilayah untuk Membaca Blog Lokal