Apakah Itu HBM? Mengapa Pelayan AI Bergantung pada Memori Jalur Lebar Tinggi

HBM ialah sejenis memori lebar jalur tinggi yang menindih berbilang lapisan DRAM secara menegak dan menyambungkannya kepada GPU, AI ASIC, dan cip pengkomputeran lain melalui antara muka yang amat lebar. Pelayan AI bergantung pada HBM bukan kerana memori biasa benar-benar tidak mencukupi, tetapi kerana latihan model berskala besar, inferens konteks panjang, dan perkhidmatan konkurensi tinggi memerlukan lebar jalur memori, kapasiti, kecekapan tenaga yang jauh lebih tinggi, serta jarak pembungkusan yang lebih pendek. Setelah anda memahami HBM, anda dapat memahami dengan lebih baik logik daya saing di sebalik syarikat cip AI dan memori seperti NVIDIA, AMD, SK hynix, Samsung, dan Micron.

Perkara Utama

• HBM masih sejenis DRAM, tetapi ia menggunakan seni bina susunan 3D.
• Lebar jalur tinggi HBM datang daripada antara muka ultra-lebar dan jarak sambungan yang lebih pendek.
• Pelayan AI menggunakan HBM untuk meringankan masalah dinding memori GPU.
• Kapasiti HBM mempengaruhi saiz model, panjang konteks, dan serentakan inferens.
• Kesesakan pengeluaran HBM termasuk hasil, pembungkusan, pengujian, dan kawalan haba.
• HBM3E dan HBM4 berkemungkinan akan wujud bersama merentas beberapa generasi platform AI.

Apakah Itu HBM, dan Bagaimana Strukturnya Berbeza daripada Memori Biasa?

HBM adalah singkatan kepada High Bandwidth Memory (Memori Jalur Lebar Tinggi). Ia masih merupakan sejenis DRAM, tetapi strukturnya berbeza daripada modul memori pelayan biasa. HBM menyusun beberapa die DRAM secara menegak, menyambungnya melalui TSV dan sambungan menegak yang lain, dan kemudiannya memetakannya bersama-sama dengan GPU atau pemecut AI. Peranan utamanya bukanlah untuk penyimpanan data jangka panjang, tetapi untuk penghantaran pantas parameter model, pengaktifan, cache, dan keputusan perantaraan semasa pengiraan.

Memori DDR biasa biasanya dipasang pada papan induk pelayan dan berkhidmat untuk CPU, sistem pengendalian, pangkalan data dan beban kerja tujuan umum. HBM terletak jauh lebih dekat dengan GPU atau AI ASIC, dengan jarak sambungan yang lebih pendek dan antara muka yang lebih lebar. Anda boleh anggap DDR sebagai memori utama pelayan yang berkapasiti besar, manakala HBM ialah lapisan bekalan data berkelajuan tinggi yang hampir dengan cip pengiraan. Kedua-duanya penting, tetapi ia berkhidmat untuk kedudukan dan matlamat prestasi yang berbeza.

HBM terdiri daripada berbilang die DRAM, satu die asas, TSV, mikro bump, satu interposer, dan satu substrat pakej. TSV ialah saluran menegak yang menembusi silikon dan menghubungkan lapisan DRAM yang berbeza. Interposer menyediakan penyambung berketumpatan tinggi antara GPU dan HBM. Dalam piawaian HBM4, JEDEC mengembangkan lebar antara muka kepada 2048-bit bagi memenuhi permintaan AI dan HPC untuk lebar jalur yang lebih tinggi, kapasiti yang lebih besar dan kecekapan tenaga yang lebih baik.

"High Bandwidth" dalam HBM tidak datang semata-mata daripada menolak frekuensi ke tahap yang lebih tinggi. Ia datang daripada peningkatan jumlah keseluruhan throughput melalui saluran data yang jauh lebih lebar. GDDR sering bergantung pada kelajuan setiap pin yang lebih tinggi, manakala HBM memindahkan data melalui lebih banyak saluran selari. Reka bentuk ini lebih sesuai untuk pemecut AI yang mempunyai kekangan kuasa dan ruang yang ketat, kerana kawasan pakej di sekeliling GPU adalah terhad dan cip memori tidak boleh direbarkan tanpa had.

Sat salah faham lain yang perlu dijelaskan: HBM bukanlah SSD dan bukanlah NAND Flash. Seperti DRAM biasa, HBM ialah memori tidak kekal (volatile) dan tidak dapat menyimpan data selepas bekalan kuasa terputus. Ia juga tidak dapat menggantikan sepenuhnya memori DDR dalam pelayan, kerana HBM biasanya dibungkus bersama GPU, harganya mahal, kos kapasitinya tinggi, dan tidak mudah untuk dikembangkan. Ia lebih sesuai untuk menyimpan data bernilai tinggi yang diperlukan segera oleh cip pengiraan.

Ringkasan: HBM ialah teknologi DRAM bertingkat yang direka untuk pengkomputeran berprestasi tinggi. Melalui beberapa lapisan DRAM, TSV, cip asas, interposer, dan pembungkusan termaju, ia membawa memori lebih dekat kepada GPU dan menyampaikan kadar data yang sangat tinggi melalui antara muka ultra-lebar. Perbezaan antara HBM dan DDR biasa bukanlah kerana yang satu maju dan yang lain lapuk, tetapi kerana kedua-duanya memainkan peranan berbeza dalam sistem: DDR menguruskan memori sistem umum, manakala HBM membekalkan data berkelajuan tinggi berhampiran pemecut AI. Setelah anda memahami hal ini, anda dapat melihat mengapa pelancaran cip AI sentiasa menekankan kapasiti, lebar jalur, dan generasi HBM.

Mengapakah Pelayan AI Bergantung pada HBM?

Pelayan AI bergantung pada HBM kerana keupayaan pengiraan GPU telah berkembang jauh melebihi kelajuan memori tradisional dalam membekalkan data ke unit pengiraan. Jika data tidak dapat memasuki GPU secara berterusan, banyak teras pengiraan akan menunggu memori, menghalang pemecut AI yang mahal daripada beroperasi pada beban penuh. Kesesakan ini sering disebut sebagai "dinding memori." HBM tidak secara langsung menghasilkan kuasa pengiraan, tetapi ia menentukan sama ada GPU dapat menerima data yang mencukupi secara berterusan.

Latihan model besar membaca berulang kali berat model, pengaktifan, kecerunan, dan keadaan pengoptimum. Semakin besar model, semakin banyak parameter dan data perantaraannya, dan semakin kuat pergantungannya terhadap lebar jalur dan kapasiti memori. Inferens juga menuntut, terutamanya apabila model konteks panjang, model penaakulan, perbualan berbilang giliran, dan permintaan konkurensi tinggi mengembangkan KV Cache. Dalam pengenalannya kepada Blackwell Ultra, NVIDIA menekankan bahawa HBM3E sebanyak 288GB adalah kritikal untuk model konteks panjang dengan berbilang trilion parameter, serta inferens konkurensi tinggi. Ini menunjukkan bahawa persaingan pemecut AI telah berkembang daripada pengiraan semata-mata kepada sistem memori.

Semasa latihan, nilai pertama HBM ialah meningkatkan kadar penggunaan GPU. GPU mahir dalam pengiraan selari berskala besar, tetapi hanya jika data dibekalkan secara berterusan. Jika lebar jalur HBM tidak mencukupi, unit pengiraan matriks mungkin menunggu, dan FLOPS teori tidak dapat diterjemahkan sepenuhnya kepada keluaran sebenar. Nilai kedua ialah mengurangkan pembahagian model. Apabila sesuatu model atau keadaan latihan tidak dapat dimuatkan di dalam HBM bagi satu GPU, ia mesti dipecahkan merentas berbilang GPU, meningkatkan kerumitan komunikasi, penyegerakan, dan penjadualan. Nilai ketiga ialah kecekapan tenaga. Pergerakan data itu sendiri menggunakan kuasa yang ketara. Memandangkan HBM terletak berhampiran dengan GPU, ia boleh meningkatkan keluaran di bawah penggunaan kuasa yang agak terkawal.

HBM semakin penting semasa inferens. Pada peringkat awal, ramai orang menganggap bahawa latihan lebih bergantung pada HBM, manakala inferens terutamanya isu kos pengiraan. Aplikasi konteks panjang dan agen telah mengubah pandangan tersebut. KV Cache berkembang bersama panjang konteks, bilangan pengguna serentak, dan panjang penjanaan, serta menduduki HBM secara berterusan. NVIDIA H200 dilengkapi dengan 141GB HBM3E dan lebar jalur memori 4.8TB/s; AMD Instinct MI325X dilengkapi dengan 256GB HBM3E dan lebar jalur memori puncak sehingga 6TB/s. Spesifikasi ini menunjukkan bahawa vendor pemecut AI bukan sahaja menambah keupayaan pengiraan, malah turut meningkatkan kapasiti dan lebar jalur memori.

HBM juga mempengaruhi jumlah kos pemilikan pelayan AI. Jika GPU hanya boleh mengeluarkan sebahagian prestasinya kerana kesesakan memori, penyedia awan perlu membeli lebih banyak GPU untuk menyiapkan tugas yang sama. Sebaliknya, kapasiti HBM yang lebih besar dan lebar jalur yang lebih tinggi boleh meningkatkan daya keluaran GPU tunggal dan mengurangkan kos infrastruktur bagi setiap token atau setiap tugas latihan. Sudah tentu, kos sebenar juga bergantung pada seni bina model, ketepatan, strategi selarian, interkoneksi rangkaian, dan pengoptimuman perisian, jadi HBM tidak seharusnya dilihat sebagai satu-satunya pemboleh ubah.

Ringkasan: Pelayan AI memerlukan HBM kerana pengiraan model berskala besar semakin terhad oleh bekalan data. Latihan memerlukan lebar jalur untuk meningkatkan utilisasi GPU dan kapasiti untuk mengurangkan pembahagian model. Inferens memerlukan lebar jalur untuk mengurangkan kependaman dan kapasiti untuk menyokong KV Cache, konteks panjang, dan permintaan serentak. Tanpa HBM yang mencukupi, GPU mungkin mengalami utilisasi rendah, komunikasi merentas GPU yang lebih tinggi, kependaman inferens yang lebih lama, dan kos perkhidmatan seunit yang lebih tinggi. HBM bukan sekadar spesifikasi kedua bagi cip AI; ia adalah sumber sistem teras yang menentukan kecekapan pelayan AI.

Apakah Beza Antara HBM, DDR, dan GDDR?

HBM, DDR, dan GDDR semuanya berasaskan teknologi DRAM, tetapi ia memainkan peranan dan matlamat yang berbeza. HBM memberi tumpuan kepada lebar jalur yang sangat tinggi dan kecekapan tenaga di dalam pakej. DDR memberi tumpuan kepada kapasiti umum, pensijilan, dan skalabiliti. GDDR memberi tumpuan kepada lebar jalur tinggi pada kad grafik pada kos yang agak terkawal. Pelayan AI biasanya tidak bergantung pada satu jenis ingatan sahaja, tetapi membolehkan HBM, DDR, dan lapisan storan lain bekerja bersama-sama.

Server DDR5 biasanya dipasang dalam slot memori pada papan induk dan berfungsi untuk CPU, sistem pengendalian, pangkalan data, prapemprosesan data, dan tugasan pengkomputeran tujuan umum. Sebaliknya, HBM dibungkus berhampiran GPU atau AI ASIC dan berfungsi untuk data yang sedang diproses oleh pemecut tersebut. Walaupun pelayan AI mengandungi berbilang GPU dan setiap GPU mempunyai jumlah HBM yang besar, pelayan tersebut masih memerlukan memori DDR sistem untuk tugasan CPU, tindanan rangkaian, sistem penjadualan, dan penyediaan data.

GDDR lebih lazim digunakan dalam GPU pengguna, kad grafik stesen kerja, dan sesetengah kad pemecut. Ia biasanya diletakkan di sekeliling GPU pada PCB dan mencapai lebar jalur yang tinggi melalui kelajuan per-pin yang lebih tinggi. Berbanding dengan GDDR, HBM mempunyai antara muka yang lebih lebar, kecekapan tenaga yang lebih baik, dan pembungkusan yang lebih padat, tetapi ia juga mempunyai kos dan kerumitan pengilangan yang jauh lebih tinggi. Inilah sebabnya GPU untuk permainan biasanya terus menggunakan GDDR, manakala pemecut AI peringkat tertinggi lebih berkemungkinan menggunakan HBM.

HBM tidak dapat menggantikan DDR sepenuhnya. Sebabnya mudah: HBM mahal, tidak mudah dikembangkan seperti DIMM selepas pembungkusan, dan kos kapasitinya tidak sesuai untuk memuatkan keseluruhan memori sistem. Sejumlah besar prapemprosesan data, caching fail, inferens CPU, pangkalan data, dan penjadualan sistem dalam pelayan AI masih memerlukan DDR. HBM lebih sesuai untuk menyimpan data bernilai tinggi yang diperlukan oleh GPU pada masa itu, dan bukannya meletakkan semua data dalam pelayan ke dalam HBM.

HBM juga tidak akan sepenuhnya menggantikan GDDR. GPU pengguna dan banyak aplikasi stesen kerja sensitif terhadap kos, dan kebanyakan beban kerja permainan, perenderan, dan AI ringan tidak semestinya memerlukan lebar jalur peringkat HBM atau kos pembungkusan tersebut. HBM menjadi lebih munasabah hanya apabila peningkatan dalam prestasi, kecekapan tenaga, dan ketumpatan pakej membenarkan kosnya. Penggunaan penyelesaian memori yang berbeza merentasi barisan produk AMD, NVIDIA, dan vendor lain pada asasnya merupakan kompromi antara prestasi, kos, penggunaan kuasa, dan kedudukan pasaran.

Ringkasan: HBM, DDR, dan GDDR tidak saling menggantikan secara mudah; mereka membahagikan tugas. DDR sesuai untuk memori sistem umum, GDDR sesuai untuk senario grafik dan GPU yang lebih sensitif terhadap kos, dan HBM sesuai untuk cip AI dan HPC yang memerlukan lebar jalur, kapasiti, dan kecekapan tenaga tertinggi. Bagi pelayan AI, HBM menyelesaikan bekalan data berkelajuan tinggi berhampiran GPU, DDR menyelesaikan memori sistem untuk keseluruhan mesin, manakala SSD dan HDD mengendalikan penyimpanan data pada lapisan yang lebih jauh. Infrastruktur AI yang cekap bergantung pada lapisan memori dan storan yang terselaras, bukan sekadar menimbunkan satu jenis memori sahaja.

Bagaimanakah HBM Dihasilkan, dan Mengapakah Ia Mahal dan Sukar Untuk Diskalakan?

HBM mahal dan lambat untuk dikembangkan bukan sahaja kerana wafer DRAM yang mahal, tetapi kerana ia memerlukan beberapa die yang diketahui baik untuk ditipiskan, diukir, ditindan, dilekatkan, dibungkus, diuji, dan kemudiannya disahkan bersama GPU pada peringkat sistem. Sebarang masalah pada satu lapisan cip, sambungan, atau langkah pembungkusan boleh menjejaskan hasil keseluruhan tindanan HBM. Peningkatan kapasiti wafer tidak bermakna HBM yang boleh dijual meningkat pada kelajuan yang sama.

Pembuatan HBM biasanya bermula dengan wafer DRAM termaju. Pengeluar terlebih dahulu menghasilkan die DRAM, kemudian menjalankan penipisan wafer dan pembentukan TSV, dan selepas itu menjalankan saringan untuk die yang sesuai untuk penyusunan. Selepas itu, beberapa die mesti dijajarkan dengan tepat, dilekatkan, dan disambungkan kepada die asas untuk membentuk tumpukan HBM yang lengkap. Tumpukan tersebut juga mesti disepadukan dengan GPU, interposer, dan substrat pakej, sebelum menjalani ujian elektrik, ujian haba, ujian kebolehpercayaan, dan kelayakan platform pelanggan.

CoWoS sering muncul bersama HBM kerana GPU AI teratas biasanya memerlukan pembungkusan termaju untuk meletakkan GPU dan beberapa tindanan HBM dalam modul yang sama. CoWoS TSMC ialah teknologi pembungkusan 2.5D yang menggunakan interposer untuk mengintegrasikan cip logik dan HBM, menyediakan sambungan berketumpatan tinggi untuk pengkomputeran berprestasi tinggi. Konsep-konsep ini perlu dipisahkan dengan jelas: HBM ialah memori, CoWoS ialah platform pembungkusan, dan GPU ialah cip pengiraan. Bersama-sama, ia membentuk modul pemecut AI.

HBM sukar untuk diskalakan kerana ia menggunakan lebih banyak sumber pembuatan. Pemecut AI peringkat tinggi mungkin membawa beberapa tindanan HBM, dan setiap tindanan memerlukan beberapa die DRAM. Berbanding DRAM biasa, HBM menggunakan lebih banyak wafer, pembungkusan, pengujian, dan sumber bahan. Prospek pasaran memori 2026 SK hynix juga menyatakan bahawa HBM3E dan HBM4 akan kekal sebagai arah penting untuk permintaan memori AI, manakala keupayaan bekalan bergantung pada kapasiti, hasil, dan pengesahan pelanggan.

Kawalan haba ialah satu cabaran lain. HBM menggunakan struktur tindanan 3D, menjadikan haba daripada die dalaman lebih sukar disingkirkan. Semakin banyak lapisan ditindan, semakin tinggi lebar jalur, dan semakin tinggi ketumpatan kuasa, semakin penting pengurusan haba menjadi. Persaingan HBM pada masa hadapan bukan hanya mengenai lebar jalur dan kapasiti, tetapi juga bahan, reka bentuk die asas, struktur pembungkusan, penyelesaian penyejukan, dan reka bentuk peringkat sistem.

Jika anda mengikuti syarikat rantaian bekalan HBM, anda tidak patut hanya memandu kepimpinan teknologi, tetapi juga kos perdagangan sebenar. Dalam pasaran awam, syarikat tersenarai di AS seperti Micron, NVIDIA, AMD, Marvell, Seagate, dan Western Digital berkaitan dengan memori AI, cip, atau pusat data. Apabila menjejaki aset berkaitan melalui Biya, anda juga patut memantau pendapatan syarikat, kelayakan pelanggan, perbelanjaan modal, dan penilaian. Biya mengenakan komisen $0 untuk perdagangan saham AS, manakala yuran platform, yuran institusi luaran, dan caj lain tertakluk kepada yuran perdagangan saham AS dan paparan pesanan. Maklumat pasaran awam tidak membentuk nasihat pelaburan.Ketersediaan perkhidmatan bergantung pada lokasi pengguna, hasil pengesahan identiti, peraturan platform, serta undang-undang dan peraturan yang berkuat kuasa.

Ringkasan: Kekurangan HBM berpunca daripada keseluruhan rantaian bekalan, bukan daripada satu langkah pembuatan sahaja. Ia memerlukan DRAM termaju, TSV, penyambungan bertindan, die asas, interposer, pembungkusan termaju, kelayakan pengujian, dan pengurusan haba untuk matang bersama-sama. Pengembangan wafer hanya menyelesaikan sebahagian daripada masalah. Penentu sebenar volum penghantaran ialah hasil pulangan, kapasiti pembungkusan, kelayakan pelanggan, dan kebolehpercayaan sistem. Inilah sebabnya harga jualan purata HBM dan marginnya biasanya lebih tinggi daripada DRAM biasa. Harganya yang tinggi bukan hanya kerana permintaan yang kukuh, tetapi juga kerana ia mengaitkan memori, pembungkusan, dan reka bentuk pemecut AI bersama-sama.

Bagaimana HBM3E dan HBM4 Berkembang, dan Apakah yang Akan Menentukan Persaingan Pada Masa Hadapan?

HBM sedang bergerak dari HBM3E ke arah HBM4, tetapi produk lama dan baharu tidak akan bertukar serta-merta. Situasi yang lebih realistik ialah HBM3E terus berkhidmat untuk banyak pemecut AI sedia ada, HBM4 berkembang seiring dengan GPU dan AI ASIC generasi akan datang, manakala HBM4E serta HBM tersuai pula memasuki fasa pengesahan pelanggan. Persaingan pada masa hadapan bukan sahaja mengenai siapa yang mempunyai kapasiti lebih banyak, tetapi siapa yang mampu mengimbangi lebar jalur, kapasiti, hasil, kelayakan pelanggan, sumber pembungkusan, dan disiplin perbelanjaan modal.

Peningkatan penjanaan HBM terutamanya bergerak dalam empat arah: jalur lebar yang lebih tinggi, kapasiti yang lebih besar, kecekapan tenaga yang lebih baik, dan penyesuaian yang lebih kukuh. Bahan HBM4 Micron menunjukkan bahawa HBM4 menggunakan antara muka 2048-bit dan direka untuk menyampaikan jalur lebar serta kapasiti yang lebih tinggi untuk AI dan HPC. Apabila Samsung mengumumkan penghantaran komersial HBM4, ia menyatakan bahawa HBM4nya mencapai kelajuan pemindahan yang stabil pada 11.7Gbps dan boleh dipertingkatkan lagi kepada 13Gbps. Dalam pameran HBM4E, Samsung juga menyebut kelajuan 16Gbps per pin dan lebar jalur 4.0TB/s, menunjukkan bahawa peringkat seterusnya persaingan akan terus berpusing di sekitar kesesakan data pemecut AI.

Satu perubahan penting dalam HBM4 ialah die asas bergerak lebih hampir kepada penyesuaian pada peringkat sistem. Pada masa lalu, HBM lebih menyerupai produk memori yang diformatkan. Pada masa hadapan, HBM mungkin semakin menjadi komponen sistem yang ditakrifkan secara bersama oleh vendors GPU, pereka ASIC, pengeluar memori, dan foundri. Pelanggan mungkin menuntut pengoptimuman yang lebih mendalam dalam protokol antara muka, pengurusan kuasa, saiz pakej, integriti isyarat, laluan haba, dan kaedah akses data. Ini meningkatkan halangan teknikal dan juga boleh mengikat pelanggan terkemuka dengan lebih rapat bersama pembekal HBM terkemuka.

Untuk menilai daya saing pengeluar HBM, anda boleh menjejak lapan penunjuk:

• Tempoh pengeluaran besar-besaran untuk HBM3E, HBM4, dan HBM4E;
• Pensijilan oleh NVIDIA, AMD, dan pelanggan ASIC tersuai;
• Gabungan produk merentas produk 8-Hi, 12-Hi, dan tumpukan yang lebih tinggi;
• Hasil HBM sebagai sebahagian daripada perniagaan DRAM;
• Sama ada hasil dan margin kasar bertambah baik bersama-sama;
• Sama ada pesanan jangka panjang meliputi kapasiti baharu;
• Sama ada sumber CoWoS, substrat, dan pengujian mencukupi;
• Sama ada perbelanjaan modal mungkin membawa kepada lebihan bekalan pada masa hadapan.

Bagi pelabur runcit, HBM merupakan isu teknologi dan juga isu kitaran. Dari segi permintaan, pantau latihan AI, inferens AI, perbelanjaan modal penyedia awan, serta penggunaan ASIC tersuai. Dari segi bekalan, pantau rancangan pengembangan, kelayakan pelanggan, dan kadar hasil SK hynix, Samsung, dan Micron. Dari sega penilaian, pertimbangkan sama ada pasaran telahpun mengambilkira jangkaan pertumbuhan tinggi. Untuk menjejak syarikat tersenarai di AS yang berkaitan, anda boleh menggunakan carian maklumat saham AS untuk melihat maklumat asas, kemudian buat semakan silang dengan laporan pendapatan, pelancaran produk, dan perubahan pesanan. Pengguna yang memenuhi syarat perkhidmatan yang berkenaan juga boleh memuat turun App untuk menyemak yuran pesanan dan pendedahan risiko.

Ringkasan: Peringkat seterusnya persaingan HBM akan beralih daripada spesifikasi memori semata-mata kepada pertempuran peringkat sistem merentas memori, cip logik, dan pembungkusan termaju. HBM3E akan terus menyokong banyak platform sedia ada, manakala HBM4 berkhidmat untuk pemecut AI generasi akan datang dengan antara muka yang lebih lebar, lebar jalur yang lebih tinggi, dan penyesuaian yang lebih kukuh. Sama ada pengeluar dapat menjana pulangan jangka panjang bergantung pada kelayakan pelanggan, hasil pengeluaran besar-besaran, sumber pembungkusan, campuran produk, dan disiplin perbelanjaan modal. Pertumbuhan industri yang tinggi tidak bermakna keuntungan atau harga saham syarikat berkaitan semestinya akan meningkat seiring. Pelabur masih perlu mempertimbangkan pendapatan terkini, kitaran bekalan-permintaan, dan penilaian.

Sebaik sahaja anda memahami HBM, rantaian bekalan cip AI menjadi lebih jelas. Bagi pemecut NVIDIA dan AMD, anda tidak sepatutnya hanya melihat kuasa pengiraan, tetapi juga kapasiti dan lebar jalur HBM. Bagi SK hynix, Samsung, dan Micron, persaingan bukan hanya mengenai penghantaran memori, tetapi juga kelayakan pelanggan, hasil, dan campuran hasil HBM. Pemain pembungkusan termaju seperti TSMC juga boleh memberi kesan kepada kadar bekalan akhir. Bagi pelabung runcit, penjejakan rantaian bekalan HBM bermakna meletakkan peningkatan teknologi, perbelanjaan modal, kelayakan produk, penetapan harga memori, dan kos perdagangan ke dalam rangka kerja yang sama. Analisis pasaran awam harus menyokong pertimbangan, bukan menggantikan penilaian risiko peribadi. Sebarang perdagangan hendaklah berdasarkan pelan modal anda sendiri, peraturan platform, dan keperluan pengawalseliaan tempatan.

Soalan Lazim

Adakah HBM DRAM atau teknologi memori yang bebas?

HBM ialah sejenis DRAM, tetapi ia menggunakan penumpukan 3D, TSV, antara muka ultra-lebar dan pembungkusan termaju. Prinsip penyimpanannya serupa dengan DDR, tetapi struktur produk, kaedah sambungan dan kes penggunaannya adalah berbeza. Ia terutamanya berkhidmat untuk GPU, AI ASIC dan pemecut HPC.

Bolehkah pelayan AI menggunakan HBM sahaja tanpa DDR?

Biasanya tidak. HBM terutamanya berkhidmat untuk GPU atau pemecut AI, manakala DDR mengendalikan memori sistem CPU, sistem pengendalian, prapemprosesan data, pangkalan data dan tugasan tujuan umum. Pelayan AI memerlukan HBM dan DDR bekerjasama, bukannya menggantikan semua lapisan memori dengan satu jenis memori.

Adakah kapasiti HBM yang lebih besar sentiasa menjadikan model berjalan lebih pantas?

Belum tentu. Kapasiti HBM yang lebih besar boleh menyimpan model yang lebih besar, KV Cache, dan beban kerja berkelompok (batch), tetapi kelajuan sebenar turut dipengaruhi oleh lebar jalur HBM, kuasa pengiraan GPU, seni bina model, pengoptimuman perisian, pilihan kejituan, dan komunikasi berbilang GPU. Kapasiti sahaja tidak memadai untuk menilai prestasi.

Bolehkah HBM di dalam pelayan AI dinaik taraf secara berasingan?

Biasanya tidak. HBM sangat bersepadu dengan GPU, interposer, dan papan pendawaian pakej, jadi sukar untuk diganti secara berasingan seperti modul memori selepas pelayan keluar dari kilang. Apabila lebih banyak HBM diperlukan, pengguna biasanya menggantikan pemecut, menambah lebih banyak GPU, atau menyesuaikan strategi pelaksanaan model.

Mengapakah GPU pengguna jarang menggunakan HBM?

Sebab utama ialah kos dan kerumitan pembungkusan. Kebanyakan beban kerja permainan, pejabat, kreatif dan AI ringan dapat dilayan oleh GDDR atau DDR tanpa perlu membayar kos pembungkusan termaju HBM. HBM lebih sesuai untuk pemecut AI peringkat tinggi, HPC dan pusat data.

Apakah risiko utama dalam rantaian bekalan HBM?

Risiko utama termasuk perbelanjaan modal AI yang lebih perlahan, kelewatan kelayakan pelanggan, hasil yang lebih rendah daripada jangkaan, kekurangan kapasiti pembungkusan termaju, isu haba, dan lebihan bekalan selepas pengembangan. Apabila menilai syarikat berkaitan, pelabur harus merujuk kepada laporan pendapatan terkini, pendedahan produk, peraturan platform dan keperluan pengawalseliaan tempatan.