HBM คืออะไร? เหตุใดเซิร์ฟเวอร์ AI จึงต้องพึ่งพาหน่วยความจำแบนด์วิดท์สูง

HBM เป็นหน่วยความจำแบนด์วิดท์สูงชนิดหนึ่งที่ทำการซ้อน DRAM หลายชั้นในแนวตั้ง และเชื่อมต่อเข้ากับ GPU, AI ASIC และชิปประมวลผลอื่น ๆ ผ่านอินเทอร์เฟซความกว้างพิเศษ เซิร์ฟเวอร์ AI ต้องพึ่งพา HBM ไม่ใช่เพราะหน่วยความจำทั่วไปใช้ไม่ได้เลย แต่เพราะการฝึกโมเดลขนาดใหญ่ การอนุมานบริบทยาว และบริการที่มีผู้ใช้พร้อมกันจำนวนมาก ต้องการแบนด์วิดท์หน่วยความจำ ความจุ ประสิทธิภาพด้านพลังงานที่สูงกว่ามาก รวมถึงระยะการจัดแพ็กเกจที่สั้นกว่า เมื่อเข้าใจ HBM แล้ว คุณจะเข้าใจตรรกะการแข่งขันเบื้องหลังบริษัทชิป AI และบริษัทหน่วยความจำอย่าง NVIDIA, AMD, SK hynix, Samsung และ Micron ได้ดียิ่งขึ้น

ประเด็นสำคัญ

• HBM ยังคงเป็น DRAM ประเภทหนึ่ง แต่ใช้สถาปัตยกรรมการต่อกันแบบ 3 มิติ (3D Stacked)
• แบนด์วิดท์สูงของ HBM มาจากอินเทอร์เฟซแบบกว้างพิเศษและระยะการเชื่อมต่อที่สั้นกว่า
• เซิร์ฟเวอร์ AI ใช้ HBM เพื่อบรรเทาปัญหากำแพงหน่วยความจำ (Memory Wall) ของ GPU
• ความจุของ HBM ส่งผลต่อขนาดโมเดล ความยาวของบริบท และการทำงานพร้อมกันในการอนุมาน (Inference Concurrency)
• คอขวดในการผลิต HBM ได้แก่ อัตราผลผลิต (Yield) การบรรจุชิป การทดสอบ และการควบคุมความร้อน
• HBM3E และ HBM4 มีแนวโน้มที่จะใช้งานร่วมกันไปตลอดหลายรุ่นของแพลตฟอร์ม AI

HBM คืออะไร และโครงสร้างของมันแตกต่างจากหน่วยความจำทั่วไปอย่างไร?

HBM ย่อมาจาก High Bandwidth Memory ซึ่งยังคงเป็น DRAM รูปแบบหนึ่ง แต่มีโครงสร้างแตกต่างจากโมดูลหน่วยความจำสำหรับเซิร์ฟเวอร์ทั่วไป HBM ทำการซ้อนชิป DRAM หลายชั้นในแนวตั้ง เชื่อมต่อกันผ่าน TSV และการเชื่อมต่อแนวตั้งอื่น ๆ แล้วจึงแพ็กเกจรวมเข้ากับ GPU หรือ AI accelerator บทบาทหลักของมันไม่ใช่การจัดเก็บข้อมูลระยะยาว แต่เป็นการส่งมอบพารามิเตอร์ของโมเดล ค่า activation แคช และผลลัพธ์ระหว่างการคำนวณด้วยความเร็วสูง

หน่วยความจำ DDR ทั่วไปมักติดตั้งอยู่บนเมนบอร์ดของเซิร์ฟเวอร์ และทำหน้าที่รองรับ CPU ระบบปฏิบัติการ ฐานข้อมูล และงานประมวลผลทั่วไป ส่วน HBM ตั้งอยู่ใกล้ GPU หรือ AI ASIC มากกว่า โดยมีระยะการเชื่อมต่อที่สั้นกว่าและอินเทอร์เฟซที่กว้างกว่า คุณสามารถมองว่า DDR เป็นหน่วยความจำหลักความจุสูงของเซิร์ฟเวอร์ ในขณะที่ HBM เป็นชั้นจ่ายข้อมูลความเร็วสูงที่อยู่ใกล้กับชิปประมวลผล ทั้งสองอย่างนี้มีความสำคัญ แต่ทำหน้าที่ในตำแหน่งและเป้าหมายด้านประสิทธิภาพที่แตกต่างกัน

HBM ประกอบด้วยได DRAM หลายชั้น, ไดเบส (base die), TSV, micro bump, interposer และซับสเตรตบรรจุภัณฑ์ TSV คือช่องทางแนวตั้งที่เจาะผ่านซิลิคอนเพื่อเชื่อมต่อชั้น DRAM ที่แตกต่างกันเข้าด้วยกัน Interposer ทำหน้าที่จัดเตรียมการเชื่อมต่อความหนาแน่นสูงระหว่าง GPU กับ HBM ในมาตรฐาน HBM4 JEDEC ขยายความกว้างของอินเทอร์เฟซเป็น 2048 บิต เพื่อตอบสนองความต้องการของงาน AI และ HPC ที่ต้องการแบนด์วิดท์ที่สูงขึ้น ความจุที่มากขึ้น และประสิทธิภาพการใช้พลังงานที่ดีกว่า

“High Bandwidth” ใน HBM ไม่ได้มาจากการเพิ่มความถี่ให้สูงขึ้นเพียงอย่างเดียว แต่มาจากการเพิ่มปริมาณการส่งข้อมูลรวมผ่านช่องทางข้อมูลที่กว้างขึ้นมาก GDDR มักพึ่งพาความเร็วต่อพินที่สูงขึ้น ในขณะที่ HBM ถ่ายโอนข้อมูลผ่านช่องทางขนานหลายช่องทาง การออกแบบนี้เหมาะสมกว่าสำหรับตัวเร่ง AI ที่มีข้อจำกัดด้านพลังงานและพื้นที่อย่างเข้มงวด เนื่องจากพื้นที่บนแพ็กเกจรอบๆ GPU มีจำกัด และชิปหน่วยความจำไม่สามารถวางเรียงออกไปได้ไม่จำกัด

ความเข้าใจผิดที่พบบ่อยอีกประการหนึ่งที่จำเป็นต้องชี้แจง: HBM ไม่ใช่ SSD และไม่ใช่ NAND Flash เช่นเดียวกับ DRAM ทั่วไป HBM เป็นหน่วยความจำแบบระเหยได้ (volatile memory) และไม่สามารถเก็บรักษาข้อมูลไว้ได้หลังจากการจ่ายไฟหายไป นอกจากนี้ยังไม่สามารถทดแทนหน่วยความจำ DDR ในเซิร์ฟเวอร์ได้อย่างสมบูรณ์ เนื่องจาก HBM มักถูกแพ็กเกจรวมไว้กับ GPU มีราคาแพง มีต้นทุนความจุสูง และไม่ง่ายต่อการขยายเพิ่ม มันเหมาะสำหรับการจัดเก็บข้อมูลที่มีคุณค่าสูงซึ่งชิปประมวลผลจำเป็นต้องใช้ทันทีมากกว่า

สรุป: HBM คือเทคโนโลยี DRAM แบบซ้อนชั้นที่ออกแบบมาเพื่อการประมวลผลประสิทธิภาพสูง ผ่านชั้น DRAM หลายชั้น, TSV, base die, interposer และการแพ็กเกจขั้นสูง มันทำให้หน่วยความจำอยู่ใกล้ GPU มากขึ้นและส่งมอบอัตราการรับส่งข้อมูลที่สูงมากผ่านอินเทอร์เฟซแบบกว้างพิเศษ ความแตกต่างระหว่าง HBM กับ DDR ทั่วไปไม่ใช่ว่าแบบหนึ่งล้ำสมัยและอีกแบบล้าสมัย แต่ทั้งสองทำหน้าที่ในตำแหน่งที่แตกต่างกันในระบบ: DDR รับผิดชอบหน่วยความจำระบบทั่วไป ในขณะที่ HBM จัดหาข้อมูลความเร็วสูงให้กับตัวเร่ง AI อย่างใกล้ชิด เมื่อเข้าใจจุดนี้แล้ว คุณจะเห็นว่าเหตุใดการเปิดตัวชิป AI จึงมักเน้นย้ำเรื่องความจุ แบนด์วิดท์ และรุ่นของ HBM เสมอ

เหตุใดเซิร์ฟเวอร์ AI จึงต้องพึ่งพา HBM?

เซิร์ฟเวอร์ AI ต้องพึ่งพา HBM เนื่องจากความสามารถในการประมวลผลของ GPU เติบโตไปไกลกว่าความเร็วที่หน่วยความจำแบบดั้งเดิมจะส่งข้อมูลเข้าสู่หน่วยประมวลผลได้ หากข้อมูลไม่สามารถไหลเข้าสู่ GPU ได้อย่างต่อเนื่อง แกนประมวลผลจำนวนมากจะต้องรอหน่วยความจำ ทำให้อุปกรณ์เร่งประมวลผล AI ที่มีราคาแพงไม่สามารถทำงานเต็มกำลังได้ คอขวดนี้มักถูกเรียกว่า "กำแพงหน่วยความจำ" (memory wall) HBM ไม่ได้สร้างพลังการประมวลผลโดยตรง แต่เป็นตัวกำหนดว่า GPU จะสามารถรับข้อมูลได้เพียงพออย่างต่อเนื่องหรือไม่

การฝึกโมเดลขนาดใหญ่ต้องอ่านน้ำหนักโมเดล (model weights), activations, เกรเดียนต์ และสถานะของ optimizer ซ้ำแล้วซ้ำอีก ยิ่งโมเดลมีขนาดใหญ่ขึ้น จำนวนพารามิเตอร์และข้อมูลระหว่างกลางก็ยิ่งมากขึ้น และการพึ่งพาแบนด์วิดท์และความจุของหน่วยความจำก็ยิ่งแรงขึ้นตามไปด้วย การอนุมาน (inference) ก็มีความต้องการสูงเช่นกัน โดยเฉพาะเมื่อโมเดลบริบทยาว (long-context models), โมเดลการให้เหตุผล, บทสนทนาหลายรอบ และคำขอที่มีการทำงานพร้อมกันสูงทำให้ KV Cache ขยายตัว ในบทความแนะนำ Blackwell Ultra NVIDIA เน้นย้ำว่า HBM3E ขนาด 288GB มีความสำคัญอย่างยิ่งต่อโมเดลบริบทยาว โมเดลขนาดหลายล้านล้านพารามิเตอร์ และการอนุมานที่มีการทำงานพร้อมกันสูง ซึ่งสะท้อนให้เห็นว่าการแข่งขันด้านตัวเร่ง AI ได้ขยายจากพลังการคำนวณเพียงอย่างเดียวไปสู่ระบบหน่วยความจำแล้ว

ในระหว่างการฝึกโมเดล คุณค่าแรกของ HBM คือการปรับปรุงอัตราการใช้งาน GPU GPU มีความเก่งกาจในการคำนวณแบบขนานขนาดใหญ่ แต่จะเป็นเช่นนั้นได้ก็ต่อเมื่อมีข้อมูลถูกส่งมอบอย่างต่อเนื่องเท่านั้น หากแบนด์วิดท์ของ HBM ไม่เพียงพอ หน่วยคำนวณเมทริกซ์อาจต้องรอ และค่า FLOPS ในทางทฤษฎีจะไม่สามารถแปลงเป็นปริมาณงานจริงได้อย่างเต็มที่ คุณค่าที่สองคือการลดการแบ่งส่วนโมเดล เมื่อโมเดลหรือสถานะการฝึกไม่สามารถบรรจุอยู่ใน HBM ของ GPU เดียวได้ จะต้องแบ่งออกเป็นหลาย GPU ซึ่งเพิ่มความซับซ้อนในการสื่อสาร การซิงโครไนซ์ และการจัดตาราง คุณค่าที่สามคือประสิทธิภาพด้านพลังงาน การเคลื่อนย้ายข้อมูลในตัวมันเองใช้พลังงานจำนวนมาก เนื่องจาก HBM ติดตั้งอยู่ใกล้กับ GPU จึงสามารถเพิ่มปริมาณงานได้ภายใต้การใช้พลังงานที่ควบคุมได้ในระดับหนึ่ง

HBM มีความสำคัญมากขึ้นเรื่อยๆ ในช่วงการอนุมาน (inference) ในช่วงแรกๆ หลายคนคิดว่าการฝึกฝน (training) ต้องพึ่งพา HBM มากกว่า ในขณะที่การอนุมานเป็นประเด็นด้านต้นทุนการคำนวณเป็นหลัก แต่แอปพลิเคชันบริบทยาว (long-context) และเอเจนต์ (agent) ได้เปลี่ยนมุมมองนั้น KV Cache เติบโตตามความยาวของบริบท จำนวนผู้ใช้พร้อมกัน และความยาวของการสร้างข้อความ โดยใช้พื้นที่ HBM อย่างต่อเนื่อง NVIDIA H200 มาพร้อม HBM3E ขนาด 141GB และแบนด์วิดท์หน่วยความจำ 4.8TB/s ส่วน AMD Instinct MI325X มาพร้อม HBM3E ขนาด 256GB และแบนด์วิดท์หน่วยความจำสูงสุดสูงถึง 6TB/s ข้อกำหนดเหล่านี้แสดงให้เห็นว่าผู้ผลิตตัวเร่ง AI ไม่ได้เพิ่มเพียงความสามารถในการคำนวณเท่านั้น แต่ยังเพิ่มความจุและแบนด์วิดท์ของหน่วยความจำอีกด้วย

HBM ยังส่งผลต่อต้นทุนรวมในการเป็นเจ้าของ (Total Cost of Ownership) ของเซิร์ฟเวอร์ AI ด้วย หาก GPU สามารถปล่อยประสิทธิภาพได้เพียงบางส่วนเนื่องจากคอขวดด้านหน่วยความจำ ผู้ให้บริการคลาวด์จำเป็นต้องซื้อ GPU เพิ่มเติมเพื่อทำงานเดียวกันให้เสร็จ ในทางกลับกัน ความจุ HBM ที่มากขึ้นและแบนด์วิดท์ที่สูงขึ้นอาจเพิ่มปริมาณงานส่งออกต่อ GPU เดียวและลดต้นทุนโครงสร้างพื้นฐานต่อโทเค็นหรือต่องานการฝึก แน่นอนว่าต้นทุนจริงยังขึ้นอยู่กับสถาปัตยกรรมโมเดล ความแม่นยำ กลยุทธ์การทำงานแบบขนาน การเชื่อมต่อเครือข่าย และการปรับแต่งซอฟต์แวร์ด้วย ดังนั้นจึงไม่ควรมองว่า HBM เป็นตัวแปรเดียวเท่านั้น

สรุป: เซิร์ฟเวอร์ AI ต้องการ HBM เนื่องจากการคำนวณโมเดลขนาดใหญ่มีข้อจำกัดจากการจ่ายข้อมูลมากขึ้นเรื่อยๆ การฝึกฝน (Training) ต้องการแบนด์วิดท์เพื่อเพิ่มอัตราการใช้งาน GPU และต้องการความจุเพื่อลดการแบ่งส่วนโมเดล การอนุมาน (Inference) ต้องการแบนด์วิดท์เพื่อลดเวลาแฝง และต้องการความจุเพื่อรองรับ KV Cache, บริบทยาว และคำขอพร้อมกันจำนวนมาก หากมี HBM ไม่เพียงพอ GPU อาจประสบปัญหาอัตราการใช้งานต่ำ การสื่อสารข้าม GPU ที่มากขึ้น เวลาแฝงในการอนุมานที่นานขึ้น และต้นทุนต่อหน่วยบริการที่สูงขึ้น HBM ไม่ใช่สเปกรองของชิป AI แต่เป็นทรัพยากรระบบหลักที่กำหนดประสิทธิภาพของเซิร์ฟเวอร์ AI

HBM, DDR และ GDDR แตกต่างกันอย่างไร?

HBM, DDR และ GDDR ล้วนอ้างอิงเทคโนโลยี DRAM แต่แต่ละตัวมีตำแหน่งและเป้าหมายที่แตกต่างกัน HBM เน้นแบนด์วิดท์สูงมากและประสิทธิภาพการใช้พลังงานภายในแพ็กเกจ DDR เน้นความจุทั่วไป มาตรฐาน และความสามารถในการขยายระบบ ส่วน GDDR เน้นแบนด์วิดท์สูงบนการ์ดจอในราคาที่ควบคุมได้พอสมควร โดยทั่วไปเซิร์ฟเวอร์ AI มักไม่พึ่งพาหน่วยความจำเพียงประเภทเดียว แต่ให้ HBM, DDR และชั้นการจัดเก็บข้อมูลอื่น ๆ ทำงานร่วมกัน

Server DDR5 มักติดตั้งอยู่ในช่องเสียบหน่วยความจำบนเมนบอร์ด และทำหน้าที่รองรับ CPU ระบบปฏิบัติการ ฐานข้อมูล การประมวลผลข้อมูลเบื้องต้น และงานคำนวณทั่วไป ในทางกลับกัน HBM จะถูกแพ็กเกจไว้ใกล้กับ GPU หรือ AI ASIC และทำหน้าที่รองรับข้อมูลที่ตัวเร่งปฏิกิริยา (accelerator) กำลังประมวลผลอยู่ แม้ว่าเซิร์ฟเวอร์ AI จะมี GPU หลายตัวและแต่ละ GPU มี HBM จำนวนมาก เซิร์ฟเวอร์ก็ยังคงต้องใช้หน่วยความจำ DDR ระบบสำหรับงานของ CPU เน็ตเวิร์กสแตก ระบบจัดคิวงาน และการเตรียมข้อมูล

GDDR พบได้ทั่วไปมากกว่าใน GPU สำหรับผู้บริโภค การ์ดจอสำหรับเวิร์กสเตชัน และการ์ดตัวเร่งบางรุ่น โดยปกติจะติดตั้งอยู่รอบๆ GPU บนแผงวงจร PCB และสามารถทำให้เกิดแบนด์วิดท์สูงได้ผ่านความเร็วต่อพินที่สูงขึ้น เมื่อเทียบกับ GDDR แล้ว HBM มีอินเทอร์เฟซที่กว้างกว่า ประสิทธิภาพการใช้พลังงานที่ดีกว่า และการบรรจุที่กระชับกว่า แต่ก็มีต้นทุนและความซับซ้อนในการผลิตที่สูงกว่ามากเช่นกัน นี่คือเหตุผลที่ GPU สำหรับเกมมักยังคงใช้ GDDR ต่อไป ในขณะที่ตัวเร่ง AI ระดับบนสุดมีแนวโน้มที่จะใช้ HBM มากกว่า

HBM ไม่สามารถทดแทน DDR ได้อย่างสมบูรณ์ เหตุผลก็ตรงไปตรงมา: HBM มีราคาแพง ไม่สามารถขยายได้ง่ายเหมือน DIMM หลังจากการบรรจุ และต้นทุนต่อความจุไม่เหมาะสำหรับการรองรับหน่วยความจำทั้งหมดของระบบ งานประมวลผลข้อมูลจำนวนมาก การแคชไฟล์ การอนุมาน (inference) ของ CPU ฐานข้อมูล และการจัดตารางของระบบในเซิร์ฟเวอร์ AI ยังคงต้องใช้ DDR HBM เหมาะสำหรับการจัดเก็บข้อมูลที่มีมูลค่าสูงซึ่ง GPU ต้องการในขณะนั้น มากกว่าที่จะนำข้อมูลทั้งหมดในเซิร์ฟเวอร์ใส่ลงใน HBM

HBM จะไม่เข้ามาแทนที่ GDDR ได้อย่างสมบูรณ์เช่นกัน เนื่องจาก GPU สำหรับผู้บริโภคและแอปพลิเคชันเวิร์กสเตชันจำนวนมากต้องคำนึงถึงต้นทุน และงานส่วนใหญ่อย่างเกม เรนเดอร์ และงาน AI ขนาดเล็กไม่จำเป็นต้องใช้แบนด์วิดท์ระดับ HBM หรือต้นทุนการแพ็กเกจที่สูง HBM จะคุ้มค่ามากขึ้นก็ต่อเมื่อผลกำไรด้านประสิทธิภาพ ประสิทธิภาพการใช้พลังงาน และความหนาแน่นของแพ็กเกจ สมเหตุสมผลกับต้นทุนที่จ่ายไป การใช้โซลูชันหน่วยความจำที่แตกต่างกันในสายผลิตภัณฑ์ของ AMD, NVIDIA และผู้ขายรายอื่น ๆ โดยแท้จริงแล้วคือการถ่วงดุลระหว่างประสิทธิภาพ ต้นทุน การใช้พลังงาน และการวางตำแหน่งในตลาด

สรุป: HBM, DDR และ GDDR ไม่ได้เข้ามาแทนที่กันเองอย่างง่ายดาย แต่ต่างแบ่งหน้าที่กัน DDR เหมาะสำหรับหน่วยความจำหลักของระบบทั่วไป, GDDR เหมาะสำหรับงานกราฟิกและสถานการณ์ GPU ที่มีความไวต่อต้นทุนมากกว่า และ HBM เหมาะสำหรับชิป AI และ HPC ที่ต้องการแบนด์วิดท์ ความจุ และประสิทธิภาพด้านพลังงานสูงสุด สำหรับเซิร์ฟเวอร์ AI, HBM แก้ปัญหาการจ่ายข้อมูลความเร็วสูงใกล้ GPU, DDR แก้ปัญหาหน่วยความจำระบบของเครื่องทั้งเครื่อง ส่วน SSD และ HDD ทำหน้าที่จัดเก็บข้อมูลในเลเยอร์ที่ไกลออกไป โครงสร้างพื้นฐาน AI ที่มีประสิทธิภาพขึ้นอยู่กับการทำงานร่วมกันของเลเยอร์หน่วยความจำและที่จัดเก็บข้อมูล ไม่ใช่เพียงการกองหน่วยความจำประเภทเดียวเข้าด้วยกัน

HBM ผลิตอย่างไร และทำไมจึงมีราคาแพงและขยายการผลิตได้ยาก?

HBM มีราคาแพงและการขยายกำลังการผลิตเป็นไปอย่างเชื่องช้า ไม่เพียงเพราะเวเฟอร์ DRAM มีต้นทุนสูงเท่านั้น แต่ยังเพราะกระบวนการผลิตต้องใช้ได (die) ที่ผ่านการตรวจสอบแล้วว่าไม่มีข้อบกพร่องจำนวนมาก นำไปทำให้บางลง แกะสลักวงจร ซ้อนกัน เชื่อมต่อกัน ทำบรรจุภัณฑ์ ทดสอบ และจากนั้นจึงตรวจสอบความถูกต้องร่วมกับ GPU ในระดับระบบ ปัญหาใดๆ ที่เกิดขึ้นในชั้นชิป การเชื่อมต่อ หรือขั้นตอนการบรรจุภัณฑ์ ล้วนส่งผลกระทบต่ออัตราผลผลิต (yield) ของชุด HBM ทั้งหมด การเพิ่มกำลังการผลิตเวเฟอร์ไม่ได้หมายความว่า HBM ที่พร้อมขายจะเพิ่มขึ้นในอัตราเดียวกัน

การผลิต HBM มักเริ่มต้นจากเวเฟอร์ DRAM ขั้นสูง ผู้ผลิตจะผลิตได DRAM ก่อน จากนั้นจึงทำการบางเวเฟอร์และสร้าง TSV แล้วคัดกรองไดที่เหมาะสำหรับการซ้อนกัน หลังจากนั้นไดหลายชิ้นต้องถูกจัดตำแหน่ง บัดกรีเชื่อม และเชื่อมต่อกับไดฐานอย่างแม่นยำเพื่อสร้างสแตก HBM ที่สมบูรณ์ สแตกนั้นยังต้องถูกบูรณาการกับ GPU, interposer และซับสเตรตบรรจุภัณฑ์ ก่อนที่จะผ่านการทดสอบทางไฟฟ้า การทดสอบความร้อน การทดสอบความน่าเชื่อถือ และการรับรองแพลตฟอร์มของลูกค้า

CoWoS มักปรากฏร่วมกับ HBM เพราะ GPU AI ระดับสูงส่วนใหญ่มักต้องใช้เทคโนโลยีการบรรจุขั้นสูงเพื่อวาง GPU และ HBM หลายชั้นไว้ในโมดูลเดียวกัน TSMC CoWoS เป็นเทคโนโลยีการบรรจุแบบ 2.5D ที่ใช้ interposer ในการรวมชิปตรรกะและ HBM เข้าด้วยกัน โดยให้การเชื่อมต่อความหนาแน่นสูงสำหรับงานคำนวณประสิทธิภาพสูง ควรแยกแนวคิดเหล่านี้ให้ชัดเจน: HBM คือหน่วยความจำ CoWoS คือแพลตฟอร์มการบรรจุ และ GPU คือชิปประมวลผล เมื่อรวมกันแล้วทั้งหมดจะก่อรูปเป็นโมดูลตัวเร่ง AI

HBM มีความยากในการขยายกำลังการผลิตเนื่องจากใช้ทรัพยากรการผลิตมากกว่า ตัวเร่ง AI ระดับไฮเอนด์หนึ่งตัวอาจมีชิ้นงาน HBM หลายชุด และแต่ละชุดต้องใช้ชิป DRAM หลายตัว เมื่อเทียบกับ DRAM ทั่วไป HBM ใช้ทรัพยากรเวเฟอร์ การบรรจุ การทดสอบ และวัสดุมากกว่า รายงานแนวโน้มตลาดหน่วยความจำปี 2026 ของ SK hynix ยังระบุด้วยว่า HBM3E และ HBM4 จะยังคงเป็นทิศทางสำคัญของความต้องการหน่วยความจำสำหรับ AI ในขณะที่ความสามารถในการจัดหาขึ้นอยู่กับกำลังการผลิต อัตราผลผลิต และการตรวจสอบจากลูกค้า

การควบคุมความร้อนยังเป็นอีกหนึ่งความท้าทาย HBM ใช้โครงสร้างแบบซ้อนกันแบบ 3 มิติ ทำให้ความร้อนจากชิปภายในกระจายตัวออกได้ยากขึ้น ยิ่งซ้อนกันหลายชั้น แบนด์วิดท์ก็ยิ่งสูงขึ้น และยิ่งความหนาแน่นของพลังงานสูงขึ้น การจัดการความร้อนก็ยิ่งมีความสำคัญมากขึ้น การแข่งขันของ HBM ในอนาคตจะไม่ได้แข่งกันเพียงเรื่องแบนด์วิดท์และความจุเท่านั้น แต่ยังรวมถึงวัสดุ การออกแบบ base die โครงสร้างการแพ็กเกจ โซลูชันการระบายความร้อน และการออกแบบระดับระบบด้วย

หากคุณกำลังติดตามบริษัทในห่วงโซ่อุปทาน HBM คุณควรมองไม่เพียงแค่ความเป็นผู้นำด้านเทคโนโลยี แต่ยังรวมถึงต้นทุนการซื้อขายจริงด้วย ในตลาดสาธารณะ บริษัทที่จดทะเบียนในสหรัฐฯ เช่น Micron, NVIDIA, AMD, Marvell, Seagate และ Western Digital มีความเกี่ยวข้องกับหน่วยความจำ AI ชิป หรือศูนย์ข้อมูล เมื่อติดตามสินทรัพย์ที่เกี่ยวข้องผ่าน Biya คุณควรเฝ้าดูผลประกอบการของบริษัท การรับรองจากลูกค้า การลงทุนด้านทุน และมูลค่าหลักทรัพย์ด้วย Biya ไม่เก็บค่าคอมมิชชันสำหรับการซื้อขายหุ้นสหรัฐฯ ส่วนค่าธรรมเนียมแพลตฟอร์ม ค่าธรรมเนียมสถาบันภายนอก และค่าใช้จ่ายอื่น ๆ ขึ้นอยู่กับค่าธรรมเนียมการซื้อขายหุ้นสหรัฐฯ และการแสดงผลของคำสั่งซื้อ ข้อมูลตลาดสาธารณะไม่ถือเป็นคำแนะนำการลงทุนความพร้อมใช้งานของบริการขึ้นอยู่กับที่ตั้งของผู้ใช้ ผลการยืนยันตัวตน กฎของแพลตฟอร์ม และกฎหมายและข้อบังคับที่เกี่ยวข้อง

สรุป: ความขาดแคลนของ HBM มีที่มาจากห่วงโซ่อุปทานทั้งหมด ไม่ใช่จากขั้นตอนการผลิตเพียงขั้นตอนเดียว มันต้องการ DRAM รุ่นล้ำหน้า, TSV, การต่อแบบซ้อนกัน (stacked bonding), เบสได (base die), อินเทอร์โพสิเตอร์ (interposer), การแพ็กเกจขั้นสูง, การทดสอบและรับรองคุณภาพ รวมถึงการจัดการความร้อนที่เติบโตเป็นรูปเป็นร่างไปพร้อมกัน การขยายกำลังการผลิตเวเฟอร์ช่วยแก้ปัญหาได้เพียงบางส่วนเท่านั้น ตัวกำหนดปริมาณการจัดส่งที่แท้จริงคืออัตราผลผลิต (yield), กำลังการผลิตด้านการแพ็กเกจ, การรับรองจากลูกค้า และความน่าเชื่อถือของระบบ นี่คือเหตุผลที่ราคาขายเฉลี่ยและอัตรากำไรของ HBM มักสูงกว่า DRAM ทั่วไป ราคาที่สูงของมันไม่ได้มาจากดีมานด์ที่แข็งแกร่งเพียงอย่างเดียว แต่ยังเป็นเพราะมันผูกเมมโมรี การแพ็กเกจ และการออกแบบตัวเร่ง AI (AI accelerator) เข้าด้วยกัน

HBM3E และ HBM4 กำลังพัฒนาไปอย่างไร และการแข่งขันในอนาคตจะขึ้นอยู่กับอะไร?

HBM กำลังเปลี่ยนผ่านจาก HBM3E สู่ HBM4 แต่ผลิตภัณฑ์รุ่นเก่าและรุ่นใหม่จะไม่สลับเปลี่ยนกันทันที สถานการณ์ที่สมจริงกว่าคือ HBM3E ยังคงให้บริการแก่ตัวเร่ง AI ที่มีอยู่จำนวนมาก, HBM4 ขยายตัวไปพร้อมกับ GPU และ AI ASIC รุ่นถัดไป และ HBM4E รวมถึง HBM แบบกำหนดเองเข้าสู่กระบวนการตรวจสอบโดยลูกค้า การแข่งขันในอนาคตไม่ได้เป็นเพียงเรื่องว่าใครมีกำลังการผลิตมากกว่า แต่เป็นเรื่องว่าใครสามารถสร้างสมดุลระหว่างแบนด์วิดท์ ความจุ อัตราผลผลิตที่ใช้งานได้ การรับรองจากลูกค้า ทรัพยากรการบรรจุชิป และวินัยในการใช้จ่ายเงินลงทุนได้ดีกว่า

การพัฒนา HBM รุ่นใหม่เคลื่อนไปในสี่ทิศทางหลัก ได้แก่ แบนด์วิดท์ที่สูงขึ้น ความจุที่ใหญ่ขึ้น ประสิทธิภาพการใช้พลังงานที่ดีขึ้น และความสามารถในการปรับแต่งที่มากขึ้น เอกสาร HBM4 ของ Micron ระบุว่า HBM4 ใช้อินเทอร์เฟซแบบ 2048 บิต และได้รับการออกแบบมาเพื่อส่งมอบแบนด์วิดท์และความจุที่สูงขึ้นสำหรับงาน AI และ HPC เมื่อ Samsung ประกาศ การจัดส่ง HBM4 เชิงพาณิชย์ บริษัทกล่าวว่า HBM4 ของตนบรรลุความเร็วในการถ่ายโอนที่เสถียรที่ 11.7Gbps และสามารถเพิ่มขึ้นได้ถึง 13Gbps ใน การนำเสนอ HBM4E Samsung ยังกล่าวถึงความเร็ว 16Gbps ต่อพินและแบนด์วิดท์ 4.0TB/s ซึ่งแสดงให้เห็นว่าขั้นตอนถัดไปของการแข่งขันจะยังคงหมุนรอบปัญหาคอขวดด้านข้อมูลของตัวเร่ง AI ต่อไป

การเปลี่ยนแปลงที่สำคัญอย่างหนึ่งใน HBM4 คือ die ฐาน (base die) ได้เคลื่อนเข้าใกล้การปรับแต่งในระดับระบบมากขึ้น ในอดีต HBM ดูคล้ายกับผลิตภัณฑ์หน่วยความจำที่เป็นมาตรฐานสำเร็จรูป แต่ในอนาคต HBM อาจกลายเป็นองค์ประกอบของระบบที่ถูกกำหนดร่วมกันโดยผู้ผลิต GPU นักออกแบบ ASIC ผู้ผลิตหน่วยความจำ และผู้รับจ้างผลิตเวเฟอร์ (foundry) มากขึ้นเรื่อย ๆ ลูกค้าอาจเรียกร้องการปรับแต่งเชิงลึกในด้านโปรโตคอลอินเทอร์เฟซ การจัดการพลังงาน ขนาดของแพ็กเกจ ความสมบูรณ์ของสัญญาณ เส้นทางการระบายความร้อน และวิธีการเข้าถึงข้อมูล ซึ่งเป็นการเพิ่มกำแพงทางเทคนิค และอาจผูกลูกค้าชั้นนำให้แนบแน่นยิ่งขึ้นกับผู้ผลิต HBM ชั้นนำ

ในการประเมินความสามารถในการแข่งขันของผู้ผลิต HBM คุณสามารถติดตามตัวชี้วัดได้แปดประการ:

• กำหนดการผลิตจริงของ HBM3E, HBM4 และ HBM4E;
• การรับรองผลิตภัณฑ์จาก NVIDIA, AMD และลูกค้า ASIC แบบสั่งเฉพาะ;
• สัดส่วนของผลิตภัณฑ์ในกลุ่ม 8-Hi, 12-Hi และผลิตภัณฑ์ที่มีการซ้อนชั้นสูงกว่านั้น;
• รายได้จาก HBM ในสัดส่วนของธุรกิจ DRAM;
• อัตราผลผลิตและอัตรากำไรขั้นต้นจะปรับปรุงดีขึ้นพร้อมกันหรือไม่;
• คำสั่งซื้อระยะยาวจะรองรับกำลังการผลิตใหม่ได้หรือไม่;
• ทรัพยากรด้าน CoWoS, ซับสเตรท และการทดสอบจะเพียงพอหรือไม่;
• การลงจ่ายด้านทุน (Capex) อาจนำไปสู่สภาวะผลิตเกินความต้องการในอนาคตหรือไม่

สำหรับนักลงทุนรายย่อย HBM เป็นทั้งประเด็นด้านเทคโนโลยีและประเด็นด้านวงจรธุรกิจ ในด้านอุปสงค์ ให้ติดตามการฝึก AI การอนุมาน (inference) การลงทุนด้านทุนของผู้ให้บริการคลาวด์ และการนำ ASIC แบบเฉพาะทางไปใช้งาน ในด้านอุปทาน ให้ติดตามแผนการขยายกำลังการผลิต การรับรองจากลูกค้า และอัตราผลผลิต (yield) ของ SK hynix, Samsung และ Micron ในด้านการประเมินมูลค่า ให้พิจารณาว่าตลาดได้สะท้อนความคาดหวังการเติบโตสูงไว้ในราคาแล้วหรือยัง ในการติดตามบริษัทที่จดทะเบียนในตลาดหุ้นสหรัฐฯ ที่เกี่ยวข้อง คุณสามารถใช้ ค้นหาข้อมูลหุ้นสหรัฐฯ เพื่อดูข้อมูลพื้นฐาน จากนั้นตรวจสอบประกอบกับรายงานผลประกอบการ การเปิดตัวผลิตภัณฑ์ และการเปลี่ยนแปลงของคำสั่งซื้อ ผู้ใช้ที่ตรงตามเงื่อนไขการให้บริการที่เกี่ยวข้องยังสามารถ ดาวน์โหลดแอป เพื่อตรวจสอบค่าธรรมเนียมคำสั่งซื้อและการเปิดเผยความเสี่ยงได้อีกด้วย

สรุป: ขั้นตอนต่อไปของการแข่งขันด้าน HBM จะเปลี่ยนจากข้อกำหนดด้านหน่วยความจำเพียงอย่างเดียวไปสู่การต่อสู้ในระดับระบบที่ครอบคลุมหน่วยความจำ ชิปลอจิก และการบรรจุชิปขั้นสูง HBM3E จะยังคงสนับสนุนแพลตฟอร์มที่มีอยู่จำนวนมาก ในขณะที่ HBM4 จะรองรับตัวเร่ง AI รุ่นถัดไปด้วยอินเทอร์เฟซที่กว้างขึ้น แบนด์วิดท์ที่สูงขึ้น และการปรับแต่งที่แข็งแกร่งขึ้น การที่ผู้ผลิตจะสร้างผลตอบแทนระยะยาวได้หรือไม่นั้นขึ้นอยู่กับการรับรองจากลูกค้า อัตราผลผลิตในการผลิตจำนวนมาก ทรัพยากรด้านการบรรจุชิป กลุ่มผลิตภัณฑ์ และวินัยในการใช้จ่ายเงินลงทุน การเติบโตสูงของอุตสาหกรรมไม่ได้หมายความว่ากำไรหรือราคาหุ้นของบริษัทที่เกี่ยวข้องจะเพิ่มขึ้นพร้อมกันอย่างแน่นอน นักลงทุนยังคงต้องพิจารณาผลประกอบการล่าสุด วัฏจักรอุปสงค์-อุปทาน และมูลค่าหลักทรัพย์อีกด้วย

เมื่อเข้าใจ HBM แล้ว ห่วงโซ่อุปทานชิป AI ก็จะชัดเจนขึ้น สำหรับตัวเร่งของ NVIDIA และ AMD คุณไม่ควรมองแค่พลังการประมวลผล แต่ควรดูความจุและแบนด์วิดท์ของ HBM ด้วย สำหรับ SK hynix, Samsung และ Micron การแข่งขันไม่ได้มีแค่ปริมาณการจัดส่งหน่วยความจำ แต่ยังรวมถึงการรับรองจากลูกค้า อัตราผลผลิต และสัดส่วนรายได้จาก HBM ผู้เล่นด้านการบรรจุขั้นสูงอย่าง TSMC ก็สามารถส่งผลต่อจังหวะการส่งมอบสินค้าขั้นสุดท้ายได้เช่นกัน สำหรับนักลงทุนรายย่อย การติดตามห่วงโซ่อุปทาน HBM หมายถึงการนำการอัปเกรดเทคโนโลยี การลงทุนด้านทุน การรับรองผลิตภัณฑ์ การตั้งราคาหน่วยความจำ และต้นทุนการซื้อขาย มาไว้ในกรอบเดียวกัน การวิเคราะห์ตลาดสาธารณะควรสนับสนุนการตัดสินใจ ไม่ใช่แทนที่การประเมินความเสี่ยงด้วยตนเอง การเทรดทุกครั้งควรยึดตามแผนการเงินของคุณเอง กฎของแพลตฟอร์ม และข้อกำหนดด้านกำกับดูแลในท้องถิ่น

คำถามที่พบบ่อย

HBM เป็น DRAM หรือเป็นเทคโนโลยีหน่วยความจำแบบอิสระ?

HBM เป็น DRAM ชนิดหนึ่ง แต่ใช้การซ้อนแบบ 3 มิติ, TSV, อินเทอร์เฟซแบบกว้างพิเศษ และการแพ็กเกจขั้นสูง หลักการจัดเก็บข้อมูลของมันคล้ายกับ DDR แต่โครงสร้างผลิตภัณฑ์ วิธีการเชื่อมต่อ และกรณีการใช้งานแตกต่างกัน โดยส่วนใหญ่ใช้งานกับ GPU, AI ASIC และตัวเร่ง HPC

เซิร์ฟเวอร์ AI สามารถใช้เฉพาะ HBM โดยไม่ต้องมี DDR ได้หรือไม่?

โดยทั่วไปไม่ได้ HBM ส่วนใหญ่ทำหน้าที่รองรับ GPU หรือตัวเร่ง AI ในขณะที่ DDR ดูแลหน่วยความจำระบบของ CPU ระบบปฏิบัติการ การประมวลผลข้อมูลเบื้องต้น ฐานข้อมูล และงานทั่วไป เซิร์ฟเวอร์ AI ต้องการให้ HBM และ DDR ทำงานร่วมกัน มากกว่าการแทนที่ชั้นหน่วยความจำทั้งหมดด้วยหน่วยความจำชนิดเดียว

ความจุ HBM ที่มากขึ้นช่วยให้โมเดลทำงานเร็วขึ้นเสมอหรือไม่?

ไม่จำเป็นเสมอไป ความจุ HBM ที่มากขึ้นสามารถรองรับโมเดลที่ใหญ่ขึ้น KV Cache และงานแบบแบตช์ได้ แต่ความเร็วจริงยังได้รับอิทธิพลจากแบนด์วิดท์ของ HBM พลังการคำนวณของ GPU สถาปัตยกรรมของโมเดล การปรับแต่งซอฟต์แวร์ การเลือกความละเอียดของตัวเลข และการสื่อสารแบบหลาย GPU ความจุเพียงอย่างเดียวไม่เพียงพอสำหรับการตัดสินประสิทธิภาพ

สามารถอัปเกรด HBM ภายในเซิร์ฟเวอร์ AI แยกได้หรือไม่?

โดยทั่วไปไม่ได้ HBM ถูกรวมเข้ากับ GPU, interposer และซับสเตรตของแพ็กเกจอย่างแนบแน่น จึงเปลี่ยนแยกได้ยากเหมือนโมดูลหน่วยความจำหลังจากเซิร์ฟเวอร์ออกจากโรงงาน เมื่อต้องการ HBM เพิ่มเติม ผู้ใช้มักเปลี่ยนตัวเร่ง การ์ดจอ เพิ่มจำนวน GPU หรือปรับกลยุทธ์การปรับใช้โมเดล

ทำไม GPU สำหรับผู้บริโภคจึงไม่ค่อยใช้ HBM?

สาเหตุหลักคือต้นทุนและความซับซ้อนของการแพ็กเกจ ปริมาณงานส่วนใหญ่ เช่น เกมมิ่ง งานสำนักงาน งานสร้างสรรค์ และงาน AI เบา สามารถรองรับได้ด้วย GDDR หรือ DDR โดยไม่ต้องจ่ายค่าบวมของการแพ็กเกจขั้นสูงของ HBM ซึ่ง HBM เหมาะสมกว่าสำหรับ AI ระดับสูง HPC และตัวเร่งประสิทธิภาพในศูนย์ข้อมูล

ความเสี่ยงหลักในห่วงโซ่อุปทานของ HBM มีอะไรบ้าง?

ความเสี่ยงหลักประกอบด้วยการลงทุนด้านทุนสำหรับ AI ที่ช้าลง ความล่าช้าในการรับรองจากลูกค้า อัตราผลผลิตที่ต่ำกว่าคาด การขาดแคลนกำลังการผลิตของการแพ็กเกจขั้นสูง ปัญหาด้านความร้อน และภาวะอุปทานล้นตลาดหลังการขยายกำลังการผลิต เมื่อประเมินบริษัทที่เกี่ยวข้อง นักลงทุนควรอ้างอิงถึงรายงานผลประกอบการล่าสุด การเปิดเผยข้อมูลผลิตภัณฑ์ กฎเกณฑ์ของแพลตฟอร์ม และข้อกำหนดด้านกฎระเบียบในท้องถิ่น