ทำไมการเติบโตของการประมวลผล AI จึงขับเคลื่อนความต้องการด้านที่เก็บข้อมูล? จากการฝึกและการอนุมานไปสู่การจัดเก็บข้อมูลเย็น

การเติบโตของคอมพิวติ้ง AI ขับเคลื่อนความต้องการพื้นที่จัดเก็บข้อมูล เนื่องจาก GPU จำนวนมากไม่ได้ทำงานแยกกันโดดเดี่ยว คุณสามารถมองระบบ AI ว่าเป็นท่อส่งข้อมูลที่ขยายตัวต่อเนื่อง: ก่อนการเทรน ข้อมูลจะต้องถูกเก็บรวบรวมและทำความสะอาด ระหว่างการเทรน ตัวอย่างข้อมูลจะต้องถูกอ่านด้วยความเร็วสูงและต้องบันทึก checkpoint ระหว่างการอินเฟอเรนซ์ โมเดลจะต้องถูกโหลด ต้องดึงข้อมูลความรู้ และต้องจัดเก็บแคชและล็อก และในระยะยาว โมเดลเก่าและข้อมูลประวัติศาสตร์จะต้องถูกจัดเก็บถาวร ดังนั้นความต้องการพื้นที่จัดเก็บข้อมูลจึงไม่ได้เกี่ยวข้องกับความจุที่มากขึ้นเพียงเท่านั้น แต่ยังครอบคลุมถึงความสามารถในการส่งผ่านข้อมูล (throughput), IOPS, ความหน่วงต่ำ, ความทนทาน และการจัดระดับต้นทุนด้วย

สรุปประเด็นสำคัญ

• การประมวลผล AI ที่แข็งแกร่งขึ้นมักหมายถึงข้อมูลดิบและข้อมูลที่สร้างขึ้นจำนวนมากที่ต้องประมวลผล
• การฝึกฝนโมเดลต้องพึ่งพาที่เก็บข้อมูลที่มีปริมาณงานสูงเป็นอย่างมาก มิฉะนั้น GPU อาจต้องรอข้อมูล
• การอนุมาน (inference) ในระดับใหญ่เพิ่มความต้องการสำหรับน้ำหนักโมเดล เวกเตอร์ แคช และล็อก
• การเก็บถาวรข้อมูลเย็นเปลี่ยนโครงการ AI ระยะสั้นให้กลายเป็นความต้องการความจุระยะยาว
• SSD และ HDD มักเป็นระดับการจัดเก็บข้อมูลที่เสริมกัน ไม่ใช่สิ่งทดแทนกันอย่างง่าย

การเติบโตของ AI Compute เปลี่ยนเป็นความต้องการที่เก็บข้อมูลอย่างไร

เหตุผลสำคัญที่การเติบโตของการประมวลผล AI ขับเคลื่อนความต้องการด้านพื้นที่จัดเก็บข้อมูล ไม่ใช่เพียงเพราะ "GPU มากขึ้นต้องใช้ไดรฟ์มากขึ้น" แต่โหนดคอมพิวติ้งที่มากขึ้นจำเป็นต้องอ่านข้อมูลอย่างต่อเนื่อง เขียนผลลัพธ์ระหว่างกาล บันทึกสถานะของโมเดล และให้บริการผู้ใช้ในระยะยาวระหว่างการอินเฟอเรนซ์ ตามคำอธิบายของ IBM เกี่ยวกับ AI storage พื้นที่จัดเก็บข้อมูลสำหรับ AI ทำหน้าที่จัดการข้อมูลที่จำเป็นสำหรับการฝึกฝนและการรันโครงสร้างพื้นฐาน AI รวมถึง data lake คลาวด์สตอเรจ และฐานข้อมูล สิ่งที่คุณควรเฝ้าดูอย่างแท้จริงคือวิธีที่ข้อมูลเคลื่อนที่ข้ามช่วงการฝึกฝน การอินเฟอเรนซ์ และการจัดเก็บถาวร

แอปพลิเคชันแบบดั้งเดิมมักถูกขับเคลื่อนด้วยคำขอของผู้ใช้ และช่วงพีคของการเข้าถึงข้อมูลสามารถคาดการณ์ได้ค่อนข้างดี ส่วนปริมาณงาน AI มีลักษณะคล้ายวงจรมากกว่า ข้อมูลดิบจะถูกเก็บรวบรวม ทำความสะอาด ติดป้ายกำกับ แบ่งส่วน แปลงเป็นรูปแบบที่เหมาะสม แล้วจึงนำไปใช้สำหรับการฝึกหรือการปรับแต่งเพิ่มเติม หลังการฝึก น้ำหนักโมเดล เช็คพอยต์ และผลการประเมินจะถูกบันทึกไว้ หลังการนำไปใช้งาน ข้อมูลที่ผู้ใช้ป้อนเข้ามา เอาต์พุตที่สร้างขึ้น บันทึกของเครื่องมือ และข้อมูลผลตอบรับ จะไหลกลับเข้าสู่ระบบข้อมูล ซึ่งเป็นวัตถุดิบสำหรับการปรับปรุงหรือการฝึกใหม่ในอนาคต

นี่คือเหตุผลว่าทำไมพื้นที่จัดเก็บข้อมูลสำหรับ AI จึงไม่สามารถวัดกันด้วยความจุเพียงอย่างเดียว ความจุกำหนดว่าคุณสามารถเก็บข้อมูลได้มากเพียงใด แต่การฝึกโมเดลและการอนุมานยังต้องการทรูพุตสูง ความหน่วงต่ำ และการทำงานพร้อมกันจำนวนมากอีกด้วย บทความของ NVIDIA ที่กล่าวถึงการขยายขนาดพื้นที่จัดเก็บข้อมูลสำหรับการฝึกและการอนุมาน AI มองว่า การฝึกโมเดล แอปพลิเคชันการอนุมาน การจัดเก็บข้อมูล และการประมวลผลแบบเร่ง เป็นองค์ประกอบทั่วไปสี่ส่วนของโซลูชัน AI สิ่งนี้แสดงให้เห็นว่าพื้นที่จัดเก็บข้อมูลไม่ใช่เรื่องรองที่อยู่เบื้องหลัง GPU แต่เป็นส่วนหนึ่งของกองโครงสร้างพื้นฐาน AI

คุณสามารถเข้าใจความเชื่อมโยงระหว่างพลังการประมวลผล AI กับระบบจัดเก็บข้อมูลผ่านเส้นทางการส่งผ่านข้อมูลสามเส้นทางดังนี้:

• GPU ที่มากขึ้นทำให้แรงกดดันในการอ่านข้อมูลการฝึกแบบขนานเพิ่มขึ้น
• โมเดลที่ใหญ่ขึ้นทำให้ขนาดของไฟล์น้ำหนักโมเดลและไฟล์เช็คพอยต์เพิ่มขึ้น
• คำขออนุมาน (inference) ที่มากขึ้นสร้างการเติบโตอย่างต่อเนื่องในแคช ดัชนีเวกเตอร์ และล็อกไฟล์

ปริมาณงาน AI ยังทำให้ตัวชี้วัดด้านพื้นที่จัดเก็บข้อมูลมีความซับซ้อนมากขึ้นด้วย ตัวอย่างเช่น ชุดข้อมูลสำหรับฝึกวิดีโอและรูปภาพต้องการความจุที่มากกว่า ระบบแนะนำและการค้นหาแบบมัลติโมเดลสร้างแรงกดดันต่อการเข้าถึงไฟล์ขนาดเล็กและการเข้าถึงแบบสุ่มมากขึ้น การฝึกโมเดลขนาดใหญ่ให้ความสำคัญกับความเร็วในการเขียน checkpoint และการกู้คืนมากกว่า แอปพลิเคชัน RAG นำฐานข้อมูลเวกเตอร์และ object storage เข้ามาอยู่ในเส้นทางการอนุมาน (inference) โดยตรง องค์กร NVMe ยังระบุด้วยว่าปริมาณงาน AI ประกอบด้วยการนำเข้าข้อมูล การประมวลผลเบื้องต้น การฝึก การทำ checkpoint และการจัดเก็บถาวร คุณค่าของเทคโนโลยี NVMe-oF อยู่ที่การลดคอขวดด้านข้อมูลผ่านอัตราการถ่ายโอนสูงและความหน่วงต่ำ

สรุป: การเติบโตของพลังการประมวลผล AI กลายเป็นความต้องการด้านพื้นที่จัดเก็บข้อมูล เพราะพลังการประมวลผลต้องได้รับการ “ป้อน” ด้วยข้อมูล GPU ที่มากขึ้นหมายถึงการอ่านข้อมูลแบบขนานมากขึ้น การเขียนข้อมูลระหว่างกาลที่ถี่ขึ้น ไฟล์โมเดลที่มีขนาดใหญ่ขึ้น และบริการอนุมาน (inference) ที่ซับซ้อนมากขึ้น คุณไม่ควรประเมินพื้นที่จัดเก็บข้อมูลสำหรับ AI โดยดูแค่ความจุในหน่วยเทระไบต์เท่านั้น แต่ความเร็วในการถ่ายโอนข้อมูล (Throughput), IOPS, ความหน่วง (latency), ความทนทานในการเขียนข้อมูล และความสามารถในการจัดชั้นข้อมูล (data-tiering) ล้วนมีความสำคัญทั้งสิ้น การเปลี่ยนแปลงที่แท้จริงคือ AI ผลักดันให้ระบบจัดเก็บข้อมูลเปลี่ยนจากทรัพยากรเบื้องหลังมาสู่แนวหน้าของไปป์ไลน์การประมวลผล หากข้อมูลไม่สามารถไปถึง GPU ได้อย่างรวดเร็ว พลังการประมวลผลที่เพิ่มขึ้นอาจไม่ถูกใช้งานอย่างเต็มที่ และหากไม่มีการวางแผนโมเดล บันทึกการทำงาน (logs) และข้อมูลสำรองอย่างเหมาะสม โครงการ AI ระยะสั้นอาจกลายเป็นภาระต้นทุนในระยะยาว

เหตุใดการเทรนโมเดลจึงเป็นตัวขับเคลื่อนหลักด้านพื้นที่จัดเก็บข้อมูลประสิทธิภาพสูงก่อน

การเทรนเป็นขั้นตอนแรกที่สร้างความต้องการพื้นที่จัดเก็บข้อมูลประสิทธิภาพสูง เนื่องจาก GPU จำนวนมากอ่านชุดข้อมูลสำหรับการเทรนพร้อมกัน และเขียน model checkpoint เป็นระยะ คุณสามารถมองคลัสเตอร์ GPU เป็นกลุ่มเครื่องยนต์ความเร็วสูง ในขณะที่ระบบจัดเก็บข้อมูลคือเส้นทางจ่ายเชื้อเพลิง หากการโหลดข้อมูลไม่ทัน ตัวเร่ง (accelerator) ที่มีราคาแพงจะต้องรอข้อมูลนำเข้า รอบการเทรนจะยาวนานขึ้น และต้นทุนการคำนวณต่อหน่วยจะสูงขึ้น นั่นคือเหตุผลว่าทำไมความต้องการในการเทรนจึงเพิ่มความจำเป็นสำหรับพื้นที่จัดเก็บข้อมูลระดับองค์กรที่มี throughput สูง latency ต่ำ และรองรับการเข้าถึงพร้อมกันจำนวนมาก

ข้อมูลการฝึกไม่ได้ถูกอ่านเพียงครั้งเดียว การฝึกโมเดลขนาดใหญ่มักต้องอ่านชุดข้อมูลซ้ำหลายรอบ และรูปภาพ วิดีโอ เสียง และข้อมูลเซนเซอร์ ใช้พื้นที่มากกว่าข้อความธรรมดาอย่างมาก การเพิ่มข้อมูล (data augmentation) การแปลงรูปแบบ การแบ่งตัวอย่าง และการสร้างดัชนี ยังสร้างไฟล์ระดับกลางเพิ่มเติมอีกด้วย แนวปฏิบัติการโหลดข้อมูลสำหรับการเรียนรู้ของเครื่องของ AWS เน้นย้ำว่า การทำงานแบบขนาน การดึงข้อมูลล่วงหน้า และการแคช สามารถลดคอขวดด้าน I/O และช่วยให้อัตราการใช้งาน GPU อยู่ในระดับสูงขึ้นได้ ซึ่งแสดงให้เห็นว่าประสิทธิภาพการฝึกไม่ได้ขึ้นอยู่กับชิปเพียงอย่างเดียว แต่ยังขึ้นอยู่กับว่าข้อมูลสามารถมาถึงได้ทันเวลาหรือไม่

ความต้องการที่สำคัญอีกประการหนึ่งมาจาก checkpoint การฝึกโมเดลขนาดใหญ่จำเป็นต้องบันทึกพารามิเตอร์ของโมเดล สถานะของ optimizer และความคืบหน้าของการฝึกเป็นระยะ เพื่อให้งานสามารถกู้คืนได้หลังจากเกิดการหยุดชะงักแทนที่จะต้องเริ่มใหม่ตั้งแต่ต้น คำอธิบายของ NVIDIA เกี่ยวกับ checkpointing ระบุว่า checkpoint แบบซิงโครนัสจะหยุดการฝึกชั่วคราวจนกว่าข้อมูลจะถูกเขียนลง storage ดังนั้นจึงต้องมี throughput ในการเขียนที่สูงเพื่อลดระยะเวลาที่ระบบต้องหยุดรอ ยิ่งโมเดลมีขนาดใหญ่ ระยะเวลาการฝึกยาวนาน และค่าใช้จ่ายของคลัสเตอร์ GPU สูงเท่าไร การเขียนและกู้คืน checkpoint ก็ยิ่งมีความสำคัญมากขึ้นเท่านั้น

เมื่อประเมินความต้องการพื้นที่จัดเก็บข้อมูลสำหรับการเทรน คุณสามารถเน้นที่สัญญาณเหล่านี้:

• ขนาดของคลัสเตอร์ GPU กำลังขยายตัวหรือไม่
• พารามิเตอร์ของโมเดลและ checkpoints กำลังมีขนาดใหญ่ขึ้นหรือไม่
• ข้อมูล multimodal กำลังครองสัดส่วนของ workload ที่สูงขึ้นหรือไม่
• งานเทรนต้องมีการ fine-tuning และรันซ้ำบ่อยครั้งหรือไม่
• การโหลดข้อมูลส่งผลกระทบต่ออัตราการใช้งาน GPU หรือไม่
• จำเป็นต้องมีการจำลองข้อมูลข้ามภูมิภาคและ disaster recovery หรือไม่

พื้นที่จัดเก็บข้อมูลสำหรับการฝึกโมเดลไม่ได้ประกอบด้วยชั้นเดียว ข้อมูลการฝึกที่ใช้งานอยู่อาจจัดเก็บอยู่บน NVMe SSD, parallel file systems หรือชั้นแคชความเร็วสูง ข้อมูลดิบและข้อมูลที่ผ่านการประมวลผลแล้วอาจจัดเก็บอยู่ใน object storage ขณะที่ checkpoint เก่าและข้อมูลในอดีตจะถูกย้ายไปยัง cold storage ในที่สุด สถาปัตยกรรม checkpoint ของ AWS สำหรับการฝึกโมเดลแมชชีนเลิร์นนิงขนาดใหญ่ยังระบุด้วยว่าการทำงานของ checkpoint สำหรับการฝึก LLM อาจกลายเป็นงานระดับเพตะไบต์ ซึ่งต้องสร้างสมดุลระหว่างประสิทธิภาพ ความสามารถในการขยายตัว และต้นทุน

สรุป: การฝึกฝน (Training) เป็นจุดที่ความต้องการพื้นที่จัดเก็บข้อมูลสำหรับ AI กระจุกตัวอย่างเห็นได้ชัดที่สุด เหตุผลก็ตรงไปตรงมา: ยิ่งมี GPU มากเท่าไร การอ่านข้อมูลแบบขนานก็ยิ่งเข้มข้นมากขึ้นเท่านั้น ยิ่งโมเดลใหญ่เท่าไร การเขียน checkpoint ก็ยิ่งหนักขึ้นเท่านั้น และยิ่งระยะเวลาการฝึกฝนนานเท่าไร การกู้คืนและการทนต่อความผิดพลาดก็ยิ่งมีคุณค่ามากขึ้นเท่านั้น คุณไม่ควรมองเพียงขนาดดั้งเดิมของชุดข้อมูลฝึกฝนเท่านั้น สำเนาข้อมูล ไฟล์การประมวลผลเบื้องต้น ดัชนี (index) แคช (cache) checkpoint และโมเดลหลายเวอร์ชัน ล้วนต้องถูกนับรวมด้วย SSD ประสิทธิภาพสูง ระบบไฟล์แบบขนาน เครือข่ายความเร็วสูง และ object storage มักจำเป็นต้องทำงานร่วมกัน หากระบบจัดเก็บข้อมูลไม่สามารถตามทัน องค์กรอาจซื้อ GPU เพิ่มแต่ก็ยังคงไม่สามารถแปลงกำลังการคำนวณให้เป็นประสิทธิภาพการฝึกฝนที่แท้จริงได้

เหตุใดการอนุมานแบบขยายขนาดจึงสร้างการเติบโตของพื้นที่จัดเก็บข้อมูลอย่างต่อเนื่อง

การอนุมาน (Inference) ไม่ใช่ขั้นตอนที่ใช้พื้นที่จัดเก็บข้อมูลน้อยหลังจากการฝึกโมเดลเสร็จสิ้น ในทางกลับกัน เมื่อแอปพลิเคชัน AI เข้าสู่ระบบการใช้งานจริง ความต้องการพื้นที่จัดเก็บข้อมูลจะขยายจากข้อมูลการฝึกแบบครั้งเดียวไปสู่น้ำหนักโมเดลที่ทำงานต่อเนื่อง ฐานข้อมูลเวกเตอร์ แคชบริบท (context cache) บันทึกของผู้ใช้ และเนื้อหาที่สร้างขึ้น คุณสามารถมองว่าการฝึกโมเดลคือ "การผลิตโมเดล" ขณะที่การอนุมานคือ "การดำเนินงานโมเดลในระยะยาว" ตราบใดที่จำนวนผู้ใช้ ปริมาณคำขอ ความยาวของบริบท และผลลัพธ์แบบมัลติโมเดียเพิ่มขึ้น ความต้องการพื้นที่จัดเก็บข้อมูลฝั่งการอนุมานก็มีแนวโน้มที่จะเติบโตอย่างต่อเนื่อง

ปัจจัยขับเคลื่อนแรกแรกคือการจัดการน้ำหนักโมเดลและเวอร์ชัน หลังจากที่โมเดลเปิดใช้งานแล้ว องค์กรมักจะไม่เก็บไฟล์ไว้เพียงไฟล์เดียว แต่อาจดูแลรักษาโมเดลพื้นฐาน โมเดลที่ผ่านการปรับจูนเพิ่มเติม เวอร์ชันทดลอง (canary) เวอร์ชันสำหรับย้อนกลับ และแบบจำลองการปรับใช้ในหลายภูมิภาค เมื่อบริการอนุมาน (inference) ขยายขนาดออก อินสแตนซ์ใหม่จำเป็นต้องโหลดน้ำหนักโมเดลได้อย่างรวดเร็ว เมื่อบริการเกิดข้อผิดพลาด ทีมงานก็จำเป็นต้องย้อนกลับไปยังเวอร์ชันที่เสถียรได้อย่างรวดเร็วเช่นกัน สิ่งนี้เพิ่มความต้องการสำหรับคลังโมเดล ที่เก็บข้อมูลแบบเร็ว (hot storage) และการจัดการเวอร์ชัน

ปัจจัยขับเคลื่อนที่สองคือ RAG Google Cloud อธิบาย RAG ว่าเป็นกรอบงานที่ผสมผสานระบบสืบค้นข้อมูลแบบดั้งเดิมเข้ากับโมเดลภาษาขนาดใหญ่ ช่วยให้โมเดลสามารถใช้งานฐานความรู้และฐานข้อมูลภายนอกได้ สำหรับองค์กรแล้ว สิ่งนี้หมายความว่าเอกสารต้นฉบับ ส่วนย่อยของข้อความ เวกเตอร์เอ็มเบ็ดดิง ดัชนีเวกเตอร์ ดัชนีคำสำคัญ ข้อมูลสิทธิ์การเข้าถึง และข้อมูลเมตาของแหล่งที่มา อาจมีอยู่พร้อมกันในเวลาเดียว สถาปัตยกรรมอ้างอิง RAG ของ Google Cloud ยังแสดงให้เห็นว่า RAG ระดับการใช้งานจริงในผลิตภัณฑ์สามารถผสมผสานการค้นหาแบบเวกเตอร์ ฐานข้อมูล GKE, Cloud SQL, knowledge graph และสถาปัตยกรรมอื่น ๆ เข้าด้วยกันได้

บริบทยาวและเอเจนต์ AI ยังเปลี่ยนแปลงแรงกดดันด้านการจัดเก็บข้อมูลด้วยเช่นกัน การอนุมาน (inference) ที่มีบริบทยาวต้องการการจัดการสถานะเซสชันและแคชมากขึ้น งานของเอเจนต์อาจต้องบันทึกรายการการเรียกใช้เครื่องมือ (tool-call) ผลลัพธ์การดึงข้อมูลจากเว็บ ผลการรันโค้ด และร่องรอยการใช้เหตุผลระดับกลาง การสร้างงานแบบมัลติโมดัลยิ่งเพิ่มจำนวนรูปภาพ เสียง วิดีโอ และไฟล์เวอร์ชันที่ผ่านการแก้ไข เมื่อเทียบกับการถามตอบข้อความแบบครั้งเดียว อ็อบเจกต์ข้อมูลเหล่านี้มีขนาดใหญ่กว่า กระจัดกระจายมากกว่า และมีแนวโน้มที่จะต้องการการค้นคืนและการติดตามมากกว่า

ความต้องการพื้นที่จัดเก็บในขั้นตอนการอนุมานสามารถสังเกตได้ผ่านสี่เส้นทาง:

• ผู้ใช้ที่มากขึ้นเพิ่มจำนวนบันทึกการอนุมานและประวัติการสนทนา
• บริบทที่ยาวขึ้นทำให้การจัดการแคชและสถานะหนักขึ้น
• แอปพลิเคชัน RAG ขยายฐานข้อมูลเวกเตอร์และสำเนาไฟล์ต้นฉบับ
• การสร้างงานแบบมัลติโมดัลสร้างไฟล์รูปภาพ เสียง และวิดีโอเพิ่มขึ้น

นี่ก็คือเหตุผลว่าทำไมโครงสร้างพื้นฐาน AI จึงกำลังเปลี่ยนจาก “ศูนย์ฝึกโมเดล (training centers)” ไปสู่การผสมผสานระหว่าง “การฝึก + การอนุมาน + บริการข้อมูล” การอนุมาน (inference) มีความต้องการด้านการจัดเก็บข้อมูลแบบกระจายศูนย์มากกว่า: การโหลดโมเดลต้องการแบนด์วิดท์ การค้นหาเวกเตอร์ (vector retrieval) ต้องการ latency ต่ำและ IOPS สูง การจัดเก็บ log ต้องการความจุและการควบคุมต้นทุน และการตรวจสอบเพื่อการปฏิบัติตามข้อกำหนด (compliance auditing) ต้องอาศัยนโยบายการเก็บรักษาข้อมูล (data-retention policies) แม้มันอาจไม่พุ่งสูงขึ้นอย่างรวดเร็วเท่ากับการฝึกโมเดลในช่วงเวลาสั้น ๆ แต่ก็มีแนวโน้มที่จะสร้างความต้องการความจุที่ระยะยาว เสถียร และสะสมเพิ่มขึ้นต่อเนื่องมากกว่า

สรุป: การอนุมาน (inference) ในระดับขนาดใหญ่เปลี่ยนความต้องการจัดเก็บข้อมูล AI จากความต้องการเชิงโครงการมาเป็นความต้องการเชิงปฏิบัติการ หลังจากการฝึกฝน (training) เสร็จสิ้น น้ำหนักโมเดล (model weights) เรพลิกาเวอร์ชัน เอกสาร RAG ดัชนีเวกเตอร์ KV Cache บันทึกของผู้ใช้ และเนื้อหาที่สร้างขึ้น ล้วนเติบโตต่อเนื่อง ในการประเมินความต้องการพื้นที่จัดเก็บสำหรับการอนุมาน คุณไม่ควรมองเพียงขนาดของโมเดลเท่านั้น แต่ยังต้องพิจารณาจำนวนผู้ใช้งานรายวัน ความถี่ของคำขอ ความยาวของบริบท ว่ามีการใช้ RAG หรือไม่ ว่ามีการสร้างรูปภาพหรือวิดีโอหรือไม่ และว่าจำเป็นต้องเก็บรักษาบันทึกการตรวจสอบหรือไม่ การฝึกฝนขับเคลื่อนพื้นที่จัดเก็บที่มีทรูพุตสูง ในขณะที่การอนุมานขับเคลื่อนการจัดการข้อมูลที่มีความหน่วงต่ำ การทำงานพร้อมกันสูง และระยะยาวว่านาน เมื่อรวมกันแล้ว ทั้งสองส่วนนี้กำหนดสถาปัตยกรรมการจัดเก็บข้อมูลของศูนย์ข้อมูล AI

ทำไมการจัดเก็บข้อมูลเย็น (Cold Data Archiving) จึงกลายเป็นส่วนหนึ่งของโครงสร้างพื้นฐาน AI

ข้อมูล AI ที่ไม่ได้ใช้งานในปัจจุบันไม่ได้หมายความว่าสามารถลบออกได้ ชุดข้อมูลการฝึกในอดีต โมเดลเก่า บันทึกการอนุมาน (inference logs) checkpoint เก่า และข้อมูลดิบ อาจถูกนำกลับมาใช้ใหม่สำหรับการฝึกอบรมซ้ำ การเปรียบเทียบประสิทธิภาพ การตรวจสอบโมเดล การกู้คืนระบบหลังภัยพิบัติ หรือการเก็บรักษาตามข้อกำหนดด้านการปฏิบัติตามกฎระเบียบ คุณค่าของการเก็บถาวรข้อมูลเย็น (cold data) คือการย้ายข้อมูลที่มีการเข้าถึงต่ำแต่ยังคงมีคุณค่าจากพื้นที่จัดเก็บออนไลน์ที่มีค่าใช้จ่ายสูงไปยังชั้นความจุที่มีต้นทุนต่ำกว่า ซึ่งช่วยให้โครงสร้างพื้นฐาน AI สามารถสร้างสมดุลระหว่างประสิทธิภาพและต้นทุนได้

ข้อมูลเย็น AI มักประกอบด้วย:

• ข้อมูลฝึกฝนดิบและสแนปชอตย้อนหลัง
• ชุดข้อมูลที่ทำความสะอาดแล้วซึ่งไม่ได้ใช้งานอยู่ในขณะนี้
• โมเดลเวอร์ชันเก่าและเช็คพอยต์
• เวอร์ชันเวกเตอร์และดัชนีย้อนหลัง
• บันทึกการอนุมานระยะยาวและบันทึกความปลอดภัย
• ทรัพย์สินโมเดลจากโครงการที่เลิกใช้แล้ว
• บันทึกการประมวลผลข้อมูลที่ใช้สำหรับการตรวจสอบและการตรวจสอบย้อนกลับ

องค์กรไม่สามารถลบข้อมูลเก่าทิ้งได้อย่างง่ายด้วยเหตุผลสี่ประการ ประการแรก โมเดลใหม่อาจนำข้อมูลในอดีตกลับมาใช้ซ้ำ ประการที่สอง เมื่อผลลัพธ์ของโมเดลเกิดความผิดปกติ ทีมงานอาจจำเป็นต้องสืบย้อนกลับไปยังแหล่งข้อมูลการฝึกฝน ประการที่สาม ข้อมูลเก่าอาจจำเป็นต้องนำมาประมวลผลใหม่เมื่อวิธีการทำความสะอาดข้อมูลเปลี่ยนแปลงไป ประการที่สี่ สัญญาทางธุรกิจ กฎเกณฑ์ของอุตสาหกรรม และกฎระเบียบท้องถิ่นอาจกำหนดให้ต้องเก็บรักษาบันทึกข้อมูลเฉพาะไว้ แต่การเก็บรักษาไม่ได้หมายความว่าต้องเก็บทุกอย่างไว้ตลอดไป เมื่อมีข้อมูลส่วนบุคคล ข้อมูลอ่อนไหว ข้อมูลข้ามพรมแดน หรืออุตสาหกรรมที่อยู่ภายใต้การกำกับดูแลเข้ามาเกี่ยวข้อง ข้อมูลจะต้องได้รับการจัดการตามขอบเขตการอนุญาต หลักการจำกัดวัตถุประสงค์ และระยะเวลาการเก็บรักษา

การจัดชั้น (tiering) ของที่เก็บข้อมูลคลาวด์ก็สะท้อนตรรกะนี้เช่นกัน Archive storage ของ Google Cloud ได้รับการออกแบบมาสำหรับข้อมูลที่เข้าถึงน้อยกว่าปีละหนึ่งครั้ง โดยทั่วไปจะมีค่าใช้จ่ายในการเข้าถึงและการดำเนินการที่สูงกว่า พร้อมข้อกำหนดระยะเวลาจัดเก็บขั้นต่ำ Object Lifecycle Management ของ Google Cloud ยังสามารถเปลี่ยนคลาสของที่เก็บข้อมูลหรือลบออบเจ็กต์โดยอัตโนมัติตามอายุของออบเจ็กต์ สถานะของเวอร์ชัน และกฎอื่น ๆ สำหรับทีม AI การจัดการวงจรชีวิตประเภทนี้สามารถย้ายชุดข้อมูลฝึกเก่า จุดตรวจสอบ (checkpoint) เก่า และบันทึกย้อนหลังไปยังระดับการเข้าถึงความถี่ต่ำได้ทีละขั้น

เมื่อออกแบบกลยุทธ์การเก็บถาวรสำหรับ AI คุณสามารถมุ่งเน้นไปที่คำถามหกข้อดังนี้:

1. ข้อมูลนี้อาจถูกใช้สำหรับการฝึกโมเดลซ้ำในอนาคตหรือไม่?
2. การกู้คืนข้อมูลสามารถรอได้ไม่กี่นาที หลายชั่วโมง หรือหลายวันหรือไม่?
3. จำเป็นต้องมีสำเนาข้อมูลหลายชุดหรือแบบจำลองข้ามภูมิภาคหรือไม่?
4. ข้อมูลนี้เกี่ยวข้องกับความเป็นส่วนตัว การอนุญาต หรืออธิปไตยของข้อมูลหรือไม่?
5. การอ่านข้อมูลที่จัดเก็บถาวรจะก่อให้เกิดต้นทุนการดึงข้อมูลที่สูงหรือไม่?
6. ข้อมูลนี้มีระยะเวลาการเก็บรักษาและข้อกำหนดการลบที่ชัดเจนหรือไม่?

ข้อมูลเย็น (cold data) ยังส่งผลต่อความต้องการฮาร์ดแวร์ด้วย SSD ประสิทธิภาพสูงเหมาะสำหรับข้อมูลร้อนและข้อมูลอุ่น แต่การเก็บถาวรระยะยาวในปริมาณมักต้องใช้สตอเรจความจุที่มีต้นทุนต่ำกว่า ในการวางแผน Enterprise AI Factory NVIDIA ระบุว่า สตอเรจแบบจัดชั้น สามารถใช้ NVMe สำหรับข้อมูลการฝึกและโมเดลที่เป็นข้อมูลร้อน ในขณะที่ object storage สามารถรองรับคลังข้อมูลเย็นและข้อมูลประวัติศาสตร์ได้ การเติบโตของสตอเรจสำหรับ AI ที่คุณเห็นจำนวนมากไม่ได้มาจากการฝึกโมเดลเพียงครั้งเดียว แต่มาจากข้อมูลที่สะสมมาเป็นเวลาหลายปี

สรุป: การจัดเก็บข้อมูลเย็น (Cold data archiving) ขยายความต้องการพื้นที่จัดเก็บข้อมูลสำหรับ AI จากการขยายขีดความสามารถในการประมวลผลระยะสั้น ไปสู่วงจรความจุระยะยาว การฝึกฝน (training) ที่เสร็จสิ้นแล้ว โมเดลที่เลิกใช้แล้ว หรือชุดข้อมูลที่ยังไม่ได้ใช้งานชั่วคราว ไม่ได้หมายความว่าสินทรัพย์เหล่านั้นจะไม่มีคุณค่าอีกต่อไป สินทรัพย์เหล่านี้อาจใช้สนับสนุนการฝึกฝนซ้ำ การตรวจสอบสอบบัญชี การย้อนกลับ (rollback) การปฏิบัติตามข้อกำหนด และการกู้คืนระบบจากภัยพิบัติ แนวทางที่สมเหตุสมผลกว่าคือการจัดระดับการจัดเก็บเป็นร้อน อุ่น และเย็น: ชั้นที่มีประสิทธิภาพสูงใช้สำหรับการฝึกฝนและการอนุมาน (inference) ในปัจจุบัน ส่วนชั้นที่ต้นทุนต่ำใช้เก็บรักษาข้อมูลที่มีการเข้าถึงไม่บ่อยแต่สำคัญ วิธีนี้ช่วยหลีกเลี่ยงการเก็บข้อมูลทั้งหมดไว้บน SSD ราคาแพงเป็นเวลานาน ในขณะเดียวกันก็ลดความเสี่ยงที่ข้อมูลอันมีค่าจะไม่สามารถกู้คืนได้เมื่อจำเป็น

เทคโนโลยีการจัดเก็บข้อมูลใดได้ประโยชน์ และจะประเมินความแข็งแกร่งของความต้องการอย่างไร

การขยายตัวของคอมพิวติ้ง AI ไม่ได้ให้ประโยชน์แก่อุปกรณ์จัดเก็บข้อมูลเพียงชนิดเดียว SSD ระดับองค์กรที่เน้นประสิทธิภาพสูงแก้ปัญหาด้านความเร็วในการฝึกโมเดล การบันทึกจุดเช็คพอยต์ การโหลดโมเดล และการค้นหาเวกเตอร์เป็นหลัก SSD ความจุสูงสามารถรองรับข้อมูลอุ่นและเลเยอร์แฟลชที่เน้นความจุได้ HDD แบบเนียร์ไลน์และออบเจ็กต์สตอเรจรองรับเดตาเลกขนาดใหญ่ ข้อมูลประวัติศาสตร์ และคลังข้อมูลเย็น เมื่อประเมินโอกาสด้านที่เก็บข้อมูลสำหรับ AI คุณควรมองที่วงจรชีวิตของข้อมูล แทนที่จะแปลงจำนวน GPU โดยตรงเป็นความต้องการ SSD หรือ HDD

เทคโนโลยีจัดเก็บข้อมูลต่าง ๆ โดยทั่วไปทำหน้าที่ดังนี้:

จากมุมมองของห่วงโซ่คุณค่า ความต้องการจัดเก็บข้อมูล AI สามารถไหลเข้าสู่ SSD สำหรับองค์กร NAND, HDD, ตัวควบคุม เซิร์ฟเวอร์จัดเก็บข้อมูล อุปกรณ์เครือข่าย และบริการจัดเก็บข้อมูลบนคลาวด์ แผนที่นำทาง HDD มากกว่า 100TB ของ Western Digital ไฮไลต์นวัตกรรม HDD สำหรับข้อมูลขนาด AI รวมถึงความจุที่สูงขึ้นและการใช้พลังงานที่ต่ำลง การสำรวจที่ได้รับมอบหมายจาก Seagate ยังแสดงให้เห็นว่า ภายใต้แรงขับเคลื่อนจากการสร้างข้อมูลด้วย AI หลายองค์กรที่ถูกสำรวจคาดว่าความต้องการจัดเก็บข้อมูลบนคลาวด์จะเพิ่มขึ้นอย่างมีนัยสำคัญภายในปี 2028 โดยผลการสำรวจได้รับการเผยแพร่ใน การสร้างข้อมูลที่ขับเคลื่อนด้วย AI การสำรวจ

แต่คุณไม่ควรพึ่งพาเรื่องราวของอุตสาหกรรมเพียงอย่างเดียว ควรประเมินความแข็งแกร่งของความต้องการที่เก็บข้อมูล AI อย่างน้อยสามระดับ:

• ระดับความต้องการ: GPU ถูกนำไปใช้งานจริงหรือไม่ และปริมาณงานการฝึกฝน (training) และการอนุมาน (inference) กำลังเติบโตหรือไม่
• ระดับผลิตภัณฑ์: ข้อมูลใหม่ไหลเข้าสู่ SSD, HDD, ที่เก็บข้อมูลแบบออบเจ็กต์ หรือบริการคลาวด์หรือไม่
• ระดับวัฏจักร: ราคา สินค้าคงคลัง การขยายกำลังการผลิต และมูลค่าหลักทรัพย์ ได้สะท้อนความคาดหวังนี้ไปแล้วหรือยัง

คุณควรทราบด้วยว่าการปรับปรุงด้านเทคนิคอาจลดความต้องการพื้นที่จัดเก็บข้อมูลต่อหน่วยของพลังการประมวลผล ตัวอย่างเช่น การกำจัดข้อมูลซ้ำ (deduplication) และการบีบอัดข้อมูลสามารถลดการใช้ความจุได้ การทำ quantization ของโมเดลสามารถลดขนาดไฟล์การปรับใช้ได้ การนำแคชกลับมาใช้ซ้ำสามารถลดการอ่านข้อมูลที่ซ้ำกันได้ ธรรมาภิบาลข้อมูลที่ดีขึ้นสามารถลดข้อมูลที่ไม่ถูกต้องได้ หากผู้ให้บริการคลาวด์ปรับปรุงการใช้ประโยชน์จากทรัพยากรที่มีอยู่ให้ดีขึ้น การจัดซื้อครั้งใหม่ก็อาจถูกเลื่อนออกไปได้เช่นกัน

หากคุณติดตามบริษัทในห่วงโซ่คุณค่าการจัดเก็บข้อมูล AI หรือ ETF ที่เกี่ยวข้อง คุณสามารถใช้ข้อมูลหุ้นสหรัฐฯ เพื่อติดตามหุ้นกลุ่มการจัดเก็บข้อมูล สารกึ่งตัวนำ และโครงสร้างพื้นฐานคลาวด์ หากคุณพิจารณาต้นทุนการซื้อขายเพิ่มเติม คุณยังต้องรวมค่าธรรมเนียมนายหน้า ค่าธรรมเนียมแพลตฟอร์ม ค่าธรรมเนียมหน่วยงานภายนอก และค่าธรรมเนียมกิจกรรมการซื้อขายไว้ในการคำนวณผลตอบแทนจริงของคุณด้วย Biya ไม่เก็บค่าธรรมเนียมนายหน้า 0 USD สำหรับการซื้อขายหุ้นสหรัฐฯ ส่วนค่าธรรมเนียมแพลตฟอร์ม ค่าธรรมเนียมหน่วยงานภายนอก และค่าใช้จ่ายอื่น ๆ ขึ้นอยู่กับค่าธรรมเนียมการซื้อขายหุ้นสหรัฐฯ ของ Biya และการแสดงผลบนหน้าคำสั่งซื้อ ความพร้อมใช้งานของบริการขึ้นอยู่กับสถานที่ตั้งของผู้ใช้ ผลการตรวจสอบยืนยันตัวตน กฎของแพลตฟอร์ม รวมถึงกฎหมายและข้อบังคับที่เกี่ยวข้อง

สรุป: ตรรกะการลงทุนในพื้นที่จัดเก็บข้อมูล AI ไม่ใช่เส้นตรงที่ “GPU ยิ่งมากหมายถึง SSD ยิ่งมาก” การฝึกโมเดลต้องใช้ SSD ประสิทธิภาพสูงและระบบไฟล์แบบขนาน การอนุมาน (Inference) ต้องใช้การดึงข้อมูลที่มีความหน่วงต่ำ ระบบแคช และระบบบันทึกปูม (Log) การจัดเก็บถาวรข้อมูลที่ไม่ค่อยใช้งานต้องใช้พื้นที่จัดเก็บแบบความจุสูงในต้นทุนต่ำ HDD, SSD, ระบบจัดเก็บแบบอ็อบเจกต์ และชั้นแคช มีแนวโน้มที่จะทำงานร่วมกันมากกว่าที่จะเข้ามาแทนที่กันเองทั้งหมด เมื่อประเมินโอกาสในอุตสาหกรรม คุณจำเป็นต้องติดตามปริมาณงานจริงของ AI การเติบโตของข้อมูล ความยั่งยืนของคำสั่งซื้อจากลูกค้า วงจรสินค้าคงคลัง ราคาขายเฉลี่ย การใช้จ่ายด้านทุน และระดับการประเมินมูลค่าในเวลาเดียวกัน การเติบโตของอุปสงค์ในอุตสาหกรรมในระยะยาวไม่ได้หมายความว่าหุ้นที่เกี่ยวข้องทั้งหมดจะขึ้นพร้อมกัน

ความสัมพันธ์ระหว่างความต้องการคอมพิวติ้งและที่เก็บข้อมูล AI โดยพื้นฐานแล้วคือเรื่องของระบบข้อมูลที่ต้องยกระดับไปพร้อมกับพลังการคำนวณ หากคุณมองเพียงแค่ GPU, HBM หรือการบรรจุขั้นสูงเท่านั้น คุณอาจพลาดตัวแปรระยะยาว เช่น การโหลดข้อมูล, checkpointing, ฐานข้อมูลเวกเตอร์, การเก็บถาวรแบบ cold archiving และต้นทุนการจัดเก็บข้อมูลบนคลาวด์ สำหรับนักลงทุน แนวทางที่มีวินัยมากขึ้นคือการวิเคราะห์ที่เก็บข้อมูล AI ภายในห่วงโซ่คุณค่าทั้งหมด: ต้นน้ำคือ NAND, HDD, ตัวควบคุม และเซิร์ฟเวอร์; กลางน้ำคือระบบจัดเก็บข้อมูลและโครงสร้างพื้นฐานคลาวด์; และปลายน้ำคือการฝึกโมเดล การอนุมาน และการใช้งาน AI จริงในระดับองค์กร คุณสามารถใช้ Biya เพื่อติดตามข้อมูลตลาดของสหรัฐฯหุ้น หุ้นฮ่องกง และสินทรัพย์ดิจิทัล ในขณะเดียวกันให้ผสานข้อมูลรายได้ของบริษัท การใช้จ่ายด้านทุน โครงสร้างลูกค้า การเปลี่ยนแปลงของสินค้าคงคลัง และรายละเอียดค่าธรรมเนียม เพื่อทำการวิเคราะห์ด้วยตนเอง ข้อมูลตลาดสาธารณะ กฎการซื้อขาย และโครงสร้างค่าธรรมเนียมมีวัตถุประสงค์เพื่อความเข้าใจในตลาดเท่านั้น และไม่ถือเป็นคำแนะนำในการลงทุน

คำถามที่พบบ่อย

การจัดซื้อจัดเก็บข้อมูลสำหรับ AI จะเพิ่มขึ้นเป็นสองเท่าหรือไม่ หากข้อมูลสำหรับการฝึกฝน AI เพิ่มขึ้นเป็นสองเท่า?

ไม่จำเป็นต้องเป็นเช่นนั้น การเติบโตของข้อมูลการฝึกฝนทำให้ความต้องการความจุและอัตราการส่งผ่านข้อมูลของระบบจัดเก็บข้อมูลเพิ่มขึ้น แต่การจัดซื้อจริงยังขึ้นอยู่กับการกำจัดข้อมูลซ้ำซ้อน (deduplication) การบีบอัดข้อมูล การใช้แคชซ้ำ รูปแบบข้อมูล สถาปัตยกรรมโมเดล และอัตราการใช้งานระบบจัดเก็บข้อมูลอีกด้วย องค์กรอาจปรับปรุงขั้นตอนการทำงานของข้อมูลให้มีประสิทธิภาพก่อนที่จะเพิ่มฮาร์ดแวร์ ดังนั้นจึงไม่ควรถือว่าการเติบโตของข้อมูลเป็นตัวชี้วัดโดยตรงแบบหนึ่งต่อหนึ่งของการจัดซื้ออุปกรณ์

เหตุใดการนำ RAG ไปใช้ในระดับองค์กรจึงทำให้ต้นทุนฐานข้อมูลเวกเตอร์เพิ่มขึ้น?

RAG ทำให้ต้นทุนของฐานข้อมูลเวกเตอร์เพิ่มขึ้น เนื่องจากองค์กรมักต้องจัดเก็บเอกสารต้นฉบับ ส่วนข้อความ (text chunks) เวกเตอร์ฝังตัว (embeddings) ดัชนี ข้อมูลเมตาด้านสิทธิ์การเข้าถึง และประวัติเวอร์ชันต่าง ๆ ยิ่งมีเอกสารมากขึ้น มีการอัปเดตบ่อยขึ้น และภาระการสืบค้นพร้อมกันสูงขึ้น ต้นทุนด้านการจัดเก็บ การดูแลรักษาดัชนี และทรัพยากรการค้นหาก็ยิ่งชัดเจนมากขึ้น โดยค่าใช้จ่ายที่แท้จริงขึ้นอยู่กับกฎการกำหนดราคาของบริการคลาวด์หรือฐานข้อมูลแต่ละราย

ความต้องการแคชแบบใดที่การอนุมาน AI บริบทยาวสร้างขึ้น?

การอนุมาน AI บริบทยาวมักเพิ่มความต้องการสำหรับ KV Cache, สถานะเซสชัน, ผลลัพธ์การค้นคืน และการจัดการบริบทระหว่างกลาง การเพิ่มขึ้นจริงขึ้นอยู่กับจำนวนผู้ใช้พร้อมกัน ความยาวของบริบท ระยะเวลาการเก็บรักษาแคช และกลยุทธ์การจัดชั้นข้อมูล แคชบางส่วนถูกจัดเก็บในหน่วยความจำ GPU หรือหน่วยความจำระบบ ในขณะที่บางส่วนอาจถูกย้ายลงไปยัง SSD หรือระบบจัดเก็บข้อมูลแบบกระจาย

ศูนย์ข้อมูล AI จะแทนที่ HDD ด้วย SSD ได้อย่างสมบูรณ์หรือไม่?

ในระยะสั้น การแทนที่อย่างสมบูรณ์ยังไม่น่าจะเกิดขึ้น SSD เหมาะสำหรับการฝึกโมเดล การอนุมาน (inference) การค้นคืนข้อมูล และการเข้าถึงข้อมูลที่ใช้งานบ่อย ในขณะที่ HDD เหมาะสำหรับข้อมูลขนาดใหญ่ที่เข้าถึงไม่บ่อย ข้อมูลย้อนหลัง และคลังเก็บข้อมูลเย็น ศูนย์ข้อมูล AI ส่วนใหญ่มักใช้สถาปัตยกรรมแบบชั้นข้อมูล โดยเลือกสื่อจัดเก็บข้อมูลตามความถี่ในการเข้าถึง ความต้องการด้านเวลาแฝง ขนาดความจุ และต้นทุนรวม

องค์กรควรเก็บรักษาข้อมูลการฝึก AI เอาไว้นานเพียงใด?

ไม่มีระยะเวลาการเก็บรักษาที่เป็นสากลสำหรับข้อมูลฝึก AI องค์กรควรกำหนดระยะเวลาการเก็บรักษาโดยพิจารณาจากมูลค่าในการฝึกซ้ำ ข้อกำหนดในการตรวจสอบสิทธิ์การเข้าถึงของผู้ใช้ ความละเอียดอ่อนของข้อมูล ภาระผูกพันตามสัญญา และข้อกำหนดด้านกฎระเบียบในท้องถิ่น เมื่อมีข้อมูลส่วนบุคคลหรือข้อมูลที่อยู่ภายใต้การกำกับดูแลเข้ามาเกี่ยวข้อง การลบข้อมูล การทำให้เป็นนิรนาม การควบคุมการเข้าถึง และบันทึกการตรวจสอบก็เป็นสิ่งจำเป็นเช่นกัน

นักลงทุนจะตัดสินได้อย่างไรว่าความต้องการพื้นที่จัดเก็บข้อมูลสำหรับ AI นั้นยั่งยืนหรือไม่?

นักลงทุนสามารถประเมินความยั่งยืนได้ผ่านความทนทานของคำสั่งซื้อ การลงทุนด้านสินทรัพย์ถาวรของผู้ให้บริการคลาวด์ ปริมาณการจัดส่ง SSD สำหรับองค์กรและ HDD แบบใกล้ไลน์ ราคาขายเฉลี่ย ระดับสินค้าคงคลัง ความเข้มข้นของลูกค้า และการใช้งานจริงของแอปพลิเคชัน AI การขึ้นราคาในไตรมาสเดียวหรือการขาดแคลนในระยะสั้นอาจบ่งชี้ถึงความตึงเครียดเพียงชั่วคราวเท่านั้น ความต้องการในระยะยาวขึ้นอยู่กับว่าปริมาณงานการฝึกอบรมและการอนุมานจะยังคงขยายตัวต่อไปหรือไม่