薛偉傑：AI推理需處理海量數據 記憶體巨頭押注HBF

【明報專訊】隨着人工智能（AI）大語言模型逐漸發展成為多模態模型，推理過程中需要處理的數據，比起以往只生成文本時要多得多，記憶體生產商紛紛押注研發一種新產品「高頻寬快閃記憶體」（High Bandwidth Flash, HBF）。

堆疊NAND快閃記憶體晶片製成HBF

HBF的全稱是High Bandwidth Flash，亦有人稱為Flash High Bandwidth Memory（Flash HBM），中文則稱為「高頻寬快閃記憶體」。HBF是一種透過堆疊NAND快閃記憶體晶片而製成的產品。這就好像「高頻寬記憶體」（High Bandwidth Memory, HBM）乃是透過垂直堆疊DDR DRAM晶片而製成，兩者的結構有些類似。

隨着ChatGPT、Gemini等AI大型語言模型逐漸發展成為多模態模型，不單只能夠生成文本，還能夠生成圖像和視頻，這令到推理過程需要處理的數據比以往只生成文本多出很多倍。在此情形下，HBM的有限容量逐漸成為了限制AI處理器算力發揮的樽頸。

另一方面，HBM在AI處理器（這裏指GPU）的總成本中佔據的比例亦愈來愈高，其趨勢已經到了令人吃驚的地步，被認為難以持續。早在2020年，HBM已經佔去一枚GPU總成本的48%。估計在今年內，這個比例更加會上升到68%。這令到需要優先控制成本、供普通中大型企業（非科技企業）使用的「AI一體機」（AI伺服器）很難設計。

SanDisk率先提出概念

有見及此，今年2月，SanDisk首次提出HBF的概念，並將它定位為「結合3D NAND的容量和HBM的頻寬」的創新產品。據報道，SanDisk和SK海力士已經簽署了諒解備忘錄，雙方將會合作制定HBF的規範。而另一個巨頭三星，亦已開始其自家HBF產品的早期研發工作。甚至內地的快閃記憶體生產商也被傳有意加入戰團。

Sandisk聲稱，設計HBF的架構之前，也透過收集幾家大型人工智能公司的資訊，考慮了它們訓練人工智能大模型時的需要。

舉例說，若要儲存1.8萬億個具有16位元權重的參數，將需要3600GB的記憶體。但現時每個HBM模組的最大容量為192GB至384GB，若要儲存3600GB的數據，安裝HBM的的成本將會推高到不切實際的水平。

HBF特性為「輕速度 重容量」

被稱為「HBM之父」的韓國科學技術院（KAIST）教授金正浩指出，雖然NAND快閃記憶體的速度明顯不及DRAM，但它可以提供大約10倍的容量（有如多了另一級速度較慢但容量大得多的DRAM），這對於支持下一代的AI應用可能至關重要。

相對於HBM，HBF的特性是比較輕速度、重容量，所以它也被一般業者評估為可以作為彌補HBM容量不足的「輔助記憶體」。即是說，HBF並非是用來完全取代HBM，兩者看來應該會並存，至少在HBF推出之後相當時間內也是如此。

不過，本身是NAND快閃記憶體大廠的SanDisk，對於HBF的頻寬和性價比，卻顯得非常樂觀。SanDisk聲稱，HBF的輸入輸出（I/O）頻寬，將會和現時最新的HBM4大致相同。例如，512GB的HBF模組的輸入輸出（I/O）頻寬將會高達1.6TB/s，已經接近現時的HBM4。它更聲稱，HBF能夠以和HBM相近的成本，提供8倍至16倍的記憶體容量，同時又顯著降低功耗。至於HBF模組的外部尺寸（包括長度、闊度和高度），亦將會和HBM4模組大致相同。

儘管由概念到真正落地尚有距離，但在前文提及的SanDisk和SK海力士的合作中，雙方已確立了大致的計劃進度——要在2026年下半年推出首批HBF樣品，並預料首批採用HBF的AI推理設備樣品將於2027年初上市。韓國新榮證券的研究報告預測，到2030年，HBF每年的市場規模將會達到120億美元。雖然這只相當於同年HBM大約1170億美元的市場規模的10%多一點，但預料HBF將會與HBM形成互補，並加速整體市場增長。

不過，筆者認為，NVIDIA的立場對於HBF能否成功或普及，或許也會產生關鍵影響。

明報記者 薛偉傑

[科技觀潮]

日報新聞-相關報道：

技術取勝：港鐵或挑戰30元關 (2025-11-04)