HBF競爭開啟，“HBM之父”怎么看 | 筆記

HBF（高帶寬閃存）這一內(nèi)存新范式的“急先鋒”閃迪（Sandisk），正在加速中試產(chǎn)線建設，并試圖將量產(chǎn)時間表整體前移。自年初以來，它的股價已經(jīng)暴漲300%。

這家美國公司選擇了圍繞日本與韓國生態(tài)，構(gòu)建其材料、零部件和設備（MPE）供應鏈。如果一切順利，市場將在今年下半年見到HBF原型，中試產(chǎn)線也將在年底左右開始運行。HBF的正式商業(yè)量產(chǎn)，目標指向了2027年。

作為一家NAND廠商，閃迪事實上錯過了這一輪AI驅(qū)動的HBM的機遇。HBM（高帶寬內(nèi)存）通過堆疊DRAM，將帶寬推至極致，成為AI算力的“標配”；但它的代價同樣清晰，容量受限、成本高企。而基于NAND堆疊構(gòu)建的HBF，正是為了突破這一瓶頸而誕生。

但競爭才剛剛開始。韓國巨頭SK海力士與三星正在跟進。盡管今年2月，閃迪與SK海力士一起推動了HBF規(guī)格標準化聯(lián)盟，但這場合作更像是建立行業(yè)的“最低共識”，而非真正的協(xié)同，是“務虛”的。旨在成為“全棧AI內(nèi)存創(chuàng)造者”的SK海力士，也在獨立開發(fā)自己的HBF，與存內(nèi)處理（PIM）、計算快速鏈接（CXL）共同構(gòu)建了下一代產(chǎn)品組合。

讓我們聽聽有著“HBM之父”之稱的金正浩教授，怎么分析與預測這項技術(shù)的未來。正是這位來自KAIST（韓國科學技術(shù)院）的金教授，讓HBM成為了韓國AI半導體的代名詞。自2010年代初期起，他與他的指導的TeraLab（太字節(jié)互連與封裝實驗室），便參與三星電子、SK海力士的HBM商用化研究，架起了學界與產(chǎn)業(yè)的橋梁。

2025/09/15 完整閱讀 >

也許，很快，他又將被視為“HBF之父”。去年6月，他公布了一份至2038年的HBM路線圖，其中就已經(jīng)涉及對HBF的初步設想。在今年2月，他與他的學生在一場長達6個小時的學術(shù)討論會直播中，進一步論述了HBF技術(shù)、工作負載以及未來發(fā)展路線圖（HBF Technolgy, Workload Analysis and Roadmap）。

Transformer本質(zhì)上是一種高度“內(nèi)存依賴”的計算結(jié)構(gòu)。一方面，每生成一個token，GPU都需要從內(nèi)存中讀取歷史KV緩存和模型權(quán)重，并寫回新的狀態(tài)；另一方面，KV緩存會隨著上下文長度線性增長，并在多用戶場景下成倍疊加。因此，每秒token數(shù)（TPS）本質(zhì)上取決于內(nèi)存帶寬，上下文長度與并發(fā)用戶數(shù)最終受限于內(nèi)存容量。

當前AI已經(jīng)開啟了一個內(nèi)存饑渴的世紀。當下，幾乎所有關(guān)鍵技術(shù)趨勢，都指向了更高的內(nèi)存需求。這包括多模態(tài)生成與推理，個人AI（Personal AI）與個性化訓練（Personnel training），實時訓練（Real time training）與持續(xù)訓練（Continuous training），智能體式AI以及智能體間交互，等等。它們本質(zhì)上都在放大系統(tǒng)需要同時處理、存儲與調(diào)度的數(shù)據(jù)規(guī)模。

多模態(tài)AI之所以迅速逼近內(nèi)存瓶頸，并不僅僅因為數(shù)據(jù)規(guī)模因模態(tài)改變而自身在變大，更因為“對齊”（Alignment）與“融合”（Fusion）打破了傳統(tǒng)流水線的平衡：對齊要求不同模態(tài)的數(shù)據(jù)進入同一時間與語義坐標系，在時間維度上引入緩存與等待，使系統(tǒng)必須保留更長上下文；融合則在計算維度引入并發(fā)訪問，使不同模態(tài)的高維特征必須同時加載與計算。

如果說過去的AI系統(tǒng)主要是對存量數(shù)據(jù)進行推理，那么，智能體式AI的出現(xiàn)，則進一步改變了問題的性質(zhì)。

AI不再只是“消耗數(shù)據(jù)”，而開始持續(xù)“生產(chǎn)數(shù)據(jù)”：對話、決策、視頻、環(huán)境模擬。同樣的，實時訓練與持續(xù)訓練，意味著系統(tǒng)不僅要讀，還要不斷寫入新的狀態(tài)與記憶。這可能是KV緩存，也可能是滯后數(shù)據(jù)（Lagging Data，即當前推理不立即使用，但未來可能需要調(diào)用的數(shù)據(jù)）。內(nèi)存因此從“存儲器”變成“運行時環(huán)境”，容量與帶寬的重要性被同時放大。

繼續(xù)堆HBM，是一條看起來最自然的路，但也是一條越來越走不動的路。每往上增加堆疊一層DRAM，都會同時放大散熱、封裝與功耗問題。這是一條“邊際收益遞減”的路徑。相比之下，堆疊NAND是更有擴展空間的選擇。

HBF的本質(zhì)就是NAND的“垂直堆疊能力”。在相當長一段時間內(nèi)，它甚至不需要全新的技術(shù)體系，而是可以復用已有的3D NAND與封裝工藝。

在早期階段，在單顆已經(jīng)具備百層結(jié)構(gòu)的NAND裸片（die）之上，繼續(xù)進行芯片級堆疊，將多個die疊加至十余層，從而把存儲密度從“百層”放大到“數(shù)千層”；長遠來看，控制與外圍電路被整體遷移至基礎裸片（base die），上層只保留純粹的存儲單元，使堆疊從“堆芯片”演進為“堆單元”，層數(shù)由此邁向“萬級”。在這個過程中，通過引入TSV等在HBM領域已經(jīng)相當成熟的垂直互連技術(shù)，補齊帶寬，HBF才真正從“超大容量存儲”，變成既能“裝得下”，也能“讀得出”的AI內(nèi)存。

基于這些技術(shù)儲備，HBF在2027年左右發(fā)布，在2028年實現(xiàn)商業(yè)化的可能性非常大。

在AI基礎設施中引入HBF，可以演化出多種架構(gòu)路徑，它們也可以同時存在。這些路徑既取決于具體應用場景與成本約束，也取決于封裝、互連與存儲技術(shù)的演進節(jié)奏。

第一種架構(gòu)（下圖的HBF1 Architecture ，以下略稱為HBF1等），本質(zhì)上是將Transformer的編碼與解碼在硬件上解耦。前者由一顆輕量GPU負責，依賴GDDR即可完成計算，后者則由另一顆GPU主導，并配備大容量HBF。HBM被完全拋棄了，以較低成本實現(xiàn)對長上下文、多模態(tài)輸出場景的支持。第二種架構(gòu)（HBF2）則是在同一GPU兩側(cè)同時部署HBM與HBF，其中，HBM主要服務于模型權(quán)重與高帶寬計算，而HBF則承載規(guī)模迅速膨脹的KV緩存與長上下文狀態(tài)。這能兼顧模型規(guī)模與成本。

最關(guān)鍵、最有產(chǎn)業(yè)意義的一種架構(gòu)（HBF3），是在GPU兩側(cè)同時堆疊HBM與HBF。在這個階段，整個AI系統(tǒng)開始真正圍繞內(nèi)存重構(gòu)。如果HBF仍然不夠用，就可以再增加HBF插座（HBF socket），真正的AI智能體時代將在這個時刻（HBF4）開啟。這也是為什么HBF將比HBM具有更大的可擴展性，需求會大幅增加的架構(gòu)基礎。金教授預測，到2038年，市場對HBF的需求，最終將超過HBM。

此外，市場上還會存在，在HBF外圍再接入SSD硬盤，或英偉達ICMS（推理上下文內(nèi)存存儲平臺）的其他不同架構(gòu)。在問答環(huán)節(jié)，金教授將英偉達今年CES上推出的這個全新的AI原生存儲基礎設施，形容為“沒有牙齒只能嚼口香糖”的無奈之舉，最終接受HBF“只是時間問題”。

為什么HBM與HBF融合的架構(gòu)更具產(chǎn)業(yè)意義？答案不只是“更大的內(nèi)存”，而在于它正在把內(nèi)存從計算的附屬，變?yōu)橛嬎闩c網(wǎng)絡的中心節(jié)點。正如HBM已經(jīng)走向定制化，HBF也將沿著同一路徑演進：其基礎裸片將集成D2D通信、電源與內(nèi)存控制，甚至部分邏輯更新功能。一部分原本屬于GPU的職責，將開始向內(nèi)存?zhèn)冗w移。

隨著內(nèi)存逐步演化為具備控制、互連乃至計算能力的“類SoC結(jié)構(gòu)”，其制造難度正迅速逼近邏輯芯片。瓶頸不再只是存儲單元，而是轉(zhuǎn)向基礎裸片與先進封裝工藝本身。同時，隨著HBF在物理空間上的持續(xù)擴展，傳統(tǒng)硅中介層在尺寸、成本與良率上的約束日益顯現(xiàn)，迫使行業(yè)開始探索包括玻璃中介層在內(nèi)的新路徑，盡管其大規(guī)模商業(yè)化仍充滿挑戰(zhàn)。

更深層的約束來自物理本身。每增加一層存儲，就必須引入更多供電與散熱通道，而這些通道同樣占據(jù)面積；TSV也不再只是“連接”，而成為復雜的電磁與熱系統(tǒng)，抖動與串擾開始反過來吞噬帶寬。

與此同時，HBF從“冷存儲”走向“可參與計算的數(shù)據(jù)層”，其最大的技術(shù)挑戰(zhàn)之一，是改寫NAND的寫入壽命曲線。NAND的“寫入次數(shù)”與“數(shù)據(jù)保留時間”此消彼長。在傳統(tǒng)NAND的設計中，為了長期保存數(shù)據(jù)，犧牲寫入耐久。而HBF必須結(jié)合推理與訓練的實際需求，主動適度縮短數(shù)據(jù)保留時間，以換取寫入耐久與訪問頻率的數(shù)量級的提升。只有從當前約10萬次，提升至100萬甚至1000萬次，才具備現(xiàn)實意義。

這也意味著，從材料到架構(gòu)，閃存本身都可能被重新定義。無論是閃迪率先突圍，還是SK海力士與三星延續(xù)統(tǒng)治，抑或中國廠商實現(xiàn)彎道超車。真正的技術(shù)分野，也將從這些真正的挑戰(zhàn)開始。

直播視頻與演示報告：

https://tera.kaist.ac.kr/home