谷歌被曝要把Gemini“寫進(jìn)”芯片？推理能效最高提升10倍

智東西
編譯 茄子
編輯 程茜

智東西7月21日消息，昨日，The Information援引知情人士消息報道，谷歌正在研發(fā)一款面向Gemini模型的新型AI服務(wù)器芯片F(xiàn)rozen v2。該芯片計劃將Gemini模型部分架構(gòu)直接集成到芯片中，通過減少運行過程中的計算決策和數(shù)據(jù)搬運，提升AI推理效率。

知情人士透露，谷歌工程師預(yù)估，按照單位功耗能夠輸出的Token數(shù)量計算，F(xiàn)rozen v2的效率可能達(dá)到谷歌最新自研AI芯片的6至10倍。

這款芯片在谷歌內(nèi)部被非正式地稱為“Frozen v2”。知情人士稱，谷歌希望借此緩解嚴(yán)重的AI算力短缺問題。算力緊張已經(jīng)在谷歌內(nèi)部引發(fā)矛盾，還迫使谷歌云拒絕部分外部客戶的訂單。

知情人士還透露，谷歌最快可能于2028年部署這款芯片，但該公司目前仍在確定Frozen v2的主要功能、各部分的協(xié)同方式，以及究竟要將多少模型信息固化在芯片中。

The Information還提到，F(xiàn)rozen v2并非谷歌首次探索模型專用芯片。此前，谷歌DeepMind首席科學(xué)家杰夫·迪恩（Jeff Dean）曾計劃將模型權(quán)重直接固化到芯片中，但由于該方案的芯片只能適配特定版本模型、生命周期過短，最終被擱置。

一、把Gemini部分邏輯寫入芯片，減少芯片數(shù)據(jù)搬運

當(dāng)前主流AI芯片大多強調(diào)通用性和可編程能力，如英偉達(dá)GPU能夠支持多種AI模型和計算任務(wù)。這類芯片需要支持多種不同AI模型，因此在運行過程中需要根據(jù)模型需求完成大量計算調(diào)度和決策。谷歌TPU也類似，雖然它針對AI進(jìn)行了優(yōu)化，但也需要兼顧不同模型運行需求。

而Frozen v2采用了不同思路。據(jù)爆料，谷歌計劃將Gemini模型部分信息直接“固化”到芯片中，讓硬件提前了解模型運行方式，從而減少執(zhí)行過程中的決策步驟，以及芯片內(nèi)部的數(shù)據(jù)移動。

簡單來說，傳統(tǒng)GPU更像一臺能夠運行各種軟件的通用計算設(shè)備，而Frozen v2則更接近針對Gemini優(yōu)化的專用硬件。這種設(shè)計可能帶來更快的響應(yīng)速度，并幫助谷歌降低Gemini模型運行成本。

不過，模型專用化也意味著更強綁定。如果未來Gemini模型采用新的底層架構(gòu)，那么Frozen v2可能無法直接適配。谷歌因此仍需要在芯片效率和模型靈活性之間尋找平衡。

據(jù)知情人士透露，谷歌目前仍在決定Frozen v2中應(yīng)該固定多少模型信息，以平衡性能提升和未來兼容能力。谷歌發(fā)言人在一份聲明中稱，研究團(tuán)隊一直在研究和試驗新的技術(shù)，以提高面向用戶和客戶的系統(tǒng)性能與效率，并非所有研究項目都會投入生產(chǎn)，但這些探索是谷歌全棧技術(shù)路線的重要組成部分。

二、推理芯片競賽升溫，初代Frozen方案曾被擱置

過去幾年，AI基礎(chǔ)設(shè)施競爭圍繞訓(xùn)練展開。大規(guī)模模型訓(xùn)練需要大量GPU集群，英偉達(dá)憑借GPU生態(tài)占據(jù)主導(dǎo)地位。The Information去年12月報道，英偉達(dá)去年12月通過一筆價值200億美元（約合人民幣1353億元）的交易，獲得了AI推理芯片創(chuàng)企Groq的相關(guān)技術(shù)授權(quán)。

包括SambaNova、d-Matrix、OpenAI和微軟在內(nèi)，多家公司都在開發(fā)AI推理芯片。這些公司的共同目標(biāo)，是以比英偉達(dá)GPU更高的效率運行AI模型，緩解算力短缺并降低成本。

與此同時，加拿大芯片創(chuàng)企Taalas也采取了谷歌類似思路，將特定AI模型直接硬編碼進(jìn)芯片。Taalas目前已經(jīng)獲得超過2億美元（約合人民幣13.5億元）融資，投資方包括Quiet Capital和富達(dá)投資。

據(jù)The Information透露，F(xiàn)rozen v2此前還有一個更激進(jìn)的版本。由谷歌DeepMind首席科學(xué)家杰夫·迪恩主導(dǎo)的初代Frozen方案，曾計劃直接將模型權(quán)重固化到芯片中。

但這種設(shè)計會讓芯片只能運行某個特定版本的Gemini。一旦模型更新，芯片便可能迅速失去使用價值。由于預(yù)期生命周期過短，谷歌最終擱置了初代方案。

據(jù)知情人士透露，F(xiàn)rozen v2不再固化完整模型權(quán)重。但谷歌目前仍在評估應(yīng)該鎖定多少模型信息，以平衡靈活性與運行效率。

三、Frozen v2并非取代TPU，谷歌先將其作為技術(shù)試驗

雖然Frozen v2受到關(guān)注，但知情人士透露，谷歌并沒有計劃用它替代TPU。據(jù)報道，F(xiàn)rozen項目旨在建立一條區(qū)別于TPU的新型自研芯片路線。

今年，谷歌發(fā)布了第八代TPU，并開始直接向谷歌云客戶推銷這款芯片，挑戰(zhàn)英偉達(dá)在AI芯片市場的主導(dǎo)地位。此外，谷歌還與Meta簽署了價值數(shù)十億美元的TPU租賃協(xié)議，并在嘗試向其他云服務(wù)商銷售TPU。

▲第八代TPU實物，左手為推理芯片TPU 8i、右手為訓(xùn)練芯片TPU 8t（圖源：谷歌）

The Information稱，相比單純依賴英偉達(dá)GPU，谷歌自研TPU已經(jīng)幫助其降低Gemini模型運行成本。因為，谷歌在開發(fā)TPU時也考慮了Gemini的需求，只是TPU集成的模型信息遠(yuǎn)少于Frozen v2。Frozen v2面向Gemini進(jìn)行更深度的定制，但適用范圍也比TPU更窄。

據(jù)知情人士透露，谷歌目前沒有計劃讓Frozen v2的產(chǎn)量達(dá)到TPU的規(guī)模。因為，較小的生產(chǎn)規(guī)模可以使谷歌在推出大型產(chǎn)品之前，更晚地引入外部芯片設(shè)計和制造合作伙伴。該知情人士還稱，谷歌將這一代產(chǎn)品部分視為技術(shù)試驗，并希望從中積累開發(fā)專用AI芯片的經(jīng)驗。

結(jié)語：用部分通用性換取更高推理效率

Frozen v2并不是TPU的替代品，而是谷歌針對Gemini開辟的一條專用芯片路線。谷歌希望通過將部分模型架構(gòu)和計算決策固化到硬件中，以減少推理過程中的計算步驟和數(shù)據(jù)搬運，從而以更低功耗處理更多用戶請求。

不過，更高的專用化程度也意味著芯片與模型架構(gòu)綁定得更緊。Frozen v2最快要到2028年才能部署，屆時Gemini底層架構(gòu)能否保持穩(wěn)定，以及6至10倍的預(yù)期能效提升能否在實際應(yīng)用中實現(xiàn)，將成為決定這一項目價值的關(guān)鍵。

來源：The Information