把“Token工廠”搬回家，是不是一場(chǎng)好生意

出品｜虎嗅科技組

作者｜陳伊凡

編輯｜苗正卿

頭圖｜AI生成

這是虎嗅WAIC“追蹤Token商業(yè)新范式”系列文章第17期。

關(guān)于 AI算力的故事，通常以十億美元為單位講述——數(shù)據(jù)中心、萬卡集群、只有巨頭才付得起的賬單。后摩智能的故事是一個(gè)例外：它關(guān)乎每一個(gè)人。

2026年，深圳華強(qiáng)北的電子市場(chǎng)里出現(xiàn)了一種新物種：巴掌大小的鋁合金盒子，內(nèi)置一顆10瓦功耗的芯片，卻能運(yùn)行千億參數(shù)的大語(yǔ)言模型。這個(gè)需求，在OpenClaw出來之后，被推向了高點(diǎn)。

聯(lián)想在此基礎(chǔ)上推出了 AI 主機(jī)P7，長(zhǎng)城電腦發(fā)布了 N90Pro AI PC。一個(gè)全新的硬件品類正在成形——Agent Computer：專為 AI 設(shè)計(jì)的硬件載體。

這類端側(cè)設(shè)備的心臟，是一顆存算一體芯片，來自一家叫做后摩智能的公司。

如果不是大模型引發(fā)的指數(shù)級(jí)推理需求，市場(chǎng)或許很難注意到后摩智能和存算一體。這家公司至今成立6年，成立前兩年，驗(yàn)證了存算一體做大算力端邊AI芯片的商業(yè)路徑的可行性，2023年，押注大模型。那對(duì)后摩而言是一個(gè)關(guān)鍵節(jié)點(diǎn)。這一次，和CEO吳強(qiáng)聊天里，能感受到語(yǔ)氣里的高昂和希望。

傳統(tǒng)芯片的工作方式，像是一輛跑車必須不停地在倉(cāng)庫(kù)和賽道之間往返拉貨——每跑一圈計(jì)算，就得回倉(cāng)庫(kù)取一趟數(shù)據(jù)，再開回來。路上花的時(shí)間和油錢，比真正跑圈的還多。過去這不是問題，因?yàn)樨浬?，跑幾趟就夠了。?AI 計(jì)算的數(shù)據(jù)量是爆炸性的，相當(dāng)于每秒鐘要跑幾十萬趟，高速公路再寬，也堵死了。英偉達(dá)的 GPU 相當(dāng)于把公路從四車道拓寬到幾十車道，確實(shí)快了，但車還是得跑，油還是得燒。

存算一體的思路是：既然搬數(shù)據(jù)是瓶頸，那就不搬了。把計(jì)算直接放到存儲(chǔ)內(nèi)部去做，數(shù)據(jù)原地不動(dòng)就能完成運(yùn)算。吳強(qiáng)打過一個(gè)比方：GPU 通用性更好，它除了做 AI 還可以做天氣預(yù)報(bào)、原子彈仿真。但讓存算一體芯片做天氣預(yù)報(bào)，非常不合適，可是做神經(jīng)網(wǎng)絡(luò)，不管是 CV 還是大模型，都比 GPU 干得好。

吳強(qiáng) 圖片由后摩智能提供

2020年底吳強(qiáng)決定創(chuàng)業(yè)時(shí)，中國(guó)半導(dǎo)體正處于國(guó)產(chǎn)替代的狂熱高峰的三年。中美科技脫鉤加速，英偉達(dá)高端芯片對(duì)華出口受限，一級(jí)市場(chǎng)的錢瘋狂涌入 GPU 賽道，造富神話一個(gè)接一個(gè)。壁仞科技成立9個(gè)月就拿了11億 A 輪，摩爾線程成立百天即成獨(dú)角獸，十幾家公司扎堆講“中國(guó)英偉達(dá)”的故事，合計(jì)融資超過百億。

朋友也勸吳強(qiáng)直接做 GPU 國(guó)產(chǎn)替代，故事好講，投資人也聽得懂，他曾在AMD參與CUDA的早期開發(fā)，對(duì)GPU的生態(tài)熟悉，但他的判斷是：“如果我也去做 GPU，剛開始會(huì)容易點(diǎn)，但長(zhǎng)期來說很難有差異化?！?/p>

那個(gè)時(shí)候，所謂“顛覆英偉達(dá)”的技術(shù)很多，有人選了光計(jì)算，有人選了量子計(jì)算，吳強(qiáng)選了存算一體，原因是，它更接近落地和商業(yè)化。但即便如此，彼時(shí)的存算一體，仍是一種停留在學(xué)術(shù)論文中的計(jì)算范式，去挑戰(zhàn)馮·諾依曼體系延續(xù)了八十年的統(tǒng)治地位。天使輪融資，好多投資人都聽不懂，"當(dāng)時(shí)國(guó)內(nèi)做大算力存算一體的公司幾乎沒有，國(guó)外也只有一兩家在探索。

存算一體，這個(gè)詞顯然對(duì)大眾而言太過陌生和學(xué)術(shù)。這種存算一體芯片有的用在耳機(jī)中，但大算力存算一體，則用在PC、手機(jī)、各種邊緣服務(wù)器上。

轉(zhuǎn)變發(fā)生在2023年，大模型之后，吳強(qiáng)判斷，未來一定會(huì)有很多物理場(chǎng)景需要在本地跑大模型，因?yàn)閭鬏斣絹碓桨嘿F，有隱私問題，時(shí)延也不允許，因此大模型端邊推理一定是趨勢(shì)。

2023年下半年，后摩用第一代產(chǎn)品適配了智譜的 GLM-6B 模型，發(fā)現(xiàn)存算一體跑大模型效果出奇地好。"所以我們當(dāng)時(shí)就預(yù)判，應(yīng)該為大模型端邊推理做一款芯片。"吳強(qiáng)說，那會(huì)兒 Agent 還只是一個(gè)幾乎沒人討論的概念。

過去的端側(cè) AI 芯片不過是 SoC 里附帶的6T 算力，號(hào)稱"端邊 AI“，實(shí)際上只能跑一些玩具級(jí)的小模型。M50 徹底改變了這個(gè)局面：10瓦功耗、160TOPS 算力，可以運(yùn)行幾百億到千億參數(shù)的大模型。

2024年初，大算力的存算一體芯片M50開始做，2025年初流片，2026年2月正式量產(chǎn)。

2026年上半年，后摩智能收到了超出預(yù)期的客戶訂單。它的客戶名單從聯(lián)想、長(zhǎng)城延伸到運(yùn)營(yíng)商的通信 AI RAN、陪伴機(jī)器人公司，以及一批正在深圳涌現(xiàn)的 Agent 硬件公司，這是一片嶄新的增量市場(chǎng)。

吳強(qiáng)說，如果要用一句話概括后摩，是讓端側(cè)“免費(fèi)Token工廠”成為可能。

它背后，是以大模型為主的AI產(chǎn)業(yè)正在經(jīng)歷的一次結(jié)構(gòu)性遷移：算力正在從集中式的數(shù)據(jù)中心，向分布式的終端設(shè)備轉(zhuǎn)移，這個(gè)結(jié)構(gòu)洞的經(jīng)濟(jì)學(xué)邏輯，可能比技術(shù)本身更具產(chǎn)業(yè)的顛覆意義。而后摩，顯然是這場(chǎng)需求結(jié)構(gòu)性遷移的受益者。

和吳強(qiáng)聊，我們?cè)噲D回答幾個(gè)關(guān)鍵問題，存算一體是否真的能在通用大模型推理上大規(guī)模替代 GPU/NPU？在存算一體芯片大規(guī)模商業(yè)化之后，端側(cè)大模型會(huì)不會(huì)把 AI 推理從云端按量付費(fèi)，改造成一次性硬件買斷的生意？成本要降到什么程度，Token工廠會(huì)進(jìn)入家家戶戶？

一場(chǎng)關(guān)于"搬不搬數(shù)據(jù)"的效率之爭(zhēng)

虎嗅：六年前確實(shí)很少聽到存算一體這個(gè)概念。那個(gè)時(shí)候存算一體芯片商業(yè)化了嗎？國(guó)內(nèi)外有哪些公司在做？

吳強(qiáng)：包括國(guó)外在內(nèi)，當(dāng)時(shí)大部分公司做的都是小算力、超低功耗的方向，比如知存做的是 NOR Flash 的存內(nèi)計(jì)算，用在耳機(jī)芯片里。真正做大算力存內(nèi)計(jì)算芯片的，國(guó)內(nèi)當(dāng)時(shí)是零，國(guó)外也只有一兩家創(chuàng)業(yè)公司在探索。

虎嗅：理清一下一個(gè)區(qū)別，之前的存算一體做的是小功耗的產(chǎn)品，比如耳機(jī)。我們現(xiàn)在做大算力的存算一體芯片，替代的是哪類產(chǎn)品？

吳強(qiáng)： 存算一體是一個(gè)技術(shù)路線。小算力超低功耗的方向用的是模擬計(jì)算，存儲(chǔ)介質(zhì)是 NOR Flash。我們這一波的路線大概從2017、2018年在學(xué)術(shù)界開始，用 SRAM 做純數(shù)字的存內(nèi)計(jì)算，可以把精度做高，把算力和算力密度都做上去。

在大算力這個(gè)領(lǐng)域，我們面向的場(chǎng)景不是耳機(jī)，而是 PC、手機(jī)、各種邊緣服務(wù)器等。

虎嗅：所以你們對(duì)標(biāo)的是原來的推理GPU 或 TPU？存算一體跟 GPU 相比，客戶能感知到的優(yōu)勢(shì)是什么？

吳強(qiáng)：對(duì)客戶來說，他不需要知道底層是存算一體還是常規(guī)架構(gòu)。他能感受到的就是：功耗更低，或者在同等芯片面積下算力更大。

存算一體解決的核心問題是能效比——同等面積下算力更大，帶寬更大。比如我們現(xiàn)在在消費(fèi)終端上，一個(gè)手掌大小的盒子里，一顆芯片能跑幾百億到一千億參數(shù)的模型，功耗只有10瓦左右。同樣的場(chǎng)景，其他公司的產(chǎn)品可能要大幾十瓦。

虎嗅：我能理解為，存算一體能在通用大模型推理上替代 GPU/NPU嗎？

吳強(qiáng)：兩者各有側(cè)重：GPU/NPU強(qiáng)在通用性和生態(tài)，存算一體強(qiáng)在能效和端側(cè)部署。兩者不是互相取代的關(guān)系，而是各有不可替代的價(jià)值。

虎嗅：現(xiàn)在還有近存計(jì)算，近存計(jì)算和存內(nèi)計(jì)算有什么區(qū)別？

吳強(qiáng)： 近存計(jì)算，只是把計(jì)算和數(shù)據(jù)存儲(chǔ)拉近了，實(shí)際上還有數(shù)據(jù)搬運(yùn)，只不過距離變近了。Groq 走的就是這條路。而我們做的存內(nèi)計(jì)算，是真正在存儲(chǔ)內(nèi)部做計(jì)算，很多情況下數(shù)據(jù)是不動(dòng)的。所以我們的能效比更高，算力密度也更高——同樣一個(gè)小盒子，可以提供更大的算力。

大模型救活了一條新的路

虎嗅：端側(cè)大模型這件事出來之前，存算一體的市場(chǎng)是什么樣的？你們那個(gè)時(shí)候的市場(chǎng)競(jìng)爭(zhēng)狀況如何？

吳強(qiáng)： 之前也可以做推理，比如計(jì)算機(jī)視覺的推理——智能駕駛、安防監(jiān)控。存算一體做 CV 也能做得好，只要是數(shù)據(jù)為主的矩陣向量相乘的計(jì)算，它都比常規(guī)架構(gòu)更高效。但 CV 市場(chǎng)非常紅海，格局已定，商業(yè)機(jī)會(huì)不多。

大模型出來以后，第一，這是個(gè)新興市場(chǎng)，機(jī)會(huì)更多；第二，存算一體做大模型更合適，因?yàn)閿?shù)據(jù)量更大，數(shù)據(jù)量越大，存算一體的優(yōu)勢(shì)就越大。

虎嗅：大模型時(shí)代，推理的需求爆發(fā)，那個(gè)時(shí)候后摩接到的第一個(gè)這一類的需求是來自哪一類的客戶？

吳強(qiáng)：存算一體除了可以讓 Token 的成本降低，另外一個(gè)優(yōu)勢(shì)它把功耗做到極致，把成本做到極致。以前端邊有很多的AI 芯片，都是小算力。

大模型出來之后，有客戶希望在端邊跑大模型，特別是今年初，這種需求特別多，客戶希望做一個(gè)像聯(lián)想AI主機(jī)P7這樣的AI終端。

虎嗅：OpenClaw 出來之后，對(duì)公司的客戶結(jié)構(gòu)有什么變化？

吳強(qiáng)：我們目前客戶主要來自四個(gè)場(chǎng)景：第一是 Agent Computer，這是增量市場(chǎng)，一個(gè)全新的形態(tài)；第二是智能終端，包括 PC、會(huì)議紀(jì)要一體機(jī)、實(shí)時(shí)翻譯機(jī)，未來還有手機(jī)、平板、學(xué)習(xí)機(jī)；第三是具身機(jī)器人，目前主要做陪伴機(jī)器人；第四是邊緣服務(wù)器，比如通信類的 AI RAN等。

虎嗅：陪伴機(jī)器人公司很多用的是云端方案，因?yàn)榭紤]到端側(cè)部署成本更高，這方面也有后摩的市場(chǎng)嗎？

吳強(qiáng)： 現(xiàn)在大部分陪伴機(jī)器人確實(shí)用云端。但云端方案有幾個(gè)問題：第一，它賭客戶不用。如果客戶真的用起來，成本吃不消，而中國(guó)用戶不習(xí)慣付訂閱費(fèi)；第二，隱私問題，如果只是聲音還好，但如果有攝像頭，大家還是敏感的。

主打便宜的一般用云端，先賣出去再說。但主打體驗(yàn)的、稍微高端的，基本都會(huì)有本地算力。比如陪伴機(jī)器人，需要能看到你的表情，判斷你是不是皺眉、心情不好，這種算法需要本地算力，高凈值客戶也在意隱私。

虎嗅：你們的芯片能把 Token 生產(chǎn)成本降到原來的多少？

吳強(qiáng)：理論上是一個(gè)數(shù)量級(jí)的提升。當(dāng)然今天我們還做不到10倍，但至少幾倍的提升是現(xiàn)在可以努力的方向。

除了降低 Token 成本，更大的優(yōu)勢(shì)是：存功耗和成本做到極致，讓大模型在端邊運(yùn)行變成了可能。

虎嗅：從 Token 經(jīng)濟(jì)學(xué)的角度看，端側(cè)推理和云端推理的成本結(jié)構(gòu)有什么本質(zhì)區(qū)別？后摩的存算一體架構(gòu)如何改變 Token 的“生產(chǎn)成本”的，這背后的邏輯是什么？

吳強(qiáng)：端邊推理和云端推理的結(jié)構(gòu)有本質(zhì)區(qū)別，云端推理是持續(xù)消耗的成本結(jié)構(gòu)，用的越多，付費(fèi)越多。端邊推理一次性硬件投入，零邊際成本。設(shè)備購(gòu)買后，所有推理任務(wù)在本地完成，無Token消費(fèi)、無調(diào)用次數(shù)限制。一次性投入之后，使用是個(gè)免費(fèi)token 工廠。

存算一體架構(gòu)改變Token生產(chǎn)成本的邏輯在于兩個(gè)方面：首先是存算一體的低功耗、高效率推理可以讓token生成的成本降低；其次，更重要的一方面，在端邊功耗和成本敏感的場(chǎng)景下，存算一體讓足夠大的大模型運(yùn)行變成可能，讓免費(fèi)token 工廠變得可能。

虎嗅：端側(cè)大模型會(huì)不會(huì)把 AI 推理從云端按量付費(fèi)，改造成一次性硬件買斷的生意？

吳強(qiáng)：端側(cè)模型其實(shí)是將AI從一種持續(xù)的運(yùn)營(yíng)成本，轉(zhuǎn)變?yōu)橐环N可預(yù)期的資本投入，為用戶和企業(yè)提供了一種全新的選擇。未來的主流模式更可能是“端云協(xié)同”，系統(tǒng)自動(dòng)判斷任務(wù)該由端側(cè)還是云端處理，在成本、性能和體驗(yàn)之間找到平衡點(diǎn)。

讓每個(gè)人都能用上免費(fèi)的Token工廠

虎嗅：這幾年在你的觀察視角下是否發(fā)現(xiàn)了一些新的需求？我們是否有針對(duì)這些涌現(xiàn)的新的需求做產(chǎn)品？或者說這些需求對(duì)我們的產(chǎn)品提出了什么挑戰(zhàn)？

吳強(qiáng)：模型在逐步變大，對(duì)算力和帶寬的要求在變高，從單一大語(yǔ)言模型向多模態(tài)遷移等新的需求，針對(duì)這些需求，我們也在做端邊能處理更大規(guī)模參數(shù)的芯片，未來，端邊芯片應(yīng)該能處理接近或超過今天滿血版模型的能力，同時(shí)，我們針對(duì)消費(fèi)終端的多模態(tài)模型需求，也布局了更適合做dense多模態(tài)模型的芯片。

虎嗅：你們現(xiàn)在有海外的客戶嗎？國(guó)產(chǎn)模型加國(guó)產(chǎn)芯片在國(guó)際競(jìng)爭(zhēng)上是否有優(yōu)勢(shì)？

吳強(qiáng)： 我覺得中國(guó)未來“Token 出海”是一個(gè)很大的機(jī)會(huì)。

我的邏輯是：免費(fèi)產(chǎn)品一定是大家用最好的——社交網(wǎng)絡(luò)、搜索都是這樣。但 Token 要花錢，只要花錢，即使你不是最好的，性價(jià)比高也有市場(chǎng)。

國(guó)產(chǎn)開源模型加國(guó)產(chǎn)芯片，絕對(duì)能力可能做不到海外 SOTA 水平，但通過性價(jià)比，一定能覆蓋到國(guó)際舞臺(tái)。我們現(xiàn)在海外客戶都是做端邊智能設(shè)備的，他們的邏輯是：海外網(wǎng)絡(luò)沒有中國(guó)那么好，特別是農(nóng)村地區(qū)；對(duì)隱私也更敏感。他們很喜歡這種本地的“免費(fèi) Token 工廠”——小巧、不依賴網(wǎng)絡(luò)、足夠智能。

你可以把這看成廣義的 Token 出口，出口的是一臺(tái) Token 機(jī)器。

虎嗅：中美在存算一體上的技術(shù)差距有多大？

吳強(qiáng)：存算一體的好處是我們跟巨頭在同一起跑線上。之前這還是學(xué)術(shù)界的領(lǐng)域，海外和整個(gè)行業(yè)走的都是英偉達(dá)或 ARM 的路線。存算一體作為新的探索性技術(shù)，大家起點(diǎn)一樣。而且巨頭有更大的包袱。英偉達(dá)那套東西已經(jīng)走得很深了，要用存算一體這種顛覆性技術(shù)，意味著把原來的東西通通打破，歷史包袱太重。英偉達(dá)收購(gòu) Groq，也只是拿來配合使用，把大模型里有低延遲需求的部分分給 Groq 做，本質(zhì)上還是改良，不會(huì)放棄 GPGPU。而我們從零開始，沒有包袱，整個(gè)架構(gòu)都是存算一體。

虎嗅：我可以理解為，大模型之后后摩的價(jià)值也出現(xiàn)了大幅提升，如果拿掉國(guó)產(chǎn)替代的敘事，后摩的價(jià)值在哪里？

吳強(qiáng)： 今天的格局是：訓(xùn)練方面英偉達(dá)還是主導(dǎo)；推理方面國(guó)產(chǎn)比例越來越大，大家發(fā)現(xiàn)至少在推理上跟英偉達(dá)差不多。所以現(xiàn)在拼的不是國(guó)產(chǎn)替代，而是都是國(guó)產(chǎn)的情況下，誰(shuí)的性價(jià)比更高、性能更好。

后摩從第一天就沒有主打國(guó)產(chǎn)替代。我們一直說自己是“國(guó)產(chǎn)創(chuàng)新”，一直說不能用英偉達(dá)的方式打英偉達(dá)，要彎道超車。后摩今天的價(jià)值是：我們用了一個(gè)跟英偉達(dá)完全不同的新技術(shù)，把它從學(xué)術(shù)概念變成了現(xiàn)實(shí)，做到了量產(chǎn)和商業(yè)化，并且在大算力存算一體賽道上走在全球前列——不只是中國(guó)前列。

虎嗅：現(xiàn)在其實(shí)也有很多做端側(cè)和邊緣芯片的廠商，半導(dǎo)體又是一個(gè)頭部效應(yīng)很明顯的行業(yè)，端側(cè)未來還需要那么多家算力芯片公司嗎？后摩的競(jìng)爭(zhēng)窗口期你認(rèn)為還有多長(zhǎng)？

吳強(qiáng)：目前端側(cè)芯片大部分還是控制為主的CPU芯片或者SoC芯片，AI算力一般都很小，傳統(tǒng)端邊AI芯片算力僅為6-16T左右,隨著大模型的普及，算力超過百T的端邊大模型芯片，會(huì)逐漸成為主導(dǎo)，在這塊后摩是先行者。

未來整合的話，端邊可能也不超過5家。當(dāng)然大家會(huì)相互試探——比如高通做手機(jī)也往 PC 上布局——但每家都有自己的主戰(zhàn)場(chǎng)。

虎嗅：如果用一句話描述后摩智能在 Token 新范式中的角色定位，你覺得是什么？

吳強(qiáng)：讓端側(cè)“免費(fèi)Token工廠”成為可能。

虎嗅：或者說家家戶戶都有一個(gè)超節(jié)點(diǎn)？

吳強(qiáng)：是的。就是這類“家用超節(jié)點(diǎn)”，可以把家里的所有智能設(shè)備都連到這上面去。

虎嗅：成本要降到什么程度，Token工廠會(huì)進(jìn)入家家戶戶？

吳強(qiáng)：現(xiàn)在有的盒子可能在幾千塊錢，隨著市場(chǎng)規(guī)模擴(kuò)大，技術(shù)成熟，成本會(huì)持續(xù)下降?，F(xiàn)在，差的可能不是成本，而是一個(gè)殺手級(jí)應(yīng)用，讓大家覺得“必須擁有本地Token工廠”。一旦這個(gè)應(yīng)用出現(xiàn)，疊加已降至臨界點(diǎn)的成本，Token工廠才能真正進(jìn)入千家萬戶。

虎嗅：未來5年，后摩面前最大的挑戰(zhàn)可能是什么？你覺得真正的威脅可能會(huì)來自那些公司？

吳強(qiáng)： 從組織發(fā)展角度，今天公司還在生存階段，大家都很拼，go big or go home。如果5年后真的做到了頭部，組織怎么進(jìn)一步迭代，這是一個(gè)挑戰(zhàn)。

從產(chǎn)業(yè)角度，如果那時(shí)候端邊已經(jīng)是很大的市場(chǎng)，競(jìng)爭(zhēng)會(huì)很激烈。端邊推理的生態(tài)壁壘不像云端訓(xùn)練那么深，所以必須不停提升效率才能保持領(lǐng)先。

我覺得真正的威脅不會(huì)來自巨頭，會(huì)來自另外的創(chuàng)業(yè)公司，用一套完全新的技術(shù)打法對(duì)我形成降維打擊。而那個(gè)東西是我當(dāng)時(shí)忽略的、沒有重視的。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4876593.html?f=wyxwapp