![]()
![]()
端側AI芯片是連接模型能力與終端產品之間的關鍵一環。
作者|寇雨然
編輯|王博
今年世界人工智能大會(WAIC)的展館里,越來越多AI模型被裝進了實體設備。
有的被放進一臺桌面大小的Agent主機,有的進入AI PC和移動工作站,還有的藏在全息投影盒子里,驅動一個可以持續對話的數字人。
AI終端密集出現,讓人隱隱感受到:端側AI的爆發正在到來。
這一變化的確具備了重要的技術前提。云端大模型積累的訓練方法和能力,正在進入參數規模更小的模型,讓越來越多的任務獲得了在終端運行的可能。
當模型能力進入終端可用的區間,端側AI產業的主要矛盾也隨之發生變化。過去,很多項目卡在模型“不夠聰明”;現在,問題開始轉向硬件能否把這些能力真正接住。模型可以壓縮,但終端的空間、功耗、散熱和成本卻有限制。端側AI芯片由此成為連接模型能力與終端產品之間的關鍵一環。
云端芯片追求的是計算能力的上限,端側AI芯片面對的則是一臺具體產品的邊界。它既要扛住大模型推理、語音識別、語音合成、視覺處理、長期記憶和多Agent并發的任務壓力,也要在數小時甚至全天候運行中控制溫度、噪音和整機成本。
「甲子光年」認為,端側AI的競爭,表面上比的是算力參數,真正拉開差距的,是誰能在有限功耗、有限空間和有限成本里提供更多可用的智能,并通過成熟的工具鏈和工程能力,把這些智能穩定地裝進一臺可以量產和交付的設備。
誰能真正讓AI終端走出Demo,走進物理世界,誰就會掌握端側AI的主導權。
1.AI終端從“聯網調用”走向“端側智能”
最初,AI進入個人設備最常見的方式是在原有產品里增加一個對話框。
用戶打開應用,輸入問題,終端把請求發到云端,再把模型生成的答案顯示回來。AI能力雖然出現在屏幕上,真正的計算和記憶仍然主要發生在云端服務器。
但是今年以來,終端廠商開始展示另一種形態。
今年6月舉辦的GTC臺北上,英偉達發布了面向Windows PC的RTX Spark。按照英偉達的設想,未來的個人電腦不再只是等待用戶點擊應用、輸入命令,它還可以在本地運行個人智能體:讀取本地文件,在不同軟件之間完成任務,生成圖像和視頻,編寫插件,并持續處理由用戶交給它的一整段工作流。
為了讓這些任務留在個人設備中,RTX Spark提供最高1 Petaflop AI性能和128GB統一內存,可以在本地通過Agent運行120B參數、百萬token上下文的大語言模型。華碩、戴爾、惠普、聯想、微軟Surface和微星等廠商,也計劃圍繞這一平臺推出輕薄筆記本和緊湊型桌面主機。
英偉達創始人、CEO黃仁勛表示:“PC 正在被重新定義。”
![]()
RTX Spark,圖片來源:英偉達
類似的變化也在其他終端形態中發生。
今年3月,聯想在MWC 2026展會上帶來了一款概念投影儀AI Workmate,號稱是一款始終在線的桌面AI助理,能夠通過端側AI模型本地處理語音控制、手勢操作等。它擁有攝像頭、屏幕和投影儀,可以掃描一份紙質文件,理解其中的內容,整理成筆記或演示文稿,再直接投射到墻面。
同樣是在MWC 2026上,高通則把端側AI進一步塞進了更小的設備。其發布的Snapdragon Wear Elite面向智能手表、智能眼鏡和AI吊墜,希望通過專門的NPU和低功耗AI單元,在本地完成自然語音交互、情境感知和實時關鍵詞檢測。對這些需要全天佩戴的設備來說,AI必須在極其有限的電池、空間和溫度條件下持續工作。
在2026 WAIC上,「甲子光年」也看到了大量AI終端設備的展示:移動工作站開始在本地處理更大的模型和專業創作任務;桌面AI主機把模型推理和Agent開發帶進個人工作空間;陪伴設備和機器人則需要持續接收語音、視覺和環境信息,并保留關于用戶和任務的長期狀態。
這些設備看起來相差很大,但它們正在做同一件事:把原本集中在云端的部分感知、記憶、推理和執行能力,留在終端內部。
全球范圍內,具備本地算力的AI終端設備也正在快速普及。Gartner行研數據顯示,2026年AI PC出貨量將達到約1.43億臺,占全球PC市場的55%。Counterpoint在6月發布的報告也預測具備生成式AI能力的手機將占全球智能手機出貨量的45%。
![]()
具備生成式AI能力手機出貨量預測,圖片來源:Counterpoint
AI終端火熱背后的原因也越來越具體。
一次簡單問答可以容忍數據上傳云端,再等待答案返回;一個長期運行的Agent卻可能不斷讀取本地文檔、調用應用、檢查執行結果并重新規劃。每一個環節都依賴云端,延遲、網絡穩定性、數據隱私和Token成本就會隨著任務鏈條一同累積,這就可能會產生不好的用戶體驗或者隱私風險。
尤其當Agent開始進入個人電腦和家庭設備,它面對的不再是抽象的公共知識,而是用戶的文件、照片、會議記錄、賬號權限和長期記憶。數據能否留在設備內,Agent可以執行哪些操作,已經成為終端產品設計的一部分。
端側計算由此獲得了新的意義。對企業和政府客戶,數據合規往往是部署決策的前提;對家庭和陪伴類產品,攝像頭畫面、語音記錄和個人記憶天然敏感;對需要高頻調用的Agent,長期支付云端Token費用也會逐漸變成一筆難以忽視的賬。
不過,這并不意味著云端模型會退出。復雜、低頻、需要更強推理能力的任務仍然適合交給云端,本地設備則承接高頻、低延遲、隱私敏感和需要持續運行的任務。
端側AI真正推動的,是云端與終端之間重新分工。
2.離開展臺,端側AI要算三筆賬
在WAIC現場,「甲子光年」與多家AI終端廠商交流時,大家都不約而同提到了一個詞——“算賬”。
這些團隊大多有消費電子或數碼硬件的研發、生產經驗,早已習慣在芯片、內存、散熱、續航和整機成本之間反復權衡。對他們來說,端側AI也要先過同一道關:模型能不能跑只是起點,真正決定產品能否成立的,是性能、功耗、體積和價格能不能同時算得過來。
AI終端廠商首先要算的是能力賬。
AI終端在理想環境里完成一次問答,與在真實設備中穩定運行,是兩種完全不同的考驗。終端需要同時承載語言模型、語音識別、語音合成、視覺處理、長期記憶和多個Agent。
某端側AI終端廠商負責人告訴「甲子光年」,他們遇到過多Agent并發帶來的性能下降問題。單個Agent運行時,模型推理速度和交互體驗都能夠達到預期;但當多個Agent同時調用模型、語音和記憶模塊后,不同任務開始爭奪內存帶寬,延遲隨之上升。
峰值算力可以說明芯片在理想條件下能夠達到什么水平,卻很難完整反映復雜任務發生時的真實體驗。模型規模、首字延遲、并發數量、上下文長度和持續運行性能,正在與TOPS一起進入終端廠商的評估表。
第二筆是工程賬。
AI PC要在性能、續航和重量之間尋找平衡;桌面主機需要控制散熱和噪音;移動工作站面對更大的模型和更長時間的持續負載;機器人和陪伴設備還要處理全天候待機、語音喚醒以及多模態感知。相同的芯片和模型放進不同設備,會得到完全不同的結果。
模型部署本身同樣漫長。芯片要支持不同框架和算子,工具鏈要完成模型轉換、量化和編譯,系統還要兼容Windows、Linux、Android以及不同國產操作系統。進入量產后,穩定性、升級和長期維護又會成為新的工作。許多端側團隊并不缺少Demo能力,真正稀缺的是把一次演示變成可復制交付的能力。
第三筆是商業賬。
端側大模型通常意味著更大的內存、更高規格的芯片和更復雜的散熱設計。尤其在今年內存價格上漲的背景下,一些產品的硬件成本可能明顯增加。技術方案即使能夠運行,只要新增成本無法轉化為用戶可以感知的價值,產品依然難以成立。
端側AI進入產品期后,競爭單位已經從“一個模型”變成“一臺完整設備”。模型能不能跑只是起點,設備能否長期工作、能否按時上市、用戶是否愿意買單,共同決定一次技術嘗試有沒有商業生命力。
當端側AI產業的瓶頸向硬件遷移時,一個關鍵問題也隨之浮出水面:什么樣的芯片,才能在有限功耗、空間、成本,把模型能力真正承載主并裝進AI終端產品?
3.什么樣的芯片可以承載AI終端的進化
一顆端側AI芯片完成流片和發布,說明技術路徑初步成立;進入不同終端、適配不同模型,并陪伴客戶完成量產,才是商業落地的開始。
大模型端邊AI芯片廠商后摩智能的聯合創始人、產品副總裁信曉旭也在關注WAIC上的AI終端產品。這幾年,后摩智能也在WAIC設置了展位,他感受到的變化是,去年找到后摩智能的客戶中,有一半以上就只是“想試試”。但是今年,更多客戶直接帶著模型列表過來,問的問題很簡單也很直接:這些模型能不能跑?性能如何?多少錢?
“準備真正把大模型裝進端側產品的客戶占比在快速上升,原來不足五成,現在應該大約有八成了。”信曉旭告訴「甲子光年」。
雖然這個變化很難代表整個市場,卻提供了一個來自產業上游的切面:端側AI的客戶正在減少開放式提問,開始討論交付和成本。
在WAIC展區,聊趣智能推出的一款AI個人算力中心產品ClawHouse X1吸引了很多觀眾,它的外觀是一個全息投影盒子,透明倉里面投影的數字人可以選擇任意外形。
![]()
ClawHouse X1,圖片來源:后摩智能
聊趣智能CEO黃雋實告訴「甲子光年」,今年3月,聊趣智能帶著ClawHouse參加AWE(中國家電及消費電子博覽會)時,這款產品還只能聯網調用云端模型。當時,一些芯片廠商開始接觸聊趣智能,并提出:“你們為什么不試試端側AI芯片?”
在選擇芯片的時候,黃雋實和團隊發現,通用GPU算力強,軟件生態成熟,但放進一臺面向家庭的桌面設備后,功耗、散熱和風扇噪音都會成為負擔;傳統NPU更省電,能夠承載的模型規模和任務復雜度又難以滿足ClawHouse的需求。
這也是許多端側AI產品共同面對的選擇題:算力過剩,設備可能變得笨重、昂貴;功耗足夠低,模型能力又可能無法支撐真實場景。
ClawHouse團隊最后選擇了后摩漫界M50芯片,這款芯片是后摩智能在2025WAIC期間發布的一款專為大模型端邊推理設計的新一代高能效AI芯片,依托存算一體架構,在10W功耗下就可實現160TOPS單芯片算力,可流暢運行30B至120B參數量級大模型。
![]()
WAIC 2026現場展示的后摩漫界M50,圖片來源:后摩智能
黃雋實將ClawHouse選擇后摩智能漫界M50芯片的原因歸納為四點:首先是算力與功耗的平衡;其次是芯片在真實模型和場景中的實際表現,而非單純看峰值參數;第三是軟件工具鏈的成熟度,模型適配、配置支持和開發工具能否跟上;第四是長期供貨與技術路線的匹配。
存算一體是后摩智能一直在堅持的技術路線,其核心是減少計算過程中反復發生的數據搬運,它把存儲和計算拉得更近,可以從架構層面降低搬運成本。落到產品中,它對應是更低的功耗、更小的散熱壓力以及在有限空間內承載更大模型的可能。
“AI時代,傳統架構在計算上遇到了數據搬運的瓶頸,而存算一體,是為AI計算而生的高能效比的通用AI處理器。”信曉旭告訴「甲子光年」。
他將傳統馮諾依曼架構與存算一體架構的差異比作“全科醫生”和“專科醫生”:傳統架構覆蓋的任務范圍更廣,存算一體則針對AI計算中最突出的數據搬運問題進行優化。
在信曉旭看來,后摩智能目標就是讓AI終端廠商可以在一顆功耗可控的芯片上,部署“足夠聰明”的模型。
而在黃雋實看來,端側AI芯片還給終端帶來了“自進化”可能。“這對本地算力的要求越來越高,如果沒有端側AI芯片去承載,挺難的。”黃雋實告訴「甲子光年」。
4.讓AI終端走出Demo,走進物理世界
在被問到“用一個詞概括后摩智能過去一年的變化”時,信曉旭選擇了“商業落地”。
從WAIC 2025到WAIC 2026,后摩漫界M50推出的AI終端正在不斷增加:長城N90 Pro嘗試把本地大模型能力放進輕薄AI PC,面向會議和文檔等高頻辦公任務;聯想AI主機P7在較小體積內提供本地模型和離線推理能力;紫光等廠商的移動工作站開始加入獨立端側算力;聊趣智能ClawHouse X1則以個人算力中心和全息數字人的形態,探索持續語音交互、陪伴和Agent應用。
![]()
長城N90 Pro和聯想AI主機P7,圖片來源:后摩智能
信曉旭表示,端側AI真正進入產品之后,客戶對“本地智能”的要求開始變得具體。
一位AI終端廠商曾很直接地跟后摩智能提出:“如果端側芯片只能跑能力有限的模型,最終做出來的更像一個玩具,很難解決真實問題。”對廠商來說,本地部署的前提是模型要足夠聰明,端側算力要足夠,才能夠承擔語音、視覺、理解和執行等任務,產品才有成立的可能。
功耗則會直接決定一種產品形態能不能存在。信曉旭介紹,后摩智能接觸的一些筆記本客戶,對芯片功耗有明確上限:方案如果達到20W,續航、溫度和散熱就很難閉環。桌面陪伴設備面臨的問題更直觀,用戶不會愿意在身邊放一臺持續發熱、風扇不斷轟鳴的機器。算力相近時,芯片能不能被壓進設備允許的功耗區間,往往比峰值參數更重要。
隱私是另一條更現實的邊界。后摩智能的一位客戶正在開發家庭AI中心,希望把家里的攝像頭和其他設備接入同一套系統,作為家庭管家使用。攝像頭畫面、語音記錄和家庭狀態如果持續上傳云端,很難獲得用戶信任。還有客戶在做面向青少年的陪伴產品,他們擔心孩子在交流中無意透露家庭隱私,因此把本地部署視為產品的前提。
成本也會讓已經成立的方案重新失效。內存價格上漲后,一些客戶的硬件成本可能接近原來的兩倍,原本能夠閉環的商業模式隨之被打破。到了量產階段,芯片、內存和散熱已經無法分開計算,任何一項成本明顯上升,都會重新定義整臺終端的售價和市場空間。
這些都是后摩智能收到的行業客戶真實的反饋。
雖然這些產品的用戶、尺寸和應用差異很大,但共同點是,它們都需要端側AI芯片在有限空間和功耗內運行足夠有用的模型。
一顆芯片的參數沒有改變,它所處的產業階段卻變了。
去年,后摩漫界M50證明了大模型可以在本地運行;今年,它要跟隨客戶進入產品定義、模型適配、整機開發和上市交付。
這也是后摩智能過去一年投入較多精力的部分。針對常用開源模型,后摩智能建立了標準模型庫,提前完成模型轉換和優化。信曉旭稱,在后摩目前接觸的客戶中,超過八成可以直接采用模型庫中的標準模型;使用自研模型的客戶,則通過工具鏈完成轉換,并由后摩團隊提供技術支持。
工具鏈的成熟也來自真實客戶的反復使用。信曉旭告訴「甲子光年」,后摩智能早期曾按照研發團隊對客戶需求的理解設計工具,但真正交付后才發現,客戶的使用方式與內部設想存在差距。一個客戶、兩個客戶、更多客戶不斷提出問題,后摩智能再把高頻問題變成標準功能、文檔和知識庫。
這是芯片商業化的真實狀態:芯片發布之后,廠商需要補齊模型、軟件、操作系統、硬件兼容和客戶支持,每個細節都有可能拖慢一款終端上市。
在硬件側,后摩智能圍繞后摩漫界M50提供力擎LQ50 M.2卡、標準加速卡等形態,以適配AI PC、桌面主機、工作站和邊緣設備;在軟件側,后摩大道覆蓋模型優化、量化、編譯和部署;在產業鏈側,后摩智能還需要與CPU、操作系統、IDH、ODM和整機廠商完成兼容。
![]()
力擎LQ50 M.2卡,圖片來源:后摩智能
“魔鬼都藏在細節中。”信曉旭說。
「甲子光年」認為,后摩智能之所以能讓端側AI從展臺走向規模化商用,是因為具備兩個方面的優勢:差異化的芯片架構,決定在有限功耗和空間里能夠提供多少智能;成熟的產品化工程能力,決定這些智能能否真正進入一臺可以量產、交付和長期使用的設備。
不過,做好端側AI產品只是第一步,產品做出來之后,用戶是否愿意購買、是否會持續使用,最終還是需要回到場景本身。
什么是一個持續承載AI終端進化的計算底座?簡單來說,它需要做到模型更強時接得住,任務更復雜時跑得穩,終端形態變化時仍然能夠快速適配。
一顆端側AI芯片真正的亮點,從來不體現在參數表上,而在它幫助多少AI終端走出Demo,走進物理世界。
(封面圖來源:AI生成)
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.