WAIC直擊 | 十大開源社區(qū)「擠」進了一家GPU展臺，沐曦憑什么？

聞樂 發(fā)自 上海
量子位 | 公眾號 QbitAI

每年WAIC第一天，都像一場“暴走探展”。

一圈逛下來，今年最熱鬧的幾個關(guān)鍵詞已經(jīng)很明顯：

超節(jié)點、大模型、Agent、AI4S。

沐曦也把今年的新東西幾乎一次性搬到了現(xiàn)場。

曦景S600超節(jié)點首次亮相，單機柜64張GPU、可擴展至萬卡集群；

AI4S方向的曦索X300系列科學(xué)智能GPU首次發(fā)布；

Agent體驗區(qū)排起長隊，數(shù)字員工、AI文創(chuàng)工作站幾乎沒停過。

按理說，這些已經(jīng)足夠成為一個GPU展臺的主角。

但真正把我們留下來的，卻是另一件事。

展臺中央，被整整留給了十個開源社區(qū)

龍蜥社區(qū)、vLLM、PyTorch基金會、SGLang……十個logo依次排開。

沐曦甚至專門做了一條開源社區(qū)打卡路線。

一家GPU公司，為什么把最顯眼的位置之一留給了開源？

而要把答案講清楚，得先從他們那套軟件棧MXMACA說起。

軟件，才是護城河

在算力這條賽道里泡久了的人都清楚一件事，NVIDIA能穩(wěn)坐龍頭，靠的從來不只是單顆芯片的硬件性能。

制程、架構(gòu)、顯存這些硬件指標(biāo)，都是有清晰參數(shù)、看得見摸得著的東西，國產(chǎn)廠商咬著牙研發(fā)，總有機會把差距收窄。

真正難追的，是NVIDIA藏在硬件之下的那道護城河，CUDA軟件生態(tài)。

數(shù)百萬開發(fā)者的項目代碼、開發(fā)經(jīng)驗、自研模塊，全都沉淀在CUDA上。

換一張算力卡，意味著要把過往多年的技術(shù)積累大幅推倒重來，遷移成本足以讓大多數(shù)團隊止步。

所以國產(chǎn)GPU真正要啃的硬骨頭，是造出一個能讓開發(fā)者心甘情愿遷過來的國產(chǎn)算力開發(fā)環(huán)境。

沐曦自研的全棧計算軟件MXMACA，正是針對這一問題交出的答卷。

這套全棧軟件從編譯器、算子底層函數(shù)庫，一路覆蓋到各大主流AI推理訓(xùn)練框架，目標(biāo)只有一個：

把遷移成本壓到最低，讓開發(fā)者原有的代碼無需改動，就能直接運行在沐曦GPU上。

當(dāng)然了，「近零成本」已經(jīng)得到了驗證。

他們專門搭了一套自動化測試體系，納入GitHub上近5000個熱門開源項目，每一輪MXMACA版本更新都要跑一遍全量測試。

結(jié)果是，92%的項目一行代碼都不用動，就能正常運行。

框架這頭也是同樣的打法。

針對PyTorch 2.8，MXMACA把全部2410個GPU算子做到了完整兼容；更關(guān)鍵的是速度，每次PyTorch出新版本，行業(yè)里同類方案通常要磨上好幾個月才能適配完，沐曦這邊一周就能收工。

vLLM生態(tài)那邊就更能說明問題。

生態(tài)里兩百多款大模型，沐曦自己只深度調(diào)試了五六十款主流型號，剩下的直接甩給普通本科生，讓他們拿著沐曦的顯卡逐一去測。最后只有十來款出現(xiàn)了適配障礙，絕大多數(shù)開箱即用。

連在校生都能跑完這么大規(guī)模的驗證，說明MXMACA的通用兼容性足夠扎實。

不過在沐曦的整盤棋里，把代碼順利跑起來還只是第一步。

真正的挑戰(zhàn)，是AI爆發(fā)之后顯現(xiàn)出來的。

如今，一個大模型從訓(xùn)練完成到上線服務(wù)，周期被壓得極短，大模型廠商、云廠商都想在模型一升級就第一時間拿到收益。

可行業(yè)技術(shù)更新幾乎沒有間歇，今天某個模型廠商放出一套創(chuàng)新技術(shù)，隔天就有團隊推出迭代方案。

在這種節(jié)奏下，如果只依靠一套封閉自研的軟件棧閉門跟進，既跟不上行業(yè)速度，也沒法快速響應(yīng)客戶的各類需求。

“對于我們這樣一個追趕者來講，需要以開源的方式，來打破領(lǐng)先者閉源的壟斷?！?br/>

談及選擇開源的初衷，沐曦團隊這樣解釋道。

但實際上，擁抱開源并非行業(yè)倒逼下的臨時對策。

早在自家GPU產(chǎn)品正式量產(chǎn)之前，沐曦就已經(jīng)完成了1752款開源軟件的適配。

也是從那時起，沐曦將開源共建納入了公司的長期戰(zhàn)略。

把軟件棧打開，讓生態(tài)自己長

決定開源之后，沐曦的打法可以用一個詞概括，upstream first

區(qū)別在哪呢？

以前的常規(guī)操作是“社區(qū)發(fā)了新版本，廠商拉下來自己適配”，也就是拉源碼、下patch、打補丁、編譯、調(diào)試，一整套流程走完才能用。

而upstream first是把代碼直接貢獻回上游社區(qū)，和社區(qū)一起迭代

落到開發(fā)者手里，直接就變成了“在vLLM社區(qū)把代碼拉下來，pip一裝，直接跑”。

能做到這樣，是因為沐曦的支持代碼本來就長在社區(qū)里，新模型發(fā)布時往往default就已經(jīng)支持了。

截至目前，沐曦已經(jīng)開源了53個軟件倉庫，占整個軟件棧的15%到20%，而且仍在持續(xù)擴大。

這個過程中有一個標(biāo)志性事件，是沐曦成了中國第一家與vLLM官方簽署合作協(xié)議的芯片企業(yè)

放到全球看，也是美國芯片公司之外的第一家。

合作橫跨軟件適配、開源活動、商業(yè)協(xié)同三個層面，沐曦的硬件也因此進了Red Hat+vLLM的官方硬件貨架。

這已經(jīng)不是“我去適配你”的關(guān)系，而是實打?qū)嵉纳鷳B(tài)共建。

再回頭看展臺上那十個社區(qū)，就能明白它是沐曦開源協(xié)作的一張完整地圖——

十個社區(qū)，恰好對應(yīng)一個Token穿過的每一層。

最底下是操作系統(tǒng)與資源調(diào)度這一層，龍蜥社區(qū)、Red Hat、CNCF、密瓜智能（Dynamia）守在這里，每個Token能穩(wěn)穩(wěn)跑起來，都得靠它們兜底。

沐曦和龍蜥社區(qū)就一起啃過一個讓所有芯片廠商頭疼的問題：

操作系統(tǒng)內(nèi)核小版本頻繁升級，GPU驅(qū)動就得跟著重新打包，給終端用戶帶來大量額外負(fù)擔(dān)。

雙方聯(lián)合通過技術(shù)機制讓驅(qū)動能夠直接忽略小版本的變化，開源版本直接build出來就能用。

而這類工作，只有扎根在同一個社區(qū)里深度共建才做得成。

往上一層是訓(xùn)練與推理框架，vLLM、PyTorch基金會、SGLang、九源聯(lián)合體都在這里，每個Token能被高效生成，靠的就是這一層的持續(xù)迭代。

沐曦提到，過去兩年，這一層每年的性能提升都在100%以上。

再往上到頂，對應(yīng)的是開源生態(tài)運營與合規(guī)治理。

模力方舟負(fù)責(zé)降低模型分發(fā)門檻，方便開發(fā)者獲取使用各類模型；木蘭開源社區(qū)則專注開源項目孵化與行業(yè)規(guī)范搭建。

沐曦曾聯(lián)合木蘭開源社區(qū)共同制定開源規(guī)范與大模型分級標(biāo)準(zhǔn)，因為開源不等同于無規(guī)則開放，每個Token的輸出能否做到安全合規(guī)，都離不開完善的社區(qū)運營與治理體系作為支撐。

從芯片到操作系統(tǒng)，從推理引擎到治理規(guī)則，把這條打卡路線走完，也就走完了一個Token完整的生命周期。

而沐曦的共建，并不止步于框架這一層。

以北大團隊研發(fā)、對標(biāo)OpenAI Triton的編譯器TileLang，沐曦從2024年下半年就投入共建。

等到今年行業(yè)多款主流大模型上新時，不少核心算子就是靠這套編譯器寫出來的。

這背后的意義在于，從并行編譯到算子優(yōu)化，國內(nèi)第一次有了端到端自主可控的技術(shù)路線，不用再顧慮自研適配代碼無法合入上游社區(qū)主干。

框架之外，沐曦也把重點放在人才培養(yǎng)上。

沐曦圍繞TileLang開設(shè)多期實戰(zhàn)訓(xùn)練營，累計吸引了500多名開發(fā)者參與。

今年沐曦還將啟動“揭榜掛帥”，吸引更多算子優(yōu)化技術(shù)人才來參與。

規(guī)劃編寫的6本配套教材已經(jīng)出版了4本，8大基礎(chǔ)課程進了上交大、浙大等20多所高校；

企業(yè)還聯(lián)合上海AI實驗室的書生工具鏈開辦了三期實戰(zhàn)營，讓學(xué)生從數(shù)據(jù)收集、模型訓(xùn)練一路做到評測和應(yīng)用，相關(guān)課程與全部工程代碼均對外開源。

挑戰(zhàn)杯、CCF大賽、各大國家實驗室技術(shù)競賽里，也都有沐曦的身影……

為了持續(xù)發(fā)掘優(yōu)質(zhì)新生技術(shù)力量，沐曦也給出了激勵，在社區(qū)中實操表現(xiàn)突出的在校學(xué)生還能獲得免試入職實習(xí)的機會。

說到底，生態(tài)不是單方面“建”出來的，而是把底座持續(xù)開放之后，各方共建長出來的。

那么，軟件棧一直開著、生態(tài)自己往上長，沐曦最終到底想讓MXMACA成為什么？

AI時代的Android

沐曦CTO楊建博士給了一個特別明確的錨點——

AI時代的Android

具體來說就是持續(xù)開放最核心的那套全棧軟件，從操作系統(tǒng)、大數(shù)據(jù)處理，到大模型訓(xùn)練推理，再到私有化部署，把全鏈條打通。

讓客戶乃至其他芯片廠商，都能基于這套完整軟件棧，搭起一個通用、好用、易用的底層算力生態(tài)。

所謂通用，就是讓市面上絕大多數(shù)模型與應(yīng)用都能順暢適配；

至于好用、易用，楊建博士給了一個接地氣的說法：

一個小白用戶，一個下午就能把一個新應(yīng)用全部適配完成。

這話也不是在畫餅，早在2023年，沐曦就已經(jīng)做到能讓一個大二學(xué)生在一天之內(nèi)跑完一款開源軟件的適配、驗證和部署。

在他的判斷里，未來全球700萬GPU和AI開發(fā)從業(yè)者中，至少650萬人接觸沐曦工具鏈后，一天內(nèi)即可快速上手。

Android當(dāng)年靠的是激活設(shè)備數(shù)和開發(fā)者數(shù)量撐起整個生態(tài)，AI時代的算力生態(tài)也是同一個道理。

現(xiàn)在生態(tài)里的50萬開發(fā)者只是眼下的刻度，沐曦定下的長期目標(biāo)是是到2029、2030年，把專屬于沐曦生態(tài)的開發(fā)者數(shù)量擴到500萬。

而Agent浪潮的爆發(fā)，又給這套體系壓上了一道新命題。

用沐曦自己的話說，眼下的Agent正處在一個類寒武紀(jì)時代——

各類智能體方案集中涌現(xiàn)，GitHub上AI相關(guān)的項目每年翻番，所有人都在用各種花樣探索Agent。

但這種爆發(fā)是帶著蠻勁的，大量Agent程序缺少底層性能優(yōu)化，大量Token被消耗在在無效調(diào)用上。

Token的消耗增速，已經(jīng)遠(yuǎn)超底層基礎(chǔ)設(shè)施的擴容速度。

好在兩端都在加速優(yōu)化，而且是用一種很有意思的方式，透明卷

比如今天業(yè)內(nèi)開源一項降低單Token算力消耗的新技術(shù)，明天可能就會有高校團隊放出演進版，所有優(yōu)化都攤在開源世界里，你追我趕，全程公開。

推理側(cè)的結(jié)果是，同一張GPU原來每秒產(chǎn)100個Token，現(xiàn)在能產(chǎn)200個、300個；

Agent側(cè)也在通過Skill這類方式壓縮開銷，原來1000塊Token預(yù)算才辦得成的事，優(yōu)化完100塊就搞定。

開源世界里還在發(fā)生一些更值得注意的變化，沐曦分享了一段真實經(jīng)歷：

一家互聯(lián)網(wǎng)公司的產(chǎn)品經(jīng)理找上門來要做模型適配，中途外出用餐，一頓飯的功夫回來告訴沐曦，適配已經(jīng)做完了。

用的是AI編程工具，配上自家的模型權(quán)重，再加上沐曦的公開文檔，飯還沒吃完，腳本就跑通了。

這件事讓沐曦也頗感意外。

但轉(zhuǎn)念一想，這恰恰說明生態(tài)走到了一個新階段，文檔足夠開放、軟件棧足夠兼容，連不寫代碼的人都能借著AI參與共建。

展區(qū)那句「每個Token背后，都是一次開源協(xié)作」，也有了全新注解——

現(xiàn)在連AI自己產(chǎn)出的Token，也在參與這場開源協(xié)作了。

落在長遠(yuǎn)布局上，沐曦想扮演的角色其實自始至終沒變過：

做中國開源算力生態(tài)的領(lǐng)軍者，靠開源底座串聯(lián)產(chǎn)學(xué)研用，讓操作系統(tǒng)、框架、模型、應(yīng)用的每一環(huán)都建立在開源共享之上。

畢竟，Token不會說謊。每一個流暢生成的Token，都是對背后整套開源協(xié)作鏈路的驗證。

而沐曦想做的，就是讓每個Token的價值都被真正實現(xiàn)。