編輯|Panda
一次 Agent 任務,用戶等的從來不是「一句話」。智能體是「一問、多輪、帶著上文反復回來」。執行過程中,每一輪幾秒鐘的延遲,乘上工具調用帶來的幾十輪交互,最終會在整個工作流上累積成十幾分鐘的劣化。在智能體時代,推理系統面對的不再是一道加法題,而是一道乘法題
與此同時,能用來做這道乘法題的算力卻僅以線性的速度增長。因此,供需之間的缺口是結構性的,不會隨著某一輪擴產而消失。
就在這道缺口最緊張的地方,無問芯穹給出了自己的答案。在 7 月 20 日 2026 年世界人工智能大會上,無問芯穹聯合創始人兼 CEO 夏立雪首次公布了無問芯穹「前店后廠一中心」的 Agentic Infra 戰略布局
![]()
該戰略基于「規模」與「效率」兩大錨點,涵蓋三大核心板塊:
- 算力集散中心」:即Agentic Infra 自主式基礎設施平臺,核心目標是最大化智能資源規模,把散落的、異構的算力資源統一匯聚、彈性調度、按需利用,為模型與應用層筑牢充足、穩定、可擴展的算力底座。當前已在全國部署觸達超 37,000P 算力、覆蓋 16 種主流芯片,盤活了廣域分散的異質算力。
- Token 工廠」:即Agentic MaaS 大模型服務平臺,核心目標是用極致效率服務 Token 的規模化、高質量生產。公司在 WAIC 2026 發布了首創的新一代推理系統優化成果——跨集群異構 PD 分離架構(Prefill-RelayDecode-MainDecode, PDD),極大提升大模型推理效率,同時最大化釋放全域異構算力的產業應用價值。實測顯示,該架構在實現了首 Token 延遲(TTFT)降低 51.5% 的同時,單 Token 成本可降低 37.5%。
- AI 生產力商店」:即Agentic Infra 行業解決方案,不僅攜手多行業伙伴把 Token 高效轉化為產業認可的高質量 AI 生產力,打造覆蓋文娛、游戲、醫療、法律、能源電力等多個垂直行業的 Agentic Infra 行業解決方案,賦能千行百業降本提效。更將智能體能力應用到 AI Infra 本身,打造包含「平臺管家智能體系統」、「智算集群運維智能體系統」和「算子生成智能體系統」的基礎設施智能體蜂群,以 Agent 能力驅動整套 AI Infra 形成自主迭代、自我優化的閉環,讓基礎設施越用越強。
值得點出的是:早在 2025 年,無問芯穹就率先提出了Agentic Infra的范式;一年過去,這個詞幾乎成了行業標配。而當一個概念變成標配,真正的分水嶺就從「有沒有」轉移到「深不深」:是只為 Agent 改個入口,還是重寫整條從算力到 Token 到生產力的轉化鏈?
總結起來,無問芯穹對此的回答是:需求的形狀變了,所以訓練要跨集群、推理要跨集群、基礎設施要自己會優化自己,最后這套能力還要能輸出翻譯到物理世界。其核心則在于規模與效率
而這條主線中,目前最硬、也最能直接換算成錢的一塊是推理
于是接下來,我們把鏡頭推近,聚焦直擊大模型推理成本和效率「生死線」的跨集群異構 PD 分離架構(Prefill-RelayDecode-MainDecode, PDD),我們專訪了無問芯穹技術副總裁、該技術負責人李秀紅。
![]()
下面,他將帶我們一道,從行業面臨的現實需求說起,深度剖析本項技術的創新和工程價值。
![]()
- 技術報告:PDD: Unleashing Economical And Flexible Heterogeneous LLM Inference Via Cross-Datacenter Prefill-Decode Disaggregation
- 項目地址:https://github.com/infinigence/pdd
一個 2.5 秒的問題
先從一個看起來小到可以忽略的數字說起。
在 64K 總長度、90% 前綴命中率下,同機房內做 PD 分離,P50 首 token 延遲(TTFT)平均值約 4.2 秒;如把解碼搬到另一座城市的機房,這個數字變成 6.7 秒。多出來的 2.5 秒,是 KV Cache 在廣域以太網上爬行的時間。
![]()
TTFT 示意圖
2.5 秒,聽起來不多。這正是我們拋給李秀紅的第一個問題:一個幾秒的差別,為什么值得專門去優化?
「這其實是個非常核心的點。」他把視角從平均值挪開,「P50 你可以理解成只有一半的請求。我們作為 token 服務工廠,真正要保障的是 P90 和 P99;只有把這兩個尾部保障好,才談得上是高質量的 token 服務。」
而在尾部,那 2.5 秒會迅速膨脹:按 PDD 論文,同樣的場景下不做優化的跨集群方案,P90 的 TTFT 是 18.3 秒,P99 是 29.7 秒。「P99 已經快 30 秒了,而現在高質量的 token 服務整體延遲基本不會超過 30 秒。你光傳輸就用掉 29.7 秒,完全達不到業務要求。」
![]()
跨數據中心 PD 分離基準與 PDD 的 TTFT 數據比較
換句話說,2.5 秒是中位數請求的賬。而在決定服務質量的尾部,跨集群傳輸制造的延遲足以讓整個服務失去競爭力。
為什么要 PD 分離:讓專業的人做專業的事
要理解 PDD,得先理解它的地基,即 PD 分離,及其必要性。
大模型推理有兩個階段,對硬件的要求幾乎相反。李秀紅給出了非常清晰的畫像:「Prefill 是用戶把一整段話給你,你處理的是一段批量輸入,所以它是計算密集型的,要大算力。Decode 是一個 token 接一個 token 地往外吐,每次處理的計算工作量更小,訪存要求更高;而且隨著任務變長,它對顯存容量和顯存帶寬的要求都比 Prefill 更高。」
![]()
一次交互的端到端總延遲
兩個階段對延遲的容忍度也不同。「Prefill 的首字延遲,大家容忍度高一點,幾秒、甚至十幾秒也能接受。但 Decode 每個 token 都是 10、20、30 毫秒量級的,要求非常高。」
而如果不把 PD 拆開,會怎樣?李秀紅回答到:「你硬把它們塞進同一套代碼和配置里,是能跑的,但就是顧此失彼。」用他的話說,PD 分離就是讓專業的人做專業的事,而不是搞一個大一統。
這是業界早有的共識。無問芯穹帶來的進步是在 PD 分離前面加了兩個詞:跨集群異構。并且二者是正交的:異構是指 P 和 D 從底層芯片到配置都不同;跨集群則是指 P 和 D 分處不同的機房。另外,李秀紅也指出,「異構可以是單機房內的異構,也可以是跨機房的異構。」
![]()
為什么要追求異構?根子在于國產芯片的現狀。李秀紅給出了一套評價芯片的四維框架,也就是芯片在四個維度上的配置:峰值算力顯存容量顯存訪存帶寬互聯帶寬
「旗艦芯片在這四個維度上是均衡的,英偉達做得最好。但你把視野放開,考慮其他芯片,往往很難做到四個維度都和英偉達一個量級。所以有些芯片會做取舍,比如它可能側重 Decode,讓它做 Decode 還可以,但你強行讓它做 Prefill,效率就非常低。」
也因此,異構 PD 分離有了價值:讓「偏科」的芯片做它擅長的事。
一顆在 Prefill 上平平無奇、在 Decode 上卻遠超基線的芯片,如果被綁死在耦合部署里,它出色的解碼能力就會被浪費掉。
那么,實現異構是在單機房內建一個異構集群,還是找兩個機房、用以太網把它們連起來?李秀紅判斷:「異構集群市面上本來就不多,建造的復雜度高,同時集群一旦建好,各種芯片的配比就固定了,業務變化之后,靈活性也有問題。所以我們認為,跨集群的異構會是未來成本最低、最靈活的異構方式。」
![]()
傳統的數據中心內異構 PD 與 PDD 的細粒度跨數據中心異構部署
瓶頸:一根以太網,傳不動一個機房的 KV Cache
跨集群異構方向選定了,但它撞上了一堵墻:兩個機房之間要傳 KV Cache。
![]()
李秀紅解釋說:「P 和 D 雖然分離,但這兩個階段是協同配合的。Prefill 生產出來的 KV Cache,要傳給 Decode 去用。而這個量很龐大。」他當場算了一筆賬:主流的 1T 級別旗艦模型,單個 token 的 KV Cache 大約在 10KB 到七八十 KB 之間;取個中間值 50KB,一個 100K 長度的請求,KV Cache 就是 GB 級別。而一個集群每秒要處理幾十個這樣的請求。
「以太網一般是用來傳輸控制信號或者少量數據的,不太會傳大量的數據面內容。」可 Prefill 集群每秒生產出的 KV Cache 是幾十 GB 量級,而一條跨機房專線的帶寬也就在 GB 量級。「你的以太網,根本傳不動 Prefill 集群產生出來的 KV Cache,這會完全在傳輸上成為瓶頸。
PDD 論文也給出了一組具體數據:即便是 DeepSeek-V4-pro 這種已經用 CSA、HCA 等技術壓縮過 KV Cache 的先進模型,80 個并發的 64K 請求產生的 KV Cache 也需要約 23GB 存儲,把它傳到解碼集群需要超過 180 Gbps 的帶寬。而經濟型的跨機房以太網,通常只能提供 10 到 100 Gbps。帶寬之外還有延遲:相比同機房 RDMA,廣域以太網的傳輸延遲要高出幾十上百倍。
可行性:先從數據里看到「有戲」,才反過來設計架構
有意思的是,PDD 的誕生過程并非從創意到成果的研發之路,其起點是可行性論證。李秀紅回憶道:「當你跟同行講你在做跨集群 PD 分離,別人一聽就會覺得,這不太可能吧?天方夜譚。所以可行性分析是我們整個工作的基礎。」
論證分兩步,他用工廠的水管作比。第一步是帶寬的可行性,也就是「水管的排量夠不夠」。這一步的關鍵是一個來自真實業務的觀察:在多輪對話和 Agent 這類主流場景下,請求的平均前綴命中率能達到 90%。命中意味著這部分 KV Cache 無需重新傳輸。李秀紅解釋說:「90% 的命中率,意味著我們可以少傳 90% 的數據,整體傳輸量直接降了一個數量級。」降完之后,專線帶寬和集群產能就落到了同一個量級。于是,排量可行了。
這背后是一項為了「給 Decode 實例重復前綴存儲去重」而設計的「Decode-side RadixCache(DRC)」技術,無問芯穹推理技術團隊將其創新性地遷移至了跨集群異構 PD 分離的架構中:針對 Agent 場景長序列、高前綴命中的特征,在解碼側緩存歷史 KV Cache,論文數據顯示它能在 90% 平均命中率下把所需的跨機房帶寬降低最多 10 倍。這也為 PDD 打造了穩固的地基。
但排量夠,不代表每個請求都夠快。第二步是延遲的可行性。「從整體看,數據能傳過去,但從每一個具體請求的視角看,還要保證它的延遲滿足要求。」而直接用以太網傳,延遲完全滿足不了業務要求。「所以我們發現,帶寬是可行的,但延遲不可行。處理延遲的可行性就是 PDD 這個工作的關鍵。」
![]()
研究觀察到,對于真實世界的 agentic 任務請求,大約 70%的請求,輸出長度低于 500 tokens。而對于這些短輸出請求,1~20 秒之間波動的跨集群 KV 傳輸延遲,成為了端到端延遲主要部分。
這里有一個必須追問的問題:90% 命中率是 PDD 的前提,如果沒有這么高呢?
李秀紅的回答給出了 PDD 的適用邊界,也順帶說明了它的經濟性:「高命中率是前提,但不一定非得是 90%。命中率越高,一根專線能支撐的集群規模就越大;低一點也沒問題,我們適當提升一下專線的規模就行。相對于集群里的機器成本,專線的成本還是非常低的。」換句話說,命中率影響的只是 PDD 性價比。
順帶一提,PDD 論文披露的一個更精細的觀察:真實 Agent 負載的命中率不是穩穩停在 90%,而是高度偏斜的,即約 70% 到 80% 的請求命中率超過 95%,同時夾著一小撮低命中率請求。
![]()
不同命中率區間內請求分布隨時間的變化。該圖展示了 2026 年 1 月至 2 月期間,七個不同命中率區間內的請求占比情況,這些區間覆蓋范圍從 0%-90% 到 99%-100%。
這種偏斜很有用:海量高命中請求的傳輸包極小,能借 TCP 的公平機制繞過擁塞、在約 1 秒內到達;真正的高延遲,被隔離在了那一小撮低命中率的請求上。于是問題從「如何全局降低傳輸延遲」變成了「如何只給那一小撮異常請求做延遲掩蓋」,而這是一個小得多、也可解得多的問題。
![]()
偏斜的命中率分布使得 P50 傳輸延遲極低,高延遲集中在少數低命中率請求上
PDD 的解法:把 Token ID 送過河,而不是 KV Cache
現在可以拆解 PDD 本身了。簡單來說,它把傳統 PD 分離的兩級進一步解耦成了三級。
- P 實例(Prefill),執行預填充,位于集群 A。
- RLD 實例(Relay Decode,接力解碼),與 P 同處集群 A,之間是高速 RDMA。
- MD 實例(Main Decode,主解碼),位于遠端集群 B。
![]()
PDD 的三層跨數據中心 PD 分離架構示意圖
對于這個機制,李秀紅用了一個貼切的接力賽比喻:「就像跑步,你起跑加速的時候跑得慢,就讓上一棒先替你跑一段;等你把速度提起來,再接過棒繼續跑。」更具體來說:
雙路并行傳輸。P 算完后,KV Cache 同時走兩條路:一條走 RDMA 給同機房的 RLD,幾十毫秒到;一條走 TCP 經廣域以太網給遠端的 MD,要數秒。
RLD 率先解碼,掩蓋延遲。RLD 幾十毫秒就拿到了 KV Cache,立刻開始解碼。在 MD 那份還在網上爬的這數秒到數十秒中,RLD 已經開始向用戶輸出 token 了。論文中把這批 token 稱為 Eager Output Tokens(急切輸出 token)。在這些 token 的延遲掩藏下,跨集群的 KV 傳輸延遲雖然沒有被消除,但是卻絲毫不影響用戶體驗了。
第三步,延展解碼交接(Extend-Decode Handoff)。等 MD 那份 KV Cache 終于收齊,它并不需要 RLD 把這段時間生成的 KV Cache 也傳過來:RLD 只把這批 token 的 ID(幾個整數)發過去,MD 用 Token ID 加上從 P 收到的 KV Cache,在本地重算出這段增量 KV Cache,然后無縫接力。
為什么繞這一圈更劃算?因為 Token ID 極小(100 個 token 的 ID 只有 1.5 KB),而且是 CPU 數據,不觸發額外的顯存拷貝;而 MD 重算這段 KV Cache 的開銷,又被 Decode 階段本身訪存密集的特性給掩蓋了。
論文的 Microbenchmark 給出了一組對比:在廣域以太網上直傳增量 KV Cache,一次 100-token 交接的負載是 4649 KB,延遲均值 185 毫秒但峰值沖到 512.6 毫秒,還要額外背 24.5 毫秒的顯存拷貝開銷;而本地重算的方案,傳輸負載只有 1.5 KB,延遲均值雖略高(305 毫秒),但最大延遲被牢牢摁在 321.4 毫秒,標準差只有 4.8 毫秒。
![]()
Microbenchmark:100-token 序列的交接開銷比較
前者確實有時更快,但抖動大;后者穩,而且完全免疫網絡波動和排隊。在廣域網上傳一句「我跑到這兒了」,讓對方自己把中間過程重算出來,比把整個中間過程搬過去更劃算。
順帶一提,這一步還借鑒了一個現成的技術范式。論文點明,Extend-Decode 本質上和 MTP(多 token 預測)、投機解碼是同類:普通解碼一步只吃一個 token ID、吐一個 token,而延展解碼一次并行處理多個 token ID、補齊它們對應的 KV Cache 再吐出下一個。由于解碼階段本就是訪存密集,這多出來的計算量幾乎不額外增加延遲。
兩種交接模式和一個會「震蕩」的流水線
RLD 和 MD 之間的交接,論文給了兩種模式,李秀紅也為我們進行了直觀的解釋:
- One-Shot Handoff(一次性交接):RLD 把生成的 token 一次性全交給 MD,然后立刻釋放。好處是 RLD 占用時間最短,壞處是 MD 那一瞬間要處理的 token 變多,「直觀上會給人一點卡頓,就像第一個 token 出來的時候,突然卡了那么一下。」
- Catch-Up Handoff(追趕式交接):把一次性交接拆成多批。李秀紅舉了個例子:「如果一次要交接的 token 超過某個閾值(比如 64 個),我們認為這一下對 MD 的卡頓影響比較大,就先給它一部分,同時讓 RLD 別停、繼續再接力一段;等 MD 把剛才那一小部分做完,再把第二塊給它。」這樣就把一次大的卡頓,化成了多次感官上無法察覺的小交接。代價是 RLD 要多跑一會兒,負載略增。
![]()
傳統跨數據中心 PD 解耦方案與 PDD 延遲隱藏機制的時間線對比
在實際系統中,可以根據 RLD 的實時負載,在兩種模式間動態切換。
真正難的部分,在流水線本身。「傳統 PD 分離嚴格來講也是三階段:Prefill、RDMA 傳 KV Cache、Decode。但因為 RDMA 傳輸一般不是瓶頸,我們會把它簡化成兩階段。」李秀紅說,「兩階段的生產消費關系非常容易配平,你只要知道 A 和 B 的生產能力,很容易就把它配平衡了。」
PDD 把這條流水線變成了四階段:Prefill、接力的 RLD、以太網傳輸、遠端的 MD。李秀紅說:「更麻煩的是依賴關系。兩階段時是線性的,A 一個箭頭到 B。現在變成了非線性,整個從線性的箭頭關系,變成了圖的依賴關系。再去做任務均衡、去找瓶頸,就比線性結構復雜很多。」
論文披露了這種復雜性失控時的樣子:如果把低命中率請求錯誤地只在本地(P-RLD 管線)消化、不再傳給 MD,MD 側的緩存命中率會逐漸落后于 P 側,這個偏差會反過來把更多負載甩回 RLD,形成正反饋,最終 RLD 過載 → 系統崩潰。
PDD 給出的對策是只保留 P-MD 和 P-RLD-MD 兩條管線、明確排除 P-RLD,讓兩條管線都終結在 MD,從而保證 MD 側和 P 側的緩存命中率始終對齊。也因此,RLD 被嚴格限定為「只負責掩蓋延遲」這個最小職能。
奇異流量:知道什么不該做
PDD 里還有一個叫奇異流量過濾的有趣設計,針對的是那種極少出現、卻吃滿帶寬的「超長輸入、超短輸出」請求。
李秀紅解釋了它的機制:這類請求 RLD 還沒等 KV Cache 傳完,自己就已經把結果算完了。對此,「那就干脆在這兒直接中斷,不需要再完成后面的接力、控制、對齊。」由 RLD 就地跑完全流程,阻斷它的跨集群傳輸。效果不打折,因為「它接力的這部分 Decode 本身就更快,傳 KV Cache 又是機房內走 RDMA,整體效果非常好。」
這類請求占比多少?李秀紅估計大概有 3% 到 4%,但強調「跟實際業務類型有關,這個數字只能代表某一個階段」。
成本的賬:10 倍從哪來,下一個 10 倍從哪來
PDD 最終要回答的是一個商業問題:它到底省了多少錢。
先看論文給出的一個數字。PDD 的評價標準是 BCR(Benefit-Cost Ratio,收益成本比),即在滿足 SLA 的前提下,有效吞吐與硬件成本之比。在一組 GPU 型號 A(做 P 和 RLD)+ GPU 型號 B(做 MD)的跨機房異構部署里,PDD 的 BCR 比傳統的同機房同構 PD 基線高出最多37.5%
這個數字很重要,因為它回答了一個容易被回避的問題:這是等成本口徑下的收益嗎?
論文明確給出了成本表:相比需要 88 張 GPU 型號 A 的同機房基線,PDD 方案只用了 43 張 GPU 型號 A 加 32 張 GPU 型號 B,再加一條跨機房專線;即便算上 GPU 型號 B 相對 GPU 型號 A 的 20%-30% 溢價,PDD 的總硬件成本反而比基線低了約 3.5% 到 7.1%,而 SLA 內的有效吞吐(RPS)高出約 27.8%。
![]()
省下的錢和多出來的吞吐,一起推高了那個 37.5%。這并非靠堆更貴的卡換來的性能,而是把每個階段映射到更合適的硬件之后收獲的效率紅利
經濟性的核心是 RLD 極小的資源占用:在一個 64K、90% 命中、1K 輸出的場景里,RLD 只生成了全部輸出 token 的 6.2%,MD 承擔了剩下的 93.8%。兩者負載相差約 15.2 倍。只需一小撮資源養這個「接力替補」,卻能得到跨機房這張通行證。
![]()
那么,「過去一年推理成本降了 10 倍」,這 10 倍是怎么來的?李秀紅把它歸到幾個持續積累、彼此兼容的技術上:PD 分離本身;P 和 D 之間靈活的配比(P 實例和 D 實例的生命周期是解耦的,由負載均衡的路由器去調度,可以互不干擾地彈性擴縮);KV Cache 命中(命中之后整個計算基本可以近似省掉,這個收益非常大);以及 MTP 等。
其中最出人意料的收益來自一個和「省錢」直覺正好相反的發現,即李秀紅此前在 QCon 全球軟件開發大會上分享的「浴盆模型」:「我們發現,當 KV Cache 命中率提升之后,業務收益反而比命中率低的時候更低了。這非常反直覺。」
這件事初看不合理,細想卻相當合理。目前大模型對輸入部分的計費,命中 Cache 的 token 只按未命中部分的 10% 到 25% 收費。命中越多,單價越低。問題在于,命中率上升帶來的吞吐收益,未必抵得過這段極低的折扣
李秀紅團隊把命中率作為核心變量量化建模、又用真實模型實測,得到的收益曲線呈「浴盆」形:兩端高、中間低。「落進浴盆底部那個偶然失效區間時,就會出現命中率越高越虧錢。」
![]()
更有意思的是浴盆底部那幾個「奇異點」:在 20%、40%、70% 命中率附近,吞吐會突然掉下去。
![]()
團隊查代碼發現,原因是這些命中率下,調度會產生一些很小的、又無法與其他請求拼接的「末尾殘塊(Tail Chunk)」,只能獨立計算,殘塊越小吞吐越差。這類問題可以靠工程優化抹平。
而團隊給出的整體優化方向借用了體系結構領域一篇經典論文的說法:Stay Away From The Valley(遠離谷底):要么優化「把浴盆變淺」,要么提高 Cache 容量「逃離盆底」。
這里提及這個發現的原因是它點破了一件容易被忽略的事:在 Agent 時代,前綴緩存已經是推理系統的「一等公民」,但緩存命中率并不是一個越高越好的單調指標。這也正是 PDD 那套「只給低命中率的異常請求做延遲掩蓋、讓高命中請求輕裝走 P-MD 管線」的設計背后,同一種思考方式的延伸。
至于夏立雪演講中提到的「推理成本未來的 10 倍下降空間」,李秀紅表示這是一個重要的技術判斷:「從 2023 年底到現在,模型架構和硬件都在迭代,新硬件加新模型本身就會帶來優化空間。我們公司的核心技術判斷是『多元異構、軟硬協同』,即結合新硬件和新模型,在這一層做軟硬協同,完全能打開這 10 倍的空間。」
「算力即收入,優化即利潤」
采訪最后,話題回到了商業。無問芯穹為這次發布提煉的一句話是「算力即收入,優化即利潤」。李秀紅說,PDD 有意思的地方,恰恰在于它能同時對上這兩句話。
- 算力即收入:「現在算力整體還是供不應求,市場上各種芯片、還有過時的芯片,其實不少都有機會用起來。PDD 就像一根管道,把原本沒辦法協同做推理的集群連起來,相當于把我們能用的算力規模擴大了。」
- 優化即利潤:「如果只是把規模擴大、不做優化,服務質量就會差,對應的 token 定價就得低。也許有人能接受 TTFT 50 秒那個量級的服務,但它的價格就會變低。我們通過優化,讓算力規模擴大的同時,token 的質量、SLA 還維持在高質量的范疇中。」
有一點值得點出:對于自建機房的云廠商,優化省下的是成本;而無問芯穹通過軟件平臺觸達部署智能資源。對這樣一家公司,優化省下的更接近直接的毛利。技術優化對它而言,與其說是加分項,不如說是它的立身之本。
至于增長飛輪,李秀紅分享說:「一開始做推理服務,視角可能就是幾十臺。流量更多了,一個集群部署的臺數就要變多:從 10 臺到 100 臺,看待效率的方式就不一樣了,會釋放新的優化空間,比如 PD 配比能做得更精細。再往上,集群從一兩個變成幾十、幾百個,我們就意識到需要用 PDD 把它們連起來、揚長避短。」成本降下來,用戶進來,規模變大,又在新規模下看見新的優化空間,再讓成本進一步下降。
![]()
最后,我們還給了他一個相當尖銳的問題:PDD 讓零散、異構、跨地域的算力變得可用,客觀上降低了算力的稀缺性;對一家靠算力優化賺錢的公司,把算力變得不那么稀缺,會不會削弱自己的議價能力?
「我覺得不會。」李秀紅的回答落在了需求側,「我們公司的目標就是把 token 的成本降低一個、兩個、三個數量級,不斷降下去。通過降低成本,讓 AI 的價格更低、門檻更低,讓更多用戶能用。以前只有特定群體在用,價格降下來,更多需求就被釋放出來。這是一個正反饋:把成本壓下去,更多需求涌進來。這就是技術平權。」
結語
把視線拉長到三年,跨集群異構推理會成為標配嗎?
李秀紅給出了肯定的判斷:「集群規模肯定會越來越大,今年 10 個,明年可能 100 個、1000 個。把跨集群做好,一定是未來優化的重要因素。」同時,「芯片百花齊放是可預期的,一定會出現各種各樣有自己專長的芯片,比如 A 芯片擅長 Prefill,B 芯片擅長 Decode。所以隨著集群數量變多、集群里芯片的豐富度變多,PDD 這類技術會是必不可少的。」
PDD 解決的是一個具體的工程問題:如何在兩個機房之間,把一份龐大的狀態從容地搬過去。但它卻示范了一條更普適的前進之路:當物理約束難以被突破時,重新安排時間的順序,讓計算跑贏傳輸
而把鏡頭再拉遠,PDD 只是無問芯穹這次 WAIC 發布里的一個切面。「前店后廠一中心」 Agentic Infra 有望把散落異構的算力聚成一盤棋(算力集散中心),把算力以「效」搏大地壓成高質量 Token(Token 工廠),再把 Token 循環造血地輸送進百業(AI 生產力商店)。三大板塊串起了一條從電能到智能的完整鏈路,而它們背后是同一組錨點:規模與效率
當算力供給的線性增長追不上智能需求的指數增長,單純堆算力已經不夠,能不能在做大規模的同時把效率也做到極致,才是這一代 AI 基礎設施真正的分水嶺。PDD 非常重要的原因是它成了「規模×效率」這道題在推理側的一個答案:用極小的代價把跨機房的零散算力盤活成可用規模,又用延遲掩蓋把這份規模守在高質量的服務水位上。
讓智能無所不能,是 AGI;而讓智能無處不在,是 AGI Infra。」夏立雪的這句話或許是對這套布局最凝練的注腳:模型決定智能的上限,而基礎設施決定智能能落到多少算力、多少行業、多少真機之上。
在這個意義上,「兩個機房當一個機房用」聽起來像一句口號,但當李秀紅把接力賽的比喻講完,你會發現它其實是一句相當精確的技術描述,也是「用智能進化智能、用生產力加速生產力」這條路上一塊踏實的基石。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.