推理云賽道一個月吸金55億美元，AI基建長出新的中間層？

隨著 AI 被大規模部署至真實生產環境，AI 基礎設施的重心正從訓練轉向推理：2023 年，訓練還占 AI 算力需求的一半以上；到 2026 年，格局翻轉，AI 推理消耗了約 2/3 的算力。

龐大的推理需求，疊加日益成熟的開源模型，最終催生出一個全新的 AI 基礎設施品類：推理云服務（neocloud ）。過去一個多月，超 55 億美元資金涌入這一賽道。

Fireworks 是其中表現最亮眼的玩家之一。

7 月 16 日，這家總部位于舊金山灣區的推理云服務公司宣布完成 15 億美元 D 輪融資，投后估值 175 億美元，英偉達（NVIDIA）參投。當前，Fireworks 的年化收入已超 10 億美元，日均處理超過 40 萬億 Token，高于谷歌（Google）和 OpenAI 各自公布的開發者接口（API）吞吐量。

什么是推理云服務？

推理云服務的核心邏輯，是把 AI 模型的運行從模型廠商和云廠商手中摘出來，做成一門獨立生意：公司租算力、通過軟件優化推理效率，替客戶跑開源或私有定制模型，再按 Token 用量收費。

早在 2019 年前后，已經出現過一批探索模型托管業務的公司，消費級模型 API 交易平臺 Replicate、企業級模型部署平臺 OctoAI（2024 年被英偉達收購）等都是這一時期的產物。直到過去一年，推理需求集中釋放，整個行業隨之進入爆發期。

以 Fireworks 為例，它在英偉達和超微半導體（AMD）的圖形處理器（GPU）上搭建了一套自研推理引擎，對接 400 多個模型，其中絕大部分是開源模型。

在平臺上，企業可以用私有數據微調開源模型，或運行私有模型，并對權重和數據資產有絕對掌控權；要是不想被單一廠商綁定，Fireworks 也允許客戶為不同任務指定不同模型。

推理性能方面，Fireworks 宣稱，借助兩大自研組件，可將推理延遲降至通用方案的三分之一，輸出速度也大大提升。其中，FireAttention 是針對 Transformer 架構注意力機制重寫的 CUDA 內核；FireOptimizer 可從包括硬件型號、內核選項等在內的超 10 萬種參數組合中，為每個客戶的工作負載自動搜索最優配置。

（來源：Artificial Analysis）

底層算力則來自多云調度。Fireworks 在 8 家主要云服務商上構建了統一抽象層，哪家 GPU 價格更低、供給更充足，就把工作負載調度到哪。今年年初，公司還收購了游戲服務器編排公司 Hathora，將其跨云低延遲調度技術整合進算力編排層。

踩中推理與開源崛起的雙重拐點

Fireworks 成立于 2022 年 9 月，比 ChatGPT 發布還早兩個月。那時，行業所有目光都還聚焦在訓練上：擁有更多 GPU、訓練出更強模型的公司，就能拿到更多融資。

創始人林喬（Lin Qiao）在當時做出了超前的判斷，她認為，訓練的規模取決于少數研究團隊，推理的規模取決于所有使用者，理論上限是全球人口。

這一判斷與她此前的工作履歷密切相關。2015 年，林喬加入 Meta，主導將 PyTorch 重建為支撐該公司全部 AI 工作負載的深度學習框架。2022 年離職時，Meta 基于 PyTorch 完成的推理調用日均已超 5 萬億次。

這個數字讓她比大多數人更早意識到，當 AI 真正走向大規模應用，推理才是最終的算力主戰場。

圖 | 林喬（來源：Fireworks）

三年過去，林喬的判斷變成了現實。德勤（Deloitte）在 2026 年 TMT 預測報告中指出，2025 年，推理占 AI 算力比例已從 2023 年的約 1/3 升至 1/2，2026 年將進一步躍升至 2/3。高盛研究部門則預測，到 2030 年，全球 Token 消耗量將是 2026 年的 24 倍，屆時月均消耗將達到 120 千萬億 Tokens。

需求側的轉變只是推理云市場得以存在的前提。在閉源性能強大、占據主導地位的時代，模型和推理被廠商鎖定，不存在第三方的生存空間。直到開源模型崛起，Fireworks 才有機會將推理云服務做成一門介于算力層和模型層之間的獨立生意。

2025 年初是一個公認的拐點：DeepSeek R1 的發布讓所有人意識到，開源模型能以遠低于行業平均水平的訓練成本，追上頂級閉源模型的性能。

這直接改變了企業端的心態，他們為閉源模型支付溢價的意愿正在下降，紛紛開始尋找性能接近但價格低得多的開源方案。而按林喬的說法，Fireworks 標出的價格是同等質量閉源模型的 1/5 到 1/10。

資本市場正在對這套敘事給出積極的反應。最近一個多月，超 55 億美元投資密集涌入推理云服務賽道。

6 月底，聚焦跨云部署軟件層的 Baseten 完成 15 億美元 F 輪融資，估值達到 130 億美元；曾經主打自研硬件路線的 Groq，6 月又完成 6.5 億美元融資，并將業務重心轉向推理云服務；主攻語音代理和跨模態推理的 Together AI 7 月初宣布完成 8 億美元 C 輪融資，估值 83 億美元，英偉達參投。

7 月 8 日，SambaNova 宣布完成 10 億美元 F 輪融資，估值達到 110 億美元。與 Groq 類似，SambaNova 選擇自研芯片+推理服務的重資產路線，其 SN50 芯片專為智能體推理設計，預計將于今年下半年出貨。

而在中國，我們更熟知的硅基流動也在同期宣布完成超 20 億元人民幣 B 輪融資，隨后向港交所主板遞交了上市申請。

推理云正在分走模型廠商的蛋糕

雖然都是“云”，但推理云的最直接競爭對手并不是目前幾家主流的云廠商。

原因在于，云廠商主要賣的是算力，推理云服務商賣的是 Token，二者甚至可以是互補關系。今年 3 月，Fireworks 就與微軟達成合作，以第一方供應商身份接入其 AI 開發平臺 Foundry，Azure 用戶可在系統內直接調用 Fireworks 的推理服務。

同樣在賣 Token 的閉源模型廠商才是推理云真正的對手。

開閉源方案各自占據了相對明確的應用場景：當企業需要更強的通用能力且不介意成本時，閉源模型依然是首選；但當企業已經明確具體業務場景且對成本敏感時，開源加推理云服務的組合就有了壓倒性的性價比優勢。

不過如今，第二類需求正在快速擴大，最具代表性的案例是 AI 編程軟件 Cursor 的 API 遷移路徑。Cursor 早期高度依賴 OpenAI 等閉源接口，后來逐步轉為在 Fireworks 上訓練和運行自研模型，它的調用一度貢獻了 Fireworks 一半的營收。

雖然和閉源模型搶飯吃是客觀現實，但能不能搶走，取決于推理云服務行業的經濟結構。

第三方數據顯示，Fireworks 的毛利率約為 50%，遠低于典型軟件公司 70% 以上的水平。原因不難理解，這門生意的本質是轉售 GPU 算力，成本側壓力較大。

其次，所有中介生意都會面臨價格戰的問題，推理云也不例外。谷歌、OpenAI、Anthropic、字節跳動等廠商最近都在陸續下調不同層級模型的 API 價格；而且，當推理云還在租算力，其他 AI 廠商已經開始下場自研推理芯片，直接從硬件層面優化推理負載，進一步降低遠期推理成本。這些都會削弱 Fireworks 等公司現有的價格優勢。

問題由此指向一個更根本的層面：在價格之外，推理云的競爭優勢到底還剩下什么？

如果是推理引擎、跨云調度、微調工具鏈等軟件優化能力，這確實可以隨著規模擴大不斷加深，形成真正的技術壁壘。

但如果核心競爭力源于規模效應：算力買得多、買得便宜、跑得起足夠大的集群，那么在資本厚度和硬件掌控力上，任何初創公司都無法與 AI 大廠長期抗衡。

軟件對通用 GPU 的效率壓榨終歸有個限度。現在這些推理云公司，如果不做推理芯片等專有硬件，大概率無法獨立走下去。

因此，除了已經造出芯片的 SambaNova 和 Groq，Fireworks 等純軟件玩家的結局或許是與云廠商深度綁定，或被收編，成為云生態中的專業化組件。消費級市場可能會留下部分小體量公司（如 Replicate），為獨立開發者提供個性化服務。

AI 中間層的無限可能

不管這些公司走到哪一步，它們的出現已經釋放出一個關鍵信號：過往被算力和模型主導的 AI 基礎設施格局中，正在分化出一個新的中間層。

過去幾年，AI 行業的注意力集中在單一模型的性能上，并以其為準繩，但開源生態的崛起正在撬動這一主張：AI 產品的表現，不再等同于模型本身的能力。

部署、優化、定制……每一個中間環節都會影響輸出結果。AI 的競爭邏輯因此從單一維度走向多維度。

未來，微調服務、模型編排、評估測試、數據治理，都可能加入推理云所在的中間層，跑出全新的商業模式。

參考內容：

https://www.cnbc.com/2026/07/16/fireworks-nvidia-cloud-ai-startup-value.html

https://fireworks.ai/

https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions.html

https://www.goldmansachs.com/insights/articles/ai-agents-forecast-to-boost-tech-cash-flow-as-usage-soars

運營/排版：何晨龍

注：封面由 AI 輔助生成