科大訊飛發布星火Token Factory，打造企業級AI模型智能路由與治理新底座

AI產業澎湃，越來越多企業開始將人工智能深度融入研發、生產、客服、營銷等核心業務場景。在大模型應用規模快速增長的同時，企業也面臨新的挑戰：模型種類不斷增加、調用成本持續攀升、系統穩定性要求不斷提高，而跨模型管理、成本控制、安全治理和運行監控等能力建設卻相對滯后。

面對企業AI規模化落地過程中普遍存在的運營管理難題，科大訊飛7月19日正式推出星火Token Factory，通過統一接入、智能路由、全鏈路治理與成本優化能力，為企業構建面向未來的大模型基礎設施底座。

【聚焦企業AI規模化落地挑戰】

當前，大模型應用正從單點試點走向多業務、多場景、多團隊協同應用的新階段。

企業往往需要同時接入多個模型服務，支撐代碼助手、智能客服、知識問答、內容生成、文檔處理等不同業務場景。隨著調用規模增長，企業面臨的管理壓力也在持續加大。

一方面，不同任務復雜度差異顯著，但實際應用中往往采用統一模型處理，導致資源利用效率不高，Token成本持續增長；另一方面，多模型并行運行也對系統穩定性、安全治理以及運營管理提出更高要求。

與此同時，企業AI建設正逐步從“模型能力建設”邁向“AI基礎設施建設”階段。企業關注的重點，不再僅僅是模型本身能力是否足夠強大，而是如何讓模型能力真正融入業務體系，實現穩定運行、統一治理和持續優化。如何在保障業務效果的同時降低成本、提升穩定性、實現統一管理，正在成為企業推進AI規模化應用的重要課題。

【星火Token Factory正式發布】

基于企業客戶的實際需求，科大訊飛推出星火Token Factory，旨在幫助企業提升大模型應用效率與管理水平，為其構建長期可持續的AI能力體系提供支撐。

作為企業級AI模型智能路由平臺，星火Token Factory定位于企業應用與大模型之間的統一中間層，面向企業提供模型統一接入、智能路由調度、Token成本優化、安全合規治理等核心能力，造覆蓋“接入—治理—觀測—運營”的完整閉環，為企業構建統一的大模型服務入口，讓大模型應用實現真正意義上的可管、可控、可追溯，幫助企業實現大模型資源的高效管理與規模化運營。

智能路由：驅動模型資源高效利用

在企業實際應用中，不同任務對于模型能力的要求并不相同。例如文本分類、信息抽取等簡單任務，與長文檔分析、復雜推理等高復雜度任務，對模型能力和資源消耗的需求存在顯著差異。

針對這一特點，星火Token Factory構建了基于Prompt長短、規則預置、自定義規則、對話輪次、session親和等多維度特征綜合判定任務的復雜度，對請求進行L1至L3智能分級管理并實現智能路由機制。平臺綜合考慮質量、成本、延遲、可用性、安全等級五個因子匹配適合的模型資源，讓簡單任務調用更具性價比的模型，復雜任務優先匹配高能力模型，從而實現模型資源的精細化調度與利用。而且整個決策平均延遲可控制在100毫秒以內。

通過智能路由能力，平臺能夠有效降低大尺寸模型調用壓力，為企業釋放更多成本優化空間。

推理引擎：提升國產模型本地推理效率

國產化私有部署場景下，推理引擎直接決定算力利用率與服務成本。星火Token Factory圍繞昇騰硬件特性，對主流開源大模型從底層算子到上層調度做了端到端的工程優化，在保障服務質量的前提下顯著提升了性能。

核心技術優化：在顯存側，通過多種模型壓縮與精度優化技術，在精度可控的前提下大幅降低顯存占用，使有限硬件能夠承載更大規模模型、更長上下文與更高并發；在計算與通信側，融合推理過程中的核心計算算子，將零散計算合成為高效的指令序列，并對多卡通信做了調度重排，實現計算與通信的并行重疊；在緩存與調度側，通過跨節點的分布式 KV Cache 管理與多級存儲調度，引入上下文感知（Cache-Aware）的緩存路由與上下文復用重組策略，提升了長上下文與高并發場景下的緩存命中率；在解碼側，引入面向昇騰硬件的并行解碼加速機制，縮短了生成密集場景下的端到端延遲。

實測成效：在相同硬件條件下，針對主流開源模型的基準測試，星火Token Factory相較開源 vLLM-Ascend 框架推理效率提升約5倍；首 Token 延遲降低 30%–40%。

這意味著，同等昇騰算力可支撐接近翻倍的業務請求量，或以更少算力達成同等服務能力——讓國產化私有部署在性能與成本上同時受益。

安全治理：構建企業級安全體系

除模型調度與資源優化能力外，星火Token Factory還圍繞企業級應用場景構建了完善的安全體系。

三權分立：管理不碰數據、操作不碰權限、審計不碰業務，三者相互獨立、相互制約。并結合混合授權，從制度與技術雙重層面杜絕越權與數據泄露風險。

審計日志：平臺對所有關鍵操作自動生成不可篡改、不可刪除、不可繞過的全鏈路審計記錄，覆蓋數據訪問、權限變更、模型調用、數據導出六大類操作，確保全程可追溯，滿足等保要求。

敏感信息防護： 覆蓋個人隱私如身份證、手機號、銀行卡、姓名、地址、郵箱、車牌及經營數據如財務、薪資、合同等敏感信息，進行分級路由，確保敏感數據不出域。

成本歸因：把AI算力賬算清楚

隨著企業AI應用數量不斷增加，模型調用過程的可監測能力成為運營管理的重要基礎。星火Token Factory提供端到端全鏈路日志審計能力，實現請求從進入平臺到最終返回結果的全過程記錄。

通過日志追蹤、路由決策記錄、Token消耗統計以及成本歸因分析，讓企業能夠清晰掌握每一次模型調用的運行狀態和資源消耗情況。配合預算管理、ROI分析和可視化報表，企業不僅能夠快速定位問題，更能夠為后續運營優化和資源規劃提供數據支撐，讓AI應用從“黑盒運行”走向“透明運營”。

【加速企業邁向AI規模化運營新階段】

從模型能力競爭到應用價值競爭，越來越多企業已經完成初步探索，并開始關注投入產出比、運營效率以及長期治理能力等問題。企業真正需要的，不僅是更強的模型能力，更是一套能夠實現統一接入、統一治理、統一運營的大模型基礎設施平臺。

星火Token Factory的發布，進一步完善了科大訊飛在企業AI基礎設施領域的能力布局，也為企業構建可持續發展的AI應用體系提供了新的支撐。這不僅是企業級AI治理能力的一次升級，也標志著企業大模型應用正在從單點探索邁向規模化運營的新階段。科大訊飛希望通過更加開放、高效、穩定的AI基礎設施能力，幫助更多企業加速釋放人工智能價值，共同推動產業智能化發展邁向新高度。

歡迎關注【華商韜略】，識風云人物，讀韜略傳奇。