SIGIR 2026｜統一搜索與推薦：大語言模型時代的信息獲取新探索

投稿作者：荷蘭萊頓大學團隊

隨著在信息檢索和推薦系統中的應用不斷深入，大語言模型（LLM）為統一建模搜索和推薦這兩種主要的信息獲取路徑提供了新的可能性。

搜索刻畫用戶主動表達的即時信息需求，推薦反映用戶歷史行為中積累的長期興趣偏好，二者雖然交互形式不同，但本質上都服務于理解并滿足用戶的信息需求。

如果能夠在同一個大語言模型框架下統一建模這兩類信號，模型有望更完整地理解用戶意圖，并提供更加個性化的信息獲取體驗。

在這項工作中，萊頓大學團隊探索了在無需全參數微調的情況下，將十億參數級大語言模型用于統一搜索與推薦建模，并提出GEMS 框架：一方面通過多子空間梯度分解緩解跨任務梯度沖突，另一方面通過零空間投影減少微調對大語言模型通用知識空間的擾動。

相關研究論文已被 AI 頂會SIGIR 2026接收。

論文鏈接：https://arxiv.org/abs/2601.09496

GitHub 地址：https://github.com/Polaris-JZ/GEMS

實驗表明，GEMS 能夠在搜索與推薦任務上取得整體提升，并為更穩定、部署友好、基于大語言模型的統一搜索推薦系統提供新的實現路徑。

研究背景

搜索和推薦是現代信息平臺中最核心的兩類服務。搜索通常由用戶主動輸入查詢，反映即時信息需求；推薦則根據用戶歷史行為，建模長期興趣偏好。二者交互形式不同，但目標高度一致：理解并滿足用戶的信息需求。

近年來，生成式推薦和大語言模型的發展為統一搜索與推薦提供了新的可能。已有方法通常將搜索排序和推薦排序都轉化為條件生成問題：模型根據用戶查詢、歷史交互或二者的組合，直接生成目標物品標識。這樣的統一生成范式具有較好的靈活性，也能利用預訓練語言模型的語義理解能力。

但當這一思路擴展到大語言模型時，問題變得更加復雜。全參數微調訓練和存儲成本高，難以擴展到更大的大語言模型；LoRA 等參數高效微調方法雖然降低了成本，卻沒有真正解決統一搜索與推薦中的任務沖突問題。

具體來說，搜索任務更關注當前查詢與候選物品之間的語義相關性，而推薦任務更強調用戶歷史行為中的長期偏好和協同過濾信號。二者優化目標并不完全一致，在共享同一模型參數時，一個任務的梯度更新可能會損害另一個任務的性能，導致聯合訓練不穩定。

與此同時，面向搜索與推薦數據的微調還可能擾動大語言模型原本的通用語義知識，使模型出現用戶意圖理解偏移：微調前能夠正確理解的查詢或偏好，微調后反而可能生成與真實意圖不一致的結果。

圖｜在大語言模型中統一搜索與推薦中的兩個關鍵挑戰。圖 (a) 展示了在 PEFT 設置下，搜索任務與推薦任務在不同大語言模型層中存在明顯梯度沖突；圖 (b) 展示了微調可能導致的用戶意圖理解偏移，即模型在微調前能夠正確理解用戶需求，但微調后可能受到任務數據過擬合影響，生成與真實意圖不一致的結果。

因此，統一搜索與推薦并不只是“如何把兩個任務放進一個模型”或“如何減少微調參數”的問題。更關鍵的是：如何在避免全參數微調高成本的同時，緩解搜索與推薦之間的梯度沖突，并保護大語言模型原有的通用語義理解能力。

研究方法

為了解決上述問題，論文提出了 GEMS。其基本思想是將梯度更新組織在低維梯度子空間中，并進一步把搜索和推薦的優化信號分解到不同子空間中。

GEMS 包含兩個核心模塊：Multi-Subspace Decomposition和Null-Space Projection。

圖｜GEMS 框架總覽。GEMS 在統一搜索與推薦訓練過程中，首先分別計算搜索和推薦任務的梯度，并通過多子空間分解將其劃分為共享子空間、搜索特定子空間和推薦特定子空間；隨后利用自適應融合機制整合不同子空間的更新；最后通過零空間投影約束更新方向，減少對大語言模型通用知識空間的擾動。

1.多子空間分解：緩解搜索與推薦之間的梯度沖突

GEMS 首先將優化空間劃分為三個互補子空間：共享子空間、搜索特定子空間和推薦特定子空間。

共享子空間用于捕捉搜索和推薦共同需要的信號，例如用戶興趣、物品語義以及二者之間的通用匹配模式。搜索特定子空間用于建模查詢語義和 query-item relevance。推薦特定子空間則負責捕捉長期用戶偏好、行為序列模式和協同過濾信號。

這種設計的好處是，搜索和推薦中一致的優化方向可以進入共享子空間，而潛在沖突的任務特定信號則被限制在各自子空間中。換言之，GEMS 不是簡單地把兩個任務的梯度混在一起，而是顯式地區分“共同有用的信號”和“任務特有的信號”，從而減少破壞性干擾。

此外，GEMS 還設計了自適應門控機制，根據任務損失、梯度范數和 batch 中樣本比例等訓練動態，自動調整搜索特定子空間和推薦特定子空間的貢獻。這使得模型能夠在訓練過程中動態平衡兩個任務，而不是依賴固定權重進行簡單加和。

2.零空間投影：保護大語言模型的通用知識

除了緩解任務沖突，GEMS 還關注另一個重要問題：微調是否會破壞大語言模型原有的通用語義能力。

為此，論文提出Null-Space Projection。該模塊首先使用通用語料估計大語言模型預訓練表示中的主導知識空間，然后將任務微調產生的更新投影到該知識空間的正交補空間中。直觀理解，就是盡量避免模型沿著“承載通用知識的主要方向”發生過大改變。

通過這種方式，GEMS 允許模型學習搜索與推薦任務所需的新信息，同時降低對原有語言理解和推理能力的破壞風險。這一點對于統一搜索與推薦尤其重要，因為用戶意圖理解往往高度依賴大語言模型的通用語義能力。

研究結果

論文在兩個包含搜索與推薦行為的數據集上進行了實驗，包括 Qilin 和 Amazon。實驗覆蓋推薦和搜索兩個任務，并與傳統搜索/推薦模型、生成式統一搜索與推薦方法，以及 LoRA、LoRA-MoE 等參數高效微調方法進行了系統比較。

實驗結果顯示，GEMS 在不同數據集和不同任務上均取得了最優或接近最優的表現。尤其是在 T5-base 和 Qwen2.5-3B-Instruct 兩類 backbone 設置下，GEMS 都能保持穩定優勢，說明該方法不僅適用于中等規模預訓練模型，也能夠擴展到十億參數級別的大語言模型。

圖｜GEMS 在 T5-base 上的搜索與推薦結果。

圖｜GEMS 在 Qwen-3B 上的搜索與推薦結果。

消融實驗進一步驗證了兩個核心模塊的必要性。移除 Multi-Subspace Decomposition 后，模型性能明顯下降，說明顯式區分共享信號與任務特定信號對于緩解搜索和推薦之間的干擾至關重要。移除 Null-Space Projection 后，模型雖然仍能取得一定提升，但整體表現弱于完整 GEMS，說明保護預訓練知識對于穩定意圖理解同樣關鍵。

圖｜GEMS 核心模塊的消融實驗。

論文還進行了梯度沖突分析。結果表明，相比普通 PEFT 方法，GEMS 在大語言模型各層中都能顯著降低搜索與推薦之間的梯度沖突，尤其是在 attention 相關層中表現更穩定。這說明 GEMS 的優勢不僅體現在最終指標上，也反映在優化過程本身。

圖｜GEMS 與 PEFT 的梯度沖突對比。

此外，用戶意圖保持實驗表明，普通 PEFT 方法更容易出現“微調前預測正確、微調后預測錯誤”的情況，而 GEMS 能夠明顯減少這類退化。這說明其零空間投影機制確實有助于緩解微調帶來的語義漂移和意圖理解偏移。

圖｜用戶意圖理解保持能力分析。

GEMS 的一個重要優勢是，它并不需要在模型中長期保留額外 adapter 參數。與 LoRA 或 LoRA-MoE 不同，GEMS 直接在原始參數空間中進行子空間優化，訓練時通過低維梯度子空間進行參數更新，并避免在推理階段引入額外 adapter 模塊。

這使得 GEMS 具有較好的部署友好性。對于真實搜索與推薦系統而言，在線服務階段的模型存儲、推理延遲和系統維護成本同樣關鍵。GEMS 不僅關注如何避免全參數微調帶來的高成本，也考慮了大模型在統一搜索與推薦場景中的實際可用性。

更重要的是，GEMS 將統一搜索與推薦中的兩個核心問題，即任務沖突和知識保持，放在同一個優化框架中處理。相比單純增加模型容量或引入更多專家模塊，GEMS 從梯度幾何結構出發，提供了一種更加直接和可解釋的解決路徑。

未來方向

這項工作探索了大語言模型時代統一搜索與推薦的新方向。研究團隊認為，搜索查詢和推薦行為可以被視為用戶信息需求的兩種互補表達：前者反映即時意圖，后者刻畫長期偏好。要真正統一二者，模型不僅需要共享表示，還需要處理不同任務之間的優化沖突，并在適配任務的同時保留大語言模型原有的語義理解能力。

GEMS 通過梯度多子空間調優和零空間投影，為這一問題提供了新的解決方案。實驗結果表明，該方法能夠在搜索和推薦任務上取得整體穩定提升，同時緩解梯度沖突、減少用戶意圖理解偏移，并具有較好的部署友好性。

總體來看，GEMS 展示了在大語言模型框架下統一搜索與推薦的一種可行路徑：不是簡單地共享模型參數，而是從優化過程本身出發，顯式處理搜索與推薦之間的任務差異，并在任務適配和知識保持之間取得平衡。

未來，隨著用戶行為信號、搜索查詢、對話交互和上下文信息進一步融合，信息獲取系統可能不再被清晰地區分為“搜索”或“推薦”，而是走向更加統一、連續和個性化的智能服務形態。如何在同一個基礎模型中穩定建模短期意圖、長期偏好和動態上下文，同時保持模型的通用理解能力和部署效率，將成為基于大語言模型的信息檢索與推薦系統的重要研究方向。GEMS 在這一方向上邁出了一步，也希望為后續關于統一信息獲取模型的研究提供新的思路。