無限OCR：用“參考滑動(dòng)窗口注意力”R-SWA實(shí)現(xiàn)長文檔一次性解析

端到端 OCR 在過去兩年迎來新一輪熱潮，以 DeepSeek OCR 為代表的方案將大語言模型（LLM）用作解碼器，借助語言先驗(yàn)顯著提升了識(shí)別精度。

然而，這類方案存在一個(gè)內(nèi)在缺陷：隨著輸出序列不斷增長，KV 緩存持續(xù)膨脹，既消耗大量顯存，又使每一步解碼的延遲逐漸拉長。

現(xiàn)有模型普遍采用類似 for 循環(huán)的方式逐頁處理，每處理完一頁便重置記憶，再切換到下一頁。這種方式本質(zhì)上是一種工程補(bǔ)丁，而非真正意義上的長程理解能力。

反觀人類，我們在抄寫一本書時(shí)并不會(huì)持續(xù)回看所有已寫內(nèi)容，而是把注意力集中在三處：正在抄寫的原文、剛剛寫下的少量字符、以及即將落筆的下一個(gè)字。對(duì)于已寫過的內(nèi)容，人類以一種“軟遺忘”的方式逐漸淡出記憶。這種機(jī)制使人能夠在認(rèn)知負(fù)荷極低的情況下完成數(shù)百頁的連續(xù)轉(zhuǎn)錄任務(wù)。

受此啟發(fā)，百度團(tuán)隊(duì)提出了“無限 OCR”（Unlimited OCR），將解碼器中的所有注意力層替換為“參考滑動(dòng)窗口注意力”（Reference Sliding Window Attention，R-SWA），在降低注意力計(jì)算開銷的同時(shí)，在整個(gè)解碼過程中維持恒定的 KV cache。

論文鏈接：https://arxiv.org/pdf/2606.23050

GitHub地址：https://github.com/baidu/Unlimited-OCR

據(jù)論文介紹，通過將 DeepSeek OCR 編碼器的高壓縮率與恒定 KV cache 設(shè)計(jì)相結(jié)合，Unlimited OCR 能夠在標(biāo)準(zhǔn) 32k 最大長度限制下，以單次前向傳播轉(zhuǎn)錄數(shù)十頁文檔。

更重要的是，R-SWA 是一種通用的解析注意力機(jī)制，除 OCR 外，它同樣適用于 ASR、翻譯等任務(wù)。

R-SWA 的設(shè)計(jì)邏輯

標(biāo)準(zhǔn)的多頭注意力（MHA）采用全量 KV cache，隨著輸出 token 數(shù)線性增長，其占用的顯存和計(jì)算時(shí)間也同步增長。對(duì)于一個(gè)需要輸出十萬個(gè) token 的多頁文檔來說，這意味著 KV cache 將無限膨脹，推理速度也會(huì)持續(xù)下降。這正是當(dāng)前所有端到端 OCR 模型無法實(shí)現(xiàn)“一次性解析整本書”的根本原因。

R-SWA 將注意力劃分為兩段：參考段（reference）和解碼滑動(dòng)窗口（decode window）。

參考段包含視覺 token 和提示詞（prompt），在整個(gè)解碼過程中保持全局可見，且不參與狀態(tài)轉(zhuǎn)移，視覺特征只被編碼一次，此后靜止不變。這一設(shè)計(jì)避免了普通滑動(dòng)窗口注意力（SWA）因?qū)⒁曈X token 也納入滑動(dòng)循環(huán)而導(dǎo)致的"視覺特征逐步模糊"問題。

解碼滑動(dòng)窗口的寬度固定為 n（默認(rèn) 128），以因果方式向右滑動(dòng)。每生成一個(gè)新 token，最早進(jìn)入窗口的那個(gè) token 的 KV 便被驅(qū)逐出隊(duì)列。這樣一來，解碼側(cè)的 KV cache 規(guī)模始終被限定在固定容量之內(nèi)，而非隨輸出長度線性增加。

圖｜R-SWA 與標(biāo)準(zhǔn)全量注意力的 KV cache 對(duì)比示意。

對(duì)于長序列解碼，KV cache 總量對(duì)比尤為明顯。在輸出 token 數(shù)遠(yuǎn)大于窗口寬度的情況下，R-SWA 的 cache 占用趨向于一個(gè)有界常數(shù)，而 MHA 的 cache 則無上限地增長。這一差距隨輸出長度加大而擴(kuò)大，正是 R-SWA 實(shí)現(xiàn)近無限解析的理論基礎(chǔ)。

Unlimited OCR 沿用了 DeepSeek OCR 的 DeepEncoder 編碼器。DeepEncoder 將 SAM-ViT 與 CLIP-ViT 級(jí)聯(lián)，在銜接橋處實(shí)施 16× token 壓縮，使一張 1024×1024 的 PDF 頁面圖像最終只產(chǎn)生 256 個(gè)視覺 token。這一極高的壓縮率意味著：即使同時(shí)輸入數(shù)十頁文檔，prefill 階段產(chǎn)生的視覺 token 總量也相對(duì)可控。

DeepEncoder 壓縮視覺端，R-SWA 穩(wěn)定解碼端兩者相結(jié)合，共同支撐起 Unlimited OCR 在 32K 最大長度限制下一次性解析數(shù)十頁文檔的能力。

圖｜Unlimited OCR 整體架構(gòu)示意。

實(shí)驗(yàn)結(jié)果1.單頁文檔：達(dá)到端到端 SOTA

研究團(tuán)隊(duì)在 OmniDocBench v1.5 和 v1.6 上對(duì) Unlimited OCR 進(jìn)行了評(píng)測，并與當(dāng)前主流的端到端 VLM（Vision-Language Model）方案進(jìn)行了系統(tǒng)比較。

在 OmniDocBench v1.5 上，Unlimited OCR（3B-A0.5B）取得了 93.23 的 Overall 分?jǐn)?shù)，相比 DeepSeek-OCR 提升 6.22；在 OmniDocBench v1.6 上，Unlimited OCR 以 93.92% 的 Overall 分?jǐn)?shù)取得端到端方案 SOTA，超過了 Logics-Parsing-v2（93.33%）、FireRed-OCR（93.26%）等同期工作。

研究團(tuán)隊(duì)還對(duì) OmniDocBench v1.5 涵蓋的 9 種文檔類型（學(xué)術(shù)論文、書籍、考卷、雜志、報(bào)紙、便簽等）進(jìn)行了逐類別對(duì)比。

結(jié)果顯示，Unlimited OCR 在所有類別的所有指標(biāo)上均優(yōu)于 DeepSeek OCR，在 9 項(xiàng)文字編輯距離和閱讀順序指標(biāo)中有 7 項(xiàng)超過了 DeepSeek OCR 2，表明 R-SWA 的引入帶來的是無損增益。

2.長程解析：多頁一次性轉(zhuǎn)錄

這是 Unlimited OCR 區(qū)別于所有現(xiàn)有模型的關(guān)鍵能力。研究團(tuán)隊(duì)構(gòu)建了一個(gè)內(nèi)部測試集，收錄了小說、學(xué)術(shù)文檔和論文，按頁數(shù)劃分為 2、5、10、15、20、40+ 頁六檔，每檔不少于 10 本，以評(píng)估多頁一次性解析的表現(xiàn)。

Distinct-n 衡量生成文本中不重復(fù) n-gram 的比例，是檢測模型在長程生成中是否陷入循環(huán)重復(fù)的重要指標(biāo)。即使在 40 頁以上的場景下，Distinct-35 仍達(dá)到 96.90%，編輯距離保持在 0.11 以內(nèi)。

研究團(tuán)隊(duì)指出，此類場景下的誤識(shí)別主要來自 PDF 圖像中的小字體文本在 1024×1024 分辨率下難以辨認(rèn)，而非 R-SWA 在長程推理中失去方向。

3.推理效率

在推理吞吐量（TPS）方面，隨著輸出序列變長，DeepSeek OCR 的 TPS 持續(xù)下降：在輸出 6000 個(gè) token 時(shí)降至 5822.87 TPS，而 Unlimited OCR 維持在 7847.71 TPS，領(lǐng)先約 35%。

在單頁 OmniDocBench 評(píng)測場景下，Unlimited OCR 的吞吐量也比 DeepSeek OCR 高出 12.7%（5580 vs. 4951 TPS）。

每一步 Flash Attention v3 kernel 的調(diào)用延遲在 Unlimited OCR 中始終保持平穩(wěn)，而在 DeepSeek OCR 中則隨解碼步驟線性增加，并在 KV cache 跨越某一對(duì)齊邊界時(shí)出現(xiàn)驟降。

不足與未來方向

研究團(tuán)隊(duì)指出，當(dāng)前 Unlimited OCR并不能在有限上下文長度（如 32K）下實(shí)現(xiàn)真正意義上的“無限”解析，因?yàn)?prefill 端的長度仍受上下文窗口約束，隨著輸入頁數(shù)增加，prefill 階段的視覺 token 總量也隨之累積。

未來，他們的短期計(jì)劃是將最大訓(xùn)練上下文擴(kuò)展至128K，以支持更多頁面的一次性 prefill；長期目標(biāo)是構(gòu)建一個(gè) prefill 池，讓模型能夠自動(dòng)按需讀取 KV 片段，模擬人類翻頁時(shí)的記憶檢索行為，從而實(shí)現(xiàn)真正的無限解析。

此外，他們還計(jì)劃將 R-SWA 遷移至自動(dòng)語音識(shí)別（ASR）和翻譯等同樣具有參考輸入的長程任務(wù)。

Unlimited OCR 所揭示的核心結(jié)論，即在端到端模型的解碼器中，將全量注意力完整替換為 R-SWA 對(duì)解析任務(wù)無損，提供了一條以有限資源撬動(dòng)長程推理能力的實(shí)用路徑。

將 KV cache 從隨解碼長度無限增長的量轉(zhuǎn)變?yōu)橛薪绯?shù)，這一改變有望在 OCR 之外更廣泛的參考型長程生成任務(wù)中得到應(yīng)用。

整理：喬治

如需轉(zhuǎn)載或投稿，請直接在本文章評(píng)論區(qū)內(nèi)留言