# Baidu's Unlimited OCR 2 uses SR-SWA to parse long documents at fixed attention cost

> Original title: 分享完百度的 Unlimited OCR 2 模型后，陆续看到了一些关于它的分享，而且还是标注了「Paid Membership」的。。

- Source: meng shao
- Published: 2026-10-27T12:57:42.000Z
- Bad Influence: https://badinfluence.news/items/mei1zj78acwjrdjrr6b6vqtiw
- Original: https://x.com/shao__meng/status/2115065400442728814

## Summary

Baidu has open-sourced Unlimited OCR 2, a 3B/A0.5B MoE document parsing model that targets documents of tens to hundreds of pages. The post explains its SR-SWA attention, which keeps text-to-visual interaction within a fixed 512-token reference set, and page-wise decoding that reuses KV tails. The author cites a claimed 7.0x speedup over Full Attention and 5.6x over R-SWA at around 100 pages.

## Post

分享完百度的 Unlimited OCR 2 模型后，陆续看到了一些关于它的分享，而且还是标注了「Paid Membership」的。。

好吧，我叕一次没接到商务 哈哈，纯自来水分享。

百度在 GenAI 之前，不管是 OCR 还是 ASR TTS 这些模型，Paddle 平台等，其实都还是做的很扎实的。只是在 GenAI 特别是 LLM 这几年真的起大早赶晚集了。。

记得文心一言、文心一格，应该是国内最早一批语言模型和图像生成模型了，当时「鱼香肉丝」「夫妻肺片」的梗都是文心一格出来的，不过再后来，就没有后来了，完全销声匿迹，都不说国内第一梯队，基本连声音都没有了。

## Quoted post @shao__meng

> 百度开源 Unlimited OCR 2：超长文档解析，注意力开销尽量不随页数涨
> 
> Unlimited OCR 2 是面向「几十到几百页」文档的开源 OCR / 版面解析模型，3B/A0.5B 的 MoE 模型架构：用 SR-SWA 把文本–视觉注意力压到固定大小的工作参考集，再配合按页分块解码，让超长文档能在有限上下文里跑完，并声称逐步解码的延迟和显存几乎不随文档变长而涨。
> 
> 开源模型：https://huggingface.co/baidu/Unlimited-OCR-2
> 
> 相对 v1 改了什么
> v1（R-SWA）已能做多页端到端解析，但论文写明输入大约卡在 40 页，也因此没上 MarathonDocBench。v2 把解码器注意力升到 SR-SWA（Sparse Reference Sliding Window Attention），并加上 Unlimited-Horizon Decoding；骨干仍是 DeepEncoder + MoE 解码器一路，从 v1 权重再训。口号从「长程」推到「不限程」。
> 
> SR-SWA 在做什么（技术报告口径）
> 长文档会让文本–视觉注意力很贵。R-SWA 管住了局部交互，但远端视觉 token 仍会随页数涨。SR-SWA 的做法是：把交互压进固定容量的工作参考（README 举例 512 tokens）。大致两步：Page Gate 先按页收窄候选；Token Sieve 再对块做摘要打分，用 α-entmax 稀疏路由，只保留 top-k 远端块加局部窗口。解码侧按页切块，页边界重叠 1 页并复用 KV 尾部，避免超长时显存爆掉。作者称百页量级上，逐步速度相对 Full Attention 约 7.0×、相对 R-SWA 约 5.6×。

https://x.com/shao__meng/status/2115039161308852364