应用与 Agent / 文档理解与应用评测 研究记录实践 3 分钟阅读 查看源文件 ↗

OCR 模型与本地样例评测#

本页内容2 个部分

这是一份本地小样本观察记录。模型 revision、完整推理配置、重复次数和计时边界未在原记录中完整保存,因此下面的速度与质量结论只适用于这些样例,不是通用模型排名。

1. 架构与调用流水线#

维度 Logics-Parsing-v2 PaddleOCR-VL DeepSeek-OCR-2
范式 端到端单模型 MLLM VLM;本次经文档解析流水线调用 端到端单模型 MLLM
基础模型 Qwen3-VL (Qwen3VLForConditionalGeneration),阿里 Logics 团队微调 PaddleOCR-VL-0.9B;本次通过 PaddleOCRVL pipeline 调用 DeepSeek-VL2 衍生,自研 DeepEncoder v2(SAM-ViT-B + Qwen2 decoder-as-encoder + MLP projector)
视觉编码 Qwen3-VL 原生 ViT NaViT 风格动态分辨率视觉编码器;流水线另含版面处理 动态分块:(0-6)×768×768 + 1×1024×1024 → (0-6)×144 + 256 视觉 token,极致压缩("Visual Causal Flow")
解码器 Qwen3 LLM ERNIE-4.5-0.3B DeepSeek MoE 语言解码器(公开配置为 DeepseekV2ForCausalLM);不要与视觉端 Qwen2 模块混淆
训练语料 本次输出不足以反推具体语料 以官方报告为准 以官方报告为准
本次脚本输出 *_raw.html(带 data-bbox、class="formula/code/image/chart/music/chemistry/pseudocode/table")+ *.mmd + *_vis.png page_NNN.md(嵌入 <img> + LaTeX) + page_NNN_res.json(全量 bbox) result.mmd + result_with_boxes.jpg + 裁剪好的 images/
图片裁剪到磁盘 ✗ 仅给 bbox 占位 ✓ imgs/img_in_chart_box_*.jpg ✓ images/0.jpg
部署 HF transformers Paddle 流水线(加载 ~18s) HF + vLLM 双路径

模型结构与外围流水线要分开比较:HTML/Markdown、裁图和文件命名有一部分由提示词与后处理决定。输出 LaTeX 宏不能证明使用了对应论文的源码训练,更不能单凭这种现象推断语料泄漏。

2. 本地评测记录#

原记录环境标注为 L20X 140GB, bf16, flash-attn-2;硬件型号、显存口径和各后端是否都使用这些设置,尚无完整日志可复核。以下保留观测值。

测试集:Bench/arxiv_control.pdf(双栏控制论)+ Bench/arxiv_numbertheory.pdf(单栏解析数论)。原实验工作区中的报告路径为 Outputs/REPORT.md、Outputs/SIDE_BY_SIDE.md 和 Logics-Parsing/COMPARISON.md;这些材料未随本站发布。

2.1 速度(秒/页)#

Page Logics-v2 Paddle-VL DeepSeek-OCR-2
control/p1 50.3 20.4 ~30
control/p2 70.5 24.5 ~40
nt/p1 61.3 14.8 ~25
nt/p2 73.6 20.4 39.2
均值 ~64 ~20 ~34

2.2 质量(以下均为本次样例的观察)#

  • 数学保真度(最关键的差异点):
    • \mathbf{A}_{\overline{\mathbf{F}}_q}^1(代数闭包横线):Logics ✓ / Paddle 丢横线 / DeepSeek 丢横线 + 丢粗体
    • \stackrel{?}{\ll}_{K,\pi,V}:Logics ✓ / Paddle 下标作用域错位 / DeepSeek ✓
    • \Re s = 1/2:Logics ≈✓ / Paddle ✓ / DeepSeek 输出 \Re e s(把 Re 拆成 \Re + 多余的 e)
  • Lean Unicode 算符(•ᵥ, •ₙ, *ᵥ):只有 Logics 完全保留;DeepSeek 退化为 · v,Paddle 折叠成下划线
  • 代码块识别:仅 Logics 标注 <div class="code">,Paddle/DeepSeek 输出为普通段落,缩进丢失
  • 脚注/资助信息:仅 Logics 保留 \footnotetext{},另两家静默丢弃
  • Markdown 标题:Paddle/DeepSeek 输出真正的 ## / ####;Logics 退化为含字面 # 的段落
  • 图片像素:Paddle/DeepSeek 自动裁剪保存;Logics 仅给 bbox
  • 错字:DeepSeek 出现 Berkan(应为 Berkane);Paddle 把正文段当成 ## 标题

2.3 对后续选型的初步提示#

场景 推荐
Lean / 形式化数学 / 代码密集型 PDF、严格数学保真 Logics-v2
干净 Markdown + 自动裁图、追求速度 Paddle-VL(本记录均值约为 Logics 的 1/3.2)
综合速度 + 质量折中 DeepSeek-OCR-2(但本语料上错字最多)

架构资料:Logics-Parsing 官方仓库、PaddleOCR-VL 官方模型卡、DeepSeek-OCR-2 配置。后续复测应固定版本、图片分辨率、生成长度、计时范围,并增加独立文档和重复运行。