大家好，我是刘聪NLP。
刚刚，DeepSeek又开源了，这次是OCR模型，整个模型大小在3B。
DeepSeek-OCR的提出，是为了探索，是否可以通过视觉模态进行文本信息的高效压缩，
也就是把文档内容，用图像Token表示，其Token数量会远小于原始文本Tokens数，
说白了，你1w字，可能需要5000个Token，但用图像来表示，可能只需要512 个 Token。
实话实说，直接升华了，
我之前研究VLM做OCR，就是解决PDF转成文本的问题，没想到DeepSeek，是在想用图像视觉压缩文本。
秀~
先说结论，
- 这次DeepSeek提出了一个新的视觉编码结构DeepEncoder，
- 同时做了一个关于视觉-文本token压缩比的全面定量分析，
- DeepSeek-OCR的整体也很不错，在OmniDocBench上，使用更少的视觉token达到最好的效果。
模型地址，HF：https://huggingface.co/deepseek-ai/DeepSeek-OCR
DeepSeek-OCR模型也是三件套，图像编码器、映射层和文本解码器组成，其中图像编码器时特色，为DeepEncoder，参数为380M，文本解码器是一个deepseekv2-3b的模型-，参数为3B，2个共享专家，64个激活专家，每次激活6个专家，激活参数为570M。
现有VLM的视觉部分，主要是三种，双塔架构，tile-based方法，自适应分辨率编码方法，如下，存在多次预处理、高分辨率时Token数量过多等问题。
提出DeepEncoder，为了可以能够处理高分辨率图像、在高分辨率下激活值低、输出视觉Token少、支持多分辨率输入。结构如下，参数量为380M，主要由一个80M的SAM-base模型和一个300M的CLIP-large模型串联构成。
其中，SAM-base模型以窗口注意力感知局部特征，CLIP-large模型以密集全局注意力提取全局语义信息。
模型之间，采用一个两层卷积模块对视觉token进行16倍下采样，每个卷积层的kernel size为3，stride为2，padding为1，通道数从256增加到1024。
举例，输入图像大小为1024×1024，DeepEncoder首先划分为1024/16 × 1024/16 = 4096个patch token，在对4096个token进行压缩，数量变为4096/16 = 256。
DeepEncoder支持多分辨率，有两种，原生分辨率和动态分辨率。
原始分辨率，包括Tiny-512×512（64 token）、Small-640×640（100 token）、Base-1024×1024（256 token）、Large-1280×1280（400 token）四种。
Tiny和Small模式是直接对图像进行resize处理，Base和Large模式是保持原始图像的宽高比利用padding方式处理。
动态分辨率包括Gundam-640×640+1024×1024（n x 100 + 256）、Gundam-M-1024×1024+1280×1280（n x 256 + 400）两种，是由n个局部视图+一个全局视图，其中局部的tile数在2到9之间。对于宽高都小于640的图像，n设为0，Gundam退化成Base，Gundam-M退化成Large。
整体训练数据由4部分组成，
OCR1.0数据（43M张图片-文本对），由传统OCR任务组成，如图像OCR和文档OCR；
OCR2.0数据（16M张图片-文本对），包含复杂的图像解析任务，如图表、化学公式、平面几何等；
通用视觉数据（占比20%），用于注入通用图像理解能力；
纯文本数据（占比10%），用于确保模型的语言能力。
模型训练采用两阶段训练，先训练DeepEncoder部分，再全部参数联合训练。
训练DeepEncoder阶段，采用OCR1.0和OCR2.0数据，以及从LAION数据集中采样的100M通用数据，训练 2 个 epoch，BS为1280，优化器为AdamW，学习率调度器为cosine annealing ，初始学习率为 5e-5，最大长度为 4096。
全部参数训练阶段，采用20个A100-40G*8的节点进行PP训练，BS为 640，优化器为 AdamW，初始学习率为3e-5。
最后，
还没测，后面看看跟新出的PaddleOCR-VL 0.9B哪个更强。
OCR也是卷起来了~
PS：都看到这里，来个点赞、在看、关注吧。 您的支持是我坚持的最大动力！
欢迎多多关注公众号「刘聪NLP」，交个朋友吧，一起学习，一起进步！