多模态文档解析模型进展:UNIREC-0.1B架构、数据情况、实际测试

大模型机器学习算法

UNIREC是一个0.1B参数量的模型,整体pipline遵循layout(直接拿的paddleocr的layout模型)+ VLM OCR(UNIREC-0.1B) 。从这个模型可以看一个趋势,VLM-OCR正在朝参数小进化。下面来看简单看下模型架构、数据情况、实际测试,性能实际测下来一般,仅供参考。picture.image

文档解析的开源项目模型技术方案都在《文档智能专栏》,如:

模型架构

picture.image

picture.image

模型结构

  • 视觉编码器:FocalSVTR
  • 连接器:线性层
  • 语言模型:M2M100

特别的:最大宽度和高度分别限制在 960 和1408 像素。

数据

picture.image

UniRec40M 的构成,该数据集包含近 3000 万英文样本和 1000 万中文样本。数据集包括 1900 万纯文本、1300 万仅含公式以及 800 万文本与公式混合的样本。

与paddleocr-vl、mineru等一样,训练UNIREC-0.1B时构造相关block(文本、公式、表格等)数据-UniRec40M(数据未开源)

实验性能

picture.image

picture.image

picture.image

picture.image

实际测试case

测试链接:https://modelscope.cn/studios/topdktu/OpenDoc-0.1B-Demo 笔者随便截取了tech report中的几页,效果如下(由于版式分析模型是使用的paddleocr的layout模型,测试主要关注下block的ocr format能力,测了两张不是特别好,就未压测):

picture.image

case1

picture.image

case2

识别如下:picture.image

picture.image

参考文献

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎 veCLI- 命令行超级智能体的最佳实践
随着 ClaudeCode 的兴起,命令行 Agent 成了一个备受关注的领域,本次分享将重点介绍火山 veCLI- 命令行超级智能体的发展和演进历程,同时分享一些最佳实践和经验总结。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论