基于MinerU的PDF解析API,支持一键启动

GPU

unset

unset 简介 unset

unset

https://github.com/gomate-community/GoMate/blob/main/docs/mineru.md


            
- MinerU的GPU镜像构建  
- 基于FastAPI的PDF解析接口
        

支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等

unset

unset 主要功能 unset

unset

  • 删除页眉、页脚、脚注、页码等元素,保持语义连贯
  • 对多栏输出符合人类阅读顺序的文本
  • 保留原文档的结构,包括标题、段落、列表等
  • 提取图像、图片标题、表格、表格标题
  • 自动识别文档中的公式并将公式转换成latex
  • 自动识别文档中的表格并将表格转换成latex
  • 乱码PDF自动检测并启用OCR
  • 支持CPU和GPU环境
  • 支持windows/linux/mac平台

unset

unset 具体原理 unset

unset

请见PDF-Extract-Kit:https://github.com/opendatalab/PDF-Extract-Kit/blob/main/README-zh\_CN.md PDF文档中包含大量知识信息,然而提取高质量的PDF内容并非易事。为此,我们将PDF内容提取工作进行拆解:

布局检测:使用LayoutLMv3模型进行区域检测,如图像,表格,标题,文本等;公式检测:使用YOLOv8进行公式检测,包含行内公式和行间公式;公式识别:使用UniMERNet进行公式识别;表格识别:使用StructEqTable进行表格识别;光学字符识别:使用PaddleOCR进行文本识别;picture.image

unset

unset 镜像地址: unset

unset

阿里云地址:docker pull registry.cn-beijing.aliyuncs.com/quincyqiang/mineru:0.2-models

dockerhub地址:docker pull quincyqiang/mineru:0.2-models

unset

unset 启动命令: unset

unset

docker run -itd --name=mineru_server --gpus=all -p 8888:8000 quincyqiang/mineru:0.2-models

picture.image

具体截图请见博客:https://blog.csdn.net/yanqianglifei/article/details/141979684

unset

unset 启动日志: unset

unset

picture.image

unset

unset 输入参数: unset

unset

访问地址:


            
http://localhost:8888/docs  
  
http://127.0.01:8888/docs
        

picture.image

unset

unset 解析效果: unset

unset

picture.image

返回内容字段包括:dict_keys(['layout', 'info', 'content']) 其中content是一个字典列表:


          
            
{  
  'type': 'text',   
  'text': '现在我们知道:价值实体就是劳动;劳动量的尺度就是劳动持续时间。',   
  'page_idx': 5  
}  

        
0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论