向AI转型的程序员都关注了这个号👇👇👇
信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。
作为该系列文章的第二篇，我们将通过paddlenlp.Taskflow提供的文本及文档通用信息抽取能力，实现开箱即用的简历信息抽取。
简历信息提取（一）：PDFPlumber和PP-Structure
实体抽取，又称命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体。在简历信息抽取任务中，用户可以自己定义实体类别，如姓名、出生日期、电话等。
我们可以使用PaddleNLP Taskflow API提供的开箱即用、适配多场景的开放域通用信息抽取工具Taskflow("information_extraction")，一键完成简历中常用实体信息的抽取。
代码地址:
关注微信公众号 datayx 然后回复 简历 即可获取。
1.3 Taskflow API文档抽取
2023.1.12发布的PaddleNLP v2.5在产业信息抽取应用上的一个重大更新，就是发布文档信息抽取UIE-X，也就是说，Taskflow API支持的输入格式，不再只是文本内容，也可以是图片了。这对我们做简历信息抽取可是个好消息——如果我们收到的简历是扫描件、图片或者模板花里胡哨的文档，这下可以直接转为图片送给Taskflow API看看效果了，PaddleNLP已经贴心的帮我们把PaddleOCR集成好了！
实际业务中，公司的HR往往要面对堆积如山的简历，业务上显然没办法接受一个个文件进行实体抽取的，想要让AI成为HR筛选简历的得力小帮手，我们还需要对输出结果进行组织。在项目中，结合数据集的实际情况，我们设计的简历批量信息抽取思路如下：
- 首先用户需要将简历文件按格式（word，pdf）分别放置在对应目录下
- word格式的简历通过Taskflow API文本信息抽取得到实体信息
- pdf或者图片格式的简历统一整理为jpeg格式，然后通过Taskflow API文档信息抽取得到实体信息
- 将文件名、实体信息逐行存入excel文件中，便于HR做后续的人工补充和筛选工作
2.1 word格式简历批量信息抽取
准备一个统一的简历信息抽取结果处理脚本，将Taskflow API提取的信息进一步按照schema进行归类。
2.2 PDF/图片格式简历批量信息抽取
下面我们再看看图片格式的信息抽取，整体的思路虽然大同小异，但是这里有个地方稍微复杂一些，就是要多一步判断下，目录里的文件是pdf还是jpeg格式。
另一方面，涉及到多页的pdf，每页信息都要试着提取下。
我们可以看到，即使是通过图片转换后再进行实体信息抽取，得到的简历信息还是挺完整的。看来，有PaddleNLP这个好帮手，到招聘季，HR们可以省下好多力气了！
在本项目中，我们使用PaddleNLP开放域信息抽取工具UIE Taskflow，开发了一个可以对Word、PDF、图片格式的简历文件进行批量信息提取的工具，生成的结果可直接供企业HR进行直接补充、筛选和加工。
当然，我们也可以发现，直接用现有的预训练模型，抽取结果还有不少缺失。在后续的项目中，我们尝试将基于项目使用的数据集，用PaddleNLP迁移学习，训练一个精度更高的简历信息抽取模型，并将其在线部署。
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx