向AI转型的程序员都关注公众号 机器学习AI算法工程
中文数据集
我从THUCNews中抽取了20万条新闻标题,已上传至github,文本长度在20到30之间。一共10个类别,每类2万条。
类别:财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。
数据集划分:
数据集 | 数据量 |
---|---|
训练集 | 18万 |
验证集 | 1万 |
测试集 | 1万 |
更换自己的数据集
-
如果用字,按照我数据集的格式来格式化你的数据。
-
如果用词,提前分好词,词之间用空格隔开,
python run.py --model TextCNN --word True
-
使用预训练词向量:utils.py的main函数可以提取词表对应的预训练词向量。
数据集、词表及对应的预训练词向量,已经打包好,详见THUCNews文件夹。
效果
完整项目和数据集代码获取地址:
关注微信公众号 datayx 然后回复 NLP实战 即可获取。
Python环境及安装相应依赖包
-
python 3.7以上
-
pytorch 1.1 以上
-
tqdm
-
sklearn
-
tensorboardX
TextRNN
分析:
LSTM能更好的捕捉长距离语义关系,但是由于其递归结构,不能并行计算,速度慢。
原理图如下:
终端运行下面命令,进行训练和测试:
python run.py --model TextRNN
训练过程如下:
训练及测试结果如下:使用CPU版本pytorch,耗时18分54秒,准确率90.90%
TextRNN_Att
模型说明
分析:
其中4~6步是attention机制计算过程,其实就是对lstm每刻的隐层进行加权平均。比如句长为4,首先算出4个时刻的归一化分值:[0.1, 0.3, 0.4, 0.2],然后
原理图如下:
终端运行下面命令,进行训练和测试:
python run.py --model TextRNN_Att
训练过程如下:
训练及测试结果如下:
使用CPU版本pytorch,耗时10分48秒,准确率89.89%
机器学习算法AI大数据技术
搜索公众号添加: datanlp
长按图片,识别二维码
阅读过本文的人还看了以下文章:
整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx