玩手机行为检测(分类+检测)

技术

picture.image

向AI转型的程序员都关注了这个号👇👇👇

项目背景

picture.image

因此在工业上,对于手机行为的检测需求日益增多,目前主要采用检测进行手机的定位辅助分析。

本项目针对这一特点,实现思路如下:

利用PaddleX快速训练轻量化检测模型PP-YOLO Tiny,并通过一个识别模型MobileNet进行检测矫正。- 保证实时性的同时,也保证较高的精确度。

代码地址:

关注微信公众号 datayx 然后回复 玩手机 即可获取。

一、数据样式(数据说明)

本项目的数据分为 检测数据(8000张) 与 识别数据(16683张) 两类:

1.检测数据

检测数据位于数据集: 违规使用手机识别.zip

  • data/data105315/违规使用手机识别.zip

解压后,数据包含在train.zip中,还需再次解压数据,最后解压完成后,数据如下:

picture.image

最终用于训练的检测数据位于0_phone中,检测数据格式为VOC格式——可直接使用PaddleX进行数据划分,并直接用于PPYOLO-Tiny模型的训练。

用于检测的数据在当前项目中仅仅包含0_phone下的数据,该数据均为包含手机的图片,因此,后期项目训练过程中,可以适当的添加1_no_phone中的图片作为背景图片加入到模型的训练数据中。

picture.image

2.识别数据

识别数据位于数据集: recognize_phonedata.zip

  • data/data105315/recognize_phonedata.zip

解压后,数据如下:

picture.image

其中, 0_recognize_phone文件夹中包含手机的识别图片,1_recognize_nophone中包含非手机的识别图片。

识别数据中的0_recognize_phone文件夹图片均来自检测数据中0_phone中标注的手机(裁剪)数据,而1_recognize_nophone文件夹图片均来自1_no_phone中随机裁剪的数据作为非手机的类别。

picture.image

本项目中的非手机图片数据集由随机裁剪获得,受限于原始1_no_phone中存在一些大小不均匀的图片,因此固定大小尺寸进行裁剪后,有的非手机图片为人或者衣服等。

但按照该识别数据集,对于该任务已经有了一个不错的提高——后期通过完善识别模型的数据以及泛化精度的提高,将更好的提升该串联方案的效果。

二、模型选择(应用场景考虑)

考虑到工业应用上,通常要求实时性与部署成本的问题,选择轻量化化检测模型PP-YOLO Tiny作为检测模型——同时,为了保证一个手机识别的较高准确率,训练一个识别是否为手机的识别模型,对检测后的目标进行二次识别,保证检测的准确性。

因此,模型的架构为: PP-YOLO Tiny(目标检测) + MobileNet(图像识别)

picture.image

之所以外加MobileNet作为精度提升的一个组件,是因为PP-YOLO Tiny在追求轻量化时,骨干网络相对较弱,在识别精度上有一定的错误率(可能来源骨干网络识别能力不够,也可能因为定位能力不够导致识别受影响);

三、模型训练

首先下载PaddleX2.0用于后期的项目开发。

pycocotools: 是为了提供COCO数据集的加载功能——以辅助Paddlex实现数据的自动划分、数据格式转换等

picture.image

picture.image

(3)加载数据

  • 数据预处理方法:

https://github.com/PaddlePaddle/PaddleX/blob/release/2.0.0/docs/apis/transforms/transforms.md

train_transform:

picture.image

VOC格式数据自动加载接口

picture.image

picture.image

(4)生成检测模型的anchors

由于不同的数据集的应用场景等不同,因此模型在使用时,往往针对特定数据进行anchor的聚类生成会更容易拟合数据集。

一般来说,聚类后的anchors仅适用于训练时特定的大小,部署时不宜改动,否则精度损失较大

picture.image

(5)训练模型

picture.image

(6)模型错误分析——COCO错误分析

如果直接运行coco_error_analysis失效(及以下代码),可手动重新生成json再进行分析(后续代码)

picture.image

picture.image

picture.image

(7)检测可视化

用于展示模型检测效果

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

picture.image

五、PaddleX-SDK串联部署

SDK是指:

PaddleX Manufacture基于PaddleX-Deploy的端到端高性能部署能力,将应用深度学习模型的业务逻辑抽象成Pipeline,而接入深度学习模型前的数据前处理、模型预测、模型串联时的中间结果处理等操作都对应于Pipeline中的节点PipelineNode,用户只需在Pipeline配置文件中编排好各节点的前后关系,就可以给Pipeline发送数据并快速地获取相应的推理结果。

picture.image

  • PaddleX Pipeline:完成业务逻辑的推理预测,同时提供向其发送数据和获取结果的接口。
  • PaddleX Config: 定义Pipeline的节点类型和前后关系。
  • PaddleX Node:功能节点,例如图像解码节点、图像缩放节点、兴趣区域提取节点、模型推理节点。
  • PaddleX Deploy:高性能模型推理能力。

以PaddleX导出后的单一检测模型(无数据前处理、无中间结果处理)为例,配置好流程配置文件后使用简单几行代码就可以完成预测:

picture.image

而对于本项目的SDK部署不再采用单模型的Pipeline,而是通过SDK实现更便捷的模型串联——即多模型Pipeline

检测+识别的模 型部署串联Pipeline

picture.image

picture.image

picture.image

picture.image

在测试时,请注意使用存在目标的图片进行串联测试——因为当前SDK版本下,检测与识别串联时,如果检测无目标,在传入识别模型时会报错终止。

检测与分割串联时,如检测无目标,传入分割模型不会报错终止!

节点相关内容可参考下图

2.节点表

picture.image

机器学习算法AI大数据技术

搜索公众号添加: datanlp

picture.image

长按图片,识别二维码


阅读过本文的人还看了以下文章:

TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank,用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解,通俗易懂!

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门:基于Python的理论与实现》高清中文PDF+源码

《深度学习:基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频,从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材

笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源!CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师,你的面试为什么过不了?

前海征信大数据算法:风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类

VGG16迁移学习,实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七):图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分?

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师(共四面)通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

搜索公众号添加: datayx

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动 GPU Scale-up 互联技术白皮书
近日,字节跳动正式发布基于以太网极致优化的 GPU Scale-up 互联技术白皮书,推出 EthLink 的创新网络方案,旨在为 AI 集群提供低延迟、高带宽的高速互联传输,满足 AI 应用对 GPU 之间高效通信的需求。这一举措标志着字节跳动在 AI 基础设施领域的突破,有望推动通用人工智能(AGI)和大语言模型(LLM)的进一步发展。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论