基于分割和识别的服饰商品的自动推荐

picture.image

向AI转型的程序员都关注了这个号 👇👇👇

机器学习AI算法工程 公众号:datayx

衣服商品的推荐

衣服的自动推荐一直是一个商业热点,如何根据现有的衣服的特征(颜色,纹理,款式等)在数据库中找出相似度最高的衣服,并推荐给用户是非常具有挑战性的。目前常用的服装推荐系统是基于文本标注的,但是文本标注的成本非常高,目前有不少的方案都采用了弱监督的学习方式,或者采用sift特征点等作为图像检索的依据,但是效果依然不理想,这篇博客主要分析2013年的一篇论文Getting the Look: Clothing Recognition and Segmentation for Automatic Product Suggestions in Everyday Photos。

这篇文章把服装的检测,分割,识别,特征识别作为一体来做,能够在服装的推荐系统中取得不错的效果,这篇文章从人体姿态识别开始做起,然后分割出最有可能是衣服的区域,在分割前景和背景的时候,作者使用了一种空间表达mask,用来表达衣服,头发,帽子,鞋子等信息。

第一步,我们从一些开源的数据集里面找到一些模特人体估计的数据集来训练生成我们的人体关键点检测网络模型。这些人体姿态估计数据是开源,不难找到。常见的有26点的人体姿态估计和19点的人体姿态估计。

下面是作者贴出的基于人体特征点的框选区域:

picture.image

但是经过第一步处理的区域非常的粗糙,不足以做衣服的识别的支撑,第二步,作者生成了一个概率图,用于估计衣服商品出现的可能区域,结合衣服出现的区域信息,利用区域信息作了一个投票算法,用来描述出人体的粗糙的轮廓,投票算法结果如下:

picture.image

虽然现在有了概率图,有了前景,有了背景,但是距离衣服的分割还是很远,进一步利用目前已有的姿态估计的信息,结合近似高斯模型(AGM)来做聚类,聚类的目的是可以把前景的部分进一步分离开,比如属于脚的部分就可能属于鞋子等,属于头部可能属于帽子和头发的概率更高。首先作者确定了K个类别(帽子,鞋子等)。

picture.image

如此便得到了一个“稍微准确”分割模型,ps(值得注意的是,现在有的服装分割数据和网络模型能够做出比这个准确很多分割结果)。虽然看起来还是很丑陋,但是已经大体上能够用了。现在分割结束了,下一步便是做特征提取,提取商品的属性的时候,提取特征的时候,作者利用局部敏感哈希索引表(LSH)来表达分割结果,利用局部哈希计算最大的相似度来匹配图片,这个过程是不需要进行学习的。在视觉特征上面,作者选用了颜色和纹理作为相似度匹配的依据。

作者首先将衣服中的颜色量化为29种颜色,然后提取了3*3的LBP纹理描述子,加上类别信息,一共是39维的向量作为图像相似度计算的依据。在这里作者对29维的向量作了归一化,具体的计算方式作者采用的是汉明距离的计算方式,作者发现肤色并不属于商品属性,所以他在分割中去除了肤色的信息。得到了如下的分割信息

picture.image

最终的商品推荐效果如下;

picture.image


阅读过本文的人还看了以下文章:

【全套视频课】最全的目标检测算法系列讲解,通俗易懂!

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门:基于Python的理论与实现》高清中文PDF+源码

python就业班学习视频,从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材

笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源!CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师,你的面试为什么过不了?

前海征信大数据算法:风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类

VGG16迁移学习,实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七):图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分?

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师(共四面)通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

搜索公众号添加: datayx

picture.image

长按图片,识别二维码,点关注


机器学习算法资源社群

不断上传电子版PDF资料

技术问题求解

QQ群号: 333972581

picture.image

长按图片,识别二维码

0
0
0
0
评论
未登录
暂无评论