Price Suggestion for Online Second-hand Items with Texts and Images
本文是阿里提出的基于item图片和描述text来对二手商品的定价给予建议。
较长的公式可以左右滑动
背景
- 好的定价能够促进用户的参与，并且增加商品的交易，提升app的活跃度。
- 二手商品中的图片和商品的描述，他们的信息是可以互补的；但是，他们的重要程度是不同的，
- 二手商品的图像和文字描述的质量无法保证。因为用户花在这个上面的时间会比较有限。有的用户描述的比较准确，而拍的照片比较模糊；而有的用户拍的比较好，但是描述可能就是“想要的私聊~”。
由于存在上述这些问题，因此提出利用以下方案来解决上述问题：
- 设计一种方案来判断用户拍的照片和描述的文字的质量是合格的。如果不合格，给用户建议重排或重写等。
- 用其他数据特征来辅助。主要包括：所有已售二手物品的第一、第二、第三四分位数和平均售价，以及所有上市但未售出的二手物品的挂牌价；每个类别中所有已售二手物品的第一、第二、第三四分位数和售价的平均值，以及每个类别中所有已上市但未售出的二手物品的挂牌价格。
- 用现有数据充足，有助于训练好的定价模型
方法
该流程中需要两个约束：(1) 百分位约束（即平台上有多少百分比的二手物品具有合理价格建议的合格图片和文字），以及 (2) 阈值约束（即图片和文字为符合合理价格建议的条件应该是其价格预测误差小于给定的阈值）。基于上述约束，设计 两个二分类的分类器 ，用这两个分类器基于原始数据（图像or文字描述）和其他辅助特征来判断图像or文字描述是否合格，即是否足够好可以用于定价。在得到好的图片和文字描述后，利用回归模型给出建议定价。对于不好的图片or描述，建议用户在此编辑。不好的文字描述or图片会影响最终定价，另一方面会损害用户体验。因此，分类模型起着很重要的作用。
数据处理
原始的数据是长尾分布的，不利于训练，因此作者通过将其进行log操作，转换后可以得到接近高斯分布的数据。
特征提取
特征提取主要是针对图像数据和文字描述部分进行特征提取。本文采用阿里提出的图像检索技术，从上传的图像中检测到item，并且提起item的视觉特征。对于文字描述则是通过建设好的语料库，对文字构建one-hot后进行embedding得到都是实数的向量。通过对数据的分析，作者将向量大小设置为32，对于文字描述长度小于32则补0，对于大于32的则直接取前32个。正如前文所说文字描述和图像的重要性是不同的，因此不能直接直接将两个向量拼接，本文在得到图像和描述的特征向量后，接上了attention层，来反映不同的重要性。如图所示，红色矩形框中，将拼接后的向量输入到全连接层（FC），然后计算相似度得分，最后再和对应的向量相乘后拼接。
训练
文中总共有三个模型，两个二分类模型和一个回归模型。在训练二分类的时候，我们需要正负样本，正样本是价格预测的错误值低的；而负样本是价格预测的错误值高的。但是，价格预测模型又需要两个二分类模型，他的性能受到两个模型的影响的。因此这两部分模型是相互耦合的，因此本文联合优化这两部分。
用百分比约束
标记训练样本的标准可以有很多种，即商品的图像和文本描述是否有资格提供合理的价格建议（正面）或不合格（负面）。在线交易平台的运营商可以根据他们的统计数据采取百分位策略，例如50%的项目是正面的，另外50%的项目是负面的。在这种情况下，分类模型应该将前 50% 的最佳价格建议的项目视为正面，其他视为负面。联合训练带有百分位约束的分类模型和回归模型的损失函数为：
其中表示二分类模型，表示价格回归模型。表示整个样本的百分比，是超参数。超参数，用于平衡两类样本（合格和不合格的）。
损失函数的第一项，表示在正样本下最小化定价预测的损失；另一方面，促进的标记更准确。第二项用于约束至少有比例的正样本。
用阈值约束
基于百分数的方法需要平台有一定的先验知识来对所占百分比的超参数进行设置，当无法对其进行设置时，可以采用用阈值约束的方案，即如果item的价格预测的误差小于了阈值，则认为该样本是正样本；否则就是负样本。使用这种方法时，正负样本很有可能是 不平衡的 ，因此需要加权。
是超参数，定义交叉熵损失函数的作用；是对应的权重，即刚刚说的不平衡因素导致需要权重。，，P和N为正负样本数。
其中，第一项和基于百分比的第一项的作用是一样的；交叉熵损失函数用于优化二分类。
定价损失函数
- 如果item已经售出，则预测的价格不能低于这个价格，不然会损害卖家利益，但是也不能高出太多
- 如果item还没售出，则预测的价格不能高于这个价格，因为可能是这个价格太高导致没人买，但是也不能太低。
损失函数汇总的就是用来控制前面所说的不能高出太多和不能低于太多。文中分别设置为1.2和1/1.2
^{\text>更多内容：
推荐系统（十二）「腾讯」推荐系统中one-hot一定好吗？它忽略了一些信息
推荐系统（十一）——「华为」因果推断+信息瓶颈进行表征解耦纠偏
快来加入推荐系统交流群吧，“联系作者->拉入群 or RS群聊”