WWW'22 | GDNS：基于增益的动态负采样方法用于推荐系统 - 文章 - 开发者社区

picture.image

关注我们，一起学习~

title：A Gain-Tuning Dynamic Negative Sampler for Recommendation

link：http://playbigdata.ruc.edu.cn/dou/publication/2022\_WWW\_Negative\_Sampler.pdf

from：WWW 2022

导读

本文是针对 负样本采样过程中可能采样到假阴性样本的问题 提出的相关方法，现有的方法通常侧重于保持具有高梯度的难负样本进行训练，导致优先选择假负样本。假阴性噪声可能导致模型的过拟合和较差的泛化性。为了解决这个问题，本文提出了一种增益调整动态负采样方法 GDNS。

设计了一个期望增益采样器，该采样器涉及用户对训练中正负样本之间偏好差距的期望，以动态指导负选择。可以有效地识别假负样本并进一步降低引入假负实例的风险。
为了提高训练效率，在每次迭代中为每个用户构建正负组，并开发一个分组优化器以交叉方式优化它们。

方法

picture.image image.png

2.1 增益感知的负采样

由于常用方法存在假负例的情况，因此本文希望找到一种更可靠的衡量方式来找到负样本。本节设计了一个曝光感知函数来衡量曝光数据中的负信号，对于一个用户u，以及他交互的商品数据集合，曝光数据中未交互商品𝑗为真正负样本的概率为：

其中𝑡代表训练阶段的第𝑡次迭代，𝜎是sigmoid函数。具有更高的预测分数，与正样本的预测分数接近的未交互样本更容易被选为负样本，这可以有效地在训练过程中提供更大的梯度和更多的信息。

具有较大预测分数的负实例对模型的学习很重要，但通常很少见，即遵循偏态分布。作者通过实验发现，假阴性样本在多次训练迭代中总是具有很高的期望差距，因此，与上式中对负样本和正样本之间得分差异的期望相比， 两次迭代之间的期望增益是监控负样本和正样本集之间差异的更敏感的信号 。相应地，设计了一个增益感知函数来计算商品𝑗是一个真正的负样本的概率，如下式，其中𝛼是使训练稳定的平滑超参数，𝜖防止分母为0。

根据增益调整采样器，对于给定的用户，使得较高的商品j作为负样本。这是因为根据实验发现假阴性样本的G通常低于真阴性样本。因此，模型倾向于利用这种具有较高期望差距的方式来衡量负样本的质量，即 在训练阶段选择具有较高 G 的候选负样本作为负样本。即这些样本更有可能是真负样本 。这种方式可以有效地降低引入假阴性实例的风险。