CMI：结合对比学习和多兴趣挖掘的微视频推荐 - 文章 - 开发者社区

picture.image

关注我们，一起学习~

标题：Improving Micro-video Recommendation via Contrastive Multiple Interests

链接：https://arxiv.org/pdf/2205.09593v1.pdf

会议：SIGIR 2022

公司：MX Media

导读

本文主要关注微视频的推荐 方面的一篇短文，现有的微视频推荐模型依赖于多模态信息，并且学习的embedding无法反映用户对微视频的多种兴趣。本文结合对比学习 提出提取对比多兴趣 并设计微视频推荐模型 CMI。CMI 从用户的历史交互序列中为每个用户学习多个兴趣embedding，其中隐式正交微视频类别用于解耦多个用户兴趣。此外，构建对比多兴趣损失，以提高兴趣embedding的鲁棒性和推荐的性能。

方法

picture.image 用户集合表示为U，商品集合为V，用户u在时间t与商品v交互可以表示为，给定用户，其交互序列可以表示为，用户的多个兴趣表征可以表示为，然后，对于每个兴趣embedding，计算每个候选微视频的余弦相似度，并召回具有相似度最高的K个微视频，即总共召回了mK个微视频。最后，从召回的微视频中，根据余弦相似度选取topK个微视频。

2.1 多兴趣和一般兴趣编码器

本文认为商品的类别 是用户兴趣的基础 。假设有m种全局类别并设置可学习的隐式embedding为。对于交互序列中的商品，通过embedding层依次得到每个商品的embedding，得到。使用商品embedding和类别embedding之间的余弦相似度作为衡量商品属于类别的分数。公式如下，

然后归一化得到相应的概率，

然后可以得到商品类别对应的用户兴趣为在执行类别分配时，可能会遇到两种退化情况。

每个商品具有相同或相似的属于不同类别的概率。造成这种退化的原因是学习到的商品类别embedding很相似。
所有商品都属于同一类。

为了避免退化情况，将类别embedding和商品embedding都约束在一个单位超球面内，即，并将两两类别的embedding约束为正交，公式如下，

除了对用户的多种兴趣进行编码外，还使用 GRU 对用户的一般兴趣的演变进行建模，获得用户的一般兴趣

2.2 对比正则项

部分交互中隐含的用户兴趣与所有交互（所有交互的意思是整个交互序列）中隐含的用户兴趣相同。因此，采用随机抽样来得到不同的子序列，从而获得增广的数据 。具体来说，给定用户的历史交互序列，从中采样个微视频，并根据它们在中的顺序形成一个新序列，其中μ是采样率，f是最长序列长度默认值为 100。通过随机采样两次，得到两个序列和。然后将这两个增强序列馈送到两个多兴趣编码器，以学习两组用户兴趣，即和，可以表示为下式，

然后，构建一个对比多兴趣损失。对于用户的任何兴趣embedding，构造一个正对，用和其他2m-2个兴趣embedding构造2m-2个负样本对。由于m通常不会太大，因此上述负对的数量是有限的。给定，利用同一批次中每个其他用户的兴趣embedding来构建额外的负对。综上，设训练batch为B，batch size为|B|，对于每个正对，有2m(|B| − 1) + 2m − 2 = 2(m|B| − 1) 个负对，形成负集。损失函数如下所示，

通过数据增强和对比多兴趣损失，用户兴趣学习不再对特定的正交互敏感，从而减少噪声正交互的影响，实现正交互降噪。