点击蓝字关注，提升学习效率
title：Zero Shot on the Cold-Start Problem: Model-Agnostic Interest Learning for Recommender Systems
from：CIKM 2021
- 导读
本文是针对新用户方面的冷启动文章，作者提出双塔结构的MAIL，一个塔用于冷启动，另一个塔关注排序问题。
- 零样本塔首先 使用双自动编码器进行跨模态重建，从高度对齐的隐藏特征中为新用户获取虚拟行为数据；
- 然后 排名塔可以根据零样本塔完成的数据为用户输出推荐。
- 方法
2.1 问题定义与符号
2.1.1 特征
用户属性，用户行为，上下文，目标商品。用户属性包含用户的ID，公司等，用户行为是用户交互过的商品的ID序列，上下文包含日期，地理位置等，目标商品的属性包含ID，类型等。推荐系统就是学习一个映射函数f(x)得到每个商品的分数，其中x={a,c,v,t}。
通常原始的特征可以表示为one-hot向量，然后经过映射得到低维稠密的embedding，这里的a，v即为embedding，，。
2.1.2 RS中的零样本学习
在冷启动推荐中，有两个范围：旧用户范围 S 和新用户范围 O。对于老用户，有四类特征准备好对模型进行排序，表示为。对于新用户，行为缺失，新用户的特征表示为。在本文中，在老用户的基础上训练了一个零样本塔，可以应用于新用户获取虚拟行为数据 来应对冷启动问题。
2.2 MAIL方法
2.2.1 整体想法
MAIL 的总体思路如图所示。除了一般排名塔外，还有一个新的零样本塔。排名塔基于零样本塔完成的数据输出推荐，零样本塔采用排名塔的embedding。两个塔的协同训练使推荐系统不受冷启动影响，从而实现了性能的增量提升。
2.2.2 零样本塔
首先，明确零样本塔是 针对老用户进行训练 ， 对新用户进行推理 ，根据属性将老用户的行为数据传递给新用户。因此，训练的时候用到老用户的用户特征和行为数据，这部分是通过embedding层得到的，embedding层经过排名塔训练，从图中也可以看到embedding层是共享的。
为了对不同的特征进行加权，然后将自我注意技术应用于和，分别构造属性特征和行为特征。以属性特征为例，注意力机制执行如下，
基于注意力机制得到的和，执行跨模态重建以对齐用户属性和行为，从而更有效地生成基于属性的行为。在属性空间，损失函数为下式，
在行为空间，损失函数为下式
其中,，E是编码器，D是解码器。跨模态重构损失利用p和q来重构a和v，使得q和p对用户属性和用户行为具有相同的预测能力。一个batch的表示为,一个batch的表示为,通过MMD来最小化两个矩阵的分布的距离从而引到跨模态重构。公式如下，其中H表示再生希尔伯特空间，是表示将embedding映射到H空间，具体可见https://zhuanlan.zhihu.com/p/25418364。k是核函数，具体如下,其中σ=1。
结合上面三个损失函数，总的损失函数构建为，，前两个损失函数是训练模型的重构能力，最后一个是使得不同模态的信息在同一空间。然后就可以生成新用户的虚拟数据，如下，
2.2.3 排名塔
排名塔以不同的方式对待新用户和老用户，也就是说应该有一个标志来表示一个用户是否是新用户，如下，
有了flag后，从而可以根据不同的flag得到不同的输入，
在得到输入x后，通过pooling层可以得到表征，以用户属性为例，其他也一样，公式如下，
通过多层感知机，得到最终的预测值，公式如下，
排名塔采用交叉熵损失函数进行训练，
因此总的损失函数为其中两个塔被 共同训练 以解决推荐系统的冷启动问题。在实际应用中，不仅测试数据会有新用户，训练数据也会有新用户。排序和冷启动两阶段模型很难解决排序模型训练阶段的数据缺失问题，因为基于embedding的冷启动模型必须在排序模型之后进行训练。相比之下，所提出的 MAIL 被设计为端到端模型，以便在需要时从零样本塔获取排名塔的虚拟行为数据。
2.2.4 实现
MAIL在训练中涉及两个优化器，G_A训练L_zst，G_B训练L_rt。embedding层完全有G_B训练，这也对应于前面说的embedding由排名塔训练得到。具有残差结构的自动编码器：在零样本塔中使用两个自动编码器来执行跨模态重建。考虑到推荐系统中的稀疏信息，为自动编码器设计了一种残差结构，以更好地执行重建任务。以图2中的左自编码器为例，残差结构如图3所示。残差编码器的前向传播可以表述为：
残差解码器的前向传播可以表述为：
伪代码如下，
- 结果 =======
image.png
精彩推荐
ICDE'21「阿里」结合局部信息SCCF：探索用户邻域进行实时电商推荐
交流群：点击“联系作者”--备注“研究方向-公司或学校”
长按关注
更多精彩
秋枫学习笔记
点个 在看 你最好看