关注我们，一起学习
参考论文：Deep Context Interest Network for Click-Through Rate Prediction
链接：https://arxiv.org/pdf/2308.06037.pdf
公司：美团
会议：CIKM 2023
1 引言
大多数点击率模型聚焦于用户行为建模来提高准确性，往往仅关注与用户发生点击交互的item本身，而忽略被点击item附近同样被展示的其它选品(称为item的上下文)，因此导致性能较差。如下图，常见模型只考虑高亮的item本身，忽略了list中同时被展示的其它3个item。为解决这个问题，本文提出了深度上下文兴趣网络(DCIN, Deep Context Interest Network)，在构建CTR模型时兼顾考虑item上下文信息，并在离线和在线评估中都取得不错的提升。
2 模型结构
DCIN由三部分组成：1)位置感知上下文聚合模块(PCAM, Position-aware Context Aggregation Module)，利用注意力机制对展示的item进行聚合；2)上下文反馈融合模块(FCFM, Feedback-Context Fusion Module)，通过非线性特征交互融合点击的表征和对应上下文的表征，获得上下文感知的兴趣；3)兴趣匹配模块(IMM, Interest Matching Module)，自适应的学习与目标item相关的兴趣，整体结构如下图。
3 方法
3.1 位置感知上下文聚合模块(PCAM)
如引言中图所示，一个页面内通常会同时展示多个item，用户的点击行为不仅取决于其兴趣和item的匹配程度，还受到展示内容上下文的影响。然而仅根据用户的点击行为来建模用户兴趣会忽略掉这部分上下文信息，导致对用户兴趣的表征有偏差。为捕捉用户的上下文感知兴趣，本文设计了PCAM，通过注意力机制聚合每次点击的展示item。无论item本身相关性如何，因为位置偏差的存在，用户通常会倾向点击页面顶部的item。即item的位置也会影响用户的点击行为，因此PCAM也考虑位置信息以便更好地了解用户的实际兴趣。 PCAM可以表述如下：
其中表示和点击item相关的展示上下文，由展示item加权和组成。为可学习参数，为注意力机制的权重，可以被表示为：
其中表示第i个点击和它对应的第j个展示item的相关性，表示item embedding 和绝对位置的embedding 的拼接，同理。为1维embedding向量表示相对位置，和为可学习参数。
3.2 上下文反馈融合模块(FCFM)
为捕获用户的上下文感知兴趣，本文提出FCFM通过非线性特征交互融合点击的表征和相应展示上下文的表征，FCFM通过2层MLP实现，MLP的输入为：
其中*代表对应元素乘积，MLP输出即为点击行为和其相关展示上下文的上下文感知兴趣，为了泛化和可训练性，这部分结构在不同的点击之间共享可学习的参数。
3.3 兴趣匹配模块(IMM)
通过前两个模块，整体建模了点击及其显示上下文信息，以捕获用户的上下文感知兴趣，表示为比仅从点击行为中提取的数据更加精确和全面。为获得与目标项目相关的用户兴趣，可以使用已有的SOTA序列模型，例如DIN，DIEN，BST等。本文选择DIN，形式如下：
其中U代表最终的用户表征，可以与其它特征拼接并送入MLP中做CTR预测。
4 实验结果
与其它方法的对比
交流群：点击“联系 作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
长按关注，更多精彩
点个在看你最好看