AAAI'21 「京东」会话推荐--基于图学习和注意力机制的多层次交互关系挖掘

picture.image

点击蓝字关注，提升学习效率

picture.image

Graph-Enhanced Multi-Task Learning of Multi-Level Transition Dynamics for Session-based Recommendation
https://ojs.aaai.org/index.php/AAAI/article/view/16534

背景

基于会话的推荐常用于在线应用，从电子商务到广告业务等。然而现有的工作没有很好地设计方法来捕获复杂动态转移中的时序信息和多层次的相互依赖的关系结构。因此本文提出 Multi-level Transition Dynamics ( MTD ) 方法。能够以 自动和分层的方式联合学习 会话内 和 会话间 项目转换动态。

开发位置感知的注意力机制学习单个会话中的商品转换规律。
提出了一种图结构的层次关系编码器，通过使用全局图上下文执行embedding传播，以高阶连接性的形式显式捕获会话间的项目转换。

方法

令表示商品的集合，M为集合大小。会话s可以表示为，模型的输出为，即每个商品被点击的概率。

2.1 Intra-Session Item Relation Learning

为了捕获会话内的转换关系，作者设计了两个模块了学习内部转换模式： 位置感知的自注意力网络 和 会话特定知识表示的注意力聚合 。

2.1.1 Self-Attentive Item Embedding Layer

作者利用自注意力网络将会话的原始表征映射为潜在表征。公式如下：

令表示经过attention后的表征，表示softmax函数，紧接着再经过FFN增强非线性表征，公式如下，其中表示ReLU激活函数。

2.1.2 Position-aware Item-wise Aggregation Module

作者进一步设计了位置感知的注意力聚合组件以捕获会话内的商品之间的关系。对于和用户未来会感兴趣的商品更相关的会话内的商品会给予更大的权重，令需要学习的权重为，该权重对应于会话中的每一个embedding ，权重个计算公式如下，其中g，w为可学习参数，维度有所不同，g的作用是将其映射为标量。分别为sigmoid和softmax函数。

得到权重后，对其进行加权得到聚合后的表征另一方面，通过注入位置信息进一步增强了会话内 item-wise 融合模块，以捕获项目的特定会话时间顺序信号。位置信号的embedding维度同样为d，也就是和x的维度一致。构建包含位置相对关系的表征为下式，通过相对位置构建权重然后进行聚合得到

最终的表征为拼接后的表征，具体为，包含了最后一个商品的embedding，加权聚合后的embedding和包含位置关系的embedding。经过和目标商品做内积后在经过sigmoid得到最终的分数，会话内的损失函数可以构建为：

2.2 Global Transition Dynamics Modeling

为了捕获会话间的商品转换动态，本文设计了图神经网络架构（如图所示），以将不同会话的高阶相关信号注入会话表示中。 picture.image 令表示图，V为节点，E为边。每一个会话s看成一条从到的边，首先通过传统的GCN在图上进行信息传播，公示如下，这里不再赘述其含义。

2.2.1 Global Dependency Representation

在得到后，捕获来自不同会话的相关项之间的高阶全局依赖关系。首先对H embedding集中的embedding进行聚合，其中为平均池化。本文同样局部级表征H和图级表征 z 之间的互信息关系来增强跨会话商品编码。正负样本分别为，负样本的采样方式可以参考mim。然后将正负样本分别送入编码函数，如下式，结果表示给定h和z，节点属于图G的概率。

最终图级别的损失函数为：

总损失函数为：