CIKM'24 | TWIN-V2：超长用户行为序列建模在快手的应用 - 文章 - 开发者社区

picture.image

关注我们，一起学习

标题: TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou

地址：https://arxiv.org/pdf/2407.16357

学校，公司：人大，快手

会议：CIKM 2024

导读 =======

本文主要针对长期兴趣挖掘提出相关的解决方法。以往的方法（SIM和TWIN）通常采用两阶段方法来模拟长期用户行为序列，以提高效率。第一阶段使用基于搜索的机制，即通用搜索单元（GSU），从长序列中快速检索与目标item相关的序列子集。第二阶段使用精确搜索单元（ESU）计算检索结果的兴趣得分。用户行为序列在整个生命周期中的长度很长，可能达到个，本文设计了TWIN-V2（TWIN的增强版本），通过聚类来压缩生命周期行为，并发现更准确和多样化的用户兴趣 。

在离线阶段，分层聚类方法将生命周期行为中具有相似特征的item分组到一个聚类中。通过限制聚类的大小，可以将行为序列压缩，以便于GSU检索中的在线推理。
聚类感知的target attention提取用户的长期兴趣，从而使最终的推荐结果更加准确和多样化。

2.方法

picture.image

TWIN-v2包括离线和在线两部分，主要关注行为建模部分，由于整个生命周期的行为对于在线推断来说太长了，

因此会先在离线阶段压缩它。用户行为通常包括许多类似的视频，因为用户经常浏览他们喜欢的主题。因此，采用分层聚类 将每个用户历史中具有相似兴趣的item聚合到同一个聚类中。
在线推断使用这些聚类及其表征向量来捕捉用户的长期兴趣。在在线推理过程中，首先，使用GSU从聚类行为中检索与目标item相关的前100个聚类，然后使用ESU从这些聚类中提取长期兴趣。

2.1 生命周期建模

2.2.1 分层聚类

令表示用户的行为序列，用户的交互行为可能会非常长，而其中可能包含了很多相似的交互item，因此本节中作者对用户行为进行聚类和压缩，使得长度为T的序列压缩为长度为的C序列，C中包含的是不同的类型（聚类簇）其中包含了多个相似的交互item，因此整体上。（个人理解是，比如用户连续观看了科幻电影的解说视频，那么这N个视频会给聚类为1个，这个子序列长度就从N减少到了1）

采用分层聚类方法来实现，如算法1所示。

picture.image

首先根据完播率将item分为不同的组（作者实际使用时是M=5组），。

递归地对每个组的生命周期历史行为进行聚类，直到每个聚类中的item数量不超过。对从推荐模型中获得的行为嵌入进行聚类。是通过推荐模型对item进行编码后得到的，因此在聚类过程中也是包含了协同信息的。分层聚类中有一些实践中的参数设置详见原文3.3.1这里就不赘述了。

2.2.2 提取聚类表征

在获得聚类后，需要从每个聚类的item中提取特征。为了最大限度地减少计算和存储开销，使用一个虚拟item来表示每个聚类的特征。将item特征包括数值特征（缩放等）和类别型特征（one-hot等方式编码），对于给定item v，其特征可以表示为下式，

对于聚类簇，对于数值特征计算每个特征的均值作为虚拟item特征的数值特征；对于类别型特征，求均值就没什么意义了，因此作者采用距离聚类中心最近的item的特征作为虚拟item的类别型特征。k表示item和聚类中心的emb向量，将虚拟item的类别特征和数值特征拼接后输入emb层就可以得到每个聚类中心的表征向量，然后候选item的特征就可以和这里聚类中心的特征来计算相似度了。

2.2.3 聚类感知的target attention

给定聚类行为，通过嵌入层得到矩阵。使用target attentiopn来计算目标item与历史行为之间的相关性。采用第一版TWIN中的“行为特征分割和线性投影”技术来提高target attention的效率（这部分可以参考推荐系统遇上深度学习(一四三)-[快手]一致性终身用户行为建模方法TWIN），将item嵌入分为固有特征（视频id，作者，主题）和交叉特征（交互特征，包括点击位置，播放时长等）。

简单解释下：就是把item特征拆解为固有特征和交互特征，而固有特征部分是不会变化的因此可以离线计算好，降低线上推理的耗时；交互部分作为偏置项（如下面的α公式所示）。

q表示目标item固有特征的向量。分别是聚类行为的固有嵌入和交叉嵌入，其中。可以计算目标item与聚类行为之间的相关性得分，由于不同聚类簇中的item个数并不相同，因此进一步考虑拥有更多item的聚类是更重要的，因为更多的item意味着更强的用户偏好，因此

在GSU阶段，使用从长度为的聚类行为中选择相关性得分最高的前100个聚类。然后，这100个聚类被输入到ESU中，根据相关性得分进行汇总聚合，

其中n是聚类中的item数量。构造成多头注意力则为

3 实验

picture.image