关注我们，一起学习
论文标题：HiLTV：Hierarchical Multi-Distribution Modeling for Lifetime Value Prediction in Online Games
论文地址：https://dl.acm.org/doi/pdf/10.1145/3726302.3730208
会议：SIGIR 2025
学校，公司：清华，腾讯
1 引言
在线游戏的LTV预测面临如下挑战：大多数应用内购买(IAP)的游戏都设有多个固定档位的充值额度，不同消费偏好的用户会呈现不同的LTV分布，现有的LTV预测方法在此场景下存在两个问题：1.在线游戏场景，现有的方法无法拟合多峰值的LTV分布；2.对于未注册的新用户，LTV的预测存在偏差。
因此本文设计了层次化模块来对齐真实世界中用户的充值行为，并采用ZIMoL(Zero-Inflated Mixture-of-Logistic)损失函数替代单峰值分布损失函数，对不同用户群体进行建模。本文还引入校准模块来对新用户进行更准确的预测
2 方法
在线游戏场景的数据分布如下，本文预估的LTV label窗口期为14天，途中可以看到不同于ziln适配的长尾分布，是个多峰值的分布，主要受影响于固定档位的充值额度。这里多峰值可以理解成，在每个固定档位会有一个小峰值，多个峰值组成了整体的LTV分布
整体的网络结构图如下
2.1 共享表征层
用户侧特征(eg: 用户行为数据)和游戏侧特征(item特征，eg: 活跃统计数据和收入数据)通过embedding层得到dense表征向量，对于是否新用户标签，参考PEPNet中的Gate Neural Unit直接将是否新用户这个二元标签，注入到embedding中。文中没有展示细节，二元标签在这里可能作为GNU结构中的gamma缩放因子，起到一个0/1开关的作用
2.2 分层支付偏好感知模块(HP3M)
假设整体的分布由C个子分布组成，每个子分布对应一个不同的LTV片段(可以理解成每个峰值对应的分布)，参考MoE混合专家结构，HP3M由C个残差专家模块(REBs)和一个双注意力模块(DAB)组成。REBs由2层mlp+跳线连接构成，DAB指导模型关注层次化表征中最有用的特征和最有用的专家。
DAB同时在特征层面和专家层面建模，主要通过MaxPool的操作在特征维度统计每个最大值(给每个特征加权)，以及在专家维度统计最大值(给前面的REBs加权)，操作类似于SENet加权机制，形式如下：
最后将
和
(β，写错)作为权重和
相乘，拼接之后的结果过一层mlp再和原始输入相加，做一个跳线连接
2.3 子分布学习模块(SLM)
子分布学习模块遵循的原则是，整体数据的(LTV)分布可以被建模为多个混合子分布，子分布学习模块包括预估购买概率p的塔和预估第i个子分布参数的塔，子分布参数包含均值
、标准差
和权重
，形式如下：
其中
表示第i个双注意力模块的输出，应该一共有C个双注意力模块的结果，图中没有全部画出来。
另外地，对于购买概率p的预估，还使用了pair-wise排序损失来辅助学习，对于每个分布的权重参数，使用了多元交叉熵损失来保证权重和实际LTV分段的一致性，排序损失和多元交叉熵损失分别如下：
2.4 新用户校准模块
新用户和常规用户的LTV分布存在显著差异，NUCM引入了一种基于仿射变化和旋转矩阵的分布校准机制
其中
表示预估的分布参数，共享embedding层的输出传入一个两层的mlp中得到参数Wa和ba，R表示模型内可学习的旋转矩阵
2.5 ZIMoL损失
ZIMoL采用离散化的logistic分布作为混合模型的基础分布，和ZILN损失类似，由购买概率的交叉熵损失和分布损失组成
L-logistic是由混合离散化logistic分布的似然函数定义的
其中
是确定每个离散值y周围区间宽度的离散化参数
2.6 训练和推理
训练阶段，整体的损失由三部分损失加权求和
推理阶段，最终的LTV值由购买概率p和权重最大的子分布的均值
组成
3 实验效果
和各种LTV预估方法对比
下图展示了在推荐列表中，从用户推荐之日起14天内产生支付行为游戏的排名分布，图中可看出HiLTV将支付最多的游戏排在最前面，进一步验证了其优越性
交流群：点击“联系作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
ICML'25 | 从特征交互到特征生成：CTR预测模型的生成范式
KDD 2025 | 多任务离线强化学习MTORL助力推荐系统广告优化
图片
长按关注，更多精彩
图片
点个在看你最好看