关注我们，一起学习
题目：Entire Chain Uplift Modeling with Context-Enhanced Learning for Intelligent Marketing
论文链接：https://arxiv.org/pdf/2402.03379
学校，公司：重庆大学，美团
1 引言
uplift建模在在线营销中至关重要，在电子商务场景中，用户行为遵循一个定义明确的有序链路，包括展示、点击和转化。营销策略在这一有序链路的每个阶段产生不同的提升效果，比如影响着点击率和转化率等指标。尽管uplift模型很有用，但现有研究中忽视了特定treatment下所有营销阶段内跨任务的影响(比如同一个treatment影响下，用户点击和转化两阶段的uplift效果是不同的)，且没有充分利用因果信息，这可能会给随后的营销决策带来巨大偏差。为解决这些问题，本文将这两个问题定义为链路偏差问题和treatment不适应问题，提出了一种全新的uplift方法——上下文增强学习的全链路uplift方法(ECUP)。
ECUP由两个主要部分组成：1）全链路增强网络，利用用户行为模式在整个链路空间估计ITE，对每个任务的多种影响进行建模，并通过整合任务先验信息来增强所有阶段的上下文感知，捕捉不同任务上treatment的影响；2）Treatment增强网络，它通过bit级特征交互实现细粒度的treatment建模，从而实现适应性特征调整。
2 链路偏差分析
为研究营销链路中每个阶段的uplift关系，本文分析了公共数据集CRITEO-UPLIFT和从美团收集的MT-LIFT数据集，随机分割数据并绘制了几个选定段的uplift图，如下图所示，定义和为第k段treatmeant组和control组转化的样本数，和分别表示总样本，则实际的uplift值为：
据此得到了CTCVR和CVR的实际uplift值，由下图可知，CTCVR和CVR在不同段之间的变化趋势并不完全一致，不能仅通过点击集上的CVR提升来获得链的最终实际提升。这种现象的主要原因是用户在顺序行为的每个阶段有不同的关注点，导致treatment在链路的不同阶段对行为的影响程度不同。如果只使用在点击集上训练的提升模型，它将对后续的营销决策产生毁灭性的偏差。
3 方法
模型整体结构如上图所示，主要由两部分组成：1.全链路增强网络(ECENet)，使用用户的序列模式来估计整个链路空间中每个任务的结果，并使用任务增强网络(TAENet)注入任务先验信息以实现上下文表征，捕捉每个任务上的不同uplift，以避免链偏差的负面影响。2.Treatment增强网络(TENet)，旨在引导初始特征的treatment感知细化，并实现不同treatment下embedding表征的bit级别自适应调整，以解决treatment不适应问题。
3.1 全链路增强网络(ECENet)
在特定treatment中，个体对不同任务的响应各不相同。此部分的目标是在捕获任务感知特征表达，传统通过多个塔来学习多任务目标的方法表达能力有限，无法捕捉treatment对不同任务的不同影响。如结构图所示，本文提出任务增强网络(TAENet, Task-Enhanced Network)，以深度融合任务先验与treatment增强表示(TENet的输出)，实现上下文增强的参数学习，它对 DNN 的参数进行个性化选择和放缩，以平衡不同上下文中特征的稀疏性。
为了在不同上下文中捕获每个实例的响应，任务增强网络(TAENet)通过门控机制使用先验信息自适应的获取DNN每层的参数。使用任务信息作为先验输入，并通过多头注意力网络将其建模为treatment增强的embedding表征。为保证初始化和treatment embedding的稳定性，这部分训练时只更新任务表征. 其中任务信息作为注意力网络中的Query，treatment增强表征作为Key和Value来捕获上下文增强先验信息：
接着，将先验信息注入到MLP结构的门控机制中，门控机制的输出结果和每个DNN塔的每层(最后一层除外)结果点乘，实现参数选择。文中每个DNN塔的每层参数应该是共享的，这样能缓解子任务样本稀疏的问题。
3.2 Treatment增强网络(TENet)
如图所示，TENet由两部分组成：treatment感知单元(TAU)和treatment增强门控(TEGate)。本文使用bit级的加权来实现细粒度的treatment增强特征细化。
Treatment感知单元(TAU)由两部分组成，自注意力机制和MLP搭建的treatment信息提取器。自注意力机制输入为，捕获所有特征对之间的交叉表征关系，以获得个体在其自然状态下的精细化表示。得到输出结果, 其中三个输入为：
Treatment信息提取器处理用户在不同treatment下的适应性，对于输入的treatment表征，通过MLP得到bit级输出,TAU最终输出为点乘结果：
本文使用两个独立的TAU获得treatment感知表征和bit级权重
初始特征表示用户的自然状态，如果不考虑初始特征可能会丢失一些有价值的信息。因此，在获得treament感知表征和bit级权重后，使用门控机制在bit级别融合这两部分以获得最终的treatment增强表征：
为了显示的表达treatment，在此基础上拼接原始treatment表征：
与传统的通过注意力权重进行的特征交互相比，TENet主要具有以下两个优点：1.它平衡初始化和treatment感知表征，以适应不同treatment下的特征；2.使用位级特征交互以更细粒度的方式实现treatment增强。
4 实验结果
模型对比结果
交流群：点击“联系 作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
CIKM'24 | TWIN-V2：超长用户行为序列建模在快手的应用
腾讯 | ADSNet：基于自适应孪生网络的广告跨域LTV预测
长按关注，更多精彩
点个在看你最好看