关注我们，一起学习
题目：Prompt Tuning as User Inherent Profile Inference Machine
地址：https://arxiv.org/pdf/2408.06577
会议：CIKM 2025
学校，公司：同济，香港城市大学，华为
论文的创新点
- 提出UserIP - Tuning方法，用提示调优推断用户画像，将用户画像与行为序列的因果关系融入LLMs的提示中，并采用期望最大化(EM)算法推断嵌入的潜在画像，通过固定提示模板减少文本噪声。
- 引入画像量化码本，将画像嵌入分类为协作ID，以弥合模态差距，这些ID预存储用于在线部署，提高了时间效率并降低了内存使用。
2. 框架
2.1 预备知识和设置
学习推荐模型可视为学习一个映射函数
，将一组描述性特征集
映射到推荐目标
，公式如下：
描述性特征集
通常来自日志系统信息，包含如性别或年龄等可观察特征
，但由于隐私问题或抽象性，不可观察的用户潜在特征
常缺失（比如兴趣，收入等）。
与
一样是用户行为的原因，如图2所示。将
表示为一组可训练的soft token
，此问题变为寻找最佳潜在变量集以最大化观察到的用户行为可能性的推理问题：
其中，
是将用户潜在特征映射到观察到的用户行为概率的函数。由于推荐领域没有现成的
，大语言模型（LLMs）可作为
的替代模型。
2.2 框架概述
UserIP-Tuning过程如图所示，由用户潜在特征推理模块、用户潜在特征量化模块和预存储的用户潜在特征库组成。推理模块将用户潜在特征视为软提示，通过最大化真实用户交互序列的可能性来推断它们。然后，这些潜在特征由可训练的量化模块哈希为离散的协作ID，最后存储在离线特征库中用于下游推荐任务。
2.3 用户潜在特征推理模块
该模块在LLMs的语义空间中，使用特定任务的软提示和因果掩码对潜在特征推理问题进行建模。
首先，将图2中的概率图（兴趣和背景）重新组织以适应LLMs的自回归结构，如图4所示。为减少文本噪声，仅将目标潜在特征名称旁边的token
视为软提示，且这些软提示仅受各自潜在特征名称的影响。(例子：Hobby是潜在特征名称
，对应的
就是潜在特征表征)
设计的文本提示由三部分组成：
- 上下文token
，表示潜在特征名称； 2. soft latent token
，潜在特征表征 3. 特定任务描述
，比如预估用户历史点击行为等。
提示模板公式为：
具体例子：
其中，x就是这里的hobby，background；
为对应的token embedding。
使用特定的因果掩码进行模型训练，如图4所示，确保软提示仅受各自潜在特征名称的影响。
基于上述提示和因果掩码，LLMs生成用户交互序列的概率分布，计算真实用户交互序列在此分布下的可能性，通过梯度下降算法最大化该可能性，反向推断第
个用户潜在特征
的软令牌嵌入。
构建语言建模损失（交叉熵损失），微调目标是最小化：
，
2.4 用户潜在特征量化模块
上一节推断的潜在特征嵌入在LLMs的语义空间中，包含丰富语义信息，但对推荐任务可能过于详细，且LLMs的嵌入维度过大。
为弥合自然语言处理（NLP）任务和推荐任务之间的模态差距，提高模型效率，设计了用户潜在特征量化模块，从潜在特征嵌入中提取轻量级协作ID。为每个推断的潜在特征分配一个协作量化码本
，每个码本的码大小为
，第
个code的嵌入表示为
。
码本学习过程与传统CV/NLP模型不同，UserIP的嵌入用于在线推荐，建模协作是关键目标，因此嵌入相似性应基于协作信号。
设计的损失函数如下：
训练后，通过找到与上一节推断的潜在特征最接近的码本嵌入的索引来推断用户的潜在特征ID：
潜在特征训练的总损失定义为：
2.5 用户潜在特征库和下游推荐模型
训练大文本嵌入和软令牌会增加计算负载，导致在线推荐推理效率低下。训练UserIP-Tuning后，使用特征库存储每个用户的潜在特征索引
。在线推理阶段，下游推荐模型可直接在预存储的特征库中搜索用户的潜在特征索引并添加到用户特征字段中。
将用户的潜在特征索引添加到传统推荐器（如DCN、DeepFM）中，增强特征字段信息，提高协作信号。推荐器DCN用于输出推荐预测结果
，对于给定的user-item对，将用户的潜在特征索引与用户ID和item ID连接作为推荐器的输入特征字段，单目标损失函数定义如下：
2.6 优化过程
优化过程在算法1中给出。具体而言，在每次迭代中：
- 随机采样一小批量user-item交互记录和特征名称；
- 对于每个数据点，基于语言损失
更新特征嵌入的梯度； 3. 计算每个推断的特征嵌入的最近索引
，基于量化损失
更新码本的梯度并累积特征嵌入梯度； 4. 更新特征嵌入和码本。
实验结论
- 总体性能比较（RQ1） ：
2. 可迁移性研究（RQ2） ：
3. 超参数与消融研究（RQ3） ：
交流群：点击“联系作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
RankMixer：排序模型中的Scaling up怎么做？
SIGIR'25 | HiLTV：网络游戏生命周期价值预测的分层多分布模型
ICML'25 | 从特征交互到特征生成：CTR预测模型的生成范式
图片
长按关注，更多精彩
图片
点个在看你最好看