TLDR: 本文提出了一个通用的强化学习框架REC-R1，通过闭环优化将生成式大语言模型与推荐系统连接起来。与提示和监督微调不同，REC-R1直接利用来自固定黑盒推荐模型的反馈来优化大模型的生成，无需依赖专有模型（如GPT-4o）生成的合成监督微调数据，从而避免了数据蒸馏所需的大量成本和工作量。
论文：https://arxiv.org/abs/2503.24289
代码：https://github.com/linjc16/Rec-R1
背景介绍
推荐系统已经成为众多实际应用中的关键组成部分，广泛应用于电子商务、视频平台、新闻推送和社交媒体等领域。这些系统通过分析用户的行为和偏好，为用户提供个性化的推荐内容，从而提升用户体验和平台的商业价值。然而，尽管推荐系统在过去几十年中取得了显著进展，现代系统仍然面临一些根本性的局限性。最突出的是，它们缺乏开放域的世界知识，难以理解用户的潜在动机和偏好。这些不足常常导致推荐效果不理想，尤其是在用户意图隐含或以自然语言表达的复杂场景中。
近年来，生成式大语言模型的发展为增强推荐系统提供了新的可能性。这些模型在大规模的网络语料库上进行训练，具备广泛的开放世界知识以及强大的自然语言理解和推理能力。这些能力使得大模型特别适合处理涉及语言输入和隐式意图的推荐场景。因此，研究者们开始探索将大模型应用于推荐系统的各个阶段，包括查询重写、用户意图总结等，以提升下游推荐任务的性能，如检索和排名。
然而，现有的方法大多将大模型和推荐模型视为独立的组件，缺乏大模型生成与推荐性能之间的闭环反馈。具体来说，这些方法通常依赖于静态数据和代理监督目标来优化大模型，而非直接利用推荐系统的反馈。这导致了大模型的优化目标与提高推荐质量的最终目标不一致。此外，构建高质量的监督数据（如查询重写任务的标注数据）不仅成本高昂，而且难以真正与最优的推荐性能对齐。此外，生成这些数据的规模通常受到时间和财务成本的限制。下图展示了所提出模型相比于监督微调的优越性。
概念验证展示了基于GPT-4o生成数据的监督微调的局限性
为了解决上述挑战，本文提出了REC-R1，这是一个通用的强化学习框架，通过闭环优化将生成式大模型与下游黑盒推荐系统连接起来。与现有的提示和监督微调方法不同，REC-R1直接利用来自推荐系统的反馈来优化大模型的生成，而无需依赖专有模型（如GPT-4o）生成的合成数据。这种方法不仅避免了数据蒸馏所需的大量成本和工作量，还能够使大模型直接学习如何生成与推荐系统目标一致的文本输出，从而显著提升推荐性能，同时保留大模型的通用能力。
下图展示了在推荐系统中使用大模型的三种范式比较。其中，提示（Prompting）使用冻结的大模型为推荐系统生成文本输入而无需任何模型更新。监督微调（SFT）训练大模型以模仿一个更强的模型（如GPT-4o）产生的输出，但训练过程不涉及任何推荐系统反馈。Rec-R1引入了一个闭环强化学习框架，其中大模型直接使用来自推荐系统的奖励信号进行优化，而不需要外部注释或数据蒸馏。
在推荐系统中使用大模型的三种范式比较
所提方法
REC-R1框架将大模型与推荐系统的交互视为闭环优化过程。大模型根据输入（如用户查询或行为历史）生成文本输出（如重写查询、用户画像或项目描述），推荐模型使用任务特定的指标评估这些文本输出的质量，并将其转换为标量奖励信号，用于通过强化学习优化大模型的策略。受DeepSeek-R1的启发，REC-R1采用组相对策略优化（GRPO）算法进行优化，避免了传统强化学习算法（如PPO）在训练过程中的高内存消耗，同时保持了竞争力。
问题定义
在REC-R1框架中，大模型接收一个输入
，这可以是用户查询、行为历史或上下文信息。大模型生成一个文本输出
，例如重写的查询、用户画像或项目描述。这个输出被下游推荐模型作为输入，并产生一个基于性能的评估
，例如NDCG、Recall或任何特定于任务的指标。大模型的行为由条件生成策略
控制，其中
表示大模型的参数。目标是找到一个策略，最大化预期的推荐性能：
这里，
表示提供给大模型的推荐相关输入经验分布。
现有范式的局限性
现有的大模型使用范式（如提示和监督微调）未能直接优化上述目标。具体来说：
- 提示方法： 这些方法将大模型视为固定的生成器，依赖于手动构造的提示或少量示例来生成期望的输出。由于模型参数
不更新，策略
保持固定，无法适应任务特定的反馈，导致推荐性能次优。
- 监督微调: 其通过最大化数据生成策略
下采样的动作的对数似然来训练大模型。形式化为：
这种方法鼓励学习策略
模仿
，但在优化过程中没有考虑下游性能
。因此，监督微调训练的模型性能上限由生成训练数据的策略（如GPT-4o）决定，而这些策略本身通常未针对下游推荐任务进行优化。
REC-R1框架
为了克服提示和监督微调的局限性，REC-R1引入了一个通用框架，通过强化学习将生成式大模型与推荐系统连接起来。REC-R1的核心思想是将大模型推荐系统的交互视为闭环优化过程，大模型生成文本输出，推荐模型使用任务特定的指标评估结果，这些评估分数被转换为标量奖励信号，用于通过强化学习优化大模型的策略。
具体来说，REC-R1将大模型和推荐系统的交互形式化为一个标量奖励
，该奖励量化了给定输入
时，大模型生成输出
在下游任务中的表现。奖励可以使用任何反映推荐质量的可微或不可微指标来实现，例如NDCG@K和Recall@K。优化目标是找到一个生成策略
，最大化预期奖励：
与监督微调不同，这个目标不依赖于手动标记的监督或模仿固定策略。相反，它允许模型通过与推荐系统的交互不断调整其行为，以最大化下游推荐任务的性能。
实验验证
在实验验证部分，作者为了评估REC-R1框架的有效性，选择了产品搜索和序列推荐这两个具有代表性的推荐任务。在产品搜索任务中，使用了ESCI数据集，该数据集涵盖了视频游戏、婴儿产品、办公用品和体育用品四个领域。在产品搜索任务中，使用了Amazon-C4数据集。
基线方法包括基于BM25的稀疏检索模型、基于RoBERTa和SimCSE的密集检索模型，以及使用GPT-4o和Qwen-2.5-3B-Instruct进行查询重写的模型。
产品搜索方面的实验结果如下。在ESCI数据集上，REC-R1在所有四个领域（视频游戏、婴儿产品、办公用品和体育用品）中均显著优于基线方法。
在Amazon-C4数据集上，REC-R1在跨域测试中表现出色，证明了其强大的泛化能力。
序列推荐方面的实验结果如下。 在Amazon Beauty数据集上，REC-R1在归纳设置（测试项未出现在训练集中）中表现优于基线方法。在演绎设置（测试项出现在训练集中）中，REC-R1与传统序列推荐模型（如UniSRec）相比仍具竞争力，但表现略逊一筹。
结论
REC-R1作为一种强化学习框架，成功地将生成式大模型与推荐系统连接起来，通过直接利用推荐系统的反馈进行优化，实现了显著的性能提升，同时保留了大模型的通用能力。REC-R1在产品搜索和序列推荐任务上的实验结果证明了其有效性。
更多技术细节请阅读原始论文。