DIIT：跨域推荐中的域不变信息迁移方法 - 文章 - 开发者社区

picture.image

关注我们，一起学习

标题: DIIT: A Domain-Invariant Information Transfer Method for Industrial Cross-Domain Recommendation

地址：https://arxiv.org/pdf/2410.10835

公司：OPPO

导读 =======

本文主要针对跨域推荐提出对应的解决方法，现有的大分部方法都假设了一个理想的静态条件（分布是不变），但在实际环境中，数据分布会随着时间发生变化（域内分布和域之间的分布差异）。

本文提出了DIIT，端到端域不变信息迁移方法。

首先，在多个域维护各自的模型，每个模型都以增量模式进行训练。
然后，设计了两个提取器，分别在域级别和表示级别从最新的源域模型中提取域不变信息。
最后，为了提高效率，设计了一个迁移器，将提取的信息迁移到最新的目标域模型

picture.image

2.方法

picture.image

主要由三个模块组成：warm start、域不变信息提取模块和域不变信息迁移模块。

训练阶段

首先，warm start模块来模拟工业RS环境，该模块在每个域都保持一个模型，并以增量的方式训练每个阶段的新模型（图2（a））。
其次，域不变信息提取器模块由两个提取器组成，分别在域级别和表征级别提取域不变信息（图2（b））。

域级别，使用目标域模型的表征，通过门控网络自适应地引导多个源域模型进行聚合。
表征级别，使用对抗网络来对齐聚合的源域表示和目标域表示的分布。

第三，域不变信息迁移器由知识蒸馏（KD）网络组成，将提取的域不变信息从源域模型迁移到目标域模型（图2（c））。
最后，与目标域中的推荐任务同步优化上述模块，从而有效地利用来自目标域的域特定信息和来自源域的域不变信息。

推理阶段 就是采用训练好的某个域的模型进行这个域的数据推理

2.1 warm start

为了模拟工业环境，每个域都维护一个自身域的模型，该模型以增量模式训练，捕获特定域的信息。以周期t为例，

使用最新的传入数据学习每个源域的周期t模型，图2（a）部分中的橙色箭头所示。
对于目标域模型，以warm start的方式使用周期t-1的模型初始化周期t的模型，如图2（a）部分中的白色箭头所示。
每个源域模型的结构可以不同，DIIT是即插即用的，假设在时间段t首次插入所提出的DIIT，则不需要使用所有可用数据从头开始训练目标域模型。

2.2 域不变信息提取模块

2.2.1 域级别提取器

为了在域级别提取域不变信息，聚合多个源域模型输出的表征和logits。将周期t的目标域样本分别输入到最新的源域和目标域模型中。通过门控网络，目标域模型表征用于自适应地引导每个源域模型的表征和logits的聚合。可以表示为下式，其中e和Z分别是第n个源域在周期t时对应的模型的表征和logit，g是门控网络的输出（t周期时的目标域的表征经过mlp+softmax得到权重）

2.2.2 表示级别提取器

在表示级别从多个源域模型中提取域不变信息，从而获取更多细粒度的不变信息。通过对抗网络对齐源域和目标域的表示分布，该网络可以分离域不变信息和域特定信息。（不知道训练难度怎么样，是否会出现坍塌等问题）

这部分提取器由两部分组成，映射器和鉴别器。如图中紫色箭头所示，将来自不同域的样本表征依次输入到映射器和鉴别器中。鉴别器的目的是确定样本是否来自目标域，而映射器的目的则是混淆他们。当鉴别器无法正确确定表示的来源时，就认为源域表示和目标域表示的分布已经对齐 。

从混合数据集中提供样本并使用域级别设计的提取器获得聚合表示。将其输入到映射器中(mlp)：

然后将映射后的emb输入到鉴别器（mlp）中进行识别，判断是否是目标域的数据

对于鉴别器来说，这是一个分类问题，所以最小化采用交叉熵损失函数，更新时只更新鉴别器参数，冻结映射器

反之，映射器是要混淆他们，所以目标是最大化交叉熵损失函数，更新时冻结鉴别器参数

最后通过映射器（mapper）得到的表征即包含域不变信息的表征。