关注我们，一起学习~
省流版可以直接看文末总结
HiNet
针对的问题：
现有方法普遍将多场景任务建模为多任务学习，并配合上类似MMoE的门控混合专家来学习场景的共性和各自的特性。但是这种方式会把多场景数据投影到统一特征空间，很难充分捕捉不同场景之间的复杂关系。
解决方式：
将多场景和多任务进行不同层次的建模和优化，进行分层处理，本文提出 层次化信息抽取网络 。
- 场景抽取层 ：通过单独的专家模块提取场景共享信息和场景特定信息，并且通过注意力机制计算其他不同场景对当前场景的共现程度
- 任务抽取层 ：上面是场景专家网络，这里是用任务特异和任务共享的专家网络组成门控网络，任务共享信息和任务特有信息之间的参数干扰。
MTMS
针对的问题：
- 不同目标之间数据不平衡，比如ctr和cvr的数据量存在差异
- embedding耦合，多任务多场景中，我们一般会有一个共享层，来共享不同任务和场景之间的信息，缓解数据稀疏性问题。但是不同的embedding耦合到一起，容易出现跷跷板问题
解决的方法：
- 为每个场景每个目标设置独立的表征，使他们的embedding耦合度第
- 交替更新模型，embedding update的时候更关注表征学习，微调阶段固定表征，只更新上层的网络。表征学习阶段，不同场景，不同任务不同享embedding，各自训练直到收敛（那遇到稀疏场景是不是就不太好了？）；微调阶段，将学习到的表征拼接后，固定不更新，值更新上层的MLP。
PEPNet
针对的问题：
主要针对多场景多任务中的跷跷板问题：
- 多场景中，如果直接粗暴的把所有场景的数据放进一个模型去训练，不同场景的数据分布存在差异，会导致不同场景的表征无法对其，造成跷跷板问题。
- 多任务重，不同任务之间存在依赖性和稀疏性，数据也可能存在不平衡性，因此不同任务之间也可能出现跷跷板问题。
解决的方法：
image.png
- 提出参数和表征个性化网络，将个性化先验信息作为门控网络的输入，通过以下两个模块来强化个性化：
- 表征个性化网络（EPNet）：基于场景特定的门控网络，将场景信息作为输入，动态调整共享层输出的embedding，使得不同的场景可以得到不同的个性化表征，而共享层又可以缓解稀疏性问题。
- 参数个性化网络（PPNet）：基于用户，商品以及一些辅助信息作为输入，经过任务特定的门控网络来影响不同任务的tower的参数，这里其实和阿里的M2M有点类似。
M2M
针对的问题：
- 每个场景或任务的模型存在无法扩展的问题
- 数据样本有限场景下，难以对新场景建模
- 场景间的相关性很复杂，并且可能因不同的任务而有所不同
解决的方法
提出M2M方法，
- 在该方法中利用Meta unit结合场景知识来学习场景之间的相关性，并基于此可以扩展到新的场景
- 设计了一个元注意力模块，来捕捉不同任务之间的相关性
利用场景信息，通过元学习给每个场景各自生成对应的参数，然后该场景中的任务是在该场景生成的参数上进行前向传播和embedding注意力机制的融合。场景信息利用元学习生成各自场景的参数用于后续任务，而不同任务则通过任务id进行门控。
CausalInt
针对的问题：
不同场景之间的数据可能存在相互干扰，比如用户相同的行为，在不同的场景可能是完全相反的结果。而如果我们直接把这些数据直接送入模型训练，那么模型可能会学得很困难。
解决的方法：
基于作者设计的因果图，进行干预，去除混淆，从而去除其他场景的影响。设计了CausalInt模型，主要考虑以下三方面：
- 不变表征建模：建模不同场景间的共享信息，这部分是将所有场景的数据都一起送入一个模型进行二分类
- 负面影响缓解模块：这部分考虑的是不同场景之间进行信息迁移的时候，可能存在负面迁移信息，需要消除
- 场景迁移模块：融合来自不同场景的可迁移信息，以其他场景的信息来增强当前场景的信息
SASS
针对的问题：
- （1）在多场景之间缺乏细粒度和解耦的信息迁移控制。
- （2） 未充分利用整个空间样本。
- （3） 商品的多场景表征解耦问题。
解决的方法：
提出场景自适应和自监督的模型：
- 设计了具有场景自适应门控单元的多层场景自适应迁移模块，以细粒度和解耦的方式选择和融合场景的迁移信息
- 两阶段训练，预训练阶段基于场景监督的对比学习，微调阶段利用预训练好的商品和用户表征模型得到商品和用户的表征，并针对特定场景的目标进行微调。
预训练阶段，在用户视角下，不同场景的用户表征可以看做是对比学习中的数据增广后对应的样本，同一用户的为正样本对，商品视角也是一样。
针对的问题：
不同场景存在的差异性导致统一的多场景模型难以捕捉不同场景之间的相似性和差异性
解决的方法：
image.png
- 通过embedding和注意力机制，把特征映射到全局和场景特定的子空间，分别构建场景无关和场景依赖的特征
- 设计了一个辅助网络来对场景中的共享知识建模，使用多分支网络对场景之间的差异性建模
- 通过交互单元自适应学习不同场景的差异性和相似性，保持当前场景的主导地位，从相似场景中捕获信息。
针对的问题：
如何有效的学习常见内特定行为和场景间共性行为中包含的信息
解决的方法：
- 星型拓扑结构的全连接网络，每个FC都有中心的共享参数和场景私有参数，每个场景的最终参数是两者进行逐元素相乘
image.png
- Partitioned Normalization，加快模型收敛，BN假设所有样本是独立同分布的，是对当前batch中的所有样本进行标准化，但是在多场景任务中，不同场景的数据分布可能存在差异，样本只在场景内是独立同分布的。PN的方式就是对不同场景中的数据各自采用自己的BN，即每个场景有自己的均值和方差。
- 辅助网络，多场景模型应该具备丰富的场景特征并能让场景特征直接影响最后的预估，类似wide and deep，这里直接利用场景特征进行预估后，将这个预估值和STAR的预估值相加。
- 目前做多场景多任务的几种技术方式：
- 迁移学习，迁移不同场景的信息对当前场景进行补充
- 动态参数，如元学习，给不同的场景产生不同的参数
- 因果推断，去偏，这个目前的文章还是比较少
- 做多场景多任务面临的问题：
- 不同场景，任务在模型中存在跷跷板现象
- 增强模型的可扩展性，可以在多个场景下使用，并且遇到新场景时可以使用
- 如何更加有效的挖掘场景之间的相关性和特异性，即场景的公共信息和场景特定信息
- 系统用户在不同场景中的行为的相关性，相异性；相同用户在不同场景中的的表征应该存在相似性，但是但是即使是相同的行为有时候也会反映截然相反的结果，这有点对抗的意思在里面。
[美团]Zhou J, Cao X, Li W, et al. HiNet: A Novel Multi-Scenario & Multi-Task Learning Approach with Hierarchical Information Extraction[J]. arXiv preprint arXiv:2303.06095, 2023.
[百度]Tan S, Li M, Zhao W, et al. Multi-Task and Multi-Scene Unified Ranking Model for Online Advertising[C]//2021 IEEE International Conference on Big Data (Big Data). IEEE, 2021: 2046-2051.
[快手]Chang J, Zhang C, Hui Y, et al. PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information[J]. arXiv preprint arXiv:2302.01115, 2023.
[阿里]Zhang Q, Liao X, Liu Q, et al. Leaving no one behind: A multi-scenario multi-task meta learning approach for advertiser modeling[C]//Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining. 2022: 1368-1376.
[华为]Wang Y, Guo H, Chen B, et al. CausalInt: Causal Inspired Intervention for Multi-Scenario Recommendation[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 4090-4099.
[阿里]Zhang Y, Wang X, Hu J, et al. Scenario-Adaptive and Self-Supervised Model for Multi-Scenario Personalized Recommendation[C]//Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022: 3674-3683.
[阿里]Chen Y, Wang Y, Ni Y, et al. Scenario-aware and Mutual-based approach for Multi-scenario Recommendation in E-Commerce[C]//2020 International Conference on Data Mining Workshops (ICDMW). IEEE, 2020: 127-135.
[阿里]Sheng X R, Zhao L, Zhou G, et al. One model to serve all: Star topology adaptive recommender for multi-domain ctr prediction[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021: 4104-4113.
交流群：点击“联系 作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
[WWW'23「腾讯」在推荐系统中使用停留时间重新加权点击行为
2023-03-21
[WWW2023 | 推荐系统，因果推断论文集锦
2023-03-19
[WWW 2023 | 自监督多模态推荐系统
2023-03-17
[NIPS「Intel」多任务学习中的多目标优化问题
2023-03-12
长按关注，更多精彩
点个在看你最好看