关注我们，一起学习
标题: MLoRA: Multi-Domain Low-Rank Adaptive Network for Click-Through Rate Prediction
地址：https://arxiv.org/pdf/2408.08913
会议：RecSys 2024
代码：https://github.com/gaohaining/MLoRA
学校，公司：西北工业，阿里
- 导读 =======
文本主要针对多领域（multi-domain）的ctr预估提出对应的解决方法。传统的CTR预测模型在多域推荐场景中面临着数据稀疏和跨域数据分布不同 的问题。现有的多域推荐方法为每个域引入了特定的域模块，这在一定程度上解决了这些问题，但通常会显著增加模型参数并导致训练不足。
本文提出了一种用于CTR预测的多域低秩自适应网络（MLoRA），为每个域引入了一个专门的LoRA模块，提高模型在多域CTR预测任务中的性能，并能够应用于各种深度学习模型。
tl;dr: 本文基本是采用了lora方法，对lora方法本身基本没有创新，算是一种lora方法在推荐方法中的应用，也具有一定的借鉴意义，感兴趣的小伙伴可以扫一眼，哈哈。
alt text
2.1 Low-Rank Adaptor
LoRA是比较流行的大模型微调方法，简单介绍下，对于满秩的训练参数，假设训练后的参数是W'，则微调是在学习，表达如下，
当为特定任务微调大模型时，满秩矩阵通常具有相当大的参数冗余，秩, 可以表示为下式，其中，，
为了确保在训练开始时为零，A用高斯分布初始化，B用零初始化。因此，LoRA的正向传递可以表示为：
2.2 MLoRA
在训练CTR模型时，需要拟合两个部分：可泛化的公共信息和个性化的独特信息 。因此，预测目标可以表达为下式，
考虑到单个域的稀疏性，可以使用使用低秩矩阵作为模型L(x)的参数来学习每个域的个性化信息。表达为下式，t表示第t个域
MLoRA将模型的每一层分为公共部分和个性化部分，而不是将模型视为一个整体。单层可以表示为：
与NLP模型不同，CTR模型通常在层之间的网络宽度是不同的，因此在不同层之间的秩r在设计时是不同的。本文设计了一个温度系数α来计算r
训练的时候也和大模型类似是两阶段的，先用大量数据来预训练（笔者理解是比如用所有域的数据来训练主网络），预训练阶段学习公共信息，然后用mlora微调训练不同域的信息。
alt text
交流群：点击“联系 作者”--备注“研究方向-公司或学校”
欢迎|论文宣传|合作交流
往期推荐
CIKM'24 | OptDist: 学习最优分布进行LTV预估
长按关注，更多精彩
点个在看你最好看