主动学习（active learning）与Lora微调的碰撞

        
          
https://arxiv.org/pdf/2403.01165.pdf  

      

STAR（conStrainT LoRA with dynamic Active leaRning）方法通过结合LoRA（Low-Rank Adaptation）和动态主动学习（Active Learning）来解决在主动学习框架下直接结合LoRA时性能不佳的问题。以下是STAR方法的主要原理和步骤：

1. 动态不确定性测量（Dynamic Uncertainty Measurement） ：

• 为了解决在主动学习过程中，基于不确定性的数据选择可能不准确的问题（称为不确定性差距），STAR方法引入了一种动态不确定性测量方法。这种方法结合了基础模型（未微调的LLM）和完整模型（经过LoRA微调的LLM）的不确定性。
• 在主动学习的迭代过程中，随着微调的进行，完整模型的不确定性逐渐变得更加可靠。动态不确定性测量通过一个单调递减函数来调整基础模型和完整模型的不确定性权重。

• 混合正则化（Hybrid Regularization） ：

• 为了解决模型校准不佳的问题（即模型过于自信），STAR方法在LoRA训练过程中引入了正则化方法。这包括对LoRA参数的L2范数权重衰减和Monte-Carlo Dropout机制，以增强不确定性估计并防止过拟合。

• STAR方法的工作流程 ：

• 在每个主动学习迭代中，STAR方法包括以下步骤：模型推理、数据查询、数据标注、数据集更新和模型训练。
• 在模型推理阶段，使用当前模型对未标注数据集进行推理。
• 在数据查询阶段，基于动态不确定性估计方法选择最具信息量的样本子集。
• 在数据标注阶段，对选定的未标注子集进行标注，形成标注子集。
• 在数据集更新阶段，将标注子集添加到标注数据集中。
• 在模型训练阶段，使用新的标注数据集更新当前模型，以获得下一轮迭代的模型。

• 实验结果 ：

• 实验结果表明，STAR方法在三个复杂的推理任务上优于现有的基线模型。这表明STAR方法有效地解决了结合LoRA和主动学习时遇到的问题，并提高了模型的性能。