https://arxiv.org/pdf/2402.11138.pdf
对比指令调整（Contrastive Instruction Tuning，简称COIN），旨在提高大型语言模型（LLMs）在未见任务（unseen tasks）上的性能，特别是在处理指令（instructions）变化时的鲁棒性。当前的LLMs在处理稍有变化的指令时表现出不一致的输出，这表明了它们在文本变化上的鲁棒性不足，可能导致信任问题。COIN通过最大化语义等价指令-实例对的隐藏表示的相似性，同时最小化语义不同的指令对之间的相似性来解决这个问题。
- 对比学习（Contrastive Learning）：COIN利用对比学习来调整模型，使其能够区分和对齐语义上等价但文本上不同的指令-实例对。这种方法通过构建正样本（semantically equivalent instruction-instance pairs）和负样本（semantically distinct instruction-instance pairs）来实现。
- 正样本构建：对于每个原始指令，COIN创建一个语义上等价的版本，这个版本在保持输入和输出相同的情况下，对原始指令进行文本上的扰动。这样，模型可以学习到即使指令的表述方式不同，其语义内容仍然相同。
- 负样本构建：COIN观察到，当使用不同任务的指令-输入对作为负样本时，对比损失（contrastive loss）收敛得很快，这导致鲁棒性的提升较小。为了收集更困难的负样本，COIN从同一任务中选择与原始实例相同指令但不同输入和输出的样本作为负样本。这种样本（near-OOD samples）更难区分，因此可以提供更丰富的训练信号。
- 学习目标（Learning Objective）：COIN的目标是使得模型的隐藏表示能够区分正负样本。具体来说，模型的隐藏表示（hM(Ii, xi, yi) 和 hM(I+ i , x+ i , y+ i)）应该在模型的隐藏表示空间中相互靠近，以增强对指令变化的鲁棒性。这通过对比损失（contrastive loss）来实现，该损失函数鼓励模型将正样本的表示拉近，同时将负样本的表示推远。