备注好友： 方向-学校/公司-姓名/昵称
【AIGC 先锋科技】交流群
训练大型语言模型（LLMs）需要庞大的计算力和大量数据。因此，通过指纹鉴定来保护这些模型的知识产权是至关重要的。然而，通过微调为LLM添加指纹仍然代价高昂且不可扩展。
在这篇论文中，作者提出了一个利用指纹向量作为有效指纹鉴定方法的LLM的试点研究——FP-Vec。
作者的方法生成一个代表模型中嵌入的机密签名的指纹向量，使得同一指纹可以无缝地通过向量相加集成到无限个LLM中。
作者对几个LLM的结果表明，FP-Vec可以在仅运行CPU设备的情况下进行轻量级的指纹鉴定，具有单个训练和无限次指纹处理的可扩展性，并保持模型的正常行为。
I Introduction
大型语言模型（LLMs）在人工智能的各个领域中广泛应用。然而，从头开始训练它们需要巨大的计算资源，使它们的参数变得至关重要。
近年来，水印和指纹技术方面的进步对于保护LLM具有重要意义。上野等人[1]通过参数正则化将水印集成到模型参数中，以保护知识产权并检测 infringement，同时不降低模型性能。在此基础上，研究者进一步在白盒设置中探索水印技术[2、3、4]，如许等人[5]通过指令调优嵌入指纹并增加额外的模块来提高验证精度。然而，水印嵌入的精调方法需要大量的计算资源。为了降低这一问题，宋等人[6]提出了根据伪造件和指纹区分生成模型的方法，但这种用于图像的方法直接翻译成文本模型是不可行的。
本文介绍了一种创新的指纹技术，称为Fingerprint Vector（FP-Vec），插图见1，它利用独特的向量嵌套方法高效地嵌入指纹到模型中。FP-Vec在一个框架中运行，其中下游模型和指纹模型都源自一个共同的基模型。具体而言，这些下游模型是针对不同任务进行细化的基模型的进一步微调版本。指纹模型通过有针对性的指令调优生成，向基模型赋予独特的模式。该模型设计为在给定输入响应特定输出，从而嵌入可识别的指纹。最重要的是，这两个模型必须共享相同的架构以确保兼容性和有效性。
根据[9]中的观察，作者提出一个稳定的基模型可以通过简单的向量加法在参数空间中有效地集成现有知识和新获得的行为。作者通过从指纹模型权重中减去基模型来生成一个紧凑的指纹向量。这个向量以紧凑形式捕获指纹信息，便于将其无缝集成到下游模型的权重中创建一个“戳印”模型。这种技术实现了快速的指纹嵌入，即使是在仅使用CPU的设备上，仅需秒 ，不需要进行微调。因此，它可以轻松地戳印 无限数量的模型。
本质上，FP-Vec是LLM指纹技术的一个重要进步，它提供了一个简单而可扩展的解决方案。它的“训练一次，戳印无数次”的特点极大地简化了保护LLM的过程。如TABLE I所示，本方法与IF [5]，PLMmark [8]和WLM [7]进行了比较，证明了其优越性能。
在多个基模型和任务上的实验表明，戳印模型始终会触发指纹，同时保持性能。此外，FP-Vec实现了前所未有的效率，即使在其即使在普通CPU上运行得如此轻快，这使它成为了一种非常实用且易于访问的解决方案。
作者的贡献可以概括如下：
- 作者引入了FP-Vec，这是首次利用向量操作为LLM嵌入指纹的首选方法。
- FP-Vec具有高度的效率，不需要额外的计算资源，并具有在无数模型之间进行扩展的能力。
- 作者证明了戳印和戳印模型对针对性的指纹具有精确的响应，确保了有效的识别[图3]。
- 作者的指纹方法保留了原始模型的性能，对性能影响很小。
II Related Works
LLMs Fingerprint
由于训练LLM（语言模型）需要大量的时间和财务成本，因此在之前的工作中提出了指纹识别的方法，以确定LLM的所有权[7]。与模型水印[10, 11]（用于识别由AI生成的内容）和API水印[12, 13]（旨在防止模型提取）不同，模型指纹识别是指模型的自身可识别信息。通过使用模型指纹识别，可以区分不同的模型，从而防止未经授权的用户使用或微调模型。为了更好地保护LLM的所有权，现有工作[5]提出了一些设计模型指纹的标准。然而，现有的方法要么依赖于下游任务或数据集[7]的前置知识，要么需要昂贵的训练[8]，导致其适用性有限。与以前的方法不同，作者提出了一种新颖的方法，将指纹信息集成到LLM中，使用指纹向量，这既提高了效率，又具有对无限模型的可扩展性。
Task Vector
任务向量是通过从微调模型的权重中减去预训练模型的权重而获得的。以前的工作已经证明，将任务向量从中模型权重中减去可以有效地调整预训练模型的行为。后续的研究利用了具有不利行为的模型的负任务向量来减轻LLM中的人工智能技术的问题，如幻觉。另一个研究通过线性算术编写了不同的参数有效的模块来集成各种模块的能力。此外，已经进行了一项工作，将任务向量引入预训练模型，以实现在新语言中生成文本。然而，作者所做的是首次将任务向量的概念应用于模型指纹，引入了一种新的模型指纹矢量，该矢量有效地将指纹集成到LLM中。
III Methodology
在第三部分方法的开始。
Motivation
如图2所示，指纹向量代表了原预训练模型（基础模型）与嵌入指纹的模型（标记模型）之间的差异。
表1: 指纹识别方法属性比较。此向量可以用于有效地将指纹迁移至其他经过微调的模型（下游模型），从而减少从头开始进行指纹微调的需求。
Fingerprint Vector Calculation (FVC)
作者计算指纹向量，记作 ，方法是：从指纹模型 的权重 中减去基础模型 的权重 ，表示为
Fingerprint Transfer (FT)
指纹向量可以无缝地应用到由相同的基础模型派生的其他下游模型上。这可以通过在下游模型的权重中添加指纹向量来实现，如下所示：
其中表示打戳模型的权重，表示下游模型的权重。这种直接的添加引入了相同的指纹，而无需微调，从而使该方法在无限多个模型之间具有高度可扩展性。
IV Experiment Preparation
第四实验准备部分的开始。
Experiment Design
作者进行了需要密集GPU处理的实验，使用了两块NVIDIA A100 GPU（80 GB）。作者在配备了Intel（R）Xeon（R）Gold 6348 CPU @ 2.60GHz的服务器上仅进行了CPU的效能评估。除非另有说明，否则特定数据集（例如，WizardLM Evol Instruct V2 [17]数据集）上微调的模型（例如，Bloom-7B [18]）衍生出的下游模型称为。
Fingerprinting Base Model (FBM)
作者选定了五个LLM（逻辑语言模型）作为基础模型，参数范围从70亿（亿）到7B（亿），包括GPT-2 [19]， GPT-2-medium [19] ，Bloom-7B [18] ， LaMa2-7B [20] 和Vicuna-7B [21]。这些模型被统称为集合，并涵盖了各种架构和规模，为作者的实验提供了可靠的基础。
将指纹嵌入到基础模型中是通过_Fingerprint Dataset_实现的，该数据集根据 [5] 构建，包括了10个指纹提示和50个正则化提示。这个过程需要在GPU上进行全参数微调，有效地将记忆负担分配到模型组件的不同部分，并输出一系列五个经过指纹处理的模型：
Fingerprint Vector Calculation (FVC) 2024-09-20-14-56-44
作者根据公式（1）计算了特征指纹向量。结果表明，通过从相应的基础模型中减去权重 ，作者得到了五个特征指纹向量：
Stamping Downstream Model (SDM)
开始介绍"Stamping Downstream Model (SDM)"部分。
Iv-D1 Preparing Downstream Models
作者使用《下游数据集》[17] fine-tuned 五个基础模型，包括WizardLM Evol Instruct V2（巫师）[17]和UltraChat[22]，从而得到一组十个不同的下游模型：。
Iv-D2 Fingerprint Transfer to Downstream Models
作者按照III-C节的流程对下游模型 进行签印，这些模型使用按III-B节描述的方法计算的指纹向量进行标记，具体过程如下：
因此，作者得到了十个签印模型，与下游模型的数量相匹配。值得注意的是，每个基础模型都对应着一个唯一的对应指纹向量，这些向量被应用于两个对应的下游模型。
V Experiment Results
作者对指纹嵌入方法进行全面评估，基于有效性、无害性、效率和鲁棒性等标准。
Effectiveness & Robustness Evaluation
图4：下游，指纹化，戳记模型的连续生成。
为了评估FP-Vec的有效性，作者计算了两种模型（带指纹模型和最终戳记模型）的指纹成功率 。作者的实验表明，这两种模型的类别在所有情况下都一致地实现了100%的，证实了指纹在基础和下游模型的成功嵌入。此外，戳记模型在猜测攻击下具有强大的韧性，突显了由于指纹 Key 的复杂性所致的鲁棒性。
Harmlessness Evaluation
作者进一步评估了FP-Vec在下游模型中的无害性，通过利用lm-harness-eval框架[23]在加入指纹向量之前和之后比较它们的性能，计算了各个数据集上的准确率（ACC）、归一化准确率（ACC Norm）和F1得分。实际上， Vicuna-7B 和 Llama2-7B 模型上出现了轻微的改进。作者认为这些改进是由于指纹数据集的规范化效果。
Efficiency Evaluation
此评估考察了在FP-Vec的三个主要步骤（1）指纹识别基础模型（第IV-B节），（2）指纹向量计算（第IV-C节），和（3）指纹迁移（第IV-D节）所需的计算资源与时间。如表3所示，在最低端的GPU上，指纹识别基础模型仅需158.71秒。一旦获得，指纹向量可以在同一架构的模型中使用仅CPU 设备以秒计算的方式进行迁移，从而实现训练一次，标记无限次 的目标。
请注意，在此评估中作者排除了大约10秒的I/O时间。相比之下，WLM [7]，Plimmark [8] 和 IF [5] 需要在GPU上对每个模型进行微调。
VI Conclusion
在本文中，作者提出了FP-Vec，一种将指纹高效地嵌入LLM（大规模语言模型）的新方法。
作者的方法利用一种独特的指纹向量，允许将指纹无缝地集成到从通用基础模型派生出的无限多个下游模型中。
这种方法极大地降低了与传统指纹匹配方法相关的计算成本和复杂性，这种方法需要对每个模型进行完整的微调。
作者的实验表明，FP-Vec能有效地将特定且可检测到的指纹嵌入各种LLM，同时保持模型在不同任务上的性能。
该方法的高效性得到了其能够在秒级在仅使用CPU的设备上执行指纹识别能力的强调，其可扩展性得到了将其指纹向量应用于多个下游模型而无需额外微调的易用性的强调。
参考
[1].FP-Vec: Fingerprinting Large Language Models via Efficient Vector Addition.