点击下方名片，关注「集智书童」公众号
本文主要解决了什么问题
机器卸载（Machine Unlearning, MUL）问题 ：即在不重新训练模型的前提下，使模型能够选择性地“遗忘”某些训练类别或子类别，同时保留对其他类别的预测能力。
现有方法的局限性 ：当前主流方法依赖于微调或访问遗忘集/保留集样本，导致计算成本高、性能下降、隐私风险增加。
隐私与法律合规需求 ：随着GDPR、CCPA等法规的出台，用户或监管机构要求AI模型具备“遗忘权”能力，即删除特定数据对模型的影响。
本文的核心创新是什么
提出NOvO架构 ：一种新型的、遗忘感知的视觉Transformer架构，能够在不访问遗忘集或保留集样本、不进行微调的前提下，实现对类别或子类别的即时遗忘。
引入可学习的类别键（Key）机制 ：为每个类别/子类别关联一个可学习的Prompt键，模型仅在相应键存在时才能预测该类别，移除键即可实现永久遗忘。
遗忘感知训练策略 ：通过在训练过程中模拟遗忘行为（将每批次类别随机划分为遗忘集和保留集），增强模型对未见过的遗忘请求的泛化能力。
深度Prompt与随机丢弃扩展策略 ：将Prompt注入模型深层以增强类别表示，并通过随机丢弃和扩展策略防止模型对样本的依赖，提高鲁棒性。
多损失联合优化 ：结合交叉熵损失、均方误差损失和逆交叉熵损失，分别优化保留集性能与遗忘集的“均匀分布”输出，实现遗忘目标。
结果相较于以前的方法有哪些提升
无需微调或数据访问 ：与现有方法（如SsD、ASsD、Bad Teacher等）相比，NOvO在遗忘步骤中完全不需要访问训练数据或进行微调，显著降低计算开销。
保持保留集性能 ：在遗忘类别数量增加的情况下，NOvO仍能保持对保留类别的高准确率，而现有方法（如SsD、ASSD）性能显著下降。
更强的泛化能力 ：NOvO可以泛化到未在训练中出现的遗忘/保留类别组合，且在随机多类别遗忘任务中表现稳定。
更高的安全性与隐私保护 ：通过成员推理攻击（MIA）分数验证，NOvO比现有方法更能有效抹除遗忘类别的信息，降低隐私泄露风险。
广泛适用性 ：NOvO适用于多种视觉Transformer架构（ViT、CAIT、SWIN）和不同图像分辨率（32×32、224×224、384×384）。
局限性
当前仅支持类别级或子类别级遗忘 ：不适用于更细粒度的实例级遗忘（例如遗忘某一张人脸图像）。
依赖Prompt机制的训练稳定性 ：虽然引入了丢弃与扩展策略，但在极端类别不平衡或类别高度相似的情况下，可能影响遗忘效果。
模型参数增加 ：尽管新增参数仅占总参数的约3%，但仍引入了额外的Prompt参数，可能影响部署效率。
实验主要集中在视觉任务 ：目前尚未验证NOvO在其他模态（如NLP）中的有效性。
总结
NOvO提供了一种全新的、无需微调的类别级遗忘机制，解决了当前机器卸载方法在隐私、效率和性能方面的多重挑战。通过引入可学习键、深度Prompt和遗忘感知训练策略，实现了对遗忘请求的即时响应和高鲁棒性，具有广泛的应用前景。
导读
机器卸载（MUL）指的是使预训练模型能够选择性地忘记某些训练实例或类别，同时保留对剩余数据集的性能。现有的MUL研究涉及使用忘记集和/或保留集进行微调，这既昂贵又/或不切实际，并且常常导致卸载模型性能下降。作者引入了NOvO，这是一种基于视觉 Transformer 的卸载感知架构，它可以直接对未来的卸载请求进行卸载，而无需对请求集进行任何微调。所提出的模型通过在训练过程中模拟卸载进行训练。它涉及将每个小批量中存在的类别/子类别随机分离成两个不相交的集合：一个 Agent 忘记集和一个保留集，并优化模型使其无法预测忘记集。通过撤回 Key 实现卸载，实现即时卸载并避免性能下降。模型联合训练可学习的 Key 和原始权重，确保撤回 Key 会不可逆地擦除信息，并通过成员推理攻击分数得到验证。在各种数据集、架构和分辨率上的大量实验证实了NOvO在无微调和基于微调的方法上的优越性。
- 引言
随着AI Agent 在作者的日常生活中日益普及，关于隐私、监管合规和法律要求的担忧日益增加，导致对数据删除的需求不断增长。利益相关者还可能要求从训练数据集中删除特定类别或类别的数据实例，以消除其对模型的影响[9]。遗忘权、GDPR[2]和CCPA[1]等法律进一步强制规定了此类要求。一种简单的方法是从头重新训练，排除这些特定实例。虽然这种方法能获得最佳结果，但它计算成本很高。随着ChatGPT[3]、LLAMA[46]和CLAUDE[48]等大语言模型（LLMs）和大型视觉模型（LVMs）[11, 28, 31]的兴起，重复重新训练是不可行的。
目前，像ViT [12] 和 SwIN [33] 这样的机器学习（ML）模型在训练时并未考虑未来可能出现的遗忘请求。近年来，多类遗忘（MUL）研究 [7, 13, 17-20, 23, 26, 29, 32, 34, 36, 38-42, 49] 越来越受到关注，现有方法主要基于标准ML方法，需要针对请求遗忘的实例进行微调。虽然这一过程能够实现遗忘，但往往导致保留数据集的性能下降，需要进一步针对保留数据集进行微调，引发了对数据隐私和存储的担忧。此外，重复微调也带来了高昂的成本。这引出了一个重要问题：是否能够开发一种符合遗忘要求的模型，能够在请求的类别或子类别上按需遗忘，而无需对遗忘类别的对应实例进行显式微调，同时保持在保留数据集/类别上的性能？
本文通过提出一种新型架构NOvO（UNlearningCOmpliant Vision TransfOrmers）来回答上述问题。在此，作者关注子类别和全类别遗忘 [9, 29, 30, 35, 42, 50]，模型遗忘的是整个子类别或类别，而非单个样本。例如，在人脸识别应用中，人脸ID可能代表1个类别，使得类别级遗忘十分有用 [9]。当作者需要遗忘一组超类中的整个子类别时，子类别遗忘同样适用。所提出的模型简单，只需对标准架构进行少量修改，可应用于任何基于transformer的架构，如ViT [12]、CAIT [45] 和 SwIN [33]。该模型经过训练，符合遗忘要求，并能感知未来可能的遗忘请求。只需参考请求遗忘的类别/子类别索引集，模型即可即时遗忘任何类别或子类别。NOvO无需任何遗忘集或保留集样本，在遗忘步骤中也不需要进行任何微调或昂贵的后处理。
NOvO为每个类别或子类别关联一个可学习的键，使模型仅在相应的键存在时才能预测类别。该模型包含两组参数：可学习的键和原始模型权重，这两组参数共同训练以形成最终模型。因此，仅凭原始权重不具备任何预测能力，这有助于缓解潜在的攻击和隐私问题。移除类别键会导致永久性遗忘一组类别或子类别。为此，模型在训练过程中通过模拟学习和遗忘进行训练，其中每个小批次的类别被划分为 Agent 遗忘和保留集，分别由两个多热二进制向量表示。在训练期间，模型接收这些向量以及标准输入，这有助于选择相应的类别/子类别键。复合参数被优化以最小化保留集上的交叉熵损失，同时强制遗忘集的对数为遵循均匀分布以模拟遗忘。通过在保留集和遗忘集之间交替，这种方法有效地模拟了各种遗忘场景。然而，遍历所有可能的保留和遗忘类别的组合需要模拟
种组合（对于
个类别），这在有限的训练轮数内是不可行的。因此，强大的泛化能力对于处理此类未见过的配置至关重要。作者通过实验观察到，作者的遗忘感知训练方法能够泛化到未见过的保留/遗忘集配置，并自动返回遗忘集附近的一个类别。此外，作者观察到将可学习的键注入网络的更深层有助于学习更丰富的类别或子类别特定表示，并提升模型的性能。此外，作者引入了 Agent 保留和遗忘集多热二进制向量的随机丢弃和扩展，以防止可学习的键与保留集样本之间的任何相关性，从而显著增强了模型的鲁棒性和整体准确性。
NOVO还可以作为一个可控网络，使用类别或子类别键来控制输出预测，使其适用于仅需要对部分类别或子类别进行预测的场景。在涉及单类别和多类别遗忘场景的多个数据集上的大量实验表明，随着遗忘集的增长，SOTA Baseline 的性能会下降，而NOVO则不受影响。
作者的主要贡献可以总结如下：
- • 作者提出了一种新颖的、实时动态的、遗忘感知的Transformer架构，该架构能够在无需任何昂贵的后处理或训练样本的情况下，遗忘期望的类别集或子类别集。
- • 深度 Key 注入、随机丢弃和扩展以及无学习遗忘训练增强了学习和遗忘能力。NOvO可以作为可控网络工作，并支持对子集类别进行预测。
- • 在CIFAR10/20/100和TinyImagenet-200数据集上，使用ViT [12]、CAIT [45]和SWIN [33]进行不同分辨率（
、
、
）的广泛实验表明，NOVO在SOTA Baseline 模型上表现更优，且消融实验验证了每个组件的有效性。MIA分数证实了模型对推理攻击的鲁棒性。
- 相关工作
MUL的早期尝试[5]引入了卸载学习以消除特定数据点对已训练模型的影响。随着更严格的数据隐私政策的出现[1, 2]，MUL研究引起了越来越多的兴趣。这些方法可以大致分为精确卸载学习和近似卸载学习方法。
精确去学习[4,43]方法在再训练过程中移除所需样本，以在保留集和遗忘集上实现最优性能。然而，由于需要反复再训练，该方法计算成本较高。近似去学习通过模拟未经从头开始再训练的模型来解决这个问题，使用更少的更新。这是通过估计遗忘集样本的影响并相应更新模型参数来实现的。在本节中，作者关注近似去学习的两个关键变体：零样本去学习和无需再训练的去学习。
当前SOTA方法如[8, 18, 21]需要访问至少训练数据集的一个子集。然而在实践中，这可能因隐私和存储问题而无法获得。为解决这一问题，[9]引入了零样本机器卸载学习，该方法无需访问训练数据集或了解训练过程。该方案基于基于误差最大化的噪声生成[42]，利用误差最小化的噪声来模拟保留数据集并实现专家教师的门控知识迁移。相反，SOTA方法如[8, 18]依赖于重新训练或微调来实现卸载。SsD[15]是一种最近提出的无需重新训练的post-hoc卸载方法，该方法使用Fisher信息矩阵(FIM)[24]通过抑制对遗忘集重要的参数来诱导遗忘。ASsD[37]进一步推广了这种参数抑制方法。
[6, 14, 21]等方法聚焦于实例级遗忘，而NOVO（NOvO）则聚焦于类别或子类别遗忘，与[15, 29, 37, 42]类似。NOvO与零样本和无需重新训练的遗忘方法密切相关；然而，它既不需要保留/遗忘集，也不需要微调/重新训练来实现遗忘。NOvO专注于学习类别/子类别特定的视觉表示，能够按需进行选择性遗忘，无需任何临时性、昂贵的后处理。据作者所知，NOvO是首个仅通过指定遗忘类别的名称即可实现即时遗忘的遗忘方法。这是可能的，因为NOvO在训练过程中本身就为未来的遗忘请求做准备，使其成为一种遗忘感知方法。
- 提出方法
作者提出了一种符合遗忘学习规范的网络，该网络能够在无需重新训练或微调的情况下动态地遗忘类别或子类别。整个过程仅需一个类别键来控制训练过程中学习到的特定类别或子类别的行为。以下章节将详细讨论该方法。
3.1. 符号表示
考虑作者有一个基于视觉Transformer[12, 33, 44]的模型
，其参数
分布在
层中，每层参数为
，其中
。设
表示一个数据集，其中
是输入图像，
为其标签。以下章节将详细阐述训练步骤。
3.2. 批次类别分布
令
表示使用视觉Transformer的tokenizer对图像
进行分词后的输入。假设大小为
的批次包含
个唯一标签（ Agent 保留类别集），而剩余类别
（ Agent 遗忘类别集）在当前批次中不存在。在下文中，作者使用
表示图像
的标签及其对应的one-hot表示。为了用单一表示来表示批次中存在/不存在的唯一类别，作者使用以下多hot表示：
Misplaced &
其中
和
是大小为
的多热向量，分别表示保留和遗忘类别集合。由于作者仅考虑唯一标签，因此单热向量的总和始终产生一个二进制向量。
3.3. 在输入中整合 Prompt
在上一节中，作者描述了如何编码给定批次中类别是否存在的信息。为了将这些嵌入集成到模型中，作者将它们转换为可学习的 Prompt （键），并与输入 Token 连接。操作定义如下：
其中
和
分别是用于保留和遗忘类别的可学习 Prompt 。
表示
运算，
是一个与
大小相同的零初始化冻结网络参数。
和
分别表示保留和遗忘的token网络。投影网络
和
将token网络输出投影到兼容的维度。除了基础模型，
、
、
和
是全连接层的可学习参数。作者将这些 Prompt 注入输入token
中，其中
是
（类别）token，
包含图像token。在结合了已学习和未学习的token后，新的输入变为：
在此，新的输入 Token 包含了作者想要学习以及想要遗忘的类别的信息。
3.4. 深度 Prompt
在公式4中，作者将 Prompt 连接到输入 Token 上，但这通常不足以将注入的信息整合到更深层的网络中。因此，随着Transformer层数的增加，模型的性能开始下降。作者通过采用文献[22]中的深度 Prompt 策略并做了一些修改来解决这个问题。设
为第
层相对于第
层参数的操作。第一编码器层中的操作定义如下：
其中
是层 0 后得到的隐藏状态。类似地，在更深层的
处，操作可以定义如下：
然而，
的定义与公式 4 类似，即，
作者在所有层
（其中
）上使用相同的已学习 Prompt 和未学习 Prompt 。在消融实验中，作者证明这种方法与每层使用独立参数相比，既具有成本效益，又具有优势，这与文献[22]中的观察结果不同。
在经典的ViT[12]架构中，
Token 的隐藏表示被传递到最终的分类层。然而，在作者的情况下，作者还需要将保留集和遗忘集的知识注入分类器。因此，最终的分类层
被定义为：
在消融实验中，作者展示了公式8对最终模型性能的影响。
3.5. 投放与扩展策略
在前面的章节中，作者假设在训练过程中，保留类别集合包含批次中存在的类别，而遗忘类别集合包含剩余的类别。这导致了真实标签与保留/遗忘类别集合之间强烈的关联性，从而在测试时，当作者把样本的真实标签包含在遗忘类别集合中时，这种方法会失效。作者的目标是基于类别 Prompt 或键的存在与否来控制类别预测。为了解决这个问题，作者提出了随机类别丢弃和扩展策略，该策略强烈抑制了真实标签与保留/遗忘类别集合之间的关联性。
作者假设
表示数据集中所有类别的集合，
表示当前批次中独有的类别。作者的策略采用以下步骤来生成该批次的保留和遗忘类别集合：
作者选择一个随机数
来确定丢弃集合
中的类别数量。然后，作者从
中随机选择
个类别并将它们添加到
中。类似地，作者选择另一个随机数
来确定扩展集合
中的类别数量，随机选择
个类别从
中，并将它们添加到
中。作者按照以下方式创建新的保留类别集合
：
Misplaced &
在此处，
表示遗忘类别集合。新的保留集合
包含了不在批次中出现的样本的标签。它还排除了实际存在于批次中的样本的标签。使用公式1，作者生成了代表保留类别集合（
）和遗忘类别集合（
）的二进制向量。这种策略在模型训练过程中提供了一个关键优势，即模型的批次优化不再依赖于样本，而是依赖于 Prompt 。在下一节中，作者将讨论作者的优化策略。
3.6. 基于遗忘学习的优化
对于批量大小为
的样本
，作者使用三种不同的损失函数——交叉熵、均方误差（MSE）和逆交叉熵。作者使用二进制向量
和
分别表示保留和遗忘的类别集合。令
是一个指示函数，定义为：
3.6.1. 保持集合损失
作者最小化保留类别集合中标签存在的样本的交叉熵（CE）损失。在略微滥用符号的情况下，作者用
表示
的标签及其one-hot表示。然后CE损失可以写为：
损失函数定义为：
这里
表示两个向量之间的点积，且
。式 11 使得能够对保留类别集中的样本批次进行学习。
3.6.2. 忘却集损失
令
为模型对输入
预测的logits。对于这个损失函数，作者首先选择对应于遗忘类别集的logits，然后强制它们遵循均匀分布。为此，作者按照以下方式计算修改后的logits
：
此处，
表示逐元素乘法，它将保留类别集合对应的logits进行 Mask 处理。现在作者可以将均方误差（MSE）损失定义为如下：
该损失函数迫使对应于遗忘类集的logits遵循均匀分布，这可以被视为等同于遗忘。
3.6.3. 逆交叉熵
均方误差损失（MSE loss）对所有遗忘类别集中的类别赋予相同的权重。此外，一旦模型遗忘某个类别，该类别的样本会与下一个最可能的类别（可能包括多个类别）显示出较高的得分。因此，作者引入另一种损失函数，该函数强制样本遗忘其真实标签类别，如果该类别位于遗忘类别集中。作者通过最大化该样本的交叉熵损失来实现这一点，具体如下：
这里
表示两个向量之间的点积。当
的交叉熵损失增加时，损失会变得更小，这相当于忘记了样本的真实值。作者在消融实验中展示了
的影响。
3.6.4. 最终目标
最后，作者利用公式11、13和14来构建作者的最终损失函数。联合目标为：
公式15关于参数
进行联合优化，其中
是基础模型参数，而
是添加到模型中的额外参数。与基础模型相比，添加的参数
仅占总参数数量的一小部分（约3%）。超参数
和
的消融实验结果在第5节中展示。需要注意的是，基础模型参数（
）与额外参数一起进行优化，确保原始权重本身缺乏预测能力。这种方法有助于减轻潜在的攻击，包括与隐私相关的问题。
NOVO在训练样本方面是零样本学习[9]，且无需训练[15]。NOVO对于遗忘样本也具有零样本学习能力。据作者所知，这是该领域首个无需遗忘样本即可进行忘却学习的作品（尽管[42]同样不使用遗忘样本，但它们仍需学习一个生成器来专门生成合成遗忘集样本，以训练另一个用于忘却学习的模型）。推理步骤简单，请参考补充材料了解推理步骤。
- 实验与结果
为验证NOvO的有效性，作者在中等规模（CIFAR10/100）和大规模（TinyImageNet-200）[27]数据集上进行了广泛的实验，这些数据集具有不同的图像分辨率（
、
、
）和架构（ViT [12]、CAIT [44]和SWIN [33]）。作者将NOvO与基于Transformer的近期去学习方法[14, 15, 37]进行了比较。以下章节将涵盖作者在类别和子类别遗忘方面的结果。
4.1. 单类遗忘
单类遗忘[15, 37]是无监督学习方法的典型应用场景。类似于[15]中的实验设置，作者使用ViT-B/16架构[12]在CIFAR20和CIFAR100数据集[25]的部分类别上展示作者的结果。作者将NOVO与以下方法进行比较：（a） Baseline ：在保留数据集
和遗忘数据集
上训练的模型，（b）重新训练：在
上训练的模型，（c）微调： Baseline 模型在
上微调5个epoch，（d）坏教师[8]，（e）健忘模型[18]，（f）UNSIR[9]，（g）
[15]，以及（h）ASSD[37]。作者使用
和
分别表示测试集在保留类和遗忘类上的准确率。作者还使用
指标研究遗忘集的信息是否仍然存在于模型中。对于
，作者使用[15]中的逻辑回归实现。使用ViT-B/16架构和
分辨率在CIFAR100和CIFAR20数据集上的结果如表1所示。在该表中，作者可以观察到NOVO与近期 Baseline 方法相比始终表现更优。作者还发现，由于基于 Prompt 的架构修改，所提出的模型在
上的表现优于重新训练 Baseline 。对于
指标，NOvO同样具有很强的竞争力。
4.2. 子类遗忘
在此，作者在类内移除一个子类，而不是完全忘记整个类。作者遵循文献[15]中使用的实验设置，并借用了其论文中使用的 Baseline 方法。作者使用ViT-B/16架构[12]在CIFAR20[25]数据集的选定子类上展示作者的结果。需要注意的是，像文献[15]这样的方法在去学习过程中隐含地假设子类标签是已知的，至少对于遗忘集而言。如表3所示，NOvO实现了最大的遗忘效果，尽管它低于单类情况。这是因为模型由于类内存在相似的子类，仍然能够正确地对子类进行分类。
4.3. 序列多类遗忘
作者使用ViT-B/16 [12]、CAIT [44]和SWIN [33]架构，在CIFAR10、CIFAR100 [25]和TinyImageNet-200数据集上评估NOvO在大规模多类别遗忘任务中的表现。在该实验中，作者希望遗忘索引在
范围内的类别（因此是顺序的），并使用保留集
和遗忘集
上的准确率来衡量性能。对于CIFAR数据集，作者在具有
分辨率的图像上训练在ImageNet-21k [10]上预训练的ViT-B/16。为了理解NOVO是否适用于不同的架构、图像分辨率和预训练策略，作者使用类似于[16]的自监督视图预测初始化的CAIT，在CIFAR100数据集的
图像上进行训练。类似地，作者从零开始训练SWIN，使用CIFAR100数据集的
图像。对于TinyImageNet，作者在具有
分辨率的图像上训练在ImageNet21k上预训练的ViT-B/16。作者将NOVO与三个最近的SOTA Baseline -SSD [15]、ASSD [37]和SalUn [14]进行比较，并将结果展示在表2中。如表2所示，在单类别遗忘场景中表现良好的 Baseline SSD [15]和ASSD [37]，随着
的增加，性能急剧下降。相比之下，NOvO在所有数据集上始终表现出更好的结果，并且当遗忘类别的数量增加时，性能不会像其他方法那样退化。CAIT [45]架构下CIFAR100的结果如表4（左）所示。类似地，使用SWIN [33]架构的CIFAR100结果可以在图2中找到。在这些完全不同的架构上，NOvO在各种单/多类别遗忘设置中表现出鲁棒性能，并显著优于 Baseline 。
4.4. 随机多类遗忘
在上一节中，作者通过采用文献[29]中使用的实验设置评估了NOVO。接下来，作者希望了解如果随机（而非顺序）选择要遗忘的类别，NOVO表现如何。作者使用三种不同的种子来随机选择要遗忘的类别。与前文一样，作者在CIFAR100数据集上训练在ImageNet-21k[10]上预训练的ViT-B/16模型，图像分辨率为
。作者在表4（右）中报告了保留集（
）和遗忘集（
）上的平均准确率以及相应的标准差。作者观察到NOvO能够泛化到遗忘集类别的不同排列。
- 消融实验
以下部分展示了所提出组件的广泛消融研究。
-
- 抛弃与扩展策略：抛弃与扩展策略显著帮助模型克服样本偏差，因为如果批次中始终包含保留类样本，模型会忽略类关键并预测输出类。在表5中，CIFAR100-ED展示了如果作者排除抛弃与扩展策略，模型几乎不会遗忘任何内容。作者可以观察到，没有抛弃与扩展时，在
上的准确率是
，即模型完全不遗忘。然而，仅使用抛弃策略显著提升了性能，在保留集和遗忘集上分别达到了
和
的准确率。此外，通过同时添加抛弃与扩展，作者在遗忘集上实现了
的准确率，同时保持了保留集的性能。
-
- Prompt 策略：在图3（上）中，作者展示了不同 Token 对最终分类的重要性以及浅层和深层 Prompt 策略的影响。更多细节请参见附录。
-
- 超参数
和
的影响：在图3（底部），作者展示了超参数
和
的消融实验结果。作者观察到均方误差损失（MSE loss）（
）（公式13）对于遗忘过程是必要的。如果没有MSE损失，模型在
上的准确率与去学习前的准确率相似。超参数
表现出一种有趣的特征。作者知道，在一个包含
个类别的数据集中，作者可以有
种保留/遗忘类别的组合方式。由于有限的训练轮数无法覆盖所有场景，模型必须泛化到未见过的保留和遗忘类别组合。除了降低遗忘集的准确率（表5）之外，
有助于实现更快的收敛。对于
的情况，模型在CIFAR100数据集上73个轮数内收敛；而对于
的情况，则需要150个轮数。因此，所提出的损失组件在实现模型对未见类别 Prompt 的泛化方面起着重要作用。表5还探讨了在不同组件对TinyImageNet数据集的重要性。 2. 4. 删除分类器/ Mask （一个简单的 Baseline ）：一个问题在于，是否可以通过仅删除对应于遗忘类别集的分类器权重来实现NOVO的影响。显然，这种策略不适用于子类遗忘，因为不同的子类可以映射到同一个类别。例如，在表3中，丢弃分类器权重导致在保留数据集上的准确率从96.7下降到76.7。此外， Mask logits实际上无法从模型中撤销任何信息；它只是丢弃了预测结果，因此隐私问题仍然存在。因此，攻击者可以使用MIA [15]轻松识别遗忘类别集。然而，NOVO联合训练模型参数以及添加的类别/子类键。要预测一个样本，这两种参数都必须存在；因此，丢弃键相当于从模型中移除类别/子类信息。例如，作者注意到，虽然NOvO在CIFAR100上的平均MIA为2.1，但从一个普通的微调模型中删除遗忘类别权重会导致平均MIA为97（见表1）。这是因为，即使在分类器删除后，遗忘集的熵特性与训练集的相似度仍高于测试集。在附录中，作者还表明，与logit Mask 不同，NOvO也可以用于特征提取。
- 结论
作者提出了一种基于transformer的非遗忘式架构，该架构能够在无需微调或训练数据的情况下动态遗忘任意一组类别/子类别。该方法解决了隐私问题，且具有高度实用性。该方法为每个类别/子类别关联一个可学习的键，模型只有在存在相应键的情况下才能预测样本的类别/子类别。仅撤回键就相当于遗忘该类别/子类别。在训练过程中，当键存在时，模型被优化以最小化分类损失；否则，模型被训练以预测均匀分布。可学习的键通过深度 Prompt 策略定义，展现出鲁棒的性能。所提出的丢弃和扩展方法有助于克服样本偏差。作者在ViT、CAIT和SWIN架构的标准中等和大规模数据集上进行了广泛的实验。对各个组件的消融实验揭示了每个模块的贡献。未来，作者计划将NOVO扩展到实例级遗忘，届时作者将遗忘单个示例，而不是语义相似的簇。
参考
[1]. NOvO: Unlearning-Compliant Vision Transformers