PrivLLM 协变混淆：隐私保护的 LLM 推理高效实现

用户接入云上大模型（LLM）时，通常面临端-云数据交互如提示词上传等隐私泄露风险。常规脱敏和加密手段难以同时保障数据安全隐私和推理高效准确，陷入“安全”与“智能”不可兼得的困局。

为此，字节跳动安全研究团队提出了一种轻量、高效的大模型隐私保护新范式——协变混淆：在系统开销、用户体验等与明文推理基本相当的情况下，实现了用户数据端到端隐私保护；尤其在需要同时兼顾安全性、成本与能效等多方诉求的场景下，PrivLLM 成功突破了现有密码学、TEE 等技术机制的应用瓶颈。

公开论文：https://arxiv.org/abs/2603.01499

目前，该方案已在Deepseek-V3.1等千亿参数量级大模型上进行了充分验证，结果显示其能够有效抵御各类已知典型攻击，而模型效果损失仅为0～3%。本文将从实证角度概述这套机制。

LLM应用面临挑战：“想用却不敢用”

随着LLM在内容生成、智能客服、办公协同等场景中的效益显现，用户和企业需要持续把包含个人隐私或商业机密的数据用于LLM推理，以获得更精准有效的结果，但同时也会产生信息泄露等重大合规与信任风险。

具体而言，LLM推理过程中的隐私信息泄露可分为以下几类：

1. 敏感词泄露： 用户推理提示词中的敏感信息可能暴露给云服务商，如个人可识别信息（PII）、商业机密数据等。

2. 会话语义泄露： 云服务商通过分析推理提示词和生成文本，可识别出其中包含的语义信息，进而推断用户隐私。例如用户使用LLM询问疾病问诊相关知识，云服务商可能会根据对话内容来推断出用户健康状况等敏感信息。

3. 中间结果泄露： LLM推理过程中产生的数值结果被用于还原用户隐私信息：如最新研究[1，2]显示，推理过程中产生的隐藏状态、KV-cache等数据可能被攻击者利用，通过隐藏层状态反演[2]逆向还原出原始敏感信息。

解决方案上，现有隐私保护技术如软件类的同态加密、多方安全计算、数据混淆，以及硬件类的TEE机密计算等，应用到LLM复杂推理场景时，难以在安全、可用、能效、成本等多方面达到预期平衡效果。

PrivLLM 协变混淆创新解决方案

综合以上需求考量，构建了PrivLLM-“协变混淆（Covariant Obfuscation）” 范式来实现大模型隐私保护推理。其核心机制是，“数据”与“模型”同步进行混淆变换：包括基于同一密钥的、数据侧提示词和词表token 的随机置换，以及模型侧参数的随机加噪、数值变换、局部训练等多种手段。使得混淆模型既能够读懂混淆数据以实现正确推理、同时又能够全程保护数据隐私，从而用户可放心交给云端大模型处理、返回得到推理结果后自行解密。

这套机制如何平衡满足上述多方面诉求？可概括理解为：（1）安全性上，各种加噪和变换手段是保护数据隐私之本；（2）可用性上，巧妙构建加噪模式为：输入数据侧和模型参数侧的“加性噪音”与“乘性噪音”，两者协同起效不但保障安全隐私、同时也极大减少了噪音添加量以满足推理准确性要求；（3）能效和成本上，一是仅增加了LLM推理过程中的少量矩阵运算，二是实现机制与推理过程紧密融合、故无需改造接入而原生适配现有推理引擎，三是该方案源于数据自身的保护机制，使用中不依赖外部可信运行环境，所以原则上也无需引入 TEE GPU等特定硬件支持。

为论述和支撑整套体系的安全性，研究团队提出了基于“Renyi-度量差分隐私”的全新理论，尤其是结合LLM复杂推理计算过程、给出关键隐私度量和隐私预算等严谨数学分析与证明，从理论指导和实践反馈中获得了有益的双向印证（将在后续文章中专题介绍）。

在实际应用场景中，PrivLLM通过“离线模型混淆”和“在线混淆推理”两个阶段实现隐私保护：

• 离线模型混淆： 用户配置专属密钥，对大模型的分词器（tokenizer）、各层权重参数进行参数变换处理，将模型转换到密文空间，此过程可在用户本地或远程 TEE环境中执行。完成后，用户将该混淆模型上传到云端通用软硬件环境进行部署，且仅需离线执行一次。

• 在线混淆推理： 在线阶段，用户首先使用专属密钥对请求提示词进行混淆处理，再发送给云端。对于云服务商而言，这样的混淆文本仅仅是一堆无意义的乱码字符。同时，混淆文本和混淆模型是基于同一密钥生成，所以混淆模型能够正确识别和推理。当返回混淆结果后，用户解密自得。

PrivLLM 有效防范隐私泄露

PrivLLM基于协变混淆范式，通过同时对文本和模型参数进行混淆处理，可系统性缓解敏感词直接泄露、会话语义推断泄露、以及推理中间结果逆向还原这三类隐私风险：

• 文本混淆阻断直接隐私泄漏： PrivLLM提供全链路混淆文本的LLM推理能力，用户的推理提示词与模型生成文本全程以混淆形态流转。云服务的链路日志、在线监控、缓存及落盘数据中仅保留不可读的混淆文本，从根源上避免云服务商运维与排障人员直接接触明文隐私信息。

• 模型参数混淆抵御间接隐私泄露： PrivLLM支持对大模型的分词器、各层权重参数进行全链路混淆变换，将模型整体转换至密文空间运行。混淆后的模型权重与原始参数无直接映射关系，攻击者即便获取中间运算数值、隐藏状态或KV-cache等数据，也难以逆向还原出用户隐私信息。实验结果显示，PrivLLM能够有效抵御词表替换攻击[1]、隐藏层状态反演攻击[2] 、不变量攻击[3]等典型逆向攻击手段，使得这些攻击手段还原文本字符的正确率小于20%，攻击者难以有效解读敏感词和用户会话语义。

实测数据：PrivLLM 推理安全又高效

研究团队从任务效果、安全性和效率三个维度评估了 PrivLLM在工业化场景中的表现：

任务效果评估：准确率损失<3%

为了综合评估PrivLLM对下游任务的效果影响，实验选用了Qwen2.5、Qwen3、Deepseek-v3.1、Llama3等典型稠密（Dense）和混合专家（MoE）模型，并使用中文综合评测C-Eval、英文综合评测MMLU、代码生成 HumanEval、指令跟随IFEval、物理知识问答PIQA数据集进行测试。实验结果显示，PrivLLM在各种模型和各类任务上，相比明文推理的效果损失<3%，这保证了 PrivLLM可应用于任务效果敏感的实际工业场景。

表1：PrivLLM与明文推理的效果对比

安全性评估：逆向攻击恢复文本token的成功比例< 20%

相较于直接隐私泄露，间接隐私泄露的隐蔽性更强，因此需充分验证各类逆向攻击手段对隐私保护方案的破解能力。为此，研究团队全面测试了PrivLLM对当前主流逆向攻击的抵御效果，涵盖最近邻匹配攻击（Nearest Neighbor，NN）、词表置换攻击（Vocabulary Matching Attack，VMA）[1]、隐藏层状态攻击（Internel State Attack，ISA）[2]、不变量攻击（Invariant Attack，IA）[3]，以及反演模型攻击（Inversion Model Attack，IMA）[4]。实验采用Qwen2.5-14B-Instruct模型，对比了PrivLLM与其他隐私保护方案的安全性能，同时评估了该安全等级下对任务效果的影响。

结果表明，上述各类攻击针对PrivLLM的文本token恢复比例（Text Token Recovery Success Ratio，TTRSR）均低于15%，恢复文本与原始文本的余弦相似度（CosSim）小于0.45。行业普遍认为，当TTRSR<30%且CosSim<0.6时，方案具备良好的隐私保护效果。与此同时，PrivLLM的模型效果损失可控制在3%以内。

针对攻击效果最为显著的VMA，研究团队进一步测试了 PrivLLM在不同模型上的保护效果。结果显示，PrivLLM的隐私保护能力在各类模型上表现出高度稳定性，充分验证了其跨模型的普适性与可靠性。

表3：PrivLLM在各类模型上对VMA的抵御效果

效率评估：32B模型10分钟完成离线模型混淆，在线推理延时增长< 10%

工业化应用场景对方案的效率有严苛要求，研究团队进一步评估了PrivLLM离线和在线阶段的性能。实验采用一台配备96核CPU资源的机器模拟用户设备，并设置配备多卡GPU的推理服务集群作为云端推理服务的部署环境。

• 离线模型混淆 是用户本地一次性处理的过程。对于 300亿参数量的Qwen3-MoE模型，PrivLLM的离线模型混淆流程可在5分钟内完成，这几乎不影响用户在离线部署模型阶段的体验。

表4：离线模型混淆的用时

• 在线混淆推理 涉及频繁的在线交互，对用户体验有更加严格的要求。实验使用首token延时（TTFT）和平均token延时（TPOT）衡量在线推理的效率。结果显示，PrivLLM仅增加不到10%的推理延时，而用户实际使用时几乎难以察觉。

表5：在线推理TTFT(ms)和TPOT(ms)的对比

结语

大模型时代的数据隐私保护挑战，倒逼我们在思想和技术上需要全面创新：突破现有机制手段的种种局限和瓶颈，实现大规模、低成本、高能效的安全推理应用。PrivLLM协变混淆，恰是为这类场景下的“数据可用不可见”提供了实践解决路径。

它不仅回应了企业在拥抱AI过程中的核心数据安全诉求，同时还与全栈AI组件及相关能力进行了深度融合创新：包括大模型应用防火墙、RAG、模型精调、多模态支持等。为用户提供了一整套兼顾安全、能效、成本的一站式解决方案，有力推动了AI技术在数据安全隐私保护下的广泛应用。

参考文献

[1] Thomas, Rahul Krishna, et al. "Hidden No More: Attacking and Defending Private Third-Party LLM Inference." Forty-second International Conference on Machine Learning. 2025.

[2] Dong, Tian, et al. "Depth Gives a False Sense of Privacy:{LLM} Internal States Inversion." 34th USENIX Security Symposium (USENIX Security 25). 2025.

[3] Lin, Yu, et al. "An inversion attack against obfuscated embedding matrix in language model inference." Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024.

[4] Kugler, Kai, et al. "Invbert: Reconstructing text from contextualized word embeddings by inverting the bert pipeline." arXiv preprint arXiv:2109.10104 (2021).