在AI大模型的研发和部署过程中，安全性已成为不可忽视的关键环节。无论是模型本身的训练与托管，还是实际应用场景中的调用与生成内容，都面临多层次的安全挑战。为了保障模型的稳定运行与数据的合规使用，我们将安全体系拆分为三个方向进行思考与建设：
以下为每个方向的核心要点总结： AI 应用及大规模模型自身的安全及其使用过程中的安全保障。重点在于如何有效地保护这些模型系统免受外部威胁和攻击，同时确保数据隐私的安全
方向一：模型自身安全
- 数据隐私保护：确保模型训练过程中使用的数据得到妥善处理，包括数据脱敏、匿名化等措施，以防止敏感信息泄露
- 平台安全性：加强模型托管平台的安全性 ， 包括但不限于物理安全、网络安全、访问控制等方面，确保模型开发、训练、测试直至部署各环节的安全可控
方向二：模型应用安全
- 访问控制与 身份认证：实施严格的身份验证机制，确保只有授权用户能够访问模型及其接口；利用多因素认证等高级认证方式进一步增强安全性
- 运行时防护与 异常检测：部署实时监控系统，对模型运行状态进行持续监督 ，快速识别并响应任何潜在的安全事件或异常行为
方向三：模型输出内容安全
- 数据防泄漏：采取有效措施防止模型产生的敏感信息外泄，包括数据加密、访问权限管理等
- 内容合规性检测：建立完善的*内容审核机制， *利用自动化工具加人工审查相结合的方式，确保模型生成的所有内容符合法律法规要求及社会道德规范
导入：随着AI技术的迅猛发展，它正逐步渗透并赋能各行各业。在此背景下，我们又该如何顺应这一趋势，为AI的发展贡献自己的力量呢？
1. 当前挑战
1️⃣ 模型安全层
| ❶ 训练数据安全风险 | ❷ 算法模型安全风险 | ❸ 系统平台安全风险 |
|---|---|---|
| 训练数据违规获取 训练数据有违法信息 训练数据投毒 训练数据质量差 | 模型鲁棒性差 模型“幻觉”现象 模型偏见和歧视 模型可解释性差 | 机器学习框架安全隐患 开发工具链安全问题 业务逻辑缺陷风险 插件相关安全风险 |
2️⃣ 应用安全层
| ❶ 生成违法不良信息 | ❷ 算法模型安全风险 | ❸ 系统平台安全风险 |
|---|---|---|
| 对国家安全、公共安全、伦理道德和行业规范构成威胁 | 可能受到未授权访问、滥用、窃取或滥用、越权访问等 | 用户或实体不遵守道德规范和法律法规 |
3️⃣ 模型输出合规性
| ❶ 数据泄露问题 | ❷ 专业知识少 | ❸ 响应机制不足 |
|---|---|---|
| 逆向工程、成员推理攻击或提示词注入窃取数据等；或使用不当无意泄露隐私 | 缺乏了解法律法规和合规性要求的人员 | 合规性变化，缺乏及时对合规性问题响应 |
2. 趋势与产品
🛡️ 模型自身安全
1️⃣ 模型数据保护
| 概念 | 数据加密 | 数据分类与访问控制 | 数据脱敏与差分隐私 |
|---|---|---|---|
| 对模型使用的数据在传输、存储和处理过程中进行加密，特别是机密或敏感数据。使用全盘加密（如BitLocker）和传输层加密（如TLS/SSL）来确保数据的安全性。（💡核心理解：数据加密） | 分类管理敏感数据和公共数据，对机密数据的访问进行严格限制，确保员工只能访问必要的数据。可以通过数据访问控制系统和加密密钥管理系统（如Azure Key Vault）实现。（💡核心理解：数据分类控制） | 对敏感数据进行脱敏处理，避免数据泄露风险；使用差分隐私技术，在模型训练时加入噪声来保护数据隐私，尤其适用于涉及客户数据的应用。（💡核心理解：脱敏与噪声隐藏） |
【数据加密】代表产品——IBM Guardium Data Encryption加密
- 🔐 数据加密功能： 通过使用集中密钥管理、特权用户访问控制和详细的数据访问审计日志对静态数据进行加密，解决合规性报告问题，同时保护结构化数据库、非结构化文件和云存储服务。
- ☁️ 用于云密钥管理： 通过对加密密钥进行完整的生命周期控制（包括自动密钥轮换和到期管理），集中密钥管理以降低复杂性和运营成本。
- 📊 数据加密密钥管理： 集中管理 Guardium 解决方案以及第三方设备、数据库、云服务和应用程序的密钥。支持 KMIP（一种用于加密密钥交换的行业标准协议），可以使用一组通用策略来管理密钥。
【数据分类与访问控制】代表产品——Microsoft Azure Key Vault 加密
Azure Key Vault 也是一项用于保护和管理密钥、密码和其他机密信息的服务，可以有效帮助在 Azure中的 AI 服务应用程序的安全性。
通过使用 Azure Key Vault，开发人员可以减少机密信息泄露的风险，并确保在开发和部署 AI 应用程序时，所有敏感数据都得到安全管理。
【数据脱敏与差分隐私】代表产品——Satori Cyber 隔离 加密
专注于数据安全和治理，能够为机器学习项目提供细粒度的数据访问控制和监控，确保数据在模型训练和推理过程中的安全
- 简化跨多个数据存储的维护
无需任何繁琐的设置，即可从单一位置简化跨多个数据存储的维护、查看、分析和报告数据访问日志。
- 了解数据访问的上下文
从集中存储库获取有关数据访问的缺失的上下文信息，该存储库包含有关所有数据访问的丰富元数据，包括身份数据、敏感数据类型和任何安全策略的应用。
2️⃣ 模型安全（安全性 & 稳定性）
| 概念 | 防止对抗样本攻击 | 模型加密和访问控制 | 模型水印 |
|---|---|---|---|
| 对抗样本攻击是通过细微修改输入数据来诱使模型产生错误结果的方式，安全产品可以检测并防御这些恶意攻击，确保模型推理结果的可靠性。（💡核心理解：预防攻击） | 通过安全产品能够限制对大模型的访问权限，确保模型和其推理输出的完整性和安全性，避免模型被窃取或恶意使用。（💡核心理解：模型管控） | 通过嵌入模型水印，可以追踪和标识模型的来源，从而保护模型的知识产权，防止非法复制和传播。（💡核心理解：模型水印） |
【防止对抗样本攻击】代表产品——IBM Guardium AI Security
该产品是帮助管理与 AI 模型和 AI 数据相关的安全风险及合规问题。
主要通过对漏洞进行评估、数据加密、密钥管理、实时警报和动态编辑等方式来保护数据。同时，Guardium 还具有监控、治理、检测和响应功能，可以提升数据合规性。
①自动化和持续监控 AI 部署管理
② 检测安全漏洞和错误配置
识别模型中需要修复的高风险漏洞，并映射到评估框架，例如 LLM 的 OWASP Top 10。
③ 监控 AI 合规性
通过预装的 IBM watsonx.governance 集成，实现AI 部署以及用户、模型、数据和应用程序之间的安全合规性；通过watsonx.governance 可进行模型的测试并生成报告。
【模型加密和访问控制】代表产品——代表产品—— Azure Machine Learning
Azure Machine Learning 是一个全面的云服务平台，用于加速和管理机器学习项目的生命周期。可帮助监控、重新训练和重新部署模型。
解决方案：包括模型管理和安全性设置，支持模型版本控制和权限管理。
可视化运行指标：通过可视化分析和优化模型实验。
【模型水印】代表产品—— Databricks
Databricks Mosaic AI 提供统一的工具来构建、部署、评估和管理 AI 和 ML 解决方案 — 从构建预测性 ML 模型到最新的 GenAI 应用程序。
① 自动化监控
利用 AI 的强大功能实现自动化监控、诊断错误并维护数据和 ML 模型质量。利用主动警报，自动检测个人身份信息 (PII) 数据、跟踪模型偏差，以保持准确性和完整性。
② 模型风险感知与诊断
Lakehouse Monitoring 可以扫描输出中是否存在有毒和不安全的内容以及诊断错误。
③ 管理和跟踪整个 AI 生命周期
所有 ML 资产（从数据到模型）都可以通过工具进行管理，以帮助确保在 ML 生命周期的每个阶段（从开发、部署到维护）进行一致的监督和控制。
下一期我们将关注 AI 模型保护的「模型应用安全」、「模型输出内容安全」敬请期待～