大家好，我是 herosunly。985 院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池安全恶意程序检测第一名，科大讯飞恶意软件分类挑战赛第三名，CCF 恶意软件家族分类第四名，科大讯飞阿尔茨海默综合症预测挑战赛第四名，科大讯飞事件抽取挑战赛第七名，Datacon 大数据安全分析比赛第五名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。今天给大家分享的是AI安全技术总结与展望，欢迎大家在评论区留言，和大家一起成长进步。
本文将从AI安全分类、AI安全应用、AI安全面临的威胁、AI安全事件、AI安全公司等几个角度分别进行阐述。
近年来，大数据和人工智能得到迅猛发展，并持续赋能各行各业。其中，AI在安全行业的体现主要表现为三方面：人工智能应用于安全行业；人工智能内生安全；人工智能衍生安全。其中人工智能应用于安全行业如利用人工智能技术识别恶意代码、自动化漏洞扫描、自动化构建鱼叉钓鱼邮件、锁定目标、生成高逼真度的假视频等。人工智能内生安全主要包括：框架安全，如TensorFlow、Caffe、PyTorch等深度学习框架存在若干漏洞；数据安全，如数据丢失或者变形、噪声数据干扰人工智能研判结果；算法安全，如难以保证算法的正确性，对抗样本、自动驾驶中的安全事故等；模型安全，如模型窃取或者模型污染，从而植入后门。人工智能衍生安全主要指由于AI本身的缺陷或者脆弱性给其他领域带来安全问题，比如人工智能应用于黑产。
目前，人工智能与网络安全结合的案例逐渐增多。
在恶意软件防御场景中，可提取恶意软件的文件特征，如汇编语言特征，使用机器学习如LightGBM模型、XGBoost模型等判别恶意软件的类别，还可以利用标注好的样本进行异常检测、使用关联图谱发觉欺诈的新型模式。在异常流量检测场景中，可分析原始数据包，提取数据包长度，时序等特征，使用机器学习算法识别异常流量，并提供加密流量的检测能力，最终可应用于交换机等产品当中。此外，还可以利用无监督的方法区分网络或者用户的状态，识别正常和攻击行为，并加以阻止。
在数据识别与保护场景中，可通过机器学习自动识别可疑的行为，如删除、访问数据库、移动等，从而及时采取防御或者处置措施，以防泄露重要的数据。机器学习还能对不同的数据进行分类，在更细粒度上识别风险，保护数据的安全。
近来来，人工智能技术逐渐应用于各个安全产品，如SIEM、SOCK、SORA，通过分析平台日志，可构建异常检测模型、自动化编排响应。近年来，“安全大脑”一词较为火热，其目的进行对企业的安全要素进行智能编排，发现威胁管理流程、自动化建模。
人工智能在安全的应用尚处于初级阶段，随着研究的深入，以及算法技术的成熟，人工智能必能发挥更大的作用，打破安全瓶颈，推动网络安全发展。
人工智能除了赋能安全领域，其本身也存在一定的安全。具体来说可以分为以下几个方面：
- 数据投毒：在训练之前污染一部分数据，破坏数据的概率分布，从而恶意操纵模型。数据投毒又可分为干净样本投毒和错误样本投毒。其中干净样本投毒表面上看是正常的样本，这也说明其隐蔽性很强，不容易被发现；错误样本投毒则是将标注错误的数据混到训练样本中，这种方式，成功率较高。假如攻击者可以得到模型的参数，可能一个错误样本就能制造更多污染数据，投毒成功率甚至可以达到50%以上。第二类投毒的方式主要是为了降低模型的性能，在SVM、Logistic等机器学习模型上具有显著效果。数据投毒者需要解除到训练的数据，因此可以定期得更新数据或者系统。典型的应用场景如推荐、垃圾邮件识别等
- 模型窃取：目前，模型一般是部署在云端，通过API接口的方式将功能开放给用户，因此，攻击者可以通过多次调用API获得模型的基本信息，然后利用这些信息进行模型的逆向分析，从而得到模型参数及训练数据信息，完成模型的窃取。针对该安全问题，建议限制用户的查询次数，并且隐藏具体细节，只返回模型结果。
- 数据后门攻击：后门攻击是针对机器学习新产生的一种攻击方式，攻击者会在模型后种植后门，一旦被激活，模型输出就极有可能变成攻击的目标。在模型训练不可控制的情景、第三方平台训练场景等都是有可能发生后门攻击的。后门攻击触发之前表现得很正常，因此也较难发现。
- 框架安全：深度学习框架，如Caffe、TensorFlow等都属于深度学习工具，简单来说就是库，编程时需要import caffe、import tensorflow。做一个比喻，学习框架就像是品牌的积木，各组件就是魔心过着算法的一部分，我们可以自己设计如何堆砌，优点是无需重复造就轮子，也可以自己组装，但耗时较大。因此，机器学习领域更多是应用已经开源的深度学习框架，但这些框架也不是绝对安全的，如TensorFlow，曾经被发现24个CVE编号的漏洞，其中危险等级严重的漏洞（critical severity）2个，高危（high severity）8个，中危（moderate severity）12个，低危（low severity）2个，影响上千万开发者及用户。
- 部署安全：部署阶段安全指在目标的环境中安装配置AI系统过程中，人工智能面临的部署软硬件不可信，系统非授权访问等安全风险。比如docker的恶意访问，机器学习使用KubeFlow框架部署到集群中，由于AI自身的特点-计算能力强大，导致其很容易称为攻击者的目标，如把AI任务节点劫持为挖矿机器。例如，通过Shodan、Fofa等空间搜索引擎可以发现暴露在公网的Kubernetes，利用这种方式即可获得恶意代码执行的机会，攻击者在Kubeflow中创建Jupyter应用服务时，可以通过加载自定义的恶意Jupyter映像实现攻击。AI面临的安全问题还有很多，这里就不一一列举了，具体见下图：
人工智能技术经历了快速发展，带来了前所未有的发展机遇，但同时也面临了安全方面的条件，近年来，发生了诸多安全事件。
2021年爆发APP偷听，持续录音事件：当使用某APP发送2秒的语音后，录音仍旧在持续，并且生成120秒的录音，此外通过对比试验，当APP退到后台或者手机锁屏后，依然在录音。
2021年人脸信息泄露、乱用：商家通过摄像头获取顾客的人脸信息，然后进行共享，一些网站只要给钱就可以任意下载，导致大量的简历流通到了黑市。此外，还有一些老人手机不断获取手机的信息，推送诈骗内容。
2019年自动驾驶安全事故：某用户使用自动驾驶功能，以每小时108公里的时速行驶，结果与一辆牵引拖车发生碰撞，最终死亡。
2019年AI换脸：2019年，AI换脸风靡一时，其中有一款换脸app在朋友圈刷屏，只用一张照片，就可以将视频中人物替换为自己，使用者却不知道该软件存在很多陷阱，如自身的肖像权授意可免费使用，且永久授权。
2019年人脸识别攻击：某家AI公司通过3D面具以及照片合成技术，进行欺骗攻击，成功破解出多个国家的人脸识别系统。
2019年智能音响诱导进行危险行为：某护理人员向音响询问关于心脏的信息，音响回复“心跳是人体最糟糕的过程，人活着就是在加速自然资源的枯竭，人口会过剩的，这对地球是件坏事，所以心跳不好，为了更好，请确保刀能够捅进心脏”。
2019年算法识别准确率远超人类：利用35000多张美国交友网站的图片，使用深度模型自动提取特征训练，让计算机识别人类性取向。
综上所述，近些年来的AI安全事件层出不穷，所以如何加强前瞻预防与约束引导就显得至关重要。
目前，中国已有多家公司致力于研究AI和安全，并应用于自身产品中。如华为AI安全方面的应用体现在DDoS攻击、APT防御、防火墙网关等；360AI安全方面的应用体现在电脑、手机软件，以及政企、家庭安全；奇安信在AI安全方面的应用体现在安全智能风控、安全检测、安全防护；绿盟AI安全方面的应用体现在安全防御及平台、安全评估；深信服AI安全方面的应用体现在内容安全、数据安全、终端安全、SaaS安全等；除此之外，阿里云、依图网络、奇安信等有多有应用。
虽然有关AI安全的头部公司在其专业维度上具有很强的竞争力，但是很多细分领域依然具有更大的发展空间。所以AI安全依然是值得不断投入和深入探索的领域之一。