摘要：在3月26日-29日于新加坡召开的Black Hat Asia 2019上，来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。

　　在3月26日-29日于新加坡召开的Black Hat Asia 2019上，来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中，在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks 的议题中，百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴，携手工业界、学术界共同探索与建设安全的AI时代。

　　Black Hat是国际安全工业界的顶级会议之一，具有广泛的影响力。Black Hat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会，会议聚焦于先进安全研究、发展和趋势，并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来，百度安全多次登上Black Hat的舞台，分享在AI安全、移动安全等领域的研究与实践成果。本届Black Hat Asia上，百度安全Tao Wei、Yunhan Jia、Zhenyu Zhong、Yulong Zhang、Qian Feng的研究成果再次引发业内关注。

　　深度学习模型容易受到对抗样本的攻击，这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动，就可以“欺骗”模型，指鹿为马，甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack)，攻击者往往提前知晓模型的架构、参数，既而利用特定算法针对性的生成“对抗样本”，诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“，若应用到人脸识别、语音识别、无人驾驶等领域，不仅会导致严重的安全事故，也会破坏整个人工智能生态应用的进程与基本信任。

　　幸运的是，通常情况下，攻击者未必对深度学习模型内部架构、参数那么了若指掌，不知道它是怎么“想“的，也不知道它是怎么“学“的，此时制造“对抗样本“则要麻烦许多——此乃“黑盒攻击“，理论上需要攻击者采取类似于“穷举法”的手段逐一测试，才能找到那个形成攻击者预期结果的关键位点，所需时间足够长，难度系数足够高，过程中凭手感、碰运气成分足够大。当下以Google、Amazon为代表的国内外知名科技公司将云计算的运作模式与人工智能深度融合，将人工智能技术作为一种云服务(AIaaS，人工智能即服务)提供给用户和合作伙伴，除Amazon等少数公司会告知模型算法，绝大多数公司仅向用户反馈调用结果。这意味着云端深度学习模型是黑盒模型，理论上可有效抵御对抗样本的攻击。

　　然而，百度安全在Black Hat Asia 2019上带来的最新研究成果表明：黑盒模型制造的只是虚假的安全感，当模型架构和参数不可知的情况下，攻击者依然有机会实施对深度学习模型的欺骗。 报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术，并创新性的提出了“指纹攻击“（Fingerprinting attack）——即根据极少的请求结果推测出模型的结构，既而针对性的构造对抗样本。

　　百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景，同时结合两种不同的攻击手段——非定向攻击(Dispersion attack)、定向攻击(Target Score attack)进行比较，现场展示了指纹攻击的实验结果。如图1所示，在攻击者条件充足的情况下，攻击的绕过率分别高达86%(非定向)和65%(定向)，而在条件不充足(比如仅支持2次请求)的情况下，攻击的绕过率也可以达到33%(非定向)和16%(定向)。这个实验结果表明，深度学习模型的“黑盒保护”看似安全，但是现实中还是存在弱点，而且在高效的攻击手段面前，这个弱点还很严重。

　　图1：深度学习模型有限请求绕过率

　　如果说对抗样本的发现，将传统安全产业框架延伸至机器学习模型算法安全性的范畴，那么当云端深度学习模型失去“黑盒保护”，则令这个问题更加严峻和复杂。这意味着，攻击者一旦破译了云端模型，未来可让AI系统丧失对城市交通、道路标识及车辆正确的识别能力，对车辆实施远程控制和对相关隐私信息的窃取，这个场景还可延伸至医疗保健、金融认证、工业控制等领域，蕴含巨大的安全风险。

　　攻击技术实现背后，引出了当前深度学习模型训练常用的迁移学习(Transfer Learning)方法，及其从安全视角存在的缺陷。传统机器学习通常有两个基本条件，即用于学习的训练样本和新的测试样本同一分布且相互独立，且必须有足够可用的训练样本，以确保模型的高准确和可靠性，但是实际中两个条件往往无法满足。迁移学习放宽了这两个基本条件，这种机器学习的训练方法可以利用仅有少量的标签训练建立出一个模型，同时令原先需要几天甚至几个星期的训练时间缩短至几小时甚至几分钟，让普通用户同样可以享受到深度学习带来的技术革新。例如ImageNet视觉对象识别数据库的训练数据集有超过1400万张的图像，输出1000个类别，利用迁移学习，普通用户可以在ImageNet模型的基础上训练出一个输出远远低于1000类的模型。

　图2：迁移学习训练方法高效性及缺陷

　　近年来，业内针对迁移学习展开广泛的算法研究和实践，在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中，从安全视角，并非无懈可击。例如，迁移学习这种训练方法的高效性，来自于特征提取层的架构和参数被重复利用，同时在迁移学习过程中保持特征值和架构不变。正因如此，模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化，从而使得目标分类的置信度降低，通过搜集的14个不同的公开模型(VGG16， VGG19， RESNET50， MobileNET等)，分别构造输入样本使得对应的模型特征提取层的最后一层神经元的离散值最小化，并把该构造后的样本以API方式输入云端黑盒模型，并观察最后分类层的输出结果。最后，选取API返回结果中置信度最低的样本，并把生成该样本的网络架构作为云端模型的架构。当攻击者知晓云端模型特征提取层的架构之后，他就可以按照白盒的方式精确的构造对抗样本，从而对云端模型进行定向和非定向攻击。

　　与会，百度安全研究员介绍了百度安全针对对抗样本的解决思路，以及通过对抗训练强化模型提高深度学习模型鲁棒性的途径。百度安全针对人工智能算法安全性的研究，包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外，百度安全始终倡导通过新一代技术研发与开源，实现对安全问题的快速响应与对抗，百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案，目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台，可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用，加固业务AI模型，为模型安全性研究和应用提供重要的支持。

　　人工智能在拓宽传统产业格局框架的同时，也重塑了安全的防线边界，传统的安全防御已无法应对新时代的挑战。百度安全的研究证明，人工智能时代不仅要面对曾经的云管端的安全问题，机器学习算法自身的安全性亦存在漏洞，存在现实威胁性。包括对抗样本工具包AdvBox在内，百度安全2018年将首创的七大技术——KARMA系统自适应热修复、OpenRASP下一代云端安全防护系统、MesaLock Linux内存安全操作系统、MesaLink TLS下一代安全通信库、MesaTEE下一代可信安全计算服务、HugeGraph大规模图数据库——开源汇成“七种武器”，全面解决云管端以及大数据和算法层面的一系列安全风险问题，实现由传统安全时代的强管理向AI时代的强技术支撑下的核心管理的转变，全面应对AI时代下层出不穷且日益复杂的生态安全问题及挑战。

　　对抗样本在机器识别领域是一个实实在在的威胁，不仅存在于黑盒/白盒模型中，并且真实存在于物理世界中。百度安全针对机器学习模型漏洞进行物理攻击可行性研究，感兴趣的同学请点击“阅读原文”，回顾百度安全科学家在Black Hat Europe 2018上重现AI版大卫•科波菲尔的“神秘魔法”。