机器学习对抗性攻击是什么？我们去百度在硅谷的研究室请教了一下

2016 年 1 月 11 日中午，虎嗅探访了百度位于硅谷森尼韦尔 (Sunnyvale) 的美国研究室 (简称“百度美研)，来自安全部门 X Lab 的技术人员仲工程师向我们简单介绍了百度美研的大致情况，并重点讲解了安全领域的“机器学习对抗性攻击”技术。

百度美国研究室座落在波尔多路 (Bordeaux Dr) 1195 号，除了安全实验室 X Lab 之外，百度美国的人工智能和无人汽车研发团队也在这里办公。虎嗅在停车场就发现了一台基于林肯 MKZ 试验改装的百度无人汽车。

据仲工程师介绍，类似的试验改装无人车，在硅谷的百度美研还有其他几部，但不全是林肯 MKZ 的型号。除了无人车之外，由吴恩达领导的人工智能研发团队也在这里。虎嗅抵达百度的时候正值中午，在员工餐厅简单吃了午饭之后，就随仲工程师来到工位旁边的小会议室，开始本次拜访的重点话题：机器学习对抗性攻击。

仲工程师首先向虎嗅指出，这次讲解的研发成果并非完全来自百度安全团队，而是涉及到整个业界的多项技术，百度更多关注该技术在产业界方面实际案例的研究。

仲工程师的讲解主要基于加州大学伯克利分校 (UC Berkeley) Liu Chang 博士不久前在 GeekPwn 大会上发布的“探索对抗性深度学习的新攻击手段” (Exploring New Attack Space on Adversarial Deep Learning) 展开。仲工程师首先介绍了 DenseCap，这已经是深度学习领域大家比较熟悉的东西了：

简单来说，深度学习对图片中的对象进行了识别，不仅仅是占画面大部分的猫，还有滑板、木地板，而且可以识别出是“桔黄色有斑点的猫”、“有红色滚轮的滑板”以及“棕色的硬木地板”。

上图是 DenseCap 整体的工作架构，在对象识别 (Object Detection) 的这个环节，攻击的机会就出现了，见下图：

虽然用肉眼来看，这是两张几乎一模一样的照片，但是右边的那一张实际上是经过处理用于攻击所采用的照片。可以看到，两张图片的对象识别结果有很大不同。也就是说，虽然两张照片看起来没什么区别，但是机器的识别结果并不一样。这也就是攻击的“漏洞”所在。

这是另一个对象识别攻击的例子，让就是两张人眼看起来一模一样的图片，但是识别的结果大相径庭。基于 DenseCap 的架构，对象区域识别的“错误”，顺理成章地，则导致 captioning 产生不同的结果，从下面这个例子就能一目了然地看到：

攻击图片 (Adversarial Image) 中的结果，“挂着的浴巾”变成了“白色和红色的杯子”，“地板上的垃圾桶”变成了“大巴车的前玻璃”，“墙上的镜子”变成了“镜子里的一只狗”，等等。

加州大学伯克利分校的研究人员还基于一个“黑盒”系统对这种攻击方法进行了测试，他们选择了 clarifai。这是图像识别领域的一家创业公司，有报道显示该公司的系统可以在大部分单次猜测实现超过 90% 的识别率。

左侧为图片，右侧为文字识别结果

上图是一个在“黑盒”测试中实现的可转化的攻击案例：将一个机器识别为“熊猫”的图片，变成识别结果高达 99.3% 的“长臂猿”，这个结果对神经网络算法 ResNet152 仍旧有效。顺便说一下，长臂猿长的是这个样子：

这和熊猫也差太远了……

这种攻击方法在如下的模型和数据集当中进行了研究和验证：VGG16、ResNet50、ResNet101、ResNet152、GoogLeNet (Inception-v1) 和 Inception-v3，分别采用了单网络优化方法 (Single-network optimization-based Approach)、单网络快速迭代方法 (Single-network fast gradient-based Approach) 和综合方法 (Ensemble-based Approach)，并针对不同方法对这种攻击手段在不同深度学习系统中的可转化性进行了试验。

经过仲工程师的讲解，虎嗅发现，试验结果中显示这种攻击方式在“黑盒”测验中显示出较高的可转化性。也就是说，在只有“黑盒”条件下接触模型的情况里，“攻击图片”导致的情况案例仍旧会出现。

基于本文如上所述，我们不难联想到这种攻击方式在具体场景中的应用。比如使用了图像识别技术的监视系统，理论上入侵者可以“迷惑”系统识别的结果，或者是采用了图像识别技术的身份验证系统，从理论上讲入侵者可以使用两张人眼看起来差不多的图片，让系统识别成不同的两个人。

“比如我拿一张自己的照片，处理之后系统可能识别成是‘李彦宏’。”仲工程师对虎嗅说道。

本文内容仅供读者参考，水平有限，如有错误，烦请指出。