使用此工具来了解对抗攻击你自己可以做到

近年来，媒体已经越来越多地关注对抗性示例，例如图像和音频之类的输入数据已被修改以操纵机器学习算法的行为。粘贴在停车标志上的贴纸会导致计算机视觉系统将其误认为是速度限制;愚弄人脸识别系统的眼镜，被归类为步枪的乌龟-这些只是过去几年中成为头条新闻的众多对抗性例子中的一部分。

对抗性示例对网络安全的影响越来越引起人们的关注，特别是随着机器学习系统继续成为我们使用的许多应用程序的重要组成部分时。人工智能研究者和安全专家正在进行各种努力，向公众进行对抗性攻击教育，并建立更强大的机器学习系统。

其中包括adversarial.js，这是一个交互式工具，可显示对抗性攻击的工作方式。adversarial.js是上周在GitHub上发布的，由东京大学的研究生Kenny Song开发，致力于机器学习系统的安全性研究。Song希望消除对抗攻击的神秘色彩，并通过该项目提高对机器学习安全性的认识。

制作自己的对抗示例

Song在设计adversarial.js时考虑到了简单性。它是用Tensorflow.js(Google著名的深度学习框架的JavaScript版本)编写的。

“我想制作一个可以在静态网页上运行的轻量级演示。由于所有内容都以JavaScript的形式加载到页面上，因此用户检查代码并直接在浏览器中进行修改确实非常容易。” Song告诉TechTalks。

[阅读： 为什么这个安全工程师喜欢在infosec中工作]

Song还启动了一个托管adversarial.js的演示网站。要进行自己的对抗攻击，请选择目标深度学习模型和示例图像。您可以在应用对抗性修改之前通过神经网络运行图像，以查看其如何分类。

停车标志的安全形象

正如adversarial.js显示的那样，训练有素的机器学习模型可以非常高精度地预测图像的正确标签。

下一阶段是创建对抗性示例。此处的目标是以不改变人类观察者的方式修改图像，而是使目标机器学习模型更改其输出的方式。

选择目标标签和攻击技术并单击“生成”后，adversarial.js将创建稍作修改的新版本图像。根据您使用的技术，修改可能会或多或少地用肉眼可见。但是对于目标深度学习模型而言，差异是巨大的。

在我们的案例中，我们试图愚弄神经网络，以为我们的停车标志是120 km / hr的限速标志。从理论上讲，这意味着人类驾驶员在看到路标时仍会停车，但是使用神经网络理解世界的自动驾驶汽车可能会危险地驶过它。

停车标志的对抗形象

对抗攻击不是一门精确的科学，这是adversarial.js很好显示的一件事。如果稍微修改一下该工具，您会发现在许多情况下，对抗性技术并不能始终如一地工作。在某些情况下，扰动不会导致机器学习模型将其输出更改为所需的类，而是会导致其降低对主标签的置信度。

失败的对抗攻击

了解对抗性攻击的威胁

Song说：“我对对抗性例子很感兴趣，因为它们打破了我们的幻想，即神经网络具有人类水平的感知智能。” “除了带来的直接问题之外，我认为了解这种故障模式可以帮助我们将来开发更多的智能系统。”

如今，您可以在计算机，电话，家庭安全摄像头，智能冰箱，智能扬声器和许多其他设备上运行的应用程序中运行机器学习模型。

对抗性漏洞使这些机器学习系统在不同的环境中不稳定。但是它们也可能带来我们尚未了解和应对的安全风险。

Song说：“今天，可以很好地比喻互联网的早期发展。” “在早期，人们只是专注于使用新技术构建出色的应用程序，并认为其他所有人都有良好的意愿。我们现在处于机器学习的那个阶段。”

宋警告说，不良行为者将找到利用脆弱的机器学习系统的方法，这些系统是为“最佳情况，IID(独立且分布均匀)，非对抗性世界而设计的”。很少有人了解风险态势，部分原因是知识被研究文献所束缚。实际上，自2000年代初以来，人工智能科学家就开始讨论对抗性机器学习，并且已经有数千篇有关该主题的论文和技术文章。

Song表示：“希望这个项目可以使人们思考这些风险，并激励他们投入资源来解决这些风险。”

机器学习安全格局

对抗性ML威胁矩阵

对抗性ML威胁矩阵为处理机器学习系统中的安全威胁提供了一个框架

Song说：“专家示例只是一个问题，”他补充说，还有更多的攻击媒介，例如数据中毒，模型后门，数据重构或模型提取。

跨部门的势头正在不断增长，以创建提高机器学习系统安全性的工具。10月，来自Microsoft，IBM，Nvidia，MITRE等13个组织的研究人员发布了Adversarial ML威胁矩阵，该框架可帮助机器学习技术的开发人员和采用者识别其AI系统中可能存在的漏洞，并在恶意行为者利用之前对其进行修补。他们。IBM的研究部门分别参与了许多有关创建对抗对抗干扰的AI系统的研究。美国商务部的研究机构美国国家标准技术研究院(National Institute of Standards and Technology)推出了TrojAI ，这是一项针对机器学习系统中的特洛伊木马攻击的倡议。

Song等独立研究人员将继续为这一不断发展的领域做出贡献。Song说：“我认为下一代网络安全公司在此领域定义最佳实践具有重要作用。”