CN115471495A - 模型鲁棒性检测方法、相关装置及存储介质 - Google Patents

Abstract

本申请实施例公开了一种模型鲁棒性检测方法、相关装置及存储介质。方法包括确定驾驶场景仿真平台中当前待攻击的至少一个目标对象；在预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个目标对象的有效范围内，得到至少一个目标对抗样本；将至少一个目标对抗样本输入车辆感知模型，得到识别结果，识别结果用于控制生成目标车辆的驾驶指令，识别结果指示第一置信度高于第二置信度，第一置信度为车辆感知模型将目标对抗样本识别为非目标对象时的置信度，第二置信度为车辆感知模型将目标对抗样本识别为目标对象时的置信度。通过本实施例可以提高对模型的攻击效果以及缩短模型的迭代周期等。

Description

模型鲁棒性检测方法、相关装置及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型鲁棒性检测方法、相关装置及存储介质。

背景技术

随着计算机硬件水平的提升和大型自动驾驶数据集的创建，基于深度学习的感知技术在自主机器人、自动驾驶等领域应用越来越广泛。由于深度学习模型内部复杂的设计和基于数据驱动的原理，模型的可解释性较低且具有“黑盒”特性，因此模型容易受到难以察觉的攻击而出现与人的思维不符的结果，这可能在行车途中造成难以估量的损失。为验证检测模型的鲁棒性，需要设计多种测试场景，模拟对抗防御在不同场景的攻防的效果。

目前主要使用两种方法对模型进行模拟干扰，以检验模型的鲁棒性；第一种，在原有图像、点云数据上直接添加扰动，然后将添加了扰动的数据输入到模型中；第二种，将在数字图像上做的攻击图像直接打印成实物，然后在现实场景通过相机将对抗攻击后的图像信息输入到模型。

然而，第一种现有技术在采集的图像上直接添加扰动得到的对抗样本，不能模拟车辆在运行过程中对车辆进行连续攻击的场景，攻击效果不好；第二种现有技术需要将对抗图案打印成实物，并且需要在现实场景中对对抗图案进行拍摄，会增加模型鲁棒性检测的时间成本，模型的迭代周期长。

发明内容

本申请实施例提供了一种模型鲁棒性检测方法、相关装置及存储介质，可以保证模型检测的安全性、提高对模型的攻击效果以及缩短模型的迭代周期。

第一方面，本申请实施例提供了一种模型鲁棒性检测方法，所述方法应用于模型鲁棒性检测***，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：

确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；

在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

在一些实施例中，所述目标对抗图案导入所述驾驶场景仿真平台的方式包括以下项中的至少一项：程序接口导入、虚拟投影设备投影以及自动化图标拖拽。

第二方面，本申请实施例还提供了一种模型鲁棒性检测装置，所述模型鲁棒性检测装置被配置于模型鲁棒性检测***中，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型，所述装置包括：

收发模块，用于获取所述预设脚本；

处理模块，用于确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

在一些实施例中，所述驾驶场景仿真平台预设有多种天气素材，所述目标时段包括第一时段，所述目标对抗图案包括第一对抗图案；所述处理模块在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

从多种所述天气素材中确定所述第一时段对应的目标天气素材；

在所述第一时段内将所述目标车辆的当前场景界面切换为所述目标天气素材对应的目标天气场景界面，所述目标天气场景界面包括至少一个所述目标对象；

根据所述目标天气素材的特征选择与所述目标天气素材匹配的至少一个所述第一对抗图案；

将至少一个所述第一对抗图案添加到至少一个所述目标对象的有效范围内，得到至少一个第一对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第一对抗样本输入所述车辆感知模型，得到非所述目标对象的识别结果。

在一些实施例中，所述预设脚本预设有多个运行周期，并且所述预设脚本中设有运行周期数与天气素材的对应关系，所述第一时段为所述运行周期的运行时长，所述第一时段为所述运行周期对应的运行时段；所述处理模块在执行所述从多种所述天气素材中确定所述第一时段对应的目标天气素材步骤时，具体用于：

在当前周期开始运行之前，确定当前运行周期的当前周期数；

根据所述运行周期数与天气素材的对应关系，从多个所述天气素材中确定与所述当前周期数对应的目标天气素材。

在一些实施例中，所述目标对象为第一车辆，所述目标时段包括第二时段，所述目标对抗图案包括第二对抗图案；所述处理模块在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

获取在所述第二时段内预设的与所述第一车辆对应的所述第二对抗图案；

将所述第二对抗图案添加到所述第一车辆的有效范围内，得到第二对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第二对抗样本输入所述车辆感知模型，得到第二车辆的识别结果，所述第二车辆的车型与所述第一车辆不同。

在一些实施例中，所述目标对象为行人，所述目标时段包括第三时段，所述目标对抗图案包括第三对抗图案；所述处理模块在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

在所述驾驶场景仿真平台中的特定路段或交通标志为预设状态时，获取在所述第三时段内预设的与所述行人对应的第三对抗图案；

将所述第三对抗图案添加到所述行人的有效范围内，得到第三对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第三对抗样本输入所述车辆感知模型，得到无行人的识别结果。

在一些实施例中，所述驾驶场景仿真平台包括所述目标车辆在目标时段内行驶的第一场景界面；所述处理模块在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

将所述目标时段内预设的虚拟投影设备显示在所述第一场景界面中；

通过所述虚拟投影设备向至少一个所述目标对象的有效范围内投影至少一个所述目标对抗图案，得到至少一个所述目标对抗样本。

在一些实施例中，所述收发模块还用于：接收目标对象的新增指令；

所述处理模块还用于，根据所述新增指令在所述驾驶场景仿真平台中增加目标对象。

第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。

相较于现有技术，本申请实施例提供的方案中，本方案中的目标车辆根据预设脚本在驾驶场景仿真平台中行驶并且驾驶场景仿真平台中设有至少一个目标对象，并且在预设脚本指示的目标时段内，将目标对抗图案导入对应目标对象的有效范围内之后，得到目标对抗样本，将目标对抗样本输入车辆感知模型即可实现对模型的攻击，第一方面，通过仿真场景来模拟物理世界的检测流程，在获得较接近真实物理世界的检测结果下，能够保障检测的安全性，第二方面，由于目标对抗样本可以在目标车辆行驶过程中动态生成，基于驾驶场景仿真平台生成的对抗样本不需要打印对抗图案，也不需要在现实场景中对对抗图案进行拍摄，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多的、更快、更全面的测试车辆感知模型，提高攻击效果，并且缩短模型的迭代周期。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的模型鲁棒性检测方法的应用场景示意图；

图1b为本申请实施例提供的车辆感知模型的主要感知任务的示意图；

图2为本申请实施例提供的模型鲁棒性检测方法的流程示意图；

图3a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图3b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图4a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图4b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图4c为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图5为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图6a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图6b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图7为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；

图8为本申请实施例提供的模型鲁棒性检测装置的示意性框图；

图9为本申请实施例中服务器的一种结构示意图；

图10为本申请实施例中终端的一种结构示意图；

图11为本申请实施例中服务器的一种结构示意图。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例供了一种模型鲁棒性检测方法、相关装置及存储介质，该模型鲁棒性检测方法的执行主体可以是本申请实施例提供的模型鲁棒性检测装置，或者集成了模型鲁棒性检测装置的计算机设备，其中，该模型鲁棒性检测装置可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器。

当该计算机设备为服务器时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

当该计算机设备为终端时，该终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、台式计算机、智能手表等携带多媒体数据处理功能(例如，视频数据播放功能、音乐数据播放功能)的智能终端，但并不局限于此。

本申请实施例的方案可基于人工智能技术实现，具体来说涉及人工智能技术中的计算机视觉技术技术领域和云技术中的云计算、云存储和数据库等领域，下面将分别进行介绍。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、模型鲁棒性检测、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的模型鲁棒性检测、指纹识别等生物特征识别技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例的方案可基于云技术实现，具体来说涉及云技术中的云计算、云存储和数据库等技术领域，下面将分别进行介绍。

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图像类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。本申请实施例可通过云技术对识别结果进行保存。

云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储***(以下简称存储***)是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储***。在本申请实施例中，可将网络配置等信息均保存在该存储***中，便于服务器调取。

目前，存储***的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件***上，文件***将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件***将每个对象分别写入该逻辑卷的物理存储空间，且文件***会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件***能够根据每个对象的存储位置信息让客户端对数据进行访问。

存储***为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。

数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

数据库管理***(英语：Database Management System，简称DBMS)是为管理数据库而设计的电脑软件***，一般具有存储、截取、安全保障、备份等基础功能。数据库管理***可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL(结构化查询语言，Structured QueryLanguage)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。在本申请实施例中，可将识别结果存储在该数据库管理***中，便于服务器调取。

其中，需要特别说明的是，本申请实施例涉及的服务终端，可以是指向服务终端提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless LocalLoop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。

在一些实施方式中，本申请实施例可应用于如图1a所示的模型鲁棒性检测***，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象(图1a中以目标对象为大货车为例)，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型。

具体地，在一些实施例中，模型鲁棒性检测***接收用户输入的预设脚本，使得驾驶场景仿真平台中的目标车辆按照预设脚本进行行驶；模型鲁棒性检测系1在执行本申请提供的模型鲁棒性检测方法时，首先确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，其中，所述目标对象为所述车辆感知模型感知到的对象；然后在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；最后将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，此时，由于目标对象贴了对抗图案，此时，目标对象对辆感知模型隐身，车辆感知模型的识别结果为前方无车辆。所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

本实施例中，目标车辆通过车辆感知模型在驾驶场景仿真平台中进行自动驾驶，车辆感知模型根据感知到的道路场景生成控制目标车辆的驾驶指令，其中，本实施例中车辆感知模型的主要感知任务如图1b所示，车辆感知模型融合有视觉模型和点云模型，视觉模型能识别驾驶场景的2D信息，如驾驶场景中目标对象的颜色以及类型，点云模型主要识别3D的位置信息，例如距离目标对象的距离。其中，视觉模型能够识别的对象包括红绿灯、车道线、交通标志牌、落石、行人以及车辆等等；点云模型能够识别的对象包括落石、行人、车辆等，并提供对象的较为准确的空间信息。针对这些感知对象，本申请设计了对抗方法，例如，对路侧、道路场景的不同场景提出多种2D、3D对抗样本的攻击方法，在驾驶场景仿真平台中动态生成对抗样本，以欺骗车辆感知模型，使得车辆感知模型将对抗样本误识别为真实结果，导致驾驶决策失误或者失灵。

下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。

参照图2，以下介绍本申请实施例所提供的一种模型鲁棒性检测方法，本申请实施例包括：

201、驾驶场景仿真平台确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象。

在一些实施例中，驾驶场景仿真平台确定中当前待攻击的目标对象之前，首先需要接收用户发送的预设脚本，其中，该预设脚本中设置有目标车辆行驶的路线、需要攻击的目标对象、对目标对象导入对应对抗图案的时机(目标时段)以及需要导入的对抗图案的存储路径。本实施例中的目标对象为在目标车辆运行过程中可以被所述车辆感知模型感知到的对象。

在一些实施例中，根据预设脚本的指示，当前待攻击的至少一个所述目标对象为在目标车辆在驾驶场景仿真平台的运行全过程中需要攻击目标车辆的所有目标对象。此时，可以在构建驾驶场景仿真平台的仿真场景时，提前设置好目标车辆行驶路线中的目标对象的对抗图案。

在另一些实施例中，驾驶场景仿真平台包括多个场景界面，根据预设脚本的指示，当前待攻击的至少一个所述目标对象为在驾驶场景仿真平台当前显示的场景界面中出现的需要对目标车辆进行攻击的目标对象。此时，可以在目标车辆行驶中进行实时动态的导入目标对象的对抗图案。

其中，本实施例中的预设脚本内设置有多个播放时段，在不同播放时段驾驶场景仿真平台中播放不同的场景界面，该播放时段包括目标时段，该目标时段为需要进行对抗图案导入的时段。

本实施例中的目标对象可以为驾驶场景仿真平台中的红绿灯、车道线、交通标识牌、落石、行人、其他车辆、三角锥等等。

202、在所述预设脚本指示的目标时段内，驾驶场景仿真平台将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本。

在一些实施例中，预设脚本中设置有至少一个目标时段，目标车辆在不同的目标时段行驶在不同的场景中，即不同的目标时段对应不同的驾驶场景。

在一些实施例中，所述目标对抗图案导入所述驾驶场景仿真平台的方式包括以下项中的至少一项：程序接口导入、虚拟投影设备投影以及自动化图标拖拽。

在通过程序接口导入进行对抗图案导入时，预设脚本中设置有目标对象对应目标对抗图案的存储路径，并且设置有目标对象的有效范围，当目标对抗图案处于目标对象的有效范围内时，可以使得目标对象成为对抗样本，迷惑车辆感知模型。具体地，当前播放时段为目标时段，此时，需要为当前场景界面中的目标对象添加目标对抗图案，即，将预设脚本中该目标对象有效范围内中的指定图案的存储路径替换为对应的目标对抗图案的存储路径，其中，该指定图案为需要被替换为目标对抗图案的图案，然后重新加载渲染当前场景界面，从而实现目标对抗图案的添加，得到目标对抗样本。其中，由于通过程序接口进行对抗图案导入，对抗图案导入的速度快，从而提高目标对抗样本的生成速度。

在通过虚拟投影设备投影进行对抗图案导入时，此时，驾驶场景仿真平台包括所述目标车辆在目标时段内行驶的第一场景界面，通过以下方法得到目标对抗样本：将所述目标时段内预设的虚拟投影设备显示在所述第一场景界面中；通过所述虚拟投影设备向至少一个所述目标对象的有效范围内投影至少一个所述目标对抗图案，得到至少一个所述目标对抗样本。具体地，驾驶场景仿真平台中预设有虚拟投影设备，在目标时段内，将虚拟投影设备显示在第一场景界面中，然后通过虚拟投影设备向第一场景界面中的目标对象的有效范围内投影目标对抗图案，其中，该虚拟投影设备可以为虚拟无人机投影设备，通过虚拟无人机投影进行对抗图案导入的界面示意图如图3a所示。其中，通过虚拟投影设备投影进行标对抗图案导入可以增加对抗图案导入的多样性。

当通过自动化图标拖拽进行对抗图案导入时，此时，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，此时，预设脚本设置有自动拖拽指令，当驾驶场景仿真平台播放到目标时段对应的目标驾驶场景的画面时，触发该自动拖拽指令，从第一区域的多个候选对抗图案中选取自动拖拽指令指示的的目标对抗图案，并自动将目标对抗图案拖拽至目标对象的有效范围内，通过自动化图标拖拽进行对抗图案的导入，得到目标对抗样本，其中，通过自动化图标拖拽进行对抗图案导入的界面示意图如图3b所示。通过自动图标拖拽的方式进行对抗图案进行显示导入，可以向用户直观呈现对抗图案的导入过程，提高模型鲁棒性检测的趣味性。

需要说明的时，本实施例中的目标对抗样本包括图像对抗样本以及点云对抗样本。

203、驾驶场景仿真平台将至少一个所述目标对抗样本输入所述车辆感知模型。

本实施例中，当驾驶场景仿真平台生成目标对抗样本之后，将生成的目标对抗样本发送给车辆感知模型。

具体地，目标对抗样本显示在当前场景界面中，当目标车辆驾驶在当前场景界面中时，驾驶场景仿真平台的当前场景界面中的图像和点云数据通过端口传输给所述车辆感知模型，使得车辆感知模型会获取到目标对抗样本，此时，将当前场景界面中的至少一个目标对抗样本输入车辆感知模型中。

204、车辆感知模型对所述至少一个目标对抗样本进行识别，得到识别结果，并将所述识别结果发送至所述虚拟控制器。

当车辆感知模型获取到目标对抗样本之后，实时对获取到的目标对抗样本进行识别，并输出识别结果，其中，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

205、虚拟控制器根据所述识别结果生成所述目标车辆的驾驶指令，并根据所述驾驶指令控制驾驶场景仿真平台中的目标车辆。

具体地，本实施例通过车辆感知模型得到识别结果之后，将该识别结果发送至虚拟控制器，虚拟控制器将根据该识别结果生成驾驶指令，通过该驾驶指令控制目标车辆在驾驶场景仿真平台提供的驾驶场景中行驶。

为了为车辆感知模型的自然鲁棒性提供测试的环境基础，对模型实现更全面的鲁棒性检测，本实施例中的驾驶场景仿真平台可以模拟多种环境，此时，所述驾驶场景仿真平台预设有多种天气素材，所述目标时段包括第一时段，所述目标对抗图案包括第一对抗图案，此时，通过以下步骤得到目标对抗样本：

a、从多种所述天气素材中确定所述第一时段对应的目标天气素材。

其中，多种天气素材包括晴天天气素材(包括晴天、多云以及少云天气素材)、阴天天气素材、雾天天气素材(包括大雾以及小雾天气素材)、雨天天气素材(包括大雨、小雨以及雷雨天气素材)以及雪天天气素材(包括大雪、小雪以及暴雪天气素材)等。

在一些实施例中，所述预设脚本预设有多个运行周期，并且所述预设脚本中设有运行周期数与天气素材的对应关系，所述第一时段为所述运行周期的运行时长，所述第一时段为所述运行周期对应的运行时段；此时，在确定第一时段对应的目标天气素材时，具体执行以下步骤：在当前周期开始运行之前，确定当前运行周期的当前周期数；根据所述运行周期数与天气素材的对应关系，从多个所述天气素材中确定与所述当前周期数对应的目标天气素材。

本实施例中，驾驶场景仿真平台可以循环播放驾驶场景，本实施例为不同的播放周期设置不同的天气素材。

其中，运行周期数与天气素材的对应关系可以是驾驶场景仿真平台中预设的对应关系，也可以是用户在预设脚本中设置的对应关系，例如运行周期数与天气素材的对应关系可以为，第一运行周期对应的天气素材为晴天天气素材、第二运行周期对应的天气素材为阴天天气素材、第三运行周期对应的天气素材为雾天天气素材、第四运行周期对应的天气素材为雨天天气素材等等。

本实施例中，当当前运行周期的当前周期数为第四运行周期时，此时，对应的目标天气素材为雨天天气素材。

b、在所述第一时段内将所述目标车辆的当前场景界面切换为所述目标天气素材对应的目标天气场景界面。

具体地，若对应的目标天气素材为雨天天气素材时，此时，在当前运行周期的第一时段内，将当前场景界面切换为雨天天气素材对应的目标天气场景界面，其中，所述目标天气场景界面包括至少一个所述目标对象。其中，雨天天气素材对应的目标天气场景界面如图4a所示。

c、根据所述目标天气素材的特征选择与所述目标天气素材匹配的至少一个所述第一对抗图案。

在一些实施例中，模型鲁棒性检测***中预设有对抗图案集合，对抗图案集合包括多种天气素材分别匹配的对抗图案，目标天气素材的特征可以为目标天气素材对应的亮度特征以及纹理特征，例如阴天以及雨天等对应的亮度较暗，晴天对应的亮度较亮，雨天具有雨水的纹理特征，雪天具有雪花的纹理特征等等，此时，需要为每一个目标对象分别从对抗图案集合中选取与该目标天气素材匹配的第一对抗图案，得到至少一个第一对抗图案，其中，第一对抗图案的特征与目标天气素材的特征相对应，例如具有相同的亮度以及纹理。

d、将至少一个所述第一对抗图案添加到至少一个所述目标对象的有效范围内，得到至少一个第一对抗样本。

本实施例中，确定第一对抗图案之后，将第一对抗图案添加到对应目标对象的有效范围内，得到第一对抗样本，添加了第一对抗图案的场景界面如图4b所示。

此时，将所述第一对抗样本输入所述车辆感知模型，得到非所述目标对象的识别结果，其中，当前的场景界面中目标对象为在目标车辆前方匀速行驶的车辆(下称前方车辆)，驾驶场景仿真平台将雨天天气素材对应当前显示界面(包括第一对抗样本)中的图像和点云数据通过端口传输给所述车辆感知模型，使得车辆感知模型获取到第一对抗样本，车辆感知模型得到非所述目标对象的识别结果，此时，由于目标对象添加了对抗图案，导致前方车辆对目标车辆隐身，目标车辆的车辆感知模型检测不到前方车辆，此时，如图4c所示，前方车辆在目标车辆前方匀速行驶，目标车辆在目标时段中预设有加速指令，此时目标车辆通过车辆感知模型检测当前驾驶环境是否适合加速，由于前方车辆对目标车辆隐身，目标车辆没有识别到前方行驶的前方车辆，此时，根据识别结果得到的决策指令为当前环境适合加速，目标车辆加速行驶，目标车辆加速撞上前方车辆，导致车祸。

在一些实施例中，所述得到为非所述目标对象的识别结果之后，所述方法还包括：将为非所述目标对象对应的第一对抗样本作为有效对抗样本。

在一些实施例中，所述目标对象为第一车辆，所述目标时段包括第二时段，此时，获取目标对抗样本的步骤为：获取在所述第二时段内预设的与所述第一车辆对应的所述第二对抗图案；将所述第二对抗图案添加到所述第一车辆的有效范围内，得到第二对抗样本。

具体地，当驾驶场景仿真平台播放到第二时段对应的场景界面时，获取与该场景界面中第一车辆对应的第二对抗图案，然后将第二对抗图案添加到第一车辆的有效范围内，得到第二对抗样本。

此时，所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：将所述第二对抗样本输入所述车辆感知模型，得到第二车辆的识别结果，所述第二车辆的车型与所述第一车辆不同，例如第一车辆为大卡车，第二车辆为轿车，由于在第一车辆上添加了第二对抗图案，导致车辆感知模型将第一车辆识别成为第二车辆。此时，目标车辆与第一车辆进行会车，由于将大卡车识别成了轿车，导致目标车辆在与第一车辆进行会车时，发生剐蹭，具体如图5所示。

其中，当将所述第二对抗样本输入所述车辆感知模型，得到第二车辆的识别结果，所述第二车辆的车型与所述第一车辆不同时，将第二车辆的识别结果对应的第二对抗样本作为有效对抗样本。

在一些实施例中，所述目标对象为行人，所述目标时段包括第三时段，所述目标对抗图案包括第三对抗图案；在获取目标对抗样本时，包括以下步骤：在所述驾驶场景仿真平台中的特定路段(如存在斑马线的路段)或交通标志为预设状态(如存在注意行人过马路的交通标志)时，获取在所述第三时段内预设的与所述行人对应的第三对抗图案；将所述第三对抗图案添加到所述行人的有效范围内，得到第三对抗样本。

具体地，在一些实施例中，第三对抗图案可以为行人的衣物，此时，将所述第三对抗图案添加到所述行人的有效范围内具体为，将该行人的衣物替换为第三对抗图案，其中，替换行人衣物具体操作为，通过代码查询行人类对象，获取全部行人的集合A，集合A中包含全部的行人对象，行人对象含有关于行人在驾驶场景仿真平台中虚拟场景的位置坐标、活动路线、衣物统一资源定位符(Uniform Resource Locator，URL)地址、模型URL地址等属性，更改集合中的目标对象对应的行人对象的衣物URL路径地址，用对抗衣物地址(第三对抗图案)替换原衣物地址，重新加载渲染场景，目标对象对应的行人的衣物被替换为对抗衣物。当目标车辆要开过斑马线时，将所述第三对抗样本输入所述车辆感知模型，得到无行人的识别结果，此时，目标车辆将存在以下情况：

第一种，如图6a所示，目标车辆按照没有行人的情况正常减速通过斑马线，行人被车辆撞倒，发生意外；第二种，如图6b所示，目标车辆按照没有行人的情况正常减速通过斑马线，差点撞到行人，没有礼让行人，违反交规。

其中，当将所述第三对抗样本输入所述车辆感知模型，得到无行人的识别结果时，将无行人的识别结果对应的的第三对抗样本作为有效对抗样本。

在本实施例中，驾驶场景仿真平台中所有的行人对象为行人类的实例，行人类包含行人在虚拟场景的位置坐标、活动路线、衣物图案URL地址、模型URL地址等属性，一个多个行人对象组成一个行人集合。代码只需要更改行人对象的属性，即可更改虚拟场景中对应的行人在虚拟场景的位置、衣物等信息。此时，如果要增加行人类对象，也只需在集合A中添加需要添加的行人属性，该属性包括添加的行人在虚拟场景的位置坐标、活动路线、衣物图案URL地址、模型URL地址等，同理，如果需要删除集合A中的某行人类对象，只需要将该行人类对象的所有属性删除即可。

在一些实施例中，所述目标对象为红绿灯，所述目标时段包括第四时段，所述目标对抗图案包括第四对抗图案；其中，第四时段对应的场景界面中包括红绿灯，在获取目标对抗样本时，包括以下步骤：获取在所述第四时段内预设的与所述红绿灯对应的第四对抗图案；将所述第四对抗图案添加到所述红绿灯的有效范围内，得到第四对抗样本。

具体地，在一些实施例中，第四对抗图案可以为红绿灯表面上的贴图，并且，此时，红绿灯亮红灯，此时，将所述第四对抗图案添加到所述红绿灯的有效范围内，即对红绿灯进行贴图，具体地，查询所有红绿灯的对象集合B，集合B中包含全部的红绿灯对象，红绿灯对象含有关于红绿灯在场景中的位置坐标、红绿灯模型url地址、材质贴图URL等属性，替换红绿灯材质贴图url路径，将第四对抗图案的url路径覆盖该红绿灯正常的样本材质贴图url路径，重新加载渲染场景，红路灯将含有对抗图案，此时，当目标车辆要开过亮红灯的十字路口时，将所述第四对抗样本输入所述车辆感知模型，得到红绿灯亮绿灯的识别结果，此时，如图7所示，由于目标车辆将红灯识别为绿灯，减速通过十字路口，与横向来车发生碰撞。

在一些实施例中，该目标对象还可以为车道线、交通标志牌、落石、三角锥等等，将这些对象得到对抗样本的步骤与根据红绿灯对象得到对抗样本的步骤类似，具体此处不作赘述。此时，为了更全面地对车辆感知模型进行鲁棒性检测，驾驶场景仿真平台中至少还包括以下场景：例如，如果目标对象为车道线，此时，对直行的车道线进行了对抗图案导入，此时目标车辆中的车辆感知模型将该直行车道线识别成左拐的车道线，导致目标车辆走错路；例如，如果对目标对象为减速慢行的交通标志牌，此时目标车辆当前(目标时段)行驶在盘山山路的弯路上，在减速慢行的交通标志牌导入对抗图案，此时目标车辆中的车辆感知模型将该交通标志牌识别成了解除40km/h限速的交通标志牌，目标车辆加速，到时拐弯不及时，跌落悬崖，发生车祸；如果该目标对象为落石，该落石位于目标车辆行驶道路的前方，此时，对该落石进行了对抗图案导入，此时，目标车辆将该落石识别成了地上的平面图案，直接撞上该落石，发生车祸。

其中，本实施例中的驾驶场景仿真平台能够模拟多种场景，包括高速公路、乡村道路、城市道路、商业街、盘山公路，以及模型在各个场景对应的人流以及车辆，其中，该人流包括过斑马线的行人以及在路侧行走的人群等，该车辆包括与目标车辆进行会车的车辆、在目标车辆前方行驶的车辆、在目标车辆前方发生故障的车辆以及与目标车辆并排行驶的车辆等。

此外，驾驶场景仿真平台中预设有至少一个目标对象，本实施例在使用驾驶场景仿真平台时，可以根据实际的测试需求，新增或者删除一个或多个目标对象。在新增目标对象时，接收用户输入的目标对象的新增指令；根据所述新增指令在所述驾驶场景仿真平台中增加目标对象。具体地，目标对象的新增指令包括目标对象的属性，该属性包括目标对象在虚拟场景的位置坐标、目标对象模型URL地址等，如果该目标对象为行人或者车辆时，该属性还包括目标对象的行走/行驶路径。

综上所述，本方案中的目标车辆根据预设脚本在驾驶场景仿真平台中行驶并且驾驶场景仿真平台中设有至少一个目标对象，并且在预设脚本指示的目标时段内，将目标对抗图案导入对应目标对象的有效范围内之后，得到目标对抗样本，将目标对抗样本输入车辆感知模型即可实现对模型的攻击，第一方面，通过仿真场景来模拟物理世界的检测流程，在获得较接近真实物理世界的检测结果下，能够保障检测的安全性，第二方面，由于目标对抗样本可以在目标车辆行驶过程中动态生成，基于驾驶场景仿真平台生成的对抗样本不需要打印对抗图案，也不需要在现实场景中对对抗图案进行拍摄，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多的、更快、更全面的测试车辆感知模型，提高攻击效果，并且缩短模型的迭代周期。

图8是本申请实施例提供的一种模型鲁棒性检测装置的示意性框图。如图8所示，对应于以上模型鲁棒性检测方法，本申请还提供一种模型鲁棒性检测装置800。该模型鲁棒性检测装置800包括用于执行上述模型鲁棒性检测方法的单元，该模型鲁棒性检测装置800可以被配置于计算机设备中。其中，该计算机设备中装有模型鲁棒性检测***，具体地，该装置被配置于计算机设备中的模型鲁棒性检测***中，并且，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型，所述模型鲁棒性检测装置800包括收发模块801以及处理模块802，其中：

收发模块801，用于获取所述预设脚本；

处理模块802，用于确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

在一些实施例中，所述驾驶场景仿真平台预设有多种天气素材，所述目标时段包括第一时段，所述目标对抗图案包括第一对抗图案；所述处理模块802在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

从多种所述天气素材中确定所述第一时段对应的目标天气素材；

在所述第一时段内将所述目标车辆的当前场景界面切换为所述目标天气素材对应的目标天气场景界面，所述目标天气场景界面包括至少一个所述目标对象；

根据所述目标天气素材的特征选择与所述目标天气素材匹配的至少一个所述第一对抗图案；

将至少一个所述第一对抗图案添加到至少一个所述目标对象的有效范围内，得到至少一个第一对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第一对抗样本输入所述车辆感知模型，得到非所述目标对象的识别结果。

在一些实施例中，所述预设脚本预设有多个运行周期，并且所述预设脚本中设有运行周期数与天气素材的对应关系，所述第一时段为所述运行周期的运行时长，所述第一时段为所述运行周期对应的运行时段；所述处理模块802在执行所述从多种所述天气素材中确定所述第一时段对应的目标天气素材步骤时，具体用于：

在当前周期开始运行之前，确定当前运行周期的当前周期数；

根据所述运行周期数与天气素材的对应关系，从多个所述天气素材中确定与所述当前周期数对应的目标天气素材。

在一些实施例中，所述目标对象为第一车辆，所述目标时段包括第二时段，所述目标对抗图案包括第二对抗图案；所述处理模块802在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

获取在所述第二时段内预设的与所述第一车辆对应的所述第二对抗图案；

将所述第二对抗图案添加到所述第一车辆的有效范围内，得到第二对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第二对抗样本输入所述车辆感知模型，得到第二车辆的识别结果，所述第二车辆的车型与所述第一车辆不同。

在一些实施例中，所述目标对象为行人，所述目标时段包括第三时段，所述目标对抗图案包括第三对抗图案；所述处理模块802在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

在所述驾驶场景仿真平台中的特定路段或交通标志为预设状态时，获取在所述第三时段内预设的与所述行人对应的第三对抗图案；

将所述第三对抗图案添加到所述行人的有效范围内，得到第三对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第三对抗样本输入所述车辆感知模型，得到无行人的识别结果。

在一些实施例中，所述驾驶场景仿真平台包括所述目标车辆在目标时段内行驶的第一场景界面；所述处理模块802在执行所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本步骤时，具体用于：

将所述目标时段内预设的虚拟投影设备显示在所述第一场景界面中；

通过所述虚拟投影设备向至少一个所述目标对象的有效范围内投影至少一个所述目标对抗图案，得到至少一个所述目标对抗样本。

在一些实施例中，所述收发模块801还用于：接收目标对象的新增指令；

所述处理模块802还用于，根据所述新增指令在所述驾驶场景仿真平台中增加目标对象。

综上所述，本方案中的模型鲁棒性检测装置800控制目标车辆根据预设脚本在驾驶场景仿真平台中行驶并且驾驶场景仿真平台中设有至少一个目标对象，并且在预设脚本指示的目标时段内，将目标对抗图案导入对应目标对象的有效范围内之后，得到目标对抗样本，将目标对抗样本输入车辆感知模型即可实现对模型的攻击，第一方面，通过仿真场景来模拟物理世界的检测流程，在获得较接近真实物理世界的检测结果下，能够保障检测的安全性，第二方面，由于目标对抗样本可以在目标车辆行驶过程中动态生成，基于驾驶场景仿真平台生成的对抗样本不需要打印对抗图案，也不需要在现实场景中对对抗图案进行拍摄，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多的、更快、更全面的测试车辆感知模型，提高攻击效果，并且缩短模型的迭代周期。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述模型鲁棒性检测装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上面从模块化功能实体的角度对本申请实施例中的模型鲁棒性检测装置进行了描述，下面从硬件处理的角度分别对本申请实施例中的模型鲁棒性检测装置进行描述。

需要说明的是，在本申请实施例各实施例(包括图8所示的各实施例)中所有的收发模块对应的实体设备可以为收发器，所有的处理模块对应的实体设备可以为处理器。当其中一种装置具有如图8所示的结构时，处理器、收发器和存储器实现前述对应该装置的装置实施例提供的所述收发模块和所述处理模块相同或相似的功能，图9中的存储器存储处理器执行上述模型鲁棒性检测方法时需要调用的计算机程序。

图8所示的***可以具有如图9所示的结构，当图8所示的装置具有如图9所示的结构时，图9中的处理器能够实现前述对应该装置的装置实施例提供的所述处理模块相同或相似的功能，图9中的收发器能够实现前述对应该装置的装置实施例提供的所述收发模块相同或相似的功能，图9中的存储器存储处理器执行上述模型鲁棒性检测方法时需要调用的计算机程序。在本申请实施例图8所示的实施例中的所述收发模块所对应的实体设备可以为输入输出接口，所述处理模块对应的实体设备可以为处理器。

本申请实施例还提供了另一种终端设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、销售终端(英文全称：Point of Sales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：

图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wireless fidelity，英文简称：Wi-Fi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图10对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(英文全称：Global System of Mobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code Division Multiple Access，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode,英文简称：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了Wi-Fi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，电源可以通过电源管理***与处理器1080逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由图2所示的模型鲁棒性检测方法的流程图。

图11是本申请实施例提供的一种服务器结构示意图，该服务器1120可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(英文全称：centralprocessing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1120上执行存储介质1130中的一系列指令操作。

服务器1120还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作***1141，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器1120的结构。例如上述实施例中由图2所示的服务器的步骤可以基于该图11所示的服务器结构。例如，所述处理器1122通过调用存储器1132中的指令，执行以下操作：

确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；

在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种模型鲁棒性检测方法，其特征在于，所述方法应用于模型鲁棒性检测***，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：

确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；

在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

2.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台预设有多种天气素材，所述目标时段包括第一时段，所述目标对抗图案包括第一对抗图案；所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本，包括：

从多种所述天气素材中确定所述第一时段对应的目标天气素材；

在所述第一时段内将所述目标车辆的当前场景界面切换为所述目标天气素材对应的目标天气场景界面，所述目标天气场景界面包括至少一个所述目标对象；

根据所述目标天气素材的特征选择与所述目标天气素材匹配的至少一个所述第一对抗图案；

将至少一个所述第一对抗图案添加到至少一个所述目标对象的有效范围内，得到至少一个第一对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第一对抗样本输入所述车辆感知模型，得到非所述目标对象的识别结果。

3.根据权利要求2所述的方法，其特征在于，所述预设脚本预设有多个运行周期，并且所述预设脚本中设有运行周期数与天气素材的对应关系，所述第一时段为所述运行周期的运行时长，所述第一时段为所述运行周期对应的运行时段；所述从多种所述天气素材中确定所述第一时段对应的目标天气素材，包括：

在当前周期开始运行之前，确定当前运行周期的当前周期数；

根据所述运行周期数与天气素材的对应关系，从多个所述天气素材中确定与所述当前周期数对应的目标天气素材。

4.根据权利要求1所述的方法，其特征在于，所述目标对象为第一车辆，所述目标时段包括第二时段，所述目标对抗图案包括第二对抗图案；所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本，包括：

获取在所述第二时段内预设的与所述第一车辆对应的所述第二对抗图案；

将所述第二对抗图案添加到所述第一车辆的有效范围内，得到第二对抗样本；

所述将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第二对抗样本输入所述车辆感知模型，得到第二车辆的识别结果，所述第二车辆的车型与所述第一车辆不同。

5.根据权利要求1所述的方法，其特征在于，所述目标对象为行人，所述目标时段包括第三时段，所述目标对抗图案包括第三对抗图案；所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本，包括：

在所述驾驶场景仿真平台中的特定路段或交通标志为预设状态时，获取在所述第三时段内预设的与所述行人对应的第三对抗图案；

将所述第三对抗图案添加到所述行人的有效范围内，得到第三对抗样本；

将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：

将所述第三对抗样本输入所述车辆感知模型，得到无行人的识别结果。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述驾驶场景仿真平台包括所述目标车辆在目标时段内行驶的第一场景界面；所述在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本，包括：

将所述目标时段内预设的虚拟投影设备显示在所述第一场景界面中；

通过所述虚拟投影设备向至少一个所述目标对象的有效范围内投影至少一个所述目标对抗图案，得到至少一个所述目标对抗样本。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

接收目标对象的新增指令；

根据所述新增指令在所述驾驶场景仿真平台中增加目标对象。

8.一种模型鲁棒性检测装置，其特征在于，所述模型鲁棒性检测装置被配置于模型鲁棒性检测***中，所述模型鲁棒性检测***包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台包括目标车辆以及至少一个目标对象，所述目标车辆处于按照预设脚本行驶状态，且所述目标车辆在驾驶场景仿真平台的图像和点云数据通过端口传输给所述车辆感知模型，所述装置包括：

收发模块，用于获取所述预设脚本；

处理模块，用于确定所述驾驶场景仿真平台中当前待攻击的至少一个所述目标对象，所述目标对象为所述车辆感知模型感知到的对象；在所述预设脚本指示的目标时段内，将至少一个预设的目标对抗图案导入至少一个所述目标对象的有效范围内，得到至少一个目标对抗样本；将至少一个所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。

Images