CN113155173A - 感知性能评测方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种感知性能评测方法、装置、电子装置和存储介质，其中，该感知性能评测方法包括：获取标准传感器数据和测试传感器数据；根据标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；将每个感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；根据预设分类信息将航迹偏差数据进行分类，并基于分类的结果获取性能评测结果。通过本申请，解决了难以获取具体检测场景下的感知***性能缺陷的问题，实现了准确获取具体检测场景下感知***性能缺陷的技术效果。

Description

感知性能评测方法、装置、电子装置和存储介质

技术领域

本申请涉及智能驾驶领域，特别是涉及一种传感器感知性能评测方法、装置、电子装置和存储介质。

背景技术

环境感知在各级别的智能驾驶中起到至关重要的作用，感知性能的好坏直接影响到自动驾驶的安全性和舒适性。精准的环境感知结果，可以极大降低规划控制算法的复杂度，提高智能驾驶的整体性能。随着智能驾驶技术的发展，摄像头、激光雷达、毫米波雷达、超声波雷达、多传感器融合等方案广泛的应用于环境感知***中。

然而，现有的驾驶辅助***的性能分析方法，大多是对感知***输出的全量结果和标注的全量结果进行整体评估，对感知***的感知能力进行评分或评级，难以获取具体检测场景下感知***性能缺陷。

针对相关技术中存在难以获取具体检测场景下感知***性能缺陷的技术问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种感知性能评测方法、装置、电子装置和存储介质，以解决相关技术中难以获取具体检测场景下的感知***性能缺陷的问题。

第一个方面，在本实施例中提供了一种感知性能评测方法，包括：

获取标准传感器数据和测试传感器数据；

根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；

将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；

根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：根据所述标准传感器数据获取预处理感知结果；获取标准感知算法，所述标准感知算法包括AI感知算法、离线跟踪算法和多传感器融合算法；根据所述标准感知算法、预处理感知结果和所述标准传感器数据获取所述感知目标的所述标准航迹属性参数；根据所述测试传感器数据获取所述测试感知目标的所述测试航迹属性参数感知目标。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：根据所述标准传感器数据获取标准航迹属性参数，根据所述测试传感器数据获取测试航迹属性参数；根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配；得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数。

在其中的一个实施例中，所述根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：获取所述标准航迹属性参数以及测试航迹属性参数对应的标准目标识别框和测试目标识别框；根据所述标准目标识别框的和所述测试目标识别框中心点间的欧氏距离与最小闭包区域的对角线距离的比值，获取距离交并比，所述最小闭包区域表示包括所述标准目标识别框的和所述测试目标识别框的最小外接矩形区域；将所述距离交并比与距离阈值进行比较，若所述距离交并比小于等于距离阈值，则得到所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数之后包括：根据所述标准航迹属性参数和所述测试航迹属性参数生成对应的标准航迹特征矩阵和测试航迹特征矩阵；根据所述标准航迹特征矩阵和所述测试航迹特征矩阵生成对应的所述感知目标的可视化航迹图像。

在其中的一个实施例中，所述将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据包括：将所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数进行差值计算，得到第一偏差数据；获取偏差阈值，将所述第一偏差数据与所述偏差阈值进行比较，若所述第一偏差数据大于或等于偏差阈值，则将所述第一偏差数据作为航迹偏差数据。

在其中的一个实施例中，所述根据预设分类信息将所述航迹偏差数据分类还包括：获取场景划分规则，所述场景划分规则包括位置变化规则和速度变化规则；根据所述场景划分规则和所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数获取当前场景信息；根据所述当前场景信息将所述感知目标对应的所述航迹偏差数据进行分类。

第二个方面，在本实施例中提供了一种感知性能评测装置，包括：

数据获取模块，用于获取标准传感器数据和测试传感器数据；

数据处理模块，用于根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；

评测模块，用于将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；

统计模块，用于根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的感知性能评测方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的感知性能评测方法。

与相关技术相比，在本实施例中提供的感知性能评测方法，通过获取标准传感器数据和测试传感器数据；根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种，解决了难以获取具体检测场景下的感知***性能缺陷的问题，实现了准确获取具体检测场景下感知***性能缺陷的技术效果，为后期感知算法的改进提供了数据支持。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的感知性能评测方法的终端的硬件结构框图；

图2是本实施例的感知性能评测方法的流程图；

图3是根据本申请实施例的感知评测***结构示意图；

图4是根据本申请实施例的存储数据的分布式计算示意图；

图5是根据本申请实施例的统计结果示意图；

图6是根据本申请实施例的航迹偏差数据抓取示意图；

图7是根据目标车辆生成的航迹信息图；

图8是根据另一目标车辆生成的航迹信息图；

图9是根据本申请实施例的感知评测方法的数据处理结构示意图；

图10是本实施例的感知性能评测装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和***、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的感知性能评测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的感知性能评测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

自动驾驶技术通过安装在车辆上的传感器对驾驶环境进行感知，识别周围的车辆、行人、障碍物以及车道线和交通标志等。由于自动驾驶对环境感知能力要求比较高，单一传感器很难满足相应的需求，因此自动驾驶车辆需要安装摄像头、激光雷达、毫米波雷达以及超声波雷达等多种传感器进行环境感知检测。感知***的性能深刻影响着自动驾驶的安全性和舒适性。现有的感知***评测方式一般只能对传感器的基本性能进行测试，根据测试结果进行评分或评级，该评分或评级并不能准确地挖掘感知***的缺陷，为后续感知***的改进提供准确改进方向和数据支持。

在本实施例中提供了一种感知性能评测方法，图2是本实施例的感知性能评测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取标准传感器数据和测试传感器数据。

具体的，该标准传感器数据和测试传感器数据可以是实时获取的车载传感器数据，也可以是存储在数据库中的传感器数据。该传感器包括摄像机、毫米波雷达、激光雷达以及超声波雷达中的一种或多种，也可以是其他应用于智能驾驶领域的传感器，本申请对此不作具体限定。优选的，在车辆端同时部署提供真值的传感器和被测***的传感器。真值是指在一定的时间及空间条件下，被测量的量所体现的真实数值。提供真值的传感器采集的数据即标准传感器数据，被测***的传感器采集的数据即测试传感器数据。

步骤S202，根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数。

具体的，对标准传感器数据和测试传感器数据进行数据分析和处理，即可得到车辆测试过程中感知到的感知目标和对应的航迹属性参数。航迹属性参数是指与感知目标的时空位置相关的参数，例如：时间参数、位置参数、速度参数以及加速度参数等。进一步的，上述位置参数还可以是指横向位置、纵向位置以及高度位置等三维信息参数，同样的，速度参数和加速度参数也可以是三维信息参数。在实际应用场景中，出于计算量的考虑，航迹属性参数考虑二维平面的数据参数即可，例如位置参数指感知目标的横向位置和纵向位置；速度参数指感知目标的横向速度和纵向速度；加速度参数指感知目标的横向加速度和纵向加速度。感知目标可以是车辆、行人、障碍物以及车道线和交通标志等，进一步的，车辆还可以是轿车、大卡车以及二轮车等，凡是基于感知***可以感知到的目标均可。通过关联算法，可以将相近或相同感知目标对应的标准航迹参数和测试航迹参数进行匹配或融合，从而得到同一感知目标对应的标准航迹参数和测试航迹参数。

步骤S203，将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据。

具体的，通过对比算法，计算每一个感知目标对应的标准航迹属性参数与测试航迹属性参数的精度偏差，得到航迹偏差数据。

步骤S204，根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果。

具体的，获取预设分类信息，该预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。目标类别是指感知目标的类别，例如行人、轿车、大卡车和二轮车等。位置信息是指在当前车辆端的自车坐标系下预先设置的位置区间，例如只考虑纵向距离时，可以统计该感知目标与车辆端的纵向距离在0~10米、10~30米、30~60米、60~90米和90米以上等5个区间内的航迹偏差数据，从而实现航迹偏差数据的归类统计，场景信息可以是预先定义在配置信息中的语义标签，例如白天高速场景。在车辆端进行传感器数据采集时，会向数据中加入语义标签，以表明当时的传感器数据采集场景，在进行航迹偏差数据的分类统计时，可以基于该语义标签直接进行归类。在另一个实施例中，还可以预先定义场景识别规则，例如当感知目标的航迹显示其横向位置的变化较大时，说明当前目标正在切入当前车道，此时可根据该航迹属性参数的数据特征和预先定义的规则，将该感知目标的航迹偏差数据归入车道切入场景中。

通过上述步骤，本申请提供的感知性能评测方法，基于车辆端获取的传感器数据，得到感知目标和对应的标准航迹属性参数以及测试航迹属性参数，标准航迹属性参数即真值航迹属性参数。根据真值航迹属性参数和测试航迹属性参数，计算真值航迹和测试航迹之间的偏差，得到偏差数据；然后根据对应的目标类别、目标位置和场景信息对偏差数据进行归类，输出预设分类下真值航迹与测试航迹之间的航迹偏差数据，从而实现了航迹偏差数据的自动分类输出。该感知性能评测方法可以准确输出偏差数据以及对应的所属类别，自行挖掘感知性能缺陷，无需测试人员再基于专业知识人工对复杂的数据进行分析，提高了评测结果的数据利用率。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：根据所述标准传感器数据获取预处理感知结果；获取标准感知算法，所述标准感知算法包括AI感知算法、离线跟踪算法和多传感器融合算法；根据所述标准感知算法、预处理感知结果和所述标准传感器数据获取所述感知目标的所述标准航迹属性参数；根据所述测试传感器数据获取所述感知目标的所述测试航迹属性参数。

具体的，图3是根据本申请实施例的感知评测***结构示意图，如图3所示，感知评测***包括车辆端310、数据中心320与服务端330，其中车辆端310即搭载真值***传感器和测试***传感器的车辆，记为真值车辆。真值车辆上搭载的传感器包括激光雷达、毫米波雷达、摄像头和超声波雷达等。该真值车辆可以在封闭道路或公共道路上进行数据的采集。所有的真值***传感器与车辆端310的工控机相连。真值***传感器采集的原始真值传感器数据发送至工控机，工控机并不直接生成真值感知结果，而是先运行部分感知算法对原始真值传感器数据进行处理，获得预处理感知结果。感知结果包括传感器数据的融合感知结果，即基于多个传感器数据得到感知目标的航迹属性参数。而对于测试***传感器采集的测试传感器数据，由于在实际智能驾驶应用场景下，对感知***的实时性要求较高，故测试感知结果可以直接由工控机处理得到。工控机将预处理感知结果、原始真值传感器数据连同被测感知***的测试感知结果以及测试传感器数据一起上传至数据中心320，数据中心可以部署在云端，采用云存储和云计算服务，也可以部署在本地服务器。本地存储器可以是本地数据服务器，也可以是移动存储介质，如移动硬盘等。服务端330可调用存储在数据中心320中的数据并进行进一步的数据处理。例如，在服务端330可基于预处理感知结果，真值传感器数据和标准处理算法，生成最终的真值感知结果，即标准感知结果。由于真值感知结果并非采用工控机进行实时计算的方法得到，而是通过离线计算的方式，将车载真值传感器***获取的实时数据保存到数据中心320存储，再通过提取数据中心320中存储的数据结合多种感知算法获取感知结果，极大的提升了标准感知结果的可靠性。在其中的一个实施例中，在计算标准感知结果时，基于当前帧的历史数据与未来数据进行识别和跟踪，可以获取更高的识别率和识别精度，增强标准感知结果的可靠性。并且，通过数据中心对真值传感器数据和测试传感器数据都进行了保存，在感知***的算法升级后，之前实车采集的真值传感器数据和测试传感器数据依旧可以多次重复使用，极大节省了传感器数据的录制成本。

在其中的一个实施例中，存储在数据中心320的数据在回灌至服务端330后可进行数据接入和适配，该回灌数据包括标准传感器数据、测试传感器数据、标准感知结果和测试感知结果。在现有技术中，感知***一般采用串行计算对数据进行处理，串行计算是指不将任务进行拆分，一个任务占用一块处理资源。然而，如果该处理资源的体积较大，也就是数据集的体积较大，采用串行计算就需要很多的时间才可以生成最终的数据分析报告。本申请在标准传感器数据和测试传感器数据在数据采集时向这两种传感器数据添加了时间标签或其他语义标签。该语义标签是指人为对实车测试环境设置的标签，例如：白天高速路况、夜晚雨天高速路况、夜晚晴天城市路况等，测试人员根据实车测试环境进行设定的符合实际路况的标签均可。服务端330可以对从数据中心320获取的回灌数据进行batch划分，得到多组分片数据。batch是指批处理，也称为批处理脚本，即对某对象进行批量的处理。对划分后的数据片段采用多CPU并行计算或多服务器的分布式计算。最后，对各分片数据的结果进行统计和计算，输出最后的统计结果。并行运算是指不同子任务占用的不同的处理资源来源于同一块大的处理资源，分布式计算是一种特殊的并行计算，也是将一个大的计算任务分成多个子任务，不同子任务占用不同的处理资源。采用分布式计算和并行计算的数据处理方法，提升了数据的处理效率，缩短了感知性能的评测时间。

在其中的一个实施例中，可使用parallel algorithm计算分片数据的均值和方差。parallel algorithm是一种并行算法。图4是根据本申请实施例的存储数据的分布式计算示意图，如图4所述，以真值***数据为例，通过预设的时间标签将云数据中的真值数据分为3组，得到3组分片数据，将每组分片数据交给对应的云计算服务进行处理，获取该组分片数据的数据处理结果。将全部分片数据的计算结果通过算法进行汇总，得到完整数据集的统计结果。具体的，使用parallel algorithm计算两组分组数据的均值和方差的过程可以是：

其中，

表示分片数据，

表示A组分片数据的数据和，

表示B组分片数据的数据和，

表示A组分片数据的数据和与B组分片数据的数据和的总和。

表示B组分片数据的数据均值，

表示A组分片数据的数据均值，

表示A组和B组分片数据的总数据集的数据均值。

表示均值差。

表示A组数据的数据方差，

表示B组数据的数据方差，

表示A组和B组分片数据的总数据集的数据方差。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：根据所述标准传感器数据获取标准航迹属性参数，根据所述测试传感器数据获取测试航迹属性参数；根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数。具体的，真值***基于标准传感器数据进行感知融合计算，得到真值感知结果，即标准航迹属性参数；测试***基于测试传感器数据进行感知融合计算，得到测试感知结果，即测试航迹属性参数。在实际测试过程中，真值感知结果识别的标准感知目标和测试感知结果识别的测试感知目标虽然是同一个，但由于标准感知目标的航迹属性参数和测试目标的航迹属性参数存在偏差，需要根据关联算法将属于同一个感知目标的标准航迹属性参数和测试航迹属性参数匹配并对应起来，以通过比对算法进行比对。例如：针对同一个目标车辆，真值***基于标准传感器数据得到的标准航迹属性参数，与测试***基于测试传感器数据得到的测试传感器数据并不相同。比如，真值***感知的标准航迹属性参数显示一个目标车辆与自车的纵向距离为20米，测试***感知的测试航迹属性参数显示一个目标车辆与自车的纵向距离为30米。但实际上真值***感知的目标车辆与测试***感知的目标车辆相同，因此需要将标准航迹属性参数与测试航迹属性参数进行匹配，得到同一个感知目标的标准航迹属性参数和测试航迹属性参数，通过对同一个感知目标的标准航迹属性参数和测试航迹属性参数进行比对，获取感知性能评测结果。

在其中的一个实施例中，所述根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：获取所述标准航迹属性参数和所述测试感航迹属性参数的相似度；将所述相似度与相似度阈值进行比对，若所述相似度大于或等于所述相似度阈值，则得到所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数。

在其中的一个实施例中，所述根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：获取所述标准航迹属性参数以及测试航迹属性参数对应的标准目标识别框和测试目标识别框；根据所述标准目标识别框的和所述测试目标识别框中心点间的欧氏距离与最小闭包区域的对角线距离的比值，获取距离交并比，所述最小闭包区域表示包括所述标准目标识别框的和所述测试目标识别框的最小外接矩形区域；将所述距离交并比与距离阈值进行比较，若所述距离交并比小于等于距离阈值，则得到所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数。

在其中的一个实施例中，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数之后包括：根据所述标准航迹属性参数和所述测试航迹属性参数生成对应的标准航迹特征矩阵和测试航迹特征矩阵；根据所述标准航迹特征矩阵和所述测试航迹特征矩阵生成对应的所述感知目标的可视化航迹图像。

具体的，基于标准传感器数据和标准感知结果以及测试传感器数据和测试感知结果的特征，重新组织数据结构。以感知目标为单位，重新生成包括航迹属性参数的特征信息矩阵，在其中一个实施例中，以感知目标的航迹信息包括时间信息、位置信息、速度信息和加速度信息为例，该目标对应的航迹特征矩阵如下所示：

其中，

表示时间、

表示位置，

表示纵向，

表示横向，

表示速度，

表示加速度。

表示纵向位置；

表示横向位置；

表示纵向速度；

表示横向速度。

表示纵向加速度；

表示横向加速度。基于该航迹特征矩阵，即可获取对应的目标航迹，并将该目标航迹进行可视化展示。优选的，目标航迹可用航迹曲线表示，相较于文字数据，航迹曲线的形式更直观，更容易为测试人员所接受。

在其中的一个实施例中，所述将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据包括：将所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数进行差值计算，得到第一偏差数据；获取偏差阈值，将所述第一偏差数据与所述偏差阈值进行比较，若所述第一偏差数据大于或等于偏差阈值，则将所述第一偏差数据作为航迹偏差数据。具体的，可针对标准航迹属性参数和测试航迹属性参数之间的差值设置KPI阈值，即偏差阈值，将大于该偏差阈值的差值作为航迹偏差数据。偏差阈值的值越小，则航迹偏差数据的精度越高，但是会导致计算量的增大以及受到噪声的影响较大。通过合理设置偏差阈值，可以有效提高航迹偏差数据的精度和计算速度。

在其中的一个实施例中，标准航迹属性参数和测试航迹属性参数的比对方法还可以是比值计算的方法，获取测试航迹属性参数与标准航迹属性参数的契合度。并且，通过设置契合度阈值，确定航迹偏差数据。例如，以横向位置的契合度为例，将感知目标对应测试航迹的某个时间点的横向位置，该位置的值为9，与其标准航迹的相同时间点的横向位置，该位置的值为10，将这两个值做比值计算，得到契合度为90%，契合度阈值设置为95%，则将这两个横向位置的值以及契合度作为该点对应的航迹偏差数据。

在其中的一个实施例中，可将感知目标对应的标准航迹属性参数和测试航迹属性参数生成可视化航迹图像，例如标准航迹曲线和测试航迹曲线，并基于图像处理算法提取标准航迹曲线和测试航迹曲线之间偏差较大的部分，并将对应的标准航迹属性参数、测试航迹属性参数以及航迹偏差数据进行展示。在其中的一个实施例中，前述图像处理算法可设置于触发式的数据处理模块中，当标准航迹曲线和测试航迹曲线出现较大偏差，则自动抓取该部分图像并输出对应的航迹偏差数据。

在其中的一个实施例中，图5是根据本申请实施例的统计结果示意图。如图5所示，图中的day-goodweather和night-goodweather是数据的分类场景，分别表示白天晴朗天气和夜晚晴朗天气。分类场景下的数值表示测试航迹属性与标准航迹属性的契合度。car表示目标车辆，car-x表示目标车辆的纵向位置；car-y表示目标车辆的横向位置；car-vx表示目标车辆的纵向速度；car-vy表示目标车辆的横向速度。ped表示行人检测，ped-x表示目标行人的纵向位置；ped-y表示目标行人的横向位置；ped-vx表示目标行人的纵向速度；ped-vy表示目标行人的横向速度。通过对两个场景下的车辆目标检测的测试数据和真值数据的契合度比对，即可获取感知***的性能缺陷，例如根据在图5中的将白天晴朗天气下的感知结果与夜晚晴朗天气下的感知结果比对可知，在白天晴朗天气场景下，除了目标的纵向位置感知结果较差，其余各项指标均优于夜晚晴朗天气下的感知结果，通过提取该结果，测试人员可以有目的地对感知算法进行改进。

在其中的一个实施例中，图6是根据本申请实施例的航迹偏差数据抓取示意图。如图6所示，fusion表示多传感器的融合感知结果，lidar表示激光雷达感知结果。图6表示感知目标的横向位置对比，根据图像可知，关于目标的横向位置，激光雷达的感知结果偏差较大，此时该偏差可以被图像处理算法正确的提取并加以显示。优选的，图5和图6对应的偏差检测方法可以结合使用，例如。当提取到目标的横向位置偏差较大时，除了在航迹曲线图像上加以标示，同时提取统计结果中与该航迹曲线标示部分对应的航迹属性参数以及对应的契合度比对结果，将文字数据处理结果与可视化图形处理结果一同进行显示。兼顾测试人员的数据需求的同时将偏差数据以更直观的形式呈现给测试人员。

需要强调的是，本申请的感知评测方法获取的是多传感器的传感器数据。因此，既可以将多传感器的真值感知***的融合感知结果作为感知目标的标准航迹，与测试感知***的融合感知结果对应的感知目标的测试航迹进行比对。也可以是将单个测试传感器数据，如激光雷达的点云数据，与感知目标的真值融合感知结果对应的标准航迹进行比对，从而评测单个传感器的感知性能。

在其中的一个实施例中，所述根据预设分类信息将所述航迹偏差数据分类还包括：获取场景划分规则，所述场景划分规则包括位置变化规则和速度变化规则；根据所述场景划分规则和所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数获取当前场景信息；根据所述当前场景信息将所述感知目标对应的所述航迹偏差数据进行分类。

具体的，该预设分类信息的设置除了直接输入固定分类信息之外，还可以设置场景划分规则，使得该感知评测***可基于预定义规则生成分类信息；进而将对应的偏差数据根据实时生成的分类信息进行归类统计，得到统计结果。在一个具体的实施例中，图7是根据目标车辆生成的航迹信息图，如图7所示，该图的横坐标表示时间，纵坐标表示目标车辆的横向位置。预先设置的场景划分规则为设置横向位置的检测区间，若在该检测区间内，根据感知目标对应的标准航迹信息可知，感知目标的横向位置的变化量超过了车道切换阈值，则认为该感知目标在该检测区间内处于车道切入场景下，相应的，在该区间内检测到的航迹偏差数据也归入车道切入场景下。在另一个具体的实施例中，图8是根据另一目标车辆生成的航迹信息图，如图8所述。该图的横坐标表示时间，纵坐标表示目标车辆的纵向速度。预先设置的场景划分规则为设置横向位置的检测区间，若在该检测区间内，根据感知目标对应的标准航迹信息可知，感知目标的纵向速度曲线是单调递减的，则判定该感知目标正在持续减速，此时该感知目标在该检测区间内处于目标减速场景下，相应的，在该区间内检测到的航迹偏差数据也归入目标减速场景下。需要强调的是，上述预定义规则可以根据目标的航迹参数进行判断，也可以是根据真值车辆的自车运动状态进行判断。此外，用于进行场景划分的数据可以是目标的标准航迹属性参数，也可以是测试航迹属性参数；既可以是多传感器的融合感知结果，也可以是单个传感器的感知结果。

在其中的一个实施例中，图9是根据本申请实施例的感知评测方法的数据处理结构示意图，该数据处理结构包括：数据接入层、数据适配层、核心算法层、功能定义层和报告输出层。如图9所示，当车辆端310采集的数据由数据中心320回灌至服务端330后，通过数据接入层，接入回灌数据，该回灌数据包括标准传感器数据、真值融合数据，测试传感器数据和测试融合数据。标准传感器数据指真值传感器数据；真值融合数据即真值***的感知结果；测试融合数据即测试***的感知结果。同时，将自车状态数据以及配置信息接入数据接入层。自车状态数据是车辆端310采集的真值车辆的状态数据，包括：自车行驶速度和车辆横摆角速度等。配置信息包括数据适配规则、预设分类规则以及功能定义规则。获取数据适配规则并在数据适配层完成数据适配。数据适配过程包括真值传感器数据适配和测试传感器数据适配。该适配过程是指调整传感器的相关参数，以使本申请的感知评测***适用于处理不同传感器采集的传感器参数。在核心算法层根据航迹关联算法、真值增强算法、性能对比算法、特征提取算法对数据进行处理计算，得到航迹偏差数据。并基于预设规则对航迹偏差数据进行分类。KPI通过率是指偏差数据中大于偏差阈值的数据，通过统计KPI通过率可以发现出现较大偏差的航迹属性参数，并基于此进行重点修改，使得后续的算法提升更有针对性。在功能定义层中，可根据配置信息中预置的功能定义规则对原始回灌数据和航迹偏差数据等进行分析，基于预设功能对航迹偏差数据进行进一步分类，如目标精度、目标识别率、车道线精度和车道线识别率等。最后，将数据处理结果统计汇总，基于得到分类后的感知性能评测结果，输出统计报告。该报告包括对感知性能评测结果的多维度分析数据，如KPI通过率数据、偏差统计数据和偏差项提取数据等，测试人员还可根据测试需要，对报告设置定制化输出。本申请的感知评测方法，可以准确提供各个场景以及不同性能指标下的航迹偏差数据，提高了感知评测结果的针对性和可用性。

通过上述步骤，本申请的感知性能评测方法，将传感器信息的离线计算结果作为真值，相较于现有技术的实时计算真值，具备更加准确稳定的特点。采用更加准确的真值评估传感器感知性能，可以得到更加客观、可靠的性能评测结果。并且对数据进行了分组处理，采用并行计算和分布式计算方法，缩短了性能评测时间。在数据对比分析的过程中，以目标航迹为单位构建了航迹特征矩阵，基于航迹特征矩阵进行统计运算，并且加入了触发式的数据抓取模块，可以自动提取与目标真值航迹偏差较大的感知信息，以可视化的方式展现给测试人员。还可以依靠感知目标或自车信息，对功能场景进行分类，统计各个场景的感知性能。结合预设分类信息，对感知***进行多维度的评测，最终输出的评测结果可以准确反映被测感知***在各个维度的性能，为后续感知算法和驾驶控制算法的改进提供数据支持。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种感知性能评测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图10是本实施例的感知性能评测装置的结构框图，如图10所示，该装置包括：

数据获取模块10，用于获取标准传感器数据和测试传感器数据；

数据处理模块20，用于根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；

评测模块30，用于将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；

统计模块40，用于根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

所述数据获取模块10，还用于根据所述标准传感器数据获取预处理感知结果；获取标准感知算法，所述标准感知算法包括AI感知算法、离线跟踪算法和多传感器融合算法；根据所述标准感知算法、预处理感知结果和所述标准传感器数据获取所述感知目标的所述标准航迹属性参数；根据所述测试传感器数据获取所述感知目标的所述测试航迹属性参数。

所述数据处理模块20，还用于根据所述标准传感器数据获取标准航迹属性参数，根据所述测试传感器数据获取测试航迹属性参数；根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数。

所述数据处理模块20，还用于获取所述标准航迹属性参数以及测试航迹属性参数对应的标准目标识别框和测试目标识别框；根据所述标准目标识别框的和所述测试目标识别框中心点间的欧氏距离与最小闭包区域的对角线距离的比值，获取距离交并比，所述最小闭包区域表示包括所述标准目标识别框的和所述测试目标识别框的最小外接矩形区域；将所述距离交并比与距离阈值进行比较，若所述距离交并比小于等于距离阈值，则得到所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数。

所述数据处理模块20，还用于根据所述标准航迹属性参数和所述测试航迹属性参数生成对应的标准航迹特征矩阵和测试航迹特征矩阵；根据所述标准航迹特征矩阵和所述测试航迹特征矩阵生成对应的所述感知目标的可视化航迹图像。

所述评测模块30，还用于将所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数进行差值计算，得到第一偏差数据；获取偏差阈值，将所述第一偏差数据与所述偏差阈值进行比较，若所述第一偏差数据大于或等于偏差阈值，则将所述第一偏差数据作为航迹偏差数据。

所述统计模块40，还用于获取场景划分规则，所述场景划分规则包括位置变化规则和速度变化规则；根据所述场景划分规则和所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数获取当前场景信息；根据所述当前场景信息将所述感知目标对应的所述航迹偏差数据进行分类。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取标准传感器数据和测试传感器数据。

S2，根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数。

S3，将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据。

S4，根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的感知性能评测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种感知性能评测方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种感知性能评测方法，其特征在于，包括：

获取标准传感器数据和测试传感器数据；

根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；

将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；

根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

2.根据权利要求1所述的感知性能评测方法，其特征在于，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：

根据所述标准传感器数据获取预处理感知结果；

获取标准感知算法，所述标准感知算法包括AI感知算法、离线跟踪算法和多传感器融合算法；

根据所述标准感知算法、预处理感知结果和所述标准传感器数据获取所述感知目标的所述标准航迹属性参数；

根据所述测试传感器数据获取所述感知目标的所述测试航迹属性参数。

3.根据权利要求1所述的感知性能评测方法，其特征在于，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：

根据所述标准传感器数据获取标准航迹属性参数，根据所述测试传感器数据获取测试航迹属性参数；

根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数。

4.根据权利要求3所述的感知性能评测方法，其特征在于，所述根据关联算法将所述标准航迹属性参数以及测试航迹属性参数进行匹配，得到每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数包括：

获取所述标准航迹属性参数以及测试航迹属性参数对应的标准目标识别框和测试目标识别框；

根据所述标准目标识别框的和所述测试目标识别框中心点间的欧氏距离与最小闭包区域的对角线距离的比值，获取距离交并比，所述最小闭包区域表示包括所述标准目标识别框的和所述测试目标识别框的最小外接矩形区域；

将所述距离交并比与距离阈值进行比较，若所述距离交并比小于等于距离阈值，则得到所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数。

5.根据权利要求1所述的感知性能评测方法，其特征在于，所述根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数之后包括：

根据所述标准航迹属性参数和所述测试航迹属性参数生成对应的标准航迹特征矩阵和测试航迹特征矩阵；

根据所述标准航迹特征矩阵和所述测试航迹特征矩阵生成对应的所述感知目标的可视化航迹图像。

6.根据权利要求1所述的感知性能评测方法，其特征在于，所述将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据包括：

将所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数进行差值计算，得到第一偏差数据；

获取偏差阈值，将所述第一偏差数据与所述偏差阈值进行比较，若所述第一偏差数据大于或等于偏差阈值，则将所述第一偏差数据作为航迹偏差数据。

7.根据权利要求1所述的感知性能评测方法，其特征在于，所述根据预设分类信息将所述航迹偏差数据分类还包括：

获取场景划分规则，所述场景划分规则包括位置变化规则和速度变化规则；

根据所述场景划分规则和所述感知目标对应的所述标准航迹属性参数和所述测试航迹属性参数获取当前场景信息；

根据所述当前场景信息将所述感知目标对应的所述航迹偏差数据进行分类。

8.一种感知性能评测装置，其特征在于，包括：

数据获取模块，用于获取标准传感器数据和测试传感器数据；

数据处理模块，用于根据所述标准传感器数据和测试传感器数据获取感知目标对应的标准航迹属性参数以及测试航迹属性参数；

评测模块，用于将每个所述感知目标对应的标准航迹属性参数以及测试航迹属性参数进行比对，得到航迹偏差数据；

统计模块，用于根据预设分类信息将所述航迹偏差数据进行分类，并基于分类的结果获取性能评测结果，所述预设分类信息包括目标类别信息、目标位置信息以及场景信息中的一种或多种。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的感知性能评测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的感知性能评测方法的步骤。

Images