CN110198439A - 用于自动测试adas相机的图像识别性能的方法和装置 - Google Patents

Abstract

本发明的实施例公开了用于自动测试ADAS相机的图像识别性能的方法和装置。在方法中，生成仿真环境，仿真环境包括多个目标对象，多个目标对象中的每个目标对象具有目标对象信息。呈现仿真环境。接收由ADAS相机从仿真环境识别的多个识别对象的识别对象信息。将多个识别对象的识别对象信息分别与多个目标对象的目标对象信息进行比较。

Description

用于自动测试ADAS相机的图像识别性能的方法和装置

技术领域

本发明涉及车辆技术领域，具体地，涉及一种用于自动测试ADAS相机的图像识别性能的方法和装置。

背景技术

汽车在当今社会中的广泛普及使人们的生活更加便利，然而伴随汽车数量的急剧增加，各种道路安全事故频发，人们开始日益关注汽车驾驶的安全性。目前，已在部分车辆安装高级驾驶辅助***(ADAS，Advanced Driver Assistance System)，也可称为主动安全***，其利用安装在车辆上的传感器，在汽车行驶过程中感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测和追踪。此外，ADAS还结合导航仪地图数据，进行***的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车的舒适性和安全性。

ADAS的功能例如包括基于前视摄像头实现的车道偏离报警、前方防碰撞报警、行人及障碍物检测、交通标志识别等。为了保证ADAS***性能的优良，在产品开发过程中需要进行大量的测试评价，国际上已有相关的测试标准产生，如ISO26262及SAE相关标准等。

发明内容

本发明的实施例提供了一种用于自动测试ADAS相机的图像识别性能的方法和装置。该方法能够通过生成模拟安装有ADAS相机的车辆的驾驶的仿真环境以及自动化的测试流程来对ADAS相机的图像识别效果进行测评。

根据本发明的一个方面，提供了一种用于自动测试ADAS相机的图像识别性能的方法。在方法中，生成仿真环境，仿真环境包括多个目标对象，多个目标对象中的每个目标对象具有目标对象信息。呈现仿真环境。接收由ADAS相机从仿真环境识别的多个识别对象的识别对象信息。以及将多个识别对象的识别对象信息分别与多个目标对象的目标对象信息进行比较。

根据本发明的另一方面，提供了一种用于自动测试ADAS相机的图像识别性能的装置。装置包括控制器，其包括处理器和存储器。处理器可生成仿真环境，仿真环境包括多个目标对象，存储器可存储多个目标对象中的每个目标对象的目标对象信息。显示器可呈现仿真环境。ADAS相机可从仿真环境识别多个识别对象，并将多个识别对象的识别对象信息发送至控制器的处理器。控制器的处理器还可接收由ADAS相机识别的多个识别对象的识别对象信息，并将多个识别对象的识别对象信息分别与多个目标对象的目标对象信息进行比较。

根据本发明的实施例，能够确保测试数据的广泛性、多样性、均衡性，使测试结果更加客观公正全面，同时节省人工成本。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例的附图进行简单说明。应当知道，以下描述的附图仅仅是本发明的一些实施例，而非对本发明的限制，其中：

图1是根据本发明的实施例的用于自动测试ADAS相机的图像识别性能的方法的流程图；

图2是根据本发明的实施例的仿真环境的示例性示意图；

图3是根据本发明的实施例的用于自动测试ADAS相机的图像识别性能的装置的示意图。

具体实施方式

为了使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明的实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而并非全部的实施例。基于所描述的实施例，本领域的普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，也都属于本发明的范围。

由于ADAS的很多功能都是基于其摄像头的图像识别来实现，所以需要对ADAS摄像头(以下可称为ADAS相机)的图像识别性能进行测试。为了保证测试结果的公正性，测试样本应尽量符合正态分布原理，即需要覆盖各种各样的天气和光照条件和不同的图像背景环境，满足广泛性，多样性，均衡性要求。如果测试数据集90％的数据为正常天气环境下采集的，只有极少数为恶劣天气的数据，那么这样的测试结果即使正确率达到99.999％也不符合真实的客观实际性能。目前，该测试主要基于实车测试和样本测试集测试两种方法来实现。

在实车测试中，在测试车辆上安装ADAS相机，并由专人驾驶该车辆在公路上进行路试。在采集到包含ADAS图像识别处理结果(含物体标记框)的视频后，通过人工地看视频的方式来辨别所识别的图像中的物体是否与实际画面里的物体一致。进一步地，人工统计图像识别的正确识别率，误检率等。然而，由于这种方法需要人工开车去采集数据并且人工辨别图像是否识别成功，所以是非常耗时且耗人力的。此外，因为实际道路影响因素繁多，情况异常复杂，所以实车测试不可能覆盖所有的场景。如果采集车辆所在的某个城市一直是很好的天气，则采集到的测试样本不能满足样本的广泛性和多样性要求。而如果要满足广泛性，多样性，均衡性要求，就需要在雨雪天气或者某类天气环境的地区采集数据，这种方法采集数据成本过高。此外，在ADAS算法未成熟前进行实际道路测试，不能快速进行算法改进，使得开发周期大大增加。

另一方面，在样本测试集测试中，需要人工采集准备一些包含检测物体的原始图像数据文件作为样本测试集。之后，在电脑上运行图像识别算法对整个数据集做检测，并计算得出某些全局性的KPI指标，比如正确识别率，误检率等。然而，这种方法同样存在以上问题，其样本测试集是通过数据采集获得，很难保证广泛性，多样性，均衡性要求。

此外，在以上测试过程中，如果发现某个物体没有被检测出来，则需要人工添加该物体的图片到训练数据集中进行再次训练和修复问题，耗费大量时间和人力。

图1示出了根据本发明的实施例的用于自动测试ADAS相机的图像识别性能的方法的流程图。

在步骤S110中，生成用于模拟安装有ADAS相机的车辆在道路上驾驶的仿真环境。例如，可通过虚拟仿真软件生成具有不同道路条件的仿真环境(如城市、山区道路等)，并且可进一步设定仿真环境的天气参数(阴天、暴雪、暴雨等)和光照参数(光照过强、过暗、适中等)，以增强测试样本的多样性和泛化性。此外，虚拟仿真软件还可对该车辆进行驾驶控制，例如控制油门、方向盘、刹车等，以模拟车辆在仿真环境中的自动驾驶。

仿真环境可包括多个目标对象，例如交通载具、行人和交通标志等。具体地，交通载具包括车辆、轿车、卡车、自行车、拖车、三轮车、摩托车、助动车、甚至婴儿车等，交通标志包括红绿灯、道路指示牌、车道指示线等。此外，每个目标对象均具有目标对象信息，例如在仿真环境的图像中的目标对象的类型、坐标位置、大小、属性信息等。属性信息例如包括道路指示牌上面的字、车辆的车牌号、建筑物的铭牌等

图2示出一种仿真环境的示例性示意图。如图2所示，仿真环境中的目标对象包括若干辆车、道路指示牌、建筑物等。

在步骤S120中，采用显示器呈现所生成的仿真环境。

在步骤S130中，接收由ADAS相机从仿真环境中识别到的多个识别对象的识别对象信息。识别对象可以是所识别出的目标对象，例如交通载具、人和交通标志等。具体地，将ADAS相机与显示器通过机械支架固定，并将ADAS识别图像的像素坐标系与提供仿真环境的软件的坐标系相匹配。ADAS相机识别显示器上显示的图像，并以与显示图像相同的帧率处理识别到的识别对象的识别对象信息。

如图2所示的示例，ADAS相机可识别出在图像中间偏下部位的一辆车，在图像上方中间及右侧的道路指示牌、在图像中部的其它若干辆车、在图像下部的车道标识线、在图像右侧的建筑物等。以此方式，接收到以上识别对象的识别对象信息，例如各识别对象的对象类型、在图像中的位置坐标、大小、属性信息等。

在步骤S140中，将多个识别对象的识别对象信息分别与多个目标对象的目标对象信息进行比较。

在本发明的实施例中，如果接收到ADAS相机识别出的各识别对象的识别信息分别与所记录的各目标对象的目标对象信息一致，则ADAS相机的该次图像识别成功。如果某个目标对象的目标对象信息与和其对应的识别到的识别对象信息不一致，则ADAS相机针对该目标对象识别错误，存入负样本的数据源，并将识别错误的目标对象的目标对象信息存储，以备再次训练。此外，也可将识别错误时的仿真环境的图像存储。另一方面，当至少一个目标对象未被识别到时，将未识别到的目标对象及其目标对象信息存储，从而自动作为再次训练的数据源。

此外，可以对识别到的识别对象进行计数。在识别对象的数量达到阈值数量时，测试过程结束。根据成功识别的识别对象的数量与目标对象的总数量，计算ADAS相机的图像识别的成功率，从而测试出ADAS相机的图像识别性能。

在本发明的实施例中，在一个测试过程结束后，可保存相关的测试结果，并重新生成仿真环境。具体地，可改变天气和光照条件、变更规划行驶路径，更换目标对象等，从而再次执行新一轮测试。由此，经过多轮测试，确保测试数据的广泛性，多样性，均衡性要求。

根据本发明实施例的方法可以通过采用高画质的虚拟仿真环境和自动化标准化测试流程，自定义测试场地、天气等条件。由此，可以对图像识别结果进行公正全面的测评，从而降低人工成本，确保测试数据的广泛性，多样性，均衡性要求，使测试结果更加客观公正全面。当测试过程中发现算法软件出现漏检和误检时，也能自动地收集相关信息作为再次训练的数据源。

图3是根据本发明的实施例的用于自动测试ADAS相机的图像识别性能的装置300的示意图。装置300包括控制器310、显示器320、ADAS相机330、以及若干配件和电源设备(图中未示出)。

控制器310例如是PC主机电脑，该主机配置需要支持高画质仿真软件流畅运行。控制器310可包括处理器312和存储器314。处理器312可通过虚拟仿真软件生成仿真环境，从而模拟安装有ADAS相机的车辆在道路上行驶时的外部环境，并且仿真环境中可包括多个目标对象。仿真环境的参数包括周围的目标对象的目标对象信息、车辆运行参数、天气信息、光照信息等。目标对象信息包括目标对象的类型、位置坐标、大小等。此外，处理器312可模拟控制车辆的自动驾驶，例如油门、方向盘、刹车灯，例如可自动避免在仿真环境中的车辆碰撞，从而不需要实车驾驶也能获得接近真实环境的画面信息。存储器314可存储多个目标对象中的每个目标对象的目标对象信息、以及仿真环境中的其它参数等。

显示器320与控制器310信息通信连接。显示器320接收由控制器310生成的仿真环境，并将其以视频形式呈现出来。显示器320例如是高清画质大屏幕显示器。

ADAS相机320通过机械支架固定，从而使其与显示器320之间的位置保持不变。ADAS相机330可从显示器320呈现的仿真环境中识别多个识别对象。对ADAS相机320进行预标定，使其识别图像的像素坐标系与控制器310提供的图像的坐标系相匹配。

另一方面，ADAS相机320还与控制器310通信连接，例如通过德国Vector公司的CANOE(CAN Open Environment)设备连接，从而建立CAN Bus(CAN总线)数据通信。由此，ADAS相机320可将多个识别对象的识别对象信息发送至控制器310的处理器312。

控制器310的处理器312可接收由ADAS相机330识别的多个识别对象的识别对象信息，并将多个识别对象的识别对象信息分别与多个目标对象的目标对象信息进行比较。

在本发明的实施例中，在接收到ADAS相机识别出的各识别对象的识别信息分别与由虚拟仿真软件生成的仿真环境中的各目标对象的目标对象信息一致时，则处理器312可确定ADAS相机的图像识别成功。在某个目标对象的目标对象信息与识别到的识别对象信息不一致时，则处理器312可确定ADAS相机针对该目标对象识别错误，并将识别错误的目标对象的目标对象信息存储在存储器314中，并存入负样本的数据源。此外，当至少一个目标对象未被识别到时，处理器312同样可将未识别到的目标对象的目标对象信息存储，从而自动作为再次训练的数据源。

另一方面，处理器312可以对识别到的识别对象进行计数。在识别对象的数量达到阈值数量时，测试过程结束。处理器312根据成功识别的识别对象的数量与目标对象的总数量，计算ADAS相机的图像识别的成功率，从而测试出ADAS相机的图像识别性能。

在本发明的实施例中，在一个测试过程结束后，存储器314可保存相关的测试结果，并且处理器312可重新生成仿真环境。具体地，可改变天气和光照条件、变更规划行驶路径，更换目标对象模型等。然后，再次执行新一轮测试。由此，经过多轮测试，确保测试数据的广泛性，多样性，均衡性要求。

根据本发明实施例的装置可以通过采用高画质的虚拟仿真环境和自动化标准化测试流程，自定义测试场地、天气等条件。由此，可以对图像识别结果进行公正全面的测评，从而降低人工成本，确保测试数据的广泛性，多样性，均衡性要求，使测试结果更加客观公正全面。当测试过程中发现算法软件出现漏检和误检时，也能自动地收集相关信息作为再次训练的数据源。

由于在仿真环境中目标对象的目标对象参数是已知的，所以处理器明确知道识别对象的真值属性，因此可以实现自动化判定。仿真环境可支持多种场景切换，可以任意改变天气(降雨、降雪、雷电等)、光照(黄昏、夜晚等)、路况等环境变量，还可以更换不同的目标对象(交通载具、行人、交通标志等)。测试数据更具广泛性，多样性，均衡性，最后的测试结果更接近真实性能。因此，模拟场景比用实车在真实道路行驶录制视频速度更快成本更低。

以上对本发明的若干实施方式进行了详细描述，但本发明的保护范围并不限于此。显然，对于本领域的普通技术人员来说，在不脱离本发明的精神和范围的情况下，可以对本发明的实施例进行各种修改、替换或变形。本发明的保护范围由所附权利要求限定。

Claims (14)

1.一种用于自动测试ADAS相机的图像识别性能的方法，包括：

生成仿真环境，所述仿真环境包括多个目标对象，所述多个目标对象中的每个目标对象具有目标对象信息；

呈现所述仿真环境；

接收由所述ADAS相机从所述仿真环境识别的多个识别对象的识别对象信息；以及

将所述多个识别对象的识别对象信息分别与所述多个目标对象的目标对象信息进行比较。

2.根据权利要求1所述的方法，其中，

所述目标对象信息包括所述目标对象的对象类型和位置坐标；

所述识别对象信息包括所述识别对象的对象类型和位置坐标。

3.根据权利要求1所述的方法，还包括：

当所述多个目标对象中的至少一个被识别错误时，将识别错误的目标对象的目标对象信息存储。

4.根据权利要求1所述的方法，还包括：

当所述多个目标对象中的至少一个未被识别时，将未识别到的目标对象的目标对象信息存储。

5.根据权利要求1所述的方法，其中，

所述仿真环境基于天气信息、光照信息、道路信息和目标对象而生成。

6.根据权利要求1所述的方法，其中，

所述目标对象包括交通载具、人、交通标志中的至少一种。

7.根据权利要求1所述的方法，还包括

对所述多个识别对象进行计数；

在所述多个识别对象的数量达到阈值数量时，测试过程结束。

8.一种用于自动测试ADAS相机的图像识别性能的装置，包括：

控制器，其包括处理器和存储器，其中，所述处理器被配置为生成仿真环境，所述仿真环境包括多个目标对象，所述存储器被配置为存储所述多个目标对象中的每个目标对象的目标对象信息；

显示器，其被配置为呈现所述仿真环境；

ADAS相机，其被配置为从所述仿真环境识别多个识别对象，并将所述多个识别对象的识别对象信息发送至所述控制器的处理器；

所述控制器的处理器进一步被配置为接收由所述ADAS相机识别的多个识别对象的识别对象信息，并将所述多个识别对象的识别对象信息分别与所述多个目标对象的目标对象信息进行比较。

9.根据权利要求8所述的装置，其中，

所述目标对象信息包括所述目标对象的对象类型和位置坐标；

所述识别对象信息包括所述识别对象的对象类型和位置坐标。

10.根据权利要求8所述的装置，所述控制器的处理器进一步被配置为：当所述多个目标对象中的至少一个被识别错误时，将识别错误的目标对象的目标对象信息存储。

11.根据权利要求8所述的装置，所述控制器的处理器进一步被配置为：

当所述多个目标对象中的至少一个未被识别时，将未识别到的目标对象的目标对象信息存储。

12.根据权利要求8所述的装置，其中，

所述仿真环境基于天气信息、光照信息、道路信息和目标对象而生成。

13.根据权利要求8所述的装置，其中，

所述目标对象包括交通载具、人、交通标志中的至少一种。

14.根据权利要求8所述的装置，所述控制器的处理器进一步被配置为：

对所述多个识别对象进行计数；

在所述多个识别对象的数量达到阈值数量时，测试过程结束。