CN109522825A - 视觉感知***的性能测试***及其性能测试方法 - Google Patents
视觉感知***的性能测试***及其性能测试方法 Download PDFInfo
- Publication number
- CN109522825A CN109522825A CN201811285542.2A CN201811285542A CN109522825A CN 109522825 A CN109522825 A CN 109522825A CN 201811285542 A CN201811285542 A CN 201811285542A CN 109522825 A CN109522825 A CN 109522825A
- Authority
- CN
- China
- Prior art keywords
- target
- performance test
- visual perception
- video data
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000016776 visual perception Effects 0.000 title claims abstract description 91
- 238000011056 performance test Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 238000010835 comparative analysis Methods 0.000 claims abstract description 16
- 238000002347 injection Methods 0.000 claims abstract description 16
- 239000007924 injection Substances 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种视觉感知***的性能测试***及其性能测试方法。本发明的性能测试***，其包括：存储模块，其用于提供带原始标注信息的视频数据源；视频注入单元，其用于将所述视频数据源离线地注入待测试的所述视觉感知***；以及比较分析单元，其用于将所述视觉感知***的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知***的性能评估结果，其中，所述感知结果是所述视觉感知***针对所述视频数据源进行图像感知处理后所输出的感知结果。本发明能够实现对视觉感知***离线地进行性能测试，并且，对不同视觉感知***的性能测试的一致性好，能够输出得到定量的性能评估结果。
Description
技术领域
本发明属于视频感知测试技术领域，涉及一种使用带原始标注信息的视频数据源的视觉感知***的性能测试***及其性能测试方法。
背景技术
环境感知在自动驾驶等领域是关键技术之一，基于视觉的环境感知，也即视觉感知，是环境感知的一条重要技术路线。例如，特斯拉的AutoPilot***中，前向的车辆、行人、车道线等目标的检测与识别主要是基于视觉感知技术，MobileEye公司发布的EQ系列芯片也是将视觉感知算法集成到芯片中，来提供给OEM和自动驾驶***开发人员。
由于深度学习技术的发展，计算机视觉技术的识别率有了显著提高，这也使得视觉技术或视觉感知***能够在自动驾驶的环境感知中可以得到实际的应用。但是，由于视觉算法还在不断发展之中，视觉感知***在实际应用之前是需要进行性能测试或性能评估。
目前业界对视觉感知***的性能测试中，一方面，依赖于例如通过装车进行实际路测以在线地获得视频数据并输出相应感知结果，从而在线地对感知结果进行性能评估或评价；另一方面，停留在对视觉感知***的性能评估测试的定性地评估或评价阶段，不同视觉感知***的性能测试的一致性差。
发明内容
本发明的目的之一在于，实现离线地对视觉感知***进行性能测试。
本发明的又一目的在于，提高对不同视觉感知***的性能测试的一致性。
为实现以上目的或者其他目的，本发明提供以下技术方案。
按照本公开的一方面，提供一种视觉感知***的性能测试***，其包括：
存储模块，其用于提供带原始标注信息的视频数据源；
视频注入单元，其用于将所述视频数据源离线地注入待测试的所述视觉感知***；以及
比较分析单元，其用于将所述视觉感知***的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知***的性能评估结果，其中，所述感知结果是所述视觉感知***针对所述视频数据源进行图像感知处理后所输出的感知结果。
根据本公开一实施例的性能测试***，其中，所述原始标注信息是包括目标及其目标属性的标注信息。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；
所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，所述比较分析单元包括：
结果转换模块，其用于将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；
比较模块，其用于将所述标准化的感知结果与所述原始标注信息进行比较以获得相应的比较结果；
统计模块，其用于定量地统计所述比较结果以得到所述视频感知***的定量的性能评估结果。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，所述统计模块所统计的统计量包括以下一个或多个：
目标识别输出能力，
总体目标识别准确率，
总体目标识别召回率，
分类目标的识别准确率，
分类目标属性的识别准确率。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，所述视频注入单元包括：
视频格式转换模块，其用于将所述视频数据源转换为与待测试的所述视觉感知***的输入相匹配的格式。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，所述视频注入单元的输出接口被配置为默认地以MIPI CSI-2或平行 DVP转LVDS的方式输出所述视频数据源。
根据本公开另一实施例或以上任一实施例的性能测试***，其中，还包括：
显示单元，其用于显示所述性能评估结果。
根据本发明另一实施例或以上任一实施例的
按照本公开的又一方面，提供一种视觉感知***的性能测试方法，包括步骤：
提供存储带原始标注信息的视频数据源；
将所述视频数据源离线地注入待测试的所述视觉感知***；以及
将所述视觉感知***的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知***的性能评估结果，其中，所述感知结果是所述视觉感知***针对所述视频数据源进行图像感知处理后所输出的感知结果。
根据本公开一实施例的性能测试方法，其中，所述原始标注信息是包括目标及其目标属性的标注信息。
根据本公开另一实施例或以上任一实施例的性能测试方法，其中，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；
所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。
根据本公开另一实施例或以上任一实施例的性能测试方法，其中，所述比较分析步骤包括：
将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；
将所述标准化的感知结果与所述原始标注信息进行比较；
定量地统计所述比较结果以得到所述视频感知***的定量的性能评估结果。
根据本公开另一实施例或以上任一实施例的性能测试方法，其中，所统计的统计量包括以下一个或多个：
目标识别输出能力，
总体目标识别准确率，
总体目标识别召回率，
分类目标的识别准确率，
分类目标属性的识别准确率。
根据本公开另一实施例或以上任一实施例的性能测试方法，其中，所述注入步骤包括：
将所述视频数据源转换为与待测试的所述视觉感知***的输入相匹配的格式。
根据本公开另一实施例或以上任一实施例的性能测试方法，其中，在所述注入步骤中，默认地以以MIPI CSI-2或平行 DVP转LVDS的方式输出所述视频数据源。
根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1是按照本发明一实施例的视觉感知***的性能测试***的结构示意图。
图2是按照本发明一实施例的视觉感知***的性能测试方法的流程图。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的用于视觉感知***的性能测试***和/或性能测试方法，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
视觉感知***可以通过视频方式感测其所处的环境，以下示例是以视频感觉***应用于具有自动驾驶***的车辆上为示例进行说明的，其可以感知车辆所处的道路环境等以帮助实现自动驾驶功能。将理解，视觉感知***并不限于应用自动驾驶***中应用，其感测的环境对象也不是限制性的。
在本文中，“离线”是指待测试的视觉感知***脱离于其所感测的环境，反之，“在线”是指待测试的视觉感知***在感测的环境中进行工作，例如拍摄获得视频数据等。现有技术中，视觉感知***的性能测试需要装车并进行实际路测，这是一种典型的在线测试方式；在线测试方式明显存在效率低下的问题，并且，在线测试中拍摄获得的视频数据也各不相同，难以获得一致性的结果。
图1所示为按照本发明一实施例的视觉感知***的性能测试***的结构示意图。
如图1所示，待测试的视觉感知***90可以被安装应用在车辆的自动驾驶***中，其配置有相应的视觉算法来感知对应道路环境的视频数据。视觉感知***90的具体类型不是限制性的。将理解，本发明实施例的性能测试***10可以用于对不同的视觉感知***90进行测试，从而获得相应的性能评估结果。
性能测试***10可以通过例如计算机设备实现，其具有存储模块110，其可以存储有带原始标注信息101的视频数据源100，从而可以提供视频数据源100。存储模块110可以存储多段不同的视频数据源100，它们可以应用于同一视觉感知***90或不同视觉感知***90的性能测试。存储模块110具体可以通过例如硬盘等存储器实现，其对于设置有相应的接口（例如USB接口），从而，可以从外部为存储模块110加载或更新相应的视频数据源100。
在一实施例中，视频数据源100中的原始标注信息101是包括目标及其目标属性的标注信息，该标注信息可以通过目标级标注信息和/或像素级标注信息实现。以自动驾驶应用为示例，目标可以包括以下一种或多种：车辆、行人（例如包括自行车、电动车和摩托车等）、交通信号灯、交通标识、车道线；目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。将理解，当视觉感知***90应用于不同***中时，视频数据源100的原始标注信息101的目标和/或目标属性也可以相应地发生变化。
将理解，视频数据源100中的原始标注信息101可以视为正确或标准的视频感知结果，其通过预先标注或标定的方式被附带在视频数据源100中并可以被告知给性能测试***10，例如，可以提供给比较分析单元130。视频数据源100中当然地还包括除原始标注信息101之外的其他信息，例如图像帧内容、图像帧属性（例如时间）等。
在一实施例中，性能测试***10中设置有视频注入单元120，视频注入单元120可以将视频数据源100离线地注入外部的待测试的视觉感知***90，从而提供给视觉感知***90进行图像感知处理，例如，通过视觉感知***90中配置的视觉算法来进行图像感知处理。相应地，视觉感知***90可以输出相应的感知结果91。将理解，根据需要，注入视觉感知***90的视频数据源100可以不包括其所带的原始标注信息。
具体地，视频注入单元120中可以设置有视频格式转换模块121，视频格式转换模块121可以将视频数据源100转换为与视觉感知***90的输入相匹配的格式。不同的视觉感知***90具有不同的输入特性，并且仅支持相应格式的视频数据，通过视频格式转换模块121，将视频数据源100转换为不同格式的视频数据，从而可以兼容视觉感知***90的性能测试。因此，视频格式转换模块121能够为不同视觉感知***90提供其所需格式的视频数据。
视频格式转换模块121中可以包括相应的视频编解码器，在例如进行格式转换之前可以将压缩的视频数据源100进行解压缩等处理。
具体地，视频格式转换模块121可以通过FPGA等硬件实现，存储模块110具体可以以PCI-e方式与视频格式转换模块121中的FPGA相连接。视频格式转换模块121的具体实现方式不是限制性的。
由于视觉感知***90一般是配置CSI-2接口（CSI为相机串行接口“Camera SerialInterface”的缩写）或平行 DVP（Digital Video Port，数字视频端口）的摄像头，相应地，视觉感知***9的输入特性一般兼容LVDS（Low Voltage Differential Signaling，低压差分信号）接口；因此，在一实施例中，视频格式转换模块121默认以MIPI CSI-2（MIPI为移动产生处理器接口联盟“Mobile Industry Processor Interface”的缩写）方式或平行 DVP方式输出数据源，视频注入单元120的输出接口被配置为默认地以MIPI CSI-2或平行 DVP转LVDS的方式输出视频数据源。示例地，视频格式转换模块121的输出端配置多个串行器122，例如，三个并行设置的串行器122a、122b和122c，它们用于实现视频注入单元120的输出接口，从而该输出接口默认地以LVDS方式输出。
继续如图1所示，性能测试***10中还设置有比较分析单元130，比较分析单元130可以分别与视觉感知***90的输出端和存储模块110耦接，比较分析单元130可以将视觉感知***90所输出的感知结果91和视频数据源100中的原始标注信息101进行比较分析以获得视觉感知***90的性能评估结果，其中，感知结果91是视觉感知***90针对视频数据源100进行图像感知处理后所输出的感知结果，其可以带时间戳，从而方便区分例如不同时间点的图像帧所对应的感知结果。
在一实施例中，比较分析单元130中可以包括结果转换模块131、比较模块132和统计模块133。
结果转换模块131可以将感知结果91按照对应原始标注信息101的形式进行标准化转换以得到标准化的感知结果。由于视觉感知***90输出的感知结果91可能是多样化的，在与相对标准的原始标注信息101进行比较分析时，可能难以获得定量的评估结果。通过结果转换模块131输出的标准化的感知结果，在其后的比较过程将变得简单。
以原始标注信息101目标的形式和目标属性的形式为示例，感知结果91也可以目标分类转换并且可以按照相应的目标属性形式转换，从而，可以使多样化的感知结果91在形式上变得标准化。示例地，对于交通信号灯的具体信息，如果感知结果91也包括该信息，其将被转换为在原始标注信息101中的相应表现形式。
比较模块132可以将标准化的感知结果与原始标注信息101进行比较以获得相应的比较结果。例如，将感知输出的目标与原始标注信息101的目标进行比较并判断是否准确，将感知输出的目标属性与原始标注信息101的相应的目标属性进行比较并判断是否准确。在比较过程中，可以将例如对应某一时间戳的标准化的感知结果与在视频数据源100中的相应时间点的图像帧所对应的原始标注信息101进行比较，因此，可以细分地获得例如各时间段的比较结果。
统计模块133可以定量地统计比较结果以得到视觉感知***90的定量评估结果。统计模块133所统计的统计量可以包括但不限于以下一个或多个：目标识别输出能力，总体目标识别准确率，总体目标识别召回率，分类目标的识别准确率，分类目标属性的识别准确率，等等。
其中，目标识别输出能力反映是否具有目标和/或目标属性的输出功能，不管输出的目标和/或目标属性是否准确。总体目标识别准确率可以通过将准确感知的目标的数量除以感知的目标的数量来计算得到。总体目标识别召回率可以通过将正确识别的目标的数量除以原始标注信息101中所有目标的数量来计算得到。分类目标的识别准确率可以通过将准确感知的某一类别（例如行人）的目标的数量除以原始标注信息101中该类别的目标的数量计算得到，例如，交通信号灯的识别准确率、交通标识的识别准确率等。分类目标属性的识别准确率可以通过将准确感知的某一类别（例如相对速度）的目标属性的属性值（例如相对速度至）除以原始标注信息101中该类别的目标属性的属性值计算得到，分类目标属性的识别准确率包括例如相对速度的准确率、车道线的多项式的准确率等。
将理解，在目标和目标属性增加或改变的情况下，根据需要，统计量也可以进行相应的增加或改变。
这样，比较分析单元130可以方便地获得定量的性能评估结果，而不仅仅获得定性的性能评估结果，视觉感知***90的性能评估更准确，也方便实现不同视觉感知***90性能评估结果之间的比对、或同一视觉感知***90在更改或调整（视觉算法调整）前后的性能评估结果之间的比对。这样，对于例如OEM和自动驾驶整体解决方案设计开发者而言，有助于从***层面评估视觉感知***90的性能，对标分析不同视觉感知方案；并且考虑多传感器融合方案，对于视觉感知方案设计开发者而言，有助于发现极端情况或边界情况下视觉感知***90的性能，并做针对性的改进。
继续如图1所示，性能测试***10还包括显示单元140，显示单元140可以用于显示性能评估结果，例如定量的性能评估结果。当然，显示单元140也可以与存储模块110耦接，显示单元140也可以用来显示视频数据源100或视频数据源100的原始标注信息101。
性能测试***10还可以具体地配置相应的输出接口，该输出接口可以将性能评估结果输出。
需要说明的是，性能测试***10的存储单元110、视频输入单元120和比较分析单元130并不限于同一设备或装置中实现，例如它们可以分别在不同的计算机设备中实现，例如，比较分析单元130可以通过一个或多个服务器实现，其可以同时对来自多个视觉感知***90 的感知结果91进行比较分析处理。
以上实施例的性能测试***10由于采用带原始标注信息101的视频数据源100进行性能测试和评估，通过视频注入的方式，视觉感知***90无需再装在车上进行实际路测，可以实现离线测试，而且可以实现对不同视觉感知***进行离线测试，解决了不同视觉感知***的离线测试和评估问题。并且，不同视觉感知***90的性能测试过程中或同一视觉感知***90的不同次性能测试过程中，可以基于相同视频数据源100进行性能测试，得到的性能评估结果的一致性好，容易进行比对分析并在统一的标准下进行评估，尤其在获得定量的性能评估结果后。
图2所示为按照本发明一实施例的视觉感知***的性能测试方法的流程图。以下结合图1和图2对本发明一实施例的性能测试方法进行示例说明。
步骤S210，提供存储带原始标注信息101的视频数据源100。例如，可以从存储模块110获取视频数据源100。
在一实施例中，视频数据源100中的原始标注信息101是包括目标及其目标属性的目标级标注信息。以应该自动驾驶为示例，目标可以包括以下一种或多种：车辆、行人（例如包括自行车、电动车和摩托车等）、交通信号灯、交通标识、车道线；目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。将理解，当视觉感知***90应用于不同***中时，视频数据源100的原始标注信息101的目标和/或目标属性也可以相应地发生变化。
步骤S220，将视频数据源100离线地注入待测试的视觉感知***90。在一实施例中，步骤S220包括将视频数据源100转换为与待测试的视觉感知***90的输入相匹配的格式，其具体可以通过视频格式转换模块121完成。优选地，默认地以MIPI转CSI-2方式输出。
步骤S230，视觉感知***90对视频数据源100进行图像感知处理，这样，视觉感知***90输出针对视频数据源100的感知结果91。
步骤S240，将视觉感知***90的感知结果91和视频数据源100中的原始标注信息101进行比较分析以获得视觉感知***90的性能评估结果。步骤S240可以通过如图1所示的比较分析单元130实现，
在一实施例中，步骤S240包括以下子步骤：
将感知结果91按照对应原始标注信息101的形式进行标准化转换以得到标准化的感知结果；
将标准化的感知结果与原始标注信息101进行比较以获得相应的比较结果；和
定量地统计比较结果以得到所述视频感知***90的定量的性能评估结果。
这些子步骤可以分别通过比较分析单元130中的结果转换模块131、比较模块132和统计模块133分别完成。
至此，可以输出或显示视觉感知***90的性能评估结果，例如定量的性能评估结果，视觉感知***90的性能测试过程基本完成。
应该注意的是，在一些备选实现中，图2 的框中所示的功能/操作可以不严格按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行，或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。
需要说明的是，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以上例子主要说明了本公开的语音识别装置及其语音识别方法、语音交互***以及相应的语音交互方法。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
以上例子主要说明了本公开的视觉感知***的性能测试***及其性能测试方法。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (15)
1.一种视觉感知***的性能测试***，其特征在于，包括：
存储模块，其用于提供带原始标注信息的视频数据源；
视频注入单元，其用于将所述视频数据源离线地注入待测试的所述视觉感知***；以及
比较分析单元，其用于将所述视觉感知***的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知***的性能评估结果，其中，所述感知结果是所述视觉感知***针对所述视频数据源进行图像感知处理后所输出的感知结果。
2.如权利要求1所述的性能测试***，其特征在于，所述原始标注信息是包括目标及其目标属性的标注信息。
3.如权利要求2所述的性能测试***，其特征在于，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；
所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。
4.如权利要求1或2所述的性能测试***，其特征在于，所述比较分析单元包括：
结果转换模块，其用于将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；
比较模块，其用于将所述标准化的感知结果与所述原始标注信息进行比较以获得相应的比较结果；
统计模块，其用于定量地统计所述比较结果以得到所述视频感知***的定量的性能评估结果。
5.如权利要求4所述的性能测试***，其特征在于，所述统计模块所统计的统计量包括以下一个或多个：
目标识别输出能力，
总体目标识别准确率，
总体目标识别召回率，
分类目标的识别准确率，
分类目标属性的识别准确率。
6.如权利要求1所述的性能测试***，其特征在于，所述视频注入单元包括：
视频格式转换模块，其用于将所述视频数据源转换为与待测试的所述视觉感知***的输入相匹配的格式。
7.如权利要求6所述的性能测试***，其特征在于，所述视频注入单元的输出接口被配置为默认地以MIPI CSI-2或平行 DVP转LVDS的方式输出所述视频数据源。
8.如权利要求1所述的性能测试***，其特征在于，还包括：
显示单元，其用于显示所述性能评估结果。
9.一种视觉感知***的性能测试方法，其特征在于，包括步骤：
提供存储带原始标注信息的视频数据源；
将所述视频数据源离线地注入待测试的所述视觉感知***；以及
将所述视觉感知***的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知***的性能评估结果，其中，所述感知结果是所述视觉感知***针对所述视频数据源进行图像感知处理后所输出的感知结果。
10.如权利要求9所述的性能测试方法，其特征在于，所述原始标注信息是包括目标及其目标属性的标注信息。
11.如权利要求10所述的性能测试方法，其特征在于，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；
所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。
12.如权利要求9所述的性能测试方法，其特征在于，所述比较分析步骤包括：
将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；
将所述标准化的感知结果与所述原始标注信息进行比较；
定量地统计所述比较结果以得到所述视频感知***的定量的性能评估结果。
13.如权利要求12所述的性能测试方法，其特征在于，所统计的统计量包括以下一个或多个：
目标识别输出能力，
总体目标识别准确率，
总体目标识别召回率，
分类目标的识别准确率，
分类目标属性的识别准确率。
14.如权利要求9所述的性能测试方法，其特征在于，所述注入步骤包括：
将所述视频数据源转换为与待测试的所述视觉感知***的输入相匹配的格式。
15.如权利要求14所述的性能测试方法，其特征在于，在所述注入步骤中，默认地以MIPI CSI-2或平行 DVP转LVDS的方式输出所述视频数据源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811285542.2A CN109522825A (zh) | 2018-10-31 | 2018-10-31 | 视觉感知***的性能测试***及其性能测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811285542.2A CN109522825A (zh) | 2018-10-31 | 2018-10-31 | 视觉感知***的性能测试***及其性能测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109522825A true CN109522825A (zh) | 2019-03-26 |
Family
ID=65772964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811285542.2A Pending CN109522825A (zh) | 2018-10-31 | 2018-10-31 | 视觉感知***的性能测试***及其性能测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109522825A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287832A (zh) * | 2019-06-13 | 2019-09-27 | 北京百度网讯科技有限公司 | 高速自动驾驶场景障碍物感知评测方法及装置 |
| CN111597993A (zh) * | 2020-05-15 | 2020-08-28 | 北京百度网讯科技有限公司 | 数据处理的方法及装置 |
| CN111931812A (zh) * | 2020-07-01 | 2020-11-13 | 广州视源电子科技股份有限公司 | 视觉算法的测试方法、装置、存储介质和电子设备 |
| CN112230228A (zh) * | 2020-09-30 | 2021-01-15 | 中汽院智能网联科技有限公司 | 一种基于场地测试技术的智能汽车视觉传感器测试方法 |
| CN112816954A (zh) * | 2021-02-09 | 2021-05-18 | 中国信息通信研究院 | 一种基于真值的路侧感知***评测方法和*** |
| CN113128315A (zh) * | 2020-01-15 | 2021-07-16 | 宝马股份公司 | 一种传感器模型性能评估方法、装置、设备及存储介质 |
| CN113205070A (zh) * | 2021-05-27 | 2021-08-03 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165740A (ja) * | 2006-11-29 | 2008-07-17 | Mitsubishi Electric Research Laboratories Inc | 監視システムの性能を測定するためのコンピュータ実施される方法 |
| CN103810854A (zh) * | 2014-03-03 | 2014-05-21 | 北京工业大学 | 一种基于人工标定的智能交通算法评估方法 |
| CN106127114A (zh) * | 2016-06-16 | 2016-11-16 | 北京数智源科技股份有限公司 | 智能视频分析方法 |
| CN106488225A (zh) * | 2016-10-26 | 2017-03-08 | 昆山软龙格自动化技术有限公司 | 多帧缓存双摄同测测试卡 |
| CN106926800A (zh) * | 2017-03-28 | 2017-07-07 | 重庆大学 | 多摄像头适配的车载视觉感知*** |
| CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
| CN107978165A (zh) * | 2017-12-12 | 2018-05-01 | 南京理工大学 | 基于计算机视觉的交叉口标志标线与信号灯智能感知方法 |
| CN108593310A (zh) * | 2018-06-14 | 2018-09-28 | 驭势科技（北京）有限公司 | 离线测试***和方法 |
-
2018
- 2018-10-31 CN CN201811285542.2A patent/CN109522825A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165740A (ja) * | 2006-11-29 | 2008-07-17 | Mitsubishi Electric Research Laboratories Inc | 監視システムの性能を測定するためのコンピュータ実施される方法 |
| CN103810854A (zh) * | 2014-03-03 | 2014-05-21 | 北京工业大学 | 一种基于人工标定的智能交通算法评估方法 |
| CN106127114A (zh) * | 2016-06-16 | 2016-11-16 | 北京数智源科技股份有限公司 | 智能视频分析方法 |
| CN106488225A (zh) * | 2016-10-26 | 2017-03-08 | 昆山软龙格自动化技术有限公司 | 多帧缓存双摄同测测试卡 |
| CN106926800A (zh) * | 2017-03-28 | 2017-07-07 | 重庆大学 | 多摄像头适配的车载视觉感知*** |
| CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
| CN107978165A (zh) * | 2017-12-12 | 2018-05-01 | 南京理工大学 | 基于计算机视觉的交叉口标志标线与信号灯智能感知方法 |
| CN108593310A (zh) * | 2018-06-14 | 2018-09-28 | 驭势科技（北京）有限公司 | 离线测试***和方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287832A (zh) * | 2019-06-13 | 2019-09-27 | 北京百度网讯科技有限公司 | 高速自动驾驶场景障碍物感知评测方法及装置 |
| CN113128315A (zh) * | 2020-01-15 | 2021-07-16 | 宝马股份公司 | 一种传感器模型性能评估方法、装置、设备及存储介质 |
| CN111597993A (zh) * | 2020-05-15 | 2020-08-28 | 北京百度网讯科技有限公司 | 数据处理的方法及装置 |
| CN111597993B (zh) * | 2020-05-15 | 2023-09-05 | 北京百度网讯科技有限公司 | 数据处理的方法及装置 |
| CN111931812A (zh) * | 2020-07-01 | 2020-11-13 | 广州视源电子科技股份有限公司 | 视觉算法的测试方法、装置、存储介质和电子设备 |
| CN112230228A (zh) * | 2020-09-30 | 2021-01-15 | 中汽院智能网联科技有限公司 | 一种基于场地测试技术的智能汽车视觉传感器测试方法 |
| CN112230228B (zh) * | 2020-09-30 | 2024-05-07 | 中汽院智能网联科技有限公司 | 一种基于场地测试技术的智能汽车视觉传感器测试方法 |
| CN112816954A (zh) * | 2021-02-09 | 2021-05-18 | 中国信息通信研究院 | 一种基于真值的路侧感知***评测方法和*** |
| CN112816954B (zh) * | 2021-02-09 | 2024-03-26 | 中国信息通信研究院 | 一种基于真值的路侧感知***评测方法和*** |
| CN113205070A (zh) * | 2021-05-27 | 2021-08-03 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及*** |
| CN113205070B (zh) * | 2021-05-27 | 2024-02-20 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522825A (zh) | 视觉感知***的性能测试***及其性能测试方法 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN110910665B (zh) | 信号灯控制方法、装置以及计算机设备 | |
| CN108091141B (zh) | 车牌识别*** | |
| CN105590099B (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN110633610A (zh) | 一种基于yolo的学员状态检测算法 | |
| CN109740609A (zh) | 一种轨距检测方法及装置 | |
| CN112885130B (zh) | 呈现道路信息的方法和装置 | |
| CN110390362A (zh) | 一种用于检测无人车故障的方法及无人车 | |
| CN108830184A (zh) | 黑眼圈识别方法及装置 | |
| KR20170096437A (ko) | 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법 | |
| CN109740654A (zh) | 一种基于深度学习的舌体自动检测方法 | |
| US11393181B2 (en) | Image recognition system and updating method thereof | |
| CN108805211A (zh) | 基于机器学习的智能业务类型感知方法 | |
| CN111540010A (zh) | 一种道路监测的方法、装置、电子设备及存储介质 | |
| CN104281258A (zh) | 使用图像捕获设备调整透明显示器 | |
| CN112418303B (zh) | 一种识别状态模型的训练方法、装置及计算机设备 | |
| CN105684062B (zh) | 用于提供关于临近车辆的事件的事件消息的方法和装置 | |
| CN113269195A (zh) | 读数表图像字符识别方法和装置以及可读存储介质 | |
| CN110889378B (zh) | 一种多视图融合交通标志检测识别方法及其*** | |
| CN110823596B (zh) | 一种测试方法和装置、电子设备和计算机可读存储介质 | |
| CN112199997A (zh) | 一种终端及工具处理方法 | |
| CN112418264A (zh) | 检测模型的训练方法、装置、目标检测方法、设备和介质 | |
| CN105357516B (zh) | 车载信息***测试台架图像比对方法和*** | |
| CN110313159A (zh) | 通信数据建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200728 Address after: Susong Road West and Shenzhen Road North, Hefei Economic and Technological Development Zone, Anhui Province Applicant after: Weilai (Anhui) Holding Co.,Ltd. Address before: 30 Floor of Yihe Building, No. 1 Kangle Plaza, Central, Hong Kong, China Applicant before: NIO NEXTEV Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |