CN112766068A - 一种基于网格化标注的车辆检测方法及*** - Google Patents

Abstract

本发明属于计算机技术领域，具体涉及一种基于网格化标注的车辆检测方法及***。本申请实施例提供的一种基于网格化标注的车辆检测方法及***，来解决现有技术基于卷积神经网络的车辆检测方法需要进行大量标注及易受视角影响的问题。

Description

一种基于网格化标注的车辆检测方法及***

技术领域

本发明属于计算机技术领域，具体涉及一种基于网格化标注的车辆检测方法及***。

背景技术

近年来随着车辆的增多，交通道路的拥堵情况越来越严重，因此交通部门对能够实时检测各条道路上的行驶车辆数量的技术需求显得愈加强烈。传统上采用的人工检测的方式既消耗人力又缺乏准确率，并且当前的主流的基于机器视觉的车辆检测方法仅在静态图片中有较好的性能表现，而在动态视频中的性能表现不能够满足技术需求。现有的车辆检测技术主要基于卷积神经网络技术对视频图像进行模型训练解决了动态检测的问题，例如一阶段方法采用YOLO系列目标检测，二阶段方法采用Faster R-CNN等。但卷积神经网络技术的训练基础依赖于大量的标注数据，例如在做车辆检测时需要在测试图片上加入包围车辆的矩形框并对矩形框进行大量标注，同时该标注还受车辆视角的影响，大大增加了标注量，至少需要对一万以上的图片进行人工标注，最后才能训练出理想的车辆检测模型。

发明内容

本申请实施例的目的在于提出了一种基于网格化标注的车辆检测方法及***，来解决现有技术基于卷积神经网络的车辆检测方法需要进行大量标注及易受视角影响的问题。

第一方面，本申请实施例提供了一种基于网格化标注的车辆检测方法，该方法的步骤包括：

S100、对待测区域构建规范化几何场景，并且定义待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立规范化场景图像与固定视角图像之间的映射关系；

S200、凭借映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在网格化标注后的图像上可能存在的位置信息生成训练样本；

S300、将训练样本进行训练得到车辆检测模型。

在一些实施例中，步骤S200中的生成训练样本的方法步骤包括：将完成规范化后的测试图像均分为n个测试区域，每个测试区域对应数值0或1，根据测试区域的数量相应地设定车辆的位置标注信息为n维向量，将有车辆停靠的测试区域数值设定为1，其余测试区域数值设定为0，标注车辆所有可能的位置标注信息生成训练样本。

这样的操作将传统的对三维矩形框的标注转换成对车辆相对场景位置的标注，可以大程度简化标注信息，减少标注量。

在一些实施例中，每个车辆停靠占用的测试区域数量为1个、2个……或n个。

现实生活中不同车型和品牌的车辆大小差异较大，单辆车子对测试区域的占用情况不一样，这样的操作可以使本方法的适用性更强。

在一些实施例中，步骤S200中凭借映射关系对拍摄到的实际测试图像进行的变换的具体步骤包括：

对规范化场景图像进行坐标标注；

对固定视角图像进行坐标标注，建立固定视角图像与规范化场景图像间的映射关系，训练得到固定视角图像与规范化场景图像间的坐标变换矩阵；

将拍摄到的实际测试图像根据拍摄视角带入相应的坐标变换矩阵得到规范化后的测试图像

这样的操作可以将各个不同视角的图像转换成固定视角图像，解决了不同视角影响标注信息从而造成标注量大的问题。

在一些实施例中，步骤300中对训练样本进行的训练的具体方法为基于有监督的神经网络模型训练。

有监督的神经网络技术可以经过训练输出最优模型，使实际应用中的测试结果可控。

在一些实施例中，有监督的神经网络模型包括：YOLO算法、ResNet算法或卷积神经网络。

上述YOLO算法、ResNet算法和卷积神经网络模型仅为对适用于本方法的有监督神经网络模型的较佳例举，非穷举，其他有监督神经网络模型同样能够适用于本方法。

在一些实施例中，步骤300中的训练的步骤包括在训练样本中融入已知车辆的三维模型。

在训练样本中融入已知车辆的三维模型便于辨别车辆与待测区域的位置关系，包括占用数量、具体方位等，此处无需像传统的神经网络算法对该三维模型框进行标注，大大节省了标注量。

第二方面，本申请实施例提供了一种基于网格化标注的车辆检测***，该***包括：

规范化模块，被配置用以对待测区域构建规范化几何场景，并且定义待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立规范化场景图像与固定视角图像之间的映射关系；

样本生成模块，被配置用以凭借映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在网格化标注后的图像上可能存在的位置信息生成训练样本；

样本训练模块，样本训练模块被配置用以将训练样本进行训练得到车辆检测模型。

在一些实施例中，样本生成模块包括：

图片变换模块，图片变换模块被配置用以对规范化场景图像进行坐标标注；

对固定视角图像进行坐标标注，建立固定视角图像与规范化场景图像间的映射关系，训练得到固定视角图像与规范化场景图像间的坐标变换矩阵；

将拍摄到的实际测试图像根据拍摄视角带入相应的坐标变换矩阵得到规范化后的测试图像；

网格化模块，网格化模块被配置用以将完成规范化后的测试图像均分为n个测试区域，每个测试区域对应数值0或1，根据测试区域的数量相应地设定车辆的位置标注信息为n维向量，将有车辆停靠的测试区域数值设定为1，其余测试区域数值设定为0，标注车辆所有可能的位置标注信息生成训练样本。

该模块对训练样本进行处理，将不同视角的测试图像转换为固定视角的规范化图像解决了不同视角对检测结果的影响，同时，对测试图像进行网格化标注，大大减少了所需的标注量，解决了传统车辆检测方法批注量大的问题。

第三方面，本申请实施例提供了一种计算机可读存储介质，介质中存储有计算机程序，在计算机程序被处理器执行时，实施上述第一方面中任一项所述的方法。

本申请实施例提供的一种基于网格化标注的车辆检测方法及***，通过运用映射方法将不同视角的测试图像转换为固定视角的规范化图像解决了不同视角对检测结果的影响，同时，对测试图像进行网格化标注，大大减少了所需的标注量，解决了传统车辆检测方法批注量大的问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本发明的实施例示例性基础流程图；

图2是根据本发明的实施例的基于网格化标注的车辆检测方法中的固定视角图像示意图；

图3是根据本发明的实施例的基于网格化标注的车辆检测方法中的规范化场景图像示意图；

图4是根据本发明的实施例的基于网格化标注的车辆检测方法中的待测区域网格化示意图；

图5是根据本发明的实施例的基于网格化标注的车辆检测***的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明基于网格化标注的车辆检测方法的示例性基础流程。

如图1所示，该基础流程包括：

步骤S100、对待测区域构建规范化几何场景，并且定义待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立规范化场景图像与固定视角图像之间的映射关系；

步骤S200、凭借映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在所述网格化标注后的图像上可能存在的位置信息生成训练样本；

步骤S300、将训练样本进行训练得到车辆检测模型。

其中，步骤S100在一些实施例中具体实现方式可以为：

1)如图2所示，在待测区域通过交通场景的抓拍摄像头和地感线圈配合进行抓拍获得通过该抓拍摄像头视角的固定视角图像。

2)如图2所示，在固定视角图像上随意选取区域A和B作为标注点，手动标注出区域A和区域B的四个顶点坐标，分别记为p₁、p₂……p₈。

3)如图3所示，定义该区域的规范化场景图像，手动标注出规范化场景图像中的区域A和区域B的四个顶点坐标，分别记为q₁、q₂……q₈。

4)建立固定视角图像与规范化场景图像间的映射关系。

假设区域A和B大小为2m*2m，设pi＝A*qi+b.其中pi和qi分别为固定视角图像和规范化场景图像上的图像坐标，A是一个2*2的矩阵，b是一个2*1的列向量。由于通过步骤2)和3)的手动标注可以知道的pi和qi的坐标，因此此处的目标是求A和b。

具体求解方法如下：首先构建一个关于A和b的目标函数，如下所示，

然后，通过高斯-牛顿法进行求解。

此处仅以交通场景中的一个交通摄像头为例，实际应用中交通摄像头视角多样，从而形成的映射关系根据摄像头位置的不同而不同，训练得到所有可能的映射关系。可以将各个不同视角的图像转换成规范化场景图像，解决了不同视角影响标注信息从而造成标注量大的问题。

步骤S200在一些实施例中具体实现方式可以为：

1)在待测区域通过交通场景的抓拍摄像头和地感线圈配合进行抓拍获得实际测试图像，此处的抓拍摄像头不限定固定视角和固定数量，所以得到的实际测试图像视角多样。

2)通过上述对步骤S100的可实施方式中得到的所有可能的映射关系对实际测试图像进行规范化，得到规范化测试图像。

3)如图4所示，以区域A和区域B为中心，将规范化后的测试图像均分为n个测试区域，每个测试区域对应数值0或1，根据测试区域的数量相应地设定车辆的位置标注信息为n维向量，将有车辆停靠的测试区域数值设定为1，其余所述测试区域数值设定为0。这样的操作将传统的对三维矩形框的标注转换成对车辆相对场景位置的标注，可以大程度简化标注信息，减少标注量。

比如，某一个车辆刚好在2和3的区域中，则该车辆的位置标注信息是一个n维的向量，其中第2维和第3维为1，其他维度为0。

4)标注车辆所有可能的位置标注信息生成训练样本。

步骤S300在一些实施例中具体实现方式可以为：

1)获取目前市面上主流成型的CAD模型。

2)将规范化场景图像作为底图，将车辆的CAD模型叠加在底图上，通过增加光照，结合上述对步骤S200的可实施方式中得到的训练样本的位置标注信息，利用计算机图形学的三维成像方法，获取最终的训练样本。在训练样本中融入已知车辆的三维模型便于辨别车辆与待测区域的位置关系，包括占用数量、具体方位等，此处无需像传统的神经网络算法对该三维模型框进行标注，大大节省了标注量。

3)将最终的训练样本包括其标注信息送入有监督的神经网络模型训练得到车辆检测模型。此处的有监督的神经网络模型包括YOLO算法、ResNet算法或卷积神经网络等。有监督的神经网络技术可以经过训练输出最优模型，使实际应用中的测试结果可控。

4)最后将新拍摄的实际交通图像代入车辆检测模型即可得出该图像中的车辆位置信息。

参考图5，其示出了根据本发明的实施例的基于网格化标注的车辆检测***400的结构示意图。

如图5所示，该***400包括规范化模块410、样本生成模块420和样本训练模块430，其中样本生成模块420又包括图片变换模块421和网格化模块422。具体描述为：

规范化模块410，规范化模块410被配置用以对待测区域构建规范化几何场景，并且定义待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立规范化场景图像与固定视角图像之间的映射关系；

样本生成模块420，样本生成模块420被配置用以凭借映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在网格化标注后的图像上可能存在的位置信息生成训练样本；

样本训练模块430，样本训练模块430被配置用以将训练样本进行训练得到车辆检测模型。

在根据本发明的实施例的基于网格化标注的车辆检测***400的一些可实现实施例中，样本生成模块420还包括：

图片变换模块421，图片变换模块421被配置用以对规范化场景图像进行坐标标注；

对固定视角图像进行坐标标注，建立固定视角图像与规范化场景图像间的映射关系，训练得到固定视角图像与规范化场景图像间的坐标变换矩阵；

将拍摄到的实际测试图像根据拍摄视角带入相应的坐标变换矩阵得到规范化后的测试图像；

网格化模块422，网格化模块422被配置用以将完成矩阵变换后的图像均分为n个测试区域，每个测试区域对应数值0或1，根据测试区域的数量相应地设定车辆的位置标注信息为n维向量，将有车辆停靠的测试区域数值设定为1，其余测试区域数值设定为0，标注车辆所有可能的位置标注信息生成所述训练样本。

通过样本生成模块对训练样本进行处理，将不同视角的测试图像转换为固定视角的规范化场景图像解决了不同视角对检测结果的影响，同时，对测试图像进行网格化标注，大大减少了所需的标注量，解决了传统车辆检测方法批注量大的问题。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、设备或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、设备或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、设备或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、分析模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于网格化标注的车辆检测方法，其特征在于：所述方法的步骤包括：

S100、对待测区域构建规范化几何场景，并且定义所述待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立所述规范化场景图像与所述固定视角图像之间的映射关系；

S200、凭借所述映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的所述测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在所述网格化标注后的图像上可能存在的位置信息生成训练样本；

S300、将所述训练样本进行训练得到车辆检测模型。

2.根据权利要求1所述的方法，其特征在于：所述步骤S200中所述的生成训练样本的方法步骤包括：将完成规范化后的所述测试图像均分为n个测试区域，每个所述测试区域对应数值0或1，根据所述测试区域的数量相应地设定所述车辆的位置标注信息为n维向量，将有所述车辆停靠的所述测试区域数值设定为1，其余所述测试区域数值设定为0，标注所述车辆所有可能的位置标注信息生成所述训练样本。

3.根据权利要求2所述的方法，其特征在于：每个所述车辆停靠占用的所述测试区域数量为1个、2个……或n个。

4.根据权利要求1所述的方法，其特征在于：步骤S200中凭借所述映射关系对拍摄到的实际测试图像进行的所述变换的具体步骤包括：

对所述规范化场景图像进行坐标标注；

对所述固定视角图像进行坐标标注，建立所述固定视角图像与所述规范化场景图像间的映射关系，训练得到所述固定视角图像与所述规范化场景图像间的坐标变换矩阵；

将所述拍摄到的实际测试图像根据拍摄视角带入相应的所述坐标变换矩阵得到所述规范化后的测试图像。

5.根据权利要求1所述的方法，其特征在于：步骤300中对所述训练样本进行的所述训练的具体方法为基于有监督的神经网络模型训练。

6.根据权利要求5所述的方法，其特征在于：所述有监督的神经网络模型包括：YOLO算法、ResNet算法或卷积神经网络。

7.根据权利要求1所述的方法，其特征在于：步骤300中所述的训练的步骤包括在所述训练样本中融入已知车辆的三维模型。

8.一种基于网格化标注的车辆检测***，其特征在于：所述***包括：

规范化模块，所述规范化模块被配置用以对待测区域构建规范化几何场景，并且定义所述待测区域的规范化场景图像，凭借具有固定视角的固定摄像头拍摄固定视角图像，并且建立所述规范化场景图像与所述固定视角图像之间的映射关系；

样本生成模块，所述样本生成模块被配置用以凭借所述映射关系对拍摄到的实际测试图像进行变换以获得规范化的测试图像，再对完成规范化后的所述测试图像进行网格化标注以获得网格化标注后的图像，根据车辆在所述网格化标注后的图像上可能存在的位置信息生成训练样本；

样本训练模块，所述样本训练模块被配置用以将所述训练样本进行训练得到车辆检测模型。

9.根据权利要求8所述的基于网格化标注的车辆检测***，其特征在于：所述样本生成模块包括：

图片变换模块，所述图片变换模块被配置用以对所述规范化场景图像进行坐标标注；

对所述固定视角图像进行坐标标注，建立所述固定视角图像与所述规范化场景图像间的映射关系，训练得到所述固定视角图像与所述规范化场景图像间的坐标变换矩阵；

将所述拍摄到的实际测试图像根据拍摄视角带入相应的所述坐标变换矩阵得到所述规范化后的测试图像；

网格化模块，所述网格化模块被配置用以将完成规范化后的所述测试图像均分为n个测试区域，每个所述测试区域对应数值0或1，根据所述测试区域的数量相应地设定车辆的位置标注信息为n维向量，将有所述车辆停靠的所述测试区域数值设定为1，其余所述测试区域数值设定为0，标注车辆所有可能的所述位置标注信息生成所述训练样本。

10.一种计算机可读存储介质，所述介质中存储有计算机程序，在所述计算机程序被处理器执行时，实施如权利要求1-8中任一项所述的方法。

Images