CN111931673A - 一种基于视觉差的车辆检测信息的校验方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于视觉差的车辆检测信息的校验方法及装置，该方法包括：获取多个摄像机实时拍摄的预定监控区域的视频帧，确定所述各视频帧中待检测车辆的车辆信息；构建待检测车辆的当前三维车辆检测框坐标；获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及第二位置关系；根据所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。通过本发明，解决了卷积神经网络模型精度不足的问题，极大地提高了车辆信息检测的检测效率和准确性。

Description

一种基于视觉差的车辆检测信息的校验方法及装置

技术领域

本发明涉及智能停车管理技术领域，尤其涉及一种基于视觉差的车辆检测信息的校验方法及装置。

背景技术

随着城市经济的飞速发展和人民生活水平的不断提高，城市机动车保有量快速增长，在有限停车泊位的情况下，出现了百姓停车难的问题。为了解决这个难题，城市管理者开始在路侧规划泊位解决百姓停车问题，但是路侧泊位每个泊位都有多个出入口，基于路侧停车的自身特点，加大了路侧泊位管理的难度。

如何有效的对路侧泊位停车进行管理，目前市面上有很多方案，常见的智能停车管理***中，通常采用卷积神经网络模型对车辆进行状态检测，但是卷积神经网络模型容易受训练量和训练精度，以及算法阈值采用的关系的影响，经常会发生检测图像车辆信息不准确的情况。一方面，对于一些特殊结构车辆，例如大客车、房车、广告包装的面包车、特殊结构越野车等市面较少出现车辆，由于卷积神经网络模型的信息检测精度不足，甚至存在无法检测出图片中存在该车辆的情况，但是这些车辆由于数量较少，如果大规模引入到训练素材里面，将会干扰正常车辆检测精度；另一方面，由于光线干扰，例如远处大灯光照的干扰，或者夜晚车辆进出场时，车尾灯和前大灯照射车辆，均会降低卷积神经网络模型对图片车辆信息检测的精度，经常无法检测出图像中的车辆信息；又一方面，受限于卷积神经网络模型训练素材，大部分训练图片都是相机侧向观察泊位，往往能看到车辆较多侧向信息，但是现场往往有很多特殊泊位，如从正上方视角看相对较远的泊位，往往只能看到车辆的后备箱玻璃及以上部分，从而降低了此类泊位的检测精度。

目前技术中通过解决卷积神经网络模型检测车辆精度不足问题，通常有如下方法：

1、引入超声波雷达。通过超声波雷达获取深度信息，但超声波雷达容易受到干扰，而且超声波雷达进行远距离探测的时候需要很大的功率，但是远距离的物体的探测精度较差，在具体操作上还需要跟相机进行关联配置，增加了管理的复杂度以及校验、维护的难度；

2、引入激光雷达。激光雷达虽然能够较精准给出图像和泊位的距离，但是缺点是成本较高。

3、通过卷积神经网络模型检测出车辆部位的信息后，通过其他计算方法进行信息补充和纠正。例如通过卷积神经网络模型检测出车辆的车轮信息，车顶信息，车后视镜信息，车窗信息，车门信息，车头信息、车尾信息，随后通过此类信息，估算出车辆的位置，随后通过别的技术方法对车辆信息检测精度不足的问题进行补充计算和矫正，但是，该方法缺点是需要通过引入更多的计算方法来弥补检测车辆信息精度不足的缺陷。

发明内容

本发明实施例提供一种基于视觉差的车辆检测信息的校验方法及装置，解决了卷积神经网络模型精度不足的问题，极大地提高了车辆信息检测的检测效率和准确性。

本发明实施例提供了一种基于视觉差的车辆检测信息的校验方法，包括：

获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

本发明实施例还提供了一种基于视觉差的车辆检测信息的校验装置，包括：

标注及确定模块，用于获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

计算及构建模块，用于根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

获取模块，用于获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

判断模块，用于根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

确定模块，用于若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

上述技术方案具有如下有益效果：通过本发明，获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息，能够及时地对车辆进行检测，降低了车辆漏检的情况发生；通过构建待检测车辆的当前三维车辆检测框坐标，实现了根据视距差原理，精确地获取车辆基于摄像机的空间位置信息，为后续判断车辆的当前检测信息是否准确提供了重要的前提条件；实现了根据车辆的空间位置信息精确地确定车辆的位置，同时能够及时地纠正卷积神经网络模型检测的错误车辆信息，解决了卷积神经网络模型精度不足的问题，同时无需通过引入更多的计算方法来弥补卷积神经网络模型精度不足的问题，极大地提高了车辆信息检测的检测效率和准确性，进一步地，节约了车辆信息检测的成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于视觉差的车辆检测信息的校验方法流程图；

图2为本发明一实施例中一种基于视觉差的车辆检测信息的校验装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例中一种基于视觉差的车辆检测信息的校验方法流程图，包括：

101、获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

102、根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

103、获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

104、根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

105、若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

进一步地，所述获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息，包括：

在已标注时间信息的各视频帧中，基于每一视频帧，通过预定卷积神经网络模型对当前视频帧进行针对车辆的全帧检测，得到待检测车辆的车辆信息；

其中，所述车辆信息包括车辆的特征点信息；

其中，所述根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：

根据所述各视频帧中待检测车辆的车辆信息，确定所述各视频帧中待检测车辆的特征点信息；

根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：

基于所述各视频帧中待检测车辆的特征点信息，通过视觉差原理对所述各视频帧中待检测车辆的相同的特征点进行比对；

确定比对后的所述各个特征点在各自视频帧中的第一位置关系；

基于所述第一位置关系，计算各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离；

根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标，包括：

基于计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点和最小距离的特征点；

根据已确定的最大距离的特征点和最小距离的特征点，构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡的步骤之前，包括：

将任一摄像机确定为主摄像机；

判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数；

若小于，根据待检测车辆的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框；

确定主摄像机拍摄的当前视频帧中所述当前三维检测框的对应坐标信息；

根据所述当前三维检测框的对应坐标信息，判断待检测车辆是否被遮挡。

进一步地，所述判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数，包括：

若不小于，判断所述当前三维车辆检测框与所述对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；

若超过，判断待检测车辆是否被遮挡。

进一步地，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡包括：

针对每一个特征点，判断所述待检测车辆当前特征点在当前三维车辆检测框中的位置与所述待检测车辆当前特征点在对比三维车辆检测框中的位置是否一致；

若不一致，根据所述当前三维车辆检测框的坐标，确定当前特征点在当前三维车辆检测框中与主摄像机的当前距离，并根据所述对比三维车辆检测框的坐标，确定当前特征点在对比三维车辆检测框中与主摄像机的对比距离；

若所述当前距离不小于所述对比距离，确定待检测车辆未被遮挡；

若所述当前距离小于所述对比距离，确定待检测车辆被遮挡。

进一步地，所述若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确，包括：

若被遮挡，确定所述第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和所述第二位置关系中的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量；

若所述相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆的当前检测信息正确；

若所述相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆的当前检测信息错误；

其中，在所述确定待检测车辆的当前检测信息错误的步骤之后，还包括：

获取当前时刻的前一时刻的待检测车辆的对比车辆检测信息，将所述对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

如图2所示，为本发明一实施例中一种基于视觉差的车辆检测信息的校验装置结构示意图，包括：

标注及确定模块21，用于获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

计算及构建模块22，用于根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

获取模块23，用于获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

判断模块24，用于根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

确定模块25，用于若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

进一步地，所述标注及确定模块，包括：

检测单元，用于在已标注时间信息的各视频帧中，基于每一视频帧，通过预定卷积神经网络模型对当前视频帧进行针对车辆的全帧检测，得到待检测车辆的车辆信息；

其中，所述车辆信息包括车辆的特征点信息；

其中，所述计算及构建模块，用于

第一确定单元，用于根据所述各视频帧中待检测车辆的车辆信息，确定所述各视频帧中待检测车辆的特征点信息；

构建单元，用于根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述构建单元，包括：

比对子单元，用于基于所述各视频帧中待检测车辆的特征点信息，通过视觉差原理对所述各视频帧中待检测车辆的相同的特征点进行比对；

确定子单元，用于确定比对后的所述各个特征点在各自视频帧中的第一位置关系；

计算子单元，用于基于所述第一位置关系，计算各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离；

构建子单元，用于根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述构建子单元，具体用于

基于计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点和最小距离的特征点；

根据已确定的最大距离的特征点和最小距离的特征点，构建待检测车辆的当前三维车辆检测框坐标。

进一步地，所述判断模块，包括：

第二确定单元，用于将任一摄像机确定为主摄像机；

第一判断单元，用于判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数；

重新确定单元，用于若小于，根据待检测车辆的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框；

第三确定单元，用于确定主摄像机拍摄的当前视频帧中所述当前三维检测框的对应坐标信息；

第二判断单元，用于根据所述当前三维检测框的对应坐标信息，判断待检测车辆是否被遮挡。

进一步地，所述第一判断单元，还用于

若不小于，判断所述当前三维车辆检测框与所述对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；

若超过，判断待检测车辆是否被遮挡。

进一步地，所述判断模块，具体用于

针对每一个特征点，判断所述待检测车辆当前特征点在当前三维车辆检测框中的位置与所述待检测车辆当前特征点在对比三维车辆检测框中的位置是否一致；

若不一致，根据所述当前三维车辆检测框的坐标，确定当前特征点在当前三维车辆检测框中与主摄像机的当前距离，并根据所述对比三维车辆检测框的坐标，确定当前特征点在对比三维车辆检测框中与主摄像机的对比距离；

若所述当前距离不小于所述对比距离，确定待检测车辆未被遮挡；

若所述当前距离小于所述对比距离，确定待检测车辆被遮挡。

进一步地，所述确定模块，具体用于

若被遮挡，确定所述第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和所述第二位置关系中的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量；

若所述相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆的当前检测信息正确；

若所述相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆的当前检测信息错误；

获取当前时刻的前一时刻的待检测车辆的对比车辆检测信息，将所述对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

本发明实施例上述技术方案具有如下有益效果：通过本发明，获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息，能够及时地对车辆进行检测，降低了车辆漏检的情况发生；通过构建待检测车辆的当前三维车辆检测框坐标，实现了根据视距差原理，精确地获取车辆基于摄像机的空间位置信息，为后续判断车辆的当前检测信息是否准确提供了重要的前提条件；实现了根据车辆的空间位置信息精确地确定车辆的位置，同时能够及时地纠正卷积神经网络模型检测的错误车辆信息，解决了卷积神经网络模型精度不足的问题，同时无需通过引入更多的计算方法来弥补卷积神经网络模型精度不足的问题，极大地提高了车辆信息检测的检测效率和准确性，进一步地，节约了车辆信息检测的成本。

以下结合应用实例对本发明实施例上述技术方案进行详细说明：

本发明应用实例旨在解决卷积神经网络模型精度不足的问题，极大地提高车辆信息检测的检测效率和准确性。

如图1所示，例如，在停车管理***中，路侧视频杆或安装杆上配置有至少一个摄像机，如包括摄像机A和摄像机B，通过各摄像机实时拍摄预定监控区域的视频信息；获取摄像机A和摄像机B实时拍摄的预定监控区域的视频帧，若获取的视频帧拍摄的时间为2020-03-03 12:01:34，摄像机A拍摄的视频帧的标注信息为“A-2020-03-03 12:01:34”，摄像机B拍摄的视频帧标注信息为“B-2020-03-03 12:01:34”；随后，通过通过预定卷积神经网络模型确定各视频帧中待检测车辆，如待检测车辆Car，的车辆信息；分别计算“A-2020-03-0312:01:34”视频帧中待检测车辆Car与其对应摄像机A的相对距离的第一位置关系以及“B-2020-03-03 12:01:34”视频帧中待检测车辆Car与其对应摄像机B的相对距离的第一位置关系，并根据各个第一位置关系构建待检测车辆Car的当前三维车辆检测框坐标；随后，获取已构建的当前时刻2020-03-03 12:01:34的前一时刻，如2020-03-03 12:01:33，的对比三维车辆检测框坐标及2020-03-03 12:01:33时刻的各视频帧中待检测车辆Car与各自对应摄像机的第二位置关系；根据待检测车辆Car的当前三维检测框的坐标和对比三维车辆检测框的坐标，判断待检测车辆Car当前是否被遮挡；若被遮挡，根据该第一位置关系和该第二位置关系，确定待检测车辆Car的当前检测信息是否准确。

需要说明的是，本发明中的摄像机的数量为多个，本发明是本发明实施例中虽会以特定为例说明，但在此不做限定。

在一可能的实现方式中，所述获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息，包括：在已标注时间信息的各视频帧中，基于每一视频帧，通过预定卷积神经网络模型对当前视频帧进行针对车辆的全帧检测，得到待检测车辆的车辆信息；其中，所述车辆信息包括车辆的特征点信息。

其中，所述根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：根据所述各视频帧中待检测车辆的车辆信息，确定所述各视频帧中待检测车辆的特征点信息；根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标。

例如，在停车管理***中，路侧视频杆或安装杆上配置有摄像机A和摄像机B，通过各摄像机实时拍摄预定监控区域的视频信息；获取摄像机A和摄像机B实时拍摄的预定监控区域的视频帧，并针对摄像机A和摄像机B，标注各自对应视频帧的当前时间信息，如摄像机A拍摄的视频帧的标注信息为“A-2020-03-03 12:01:34”，摄像机B拍摄的视频帧标注信息为“B-2020-03-03 12:01:34”，随后，在已标注时间信息的视频帧“A-2020-03-03 12:01:34”和视频帧“B-2020-03-03 12:01:34”中，基于每一视频帧，通过预定卷积神经网络模型分别对视频帧“A-2020-03-03 12:01:34”和视频帧“B-2020-03-03 12:01:34”进行针对车辆的全帧检测，得到待检测车辆，如待检测车辆Car，的车辆信息；其中，车辆信息包括车辆的特征点信息；根据各视频帧中待检测车辆Car的车辆信息，确定各视频帧中待检测车辆的特征点信息；根据该特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据该第一位置关系构建待检测车辆Car的当前三维车辆检测框坐标。

需要说明的是，本领域技术人员可以理解，车辆特征点包括车轮、车顶、后视镜等；车辆的停车状态，包括车辆驶入状态，车辆驶出状态和车辆停泊状态，本发明实施例中虽会以特定为例说明，但在此不做限定。

在一可能的实现方式中，所述根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：基于所述各视频帧中待检测车辆的特征点信息，通过视觉差原理对所述各视频帧中待检测车辆的相同的特征点进行比对；确定比对后的所述各个特征点在各自视频帧中的第一位置关系；基于所述第一位置关系，计算各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离；基于计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点和最小距离的特征点；根据已确定的最大距离的特征点和最小距离的特征点，构建待检测车辆的当前三维车辆检测框坐标。

例如，在停车管理***中，路侧视频杆或安装杆上配置有摄像机A和摄像机B，通过各摄像机实时拍摄预定监控区域的视频信息；获取摄像机A和摄像机B实时拍摄的预定监控区域的视频帧，并针对摄像机A和摄像机B，标注各自对应视频帧的当前时间信息，如摄像机A拍摄的视频帧的标注信息为“A-2020-03-03 12:01:34”，摄像机B拍摄的视频帧标注信息为“B-2020-03-03 12:01:34”；通过预定卷积神经网络模型分别对各视频帧进行针对车辆的全帧检测，得到待检测车辆，如待检测车辆Car，的车辆信息；其中，车辆信息包括车辆的特征点信息；随后确定各视频帧中待检测车辆Car的特征点信息，特征点信息如车辆各车轮点和车顶距摄像头近端边缘线中心点的信息；随后，基于视频帧“A-2020-03-03 12:01:34”和视频帧“B-2020-03-03 12:01:34”中待检测车辆Car的特征点信息，通过视觉差原理对各视频帧中待检测车辆Car的相同的特征点进行比对；确定比对后的各个特征点在各自视频帧中的第一位置关系；基于该第一位置关系，计算得到各个特征点与各自所在视频帧所属拍摄的摄像机的距离，随后，根据计算得到的各个特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点，如为摄像机A拍摄的视频帧中车身左侧前轮中心点的特征点，和最小距离的特征点，如为摄像机B拍摄的视频帧中车顶距摄像头近端边缘线中心点，随后，根据车身左侧前轮中心点的特征点所在的视频帧，如“A-2020-03-03 12:01:34”视频帧，中与摄像机A的距离以及车顶距摄像头近端边缘线中心点所在的视频帧，如“B-2020-03-03 12:01:34”视频帧，中与摄像机B的距离，构建待检测车辆Car的当前三维检测框坐标；根据待检测车辆Car的当前三维检测框坐标，判断待检测车辆Car是否被遮挡。

通过本实施例，通过精确地检测车辆是否被遮挡，避免了因天气，如刮风天气时，树枝/树叶遮挡摄像机镜头，以及较大车辆遮挡前方泊位等情况，导致的车辆驶入泊位或驶出泊位造成误判断的情况发生；能够显著地提高路侧停车管理的准确性和检测效率。

在一可能的实现方式中，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡的步骤之前，包括：将任一摄像机确定为主摄像机；判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数；若小于，根据待检测车辆的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框；确定主摄像机拍摄的当前视频帧中所述当前三维检测框的对应坐标信息；根据所述当前三维检测框的对应坐标信息，判断待检测车辆是否被遮挡。

其中，所述判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数，包括：若不小于，判断所述当前三维车辆检测框与所述对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；若超过，判断待检测车辆是否被遮挡。

例如，在停车管理***中，将任一摄像机确定为主摄像机，如将摄像机A确定为主摄像机；根据待检测车辆Car的当前三维检测框坐标，判断当前三维车辆检测框的个数是否小于对比三维车辆检测框的个数；若当前三维车辆检测框的个数小于对比三维车辆检测框的个数，根据待检测车辆Car的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框，如对比三维车辆检测框包括三维车辆检测框D，三维车辆检测框E和三维车辆检测框F，当前三维车辆检测框包括三维车辆检测框D和三维车辆检测框E，则将对比三维车辆检测框中的三维车辆检测框F重新确定为当前三维检测框；确定主摄像机A拍摄的当前视频帧中当前三维检测框，即三维车辆检测框F的对应坐标信息；根据当前三维检测框的对应坐标信息，判断待检测车辆Car是否被遮挡；若当前三维车辆检测框的个数是不小于对比三维车辆检测框的个数，判断当前三维车辆检测框与对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；若超过，判断待检测车辆Car是否被遮挡。

在一可能的实现方式中，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡包括：针对每一个特征点，判断所述待检测车辆当前特征点在当前三维车辆检测框中的位置与所述待检测车辆当前特征点在对比三维车辆检测框中的位置是否一致；若不一致，根据所述当前三维车辆检测框的坐标，确定当前特征点在当前三维车辆检测框中与主摄像机的当前距离，并根据所述对比三维车辆检测框的坐标，确定当前特征点在对比三维车辆检测框中与主摄像机的对比距离；若所述当前距离不小于所述对比距离，确定待检测车辆未被遮挡；若所述当前距离小于所述对比距离，确定待检测车辆被遮挡。

例如，在停车管理***中，将任一摄像机确定为主摄像机，如将摄像机A确定为主摄像机；若当前三维车辆检测框的个数是不小于对比三维车辆检测框的个数，判断当前三维车辆检测框与对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；若超过，针对每一个特征点，判断待检测车辆Car当前特征点在当前三维坐标的位置与待检测车辆Car当前特征点在对比三维坐标中的位置是否一致；若不一致，根据当前三维坐标的位置，确定当前特征点在当前三维坐标中与主摄像机A的当前距离，如为6米，并根据对比三维坐标的位置，确定当前特征点在对比三维坐标中与主摄像机A的对比距离，如为5米；根据当前距离6米与对比距离5米，对比距离如为0.5米，确定当前距离不小于对比距离，确定待检测车辆Car未被遮挡。其中，若确定当前距离小于对比距离，确定待检测车辆被遮挡，则，停车管理***可确定当前主摄像机A拍摄的视频帧为不可用视频帧，同时抛弃各摄像机当前拍摄的视频帧。

在一可能的实现方式中，若确定待检测车辆被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确，包括：若被遮挡，确定所述第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和所述第二位置关系中的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量；若所述相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆的当前检测信息正确；若所述相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆的当前检测信息错误。

其中，在所述确定待检测车辆的当前检测信息错误的步骤之后，还包括：获取当前时刻的前一时刻的待检测车辆的对比车辆检测信息，将所述对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

例如，在停车管理***中，将任一摄像机确定为主摄像机，如将摄像机A确定为主摄像机；若确定待检测车辆Car被遮挡，确定第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和第二位置关系中的各个特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量，如第一位置关系中包括特征点a，特征点b和特征点c，对应距离为3米，5米，和4米，第二位置关系中包括特征点a，特征点b和特征点c，对应距离为3米，6米，和4米，则相同数量为2；若该相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆Car的当前检测信息正确；若该相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆Car的当前检测信息错误；随后，获取当前时刻的前一时刻的待检测车辆Car的对比车辆检测信息，并将对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

通过本实施例，实现了根据车辆的空间位置信息精确地确定车辆的位置，同时能够及时地纠正卷积神经网络模型检测的错误车辆信息，避免了由于各种因素导致卷积神经网络模型检测精度降低，使得构建的三维车辆检测框存在错误，从而使得车辆检测信息不准确的情况发生，解决了卷积神经网络模型精度不足的问题，极大地提高了车辆信息检测的检测效率和准确性，进一步地，节约了车辆信息检测的成本。

本发明实施例提供了一种基于视觉差的车辆检测信息的校验装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于视觉差的车辆检测信息的校验方法，其特征在于，包括：

获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

2.根据权利要求1所述的校验方法，其特征在于，所述获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息，包括：

在已标注时间信息的各视频帧中，基于每一视频帧，通过预定卷积神经网络模型对当前视频帧进行针对车辆的全帧检测，得到待检测车辆的车辆信息；

其中，所述车辆信息包括车辆的特征点信息；

其中，所述根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：

根据所述各视频帧中待检测车辆的车辆信息，确定所述各视频帧中待检测车辆的特征点信息；

根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标。

3.根据权利要求2所述的校验方法，其特征在于，所述根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标，包括：

基于所述各视频帧中待检测车辆的特征点信息，通过视觉差原理对所述各视频帧中待检测车辆的相同的特征点进行比对；

确定比对后的所述各个特征点在各自视频帧中的第一位置关系；

基于所述第一位置关系，计算各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离；

根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标。

4.根据权利要求3所述的校验方法，其特征在于，所述根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标，包括：

基于计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点和最小距离的特征点；

根据已确定的最大距离的特征点和最小距离的特征点，构建待检测车辆的当前三维车辆检测框坐标。

5.根据权利要求4所述的校验方法，其特征在于，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡的步骤之前，包括：

将任一摄像机确定为主摄像机；

判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数；

若小于，根据待检测车辆的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框；

确定主摄像机拍摄的当前视频帧中所述当前三维检测框的对应坐标信息；

根据所述当前三维检测框的对应坐标信息，判断待检测车辆是否被遮挡。

6.根据权利要求5所述的校验方法，其特征在于，所述判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数，包括：

若不小于，判断所述当前三维车辆检测框与所述对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；

若超过，判断待检测车辆是否被遮挡。

7.根据权利要求5或6所述的校验方法，其特征在于，所述根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡包括：

针对每一个特征点，判断所述待检测车辆当前特征点在当前三维车辆检测框中的位置与所述待检测车辆当前特征点在对比三维车辆检测框中的位置是否一致；

若不一致，根据所述当前三维车辆检测框的坐标，确定当前特征点在当前三维车辆检测框中与主摄像机的当前距离，并根据所述对比三维车辆检测框的坐标，确定当前特征点在对比三维车辆检测框中与主摄像机的对比距离；

若所述当前距离不小于所述对比距离，确定待检测车辆未被遮挡；

若所述当前距离小于所述对比距离，确定待检测车辆被遮挡。

8.根据权利要求7所述的校验方法，其特征在于，所述若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确，包括：

若被遮挡，确定所述第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和所述第二位置关系中的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量；

若所述相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆的当前检测信息正确；

若所述相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆的当前检测信息错误；

其中，在所述确定待检测车辆的当前检测信息错误的步骤之后，还包括：

获取当前时刻的前一时刻的待检测车辆的对比车辆检测信息，将所述对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

9.一种基于视觉差的车辆检测信息的校验装置，其特征在于，包括：

标注及确定模块，用于获取多个摄像机实时拍摄的预定监控区域的视频帧，并针对各摄像机，标注各自对应视频帧的当前时间信息，并确定所述各视频帧中待检测车辆的车辆信息；

计算及构建模块，用于根据所述各视频帧中待检测车辆的车辆信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标；

获取模块，用于获取已构建的当前时刻的前一时刻的待检测车辆的对比三维车辆检测框坐标及所述前一时刻的各视频帧中待检测车辆与各自对应摄像机的第二位置关系；

判断模块，用于根据待检测车辆的所述当前三维检测框的坐标和所述对比三维车辆检测框的坐标，判断待检测车辆当前是否被遮挡；

确定模块，用于若被遮挡，根据所述第一位置关系和所述第二位置关系，确定待检测车辆的当前检测信息是否准确。

10.根据权利要求9所述的校验装置，其特征在于，所述标注及确定模块，包括：

检测单元，用于在已标注时间信息的各视频帧中，基于每一视频帧，通过预定卷积神经网络模型对当前视频帧进行针对车辆的全帧检测，得到待检测车辆的车辆信息；

其中，所述车辆信息包括车辆的特征点信息；

其中，所述计算及构建模块，用于

第一确定单元，用于根据所述各视频帧中待检测车辆的车辆信息，确定所述各视频帧中待检测车辆的特征点信息；

构建单元，用于根据所述特征点信息，分别计算所述各视频帧中待检测车辆与各自对应摄像机的第一位置关系，并根据所述第一位置关系构建待检测车辆的当前三维车辆检测框坐标。

11.根据权利要求10所述的校验装置，其特征在于，所述构建单元，包括：

比对子单元，用于基于所述各视频帧中待检测车辆的特征点信息，通过视觉差原理对所述各视频帧中待检测车辆的相同的特征点进行比对；

确定子单元，用于确定比对后的所述各个特征点在各自视频帧中的第一位置关系；

计算子单元，用于基于所述第一位置关系，计算各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离；

构建子单元，用于根据计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，构建待检测车辆的当前三维车辆检测框坐标。

12.根据权利要求11所述的校验装置，其特征在于，所述构建子单元，具体用于

基于计算得到的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离，确定最大距离的特征点和最小距离的特征点；

根据已确定的最大距离的特征点和最小距离的特征点，构建待检测车辆的当前三维车辆检测框坐标。

13.根据权利要求12所述的校验装置，其特征在于，所述判断模块，包括：

第二确定单元，用于将任一摄像机确定为主摄像机；

第一判断单元，用于判断所述当前三维车辆检测框的个数是否小于所述对比三维车辆检测框的个数；

重新确定单元，用于若小于，根据待检测车辆的各个当前三维检测框的坐标和各个对比三维车辆检测框的坐标，将各个对比三维车辆检测框中与各个当前三维检测框不同的三维检测框重新确定为当前三维检测框；

第三确定单元，用于确定主摄像机拍摄的当前视频帧中所述当前三维检测框的对应坐标信息；

第二判断单元，用于根据所述当前三维检测框的对应坐标信息，判断待检测车辆是否被遮挡。

14.根据权利要求13所述的校验装置，其特征在于，所述第一判断单元，还用于

若不小于，判断所述当前三维车辆检测框与所述对比三维车辆检测框中相同特征点的坐标位置相差的距离是否超过预定差值；

若超过，判断待检测车辆是否被遮挡。

15.根据权利要求13或14所述的校验装置，其特征在于，所述判断模块，具体用于针对每一个特征点，判断所述待检测车辆当前特征点在当前三维车辆检测框中的位置与所述待检测车辆当前特征点在对比三维车辆检测框中的位置是否一致；

若不一致，根据所述当前三维车辆检测框的坐标，确定当前特征点在当前三维车辆检测框中与主摄像机的当前距离，并根据所述对比三维车辆检测框的坐标，确定当前特征点在对比三维车辆检测框中与主摄像机的对比距离；

若所述当前距离不小于所述对比距离，确定待检测车辆未被遮挡；

若所述当前距离小于所述对比距离，确定待检测车辆被遮挡。

16.根据权利要求15所述的校验装置，其特征在于，所述确定模块，具体用于

若被遮挡，确定所述第一位置关系中各个特征点与各自所在视频帧所属拍摄的摄像机的距离和所述第二位置关系中的各个所述特征点与各自所在视频帧所属拍摄的摄像机的距离的相同数量；

若所述相同数量与各个特征点数量的比例不超过预定比例时，确定待检测车辆的当前检测信息正确；

若所述相同数量与各个特征点数量的比例超过预定比例时，确定待检测车辆的当前检测信息错误；

获取当前时刻的前一时刻的待检测车辆的对比车辆检测信息，将所述对比车辆检测信息确定为待检测车辆的当前车辆检测信息。

Images