CN105320704A - 跨区域相似车辆检索方法及装置 - Google Patents

Abstract

本发明提供一种跨区域相似车辆检索方法及装置，该方法包括：根据包括车辆的待查询图像及其所属第一区域，确定第一区域内待查询图像车型信息；确定目标数据库所有图像所属第二区域，若第二与第一区域不同，确定第二区域车型信息的车型模板库；在车型模板库选不同角度和场景、符合目标数据库时间信息、光照条件的多个样例图像组成第二区域查询图像集合；获取查询图像集合每一个样例图像与目标数据库所有图像的检索结果；根据检索结果，确定目标数据库与待查询图像车辆的相似车辆；车型模板库包括：多个不同光照条件下、不同拍摄角度和不同场景车辆样例图像。上述方法能解决真实场景下由不同区域监控点视觉模型差异性带来的车辆检索性能下降的问题。

Description

跨区域相似车辆检索方法及装置

技术领域

本发明涉及智能交通技术领域，尤其涉及一种跨区域相似车辆检索方法及装置。

背景技术

随着我国经济的快速发展、城市规模的不断扩大、以及车辆数量的大幅增长，我国的交通***正逐渐走向智能化。交通监控视频是公安业务的重要数据基础，在社会治安维稳、打击违法犯罪等方面有着至关重要的作用。其中，从大量的监控视频中检索出目标车辆是一项基本需求。但是当需要在不同区域，如不同城市，检索某一目标车辆时，现有技术一般直接利用查询图像在各地数据库中进行检索，由于环境、摄像机参数等各种原因，不同区域的监控视频下的车辆视觉模型存在很大差异，从而会造成检索性能的急剧下降。

鉴于此，如何解决真实场景下由不同区域下的监控点的视觉模型的差异性带来的车辆检索性能下降的问题成为当前需要解决的技术问题。

发明内容

针对现有技术中的缺陷，本发明提供一种跨区域相似车辆检索方法及装置，能够解决真实场景下由不同区域下的监控点的视觉模型的差异性带来的车辆检索性能下降的问题。

第一方面，本发明提供一种跨区域相似车辆检索方法，包括：

根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息；

确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

可选地，所述根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息的步骤，包括：

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，获取所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

其中，所述数据库包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

可选地，在所述确定所述第一区域内所述待查询图像的车型信息的步骤之后，所述方法还包括：

确定所述目标数据库中所有图像分别所属的区域是否相同；

如果所述目标数据库中所有图像属于相同的第二区域，则执行在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库的步骤；

如果所述目标数据库中所有图像所属的区域不同，则对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库；将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；

针对所述第二区域，执行所述在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库的步骤；

在所述第二区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第二区域内的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

获取所述第二区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第二区域的图像的检索结果；

针对所述第三区域，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

在所述第三区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第三区域的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

获取所述第三区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第三区域的图像的检索结果；

直至所述目标数据库中的所有图像所属区域的图像检索完成，根据所有样例图像的所有检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

可选地，所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

可选地，所述获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果的步骤，包括：

获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息；

或者，

所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

第二方面，本发明提供一种跨区域相似车辆检索装置，包括：

车型信息确定单元，用于根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息；

车型模板库确定单元，用于确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

查询图像集合生成单元，用于在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

检索结果获取单元，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

可选地，所述车型信息确定单元，具体用于

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，获取所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

其中，所述数据库包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

可选地，所述装置还包括：

判断单元，用于确定所述目标数据库中所有图像分别所属的区域是否相同；

相应地，所述车型模板库确定单元，用于在所述判断单元确定所述目标数据库中所有图像属于相同的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

或者，所述车型模板库确定单元，用于在所述判断单元确定所述目标数据库中所有图像所属的区域不同，则对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库；将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；针对所述第二区域，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

针对所述第三区域，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

相应地，所述查询图像集合生成单元，具体用于在所述第三区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第三区域的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

相应地，所述检索结果获取单元，具体用于获取所述第三区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第三区域的图像的检索结果；

相应地，所述相似车辆确定单元，具体用于直至所述目标数据库中的所有图像所属区域的图像检索完成，根据所有样例图像的所有检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

可选地，所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

可选地，所述检索结果获取单元，具体用于

获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息

或者，

所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

由上述技术方案可知，本发明的跨区域相似车辆检索方法及装置，通过根据包括车辆的待查询图像以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息，确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库，在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合，获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果，根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆，由此，能够解决真实场景下由不同区域下的监控点的视觉模型的差异性带来的车辆检索性能下降的问题。

附图说明

图1为本发明一实施例提供的跨区域相似车辆检索方法的流程示意图；

图2为本发明一实施例提供的车型模板库的建立方法的流程示意图；

图3为本发明一实施例提供的跨区域相似车辆检索装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的跨区域相似车辆检索方法的流程示意图，如图1所示，本实施例的跨区域相似车辆检索方法如下所述。

101、根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息。

举例来说，本实施例的待查询图像均来自于真实场景中的视频拍摄图像或其它图像采集装置采集到的车辆图像，例如可为视频监控装置中获取的车辆图像，也可以为待查询车辆一部分区域对应的车辆图像等，本实施例不对其进行限定。

本实施例中的车型信息可包括车辆的型号、车辆的颜色，或者车辆的其他信息如尺寸等等。

举例来说，在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，如，车管所数据库，确定所述待查询图像的车型信息。

另外，在待查询图像中不包括车牌号，或者车牌号不能够被识别时，可参照下述子步骤1011至子步骤1013举例说明的获取车型信息的内容。

102、确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库。

在本实施例中，目标数据库中的图像可为某一时间段内其所属的第二区域视频监控装置采集的多个图像组成的数据库，为公安***在该目标数据库中需要查找需要的内容的数据库。

也就是说，目标数据库中的图像可为特定区域内多个监控视频装置中在特定时间段内的采集的图像；

另外，目标数据库中的图像还可为特定区域(该特定区域包括多个不同区域)内多个监控视频装置中在特定时间段内的采集的图像。

可理解的是，本实施例中的车型模板库可包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

应说明的是，本实施例中的车型模板库为预先建立的，且属于特定区域的车型模板库。该车型模板库可包括：雾天、雨天、晴天等不同光照时间段内的车辆样例图像，该样例图像均为真实场景中的各种视频监控装置获取的车辆图像。也就是说，不同区域的车型模板库不相同，例如，天津区域的车型模板库和北京区域的车型模板库是不同的。

103、在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合。

在实际应用中，可选取上述车型模板库中不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的部分或全部样例图像组成查询扩展图像集合；

所述时间信息可以包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；例如，目标数据库中某一图像采集的时间点为最早的时间点，2014年7月26日早上8:00，另一图像采集的时间点为最晚的时间点，2014年7月26日早上11:00，则可认为时间信息为2014年7月26日早上8:00至11:00。

所述光照条件可以为：所述最早时间点至所述最晚时间点之间的光照信息。例如，2014年7月26日早上8:00至11:00为雨天/晴天等信息。

举例来说，若目标数据库为海淀区玉泉路2014年7月26日早上8:00至11:00的视频监控装置采集的图像的数据库，则在步骤103中选取的多个样例图像为符合早上8:00至11:00的光照信息下的在海淀区玉泉路的车型模板库中的样例图像。

在本实施例中，该处查询图像集合所对应的车型模板库所属的区域一定是和目标数据库对应的区域一致。

也就是说，在本实施例中，目标数据库包括一个区域(即第二区域)，所述查询图像集合为第二区域的查询图像集合，但本实施例并不限定目标数据库只包括一个区域，如果目标数据库包括两个区域的图像，则查询图像集合可为两个集合，该两个集合中的样例图像所属的区域是和目标数据库中图像所属的区域一致。

104、获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果。

在具体应用中，上述步骤可具体为：获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息；在其他实施例中，该检索结果还可包括：按照视觉特征相似度排序的所有区域的三元组信息，或者，混合排序所有样例图像的三元组信息并输出。

举例来说，按照视觉特征相似度排序可以为按照视觉特征相似度从高到低排序。

举例来说，任一图像的视觉特征为能够反映图像内容的特征，图像视觉特征的提取主要是通过计算机识别并计算反映图像内容的特征部分。

在本实施例中，获取图像的视觉特征相似度之前需要分别提取每一个样例图像的视觉特征，以及所述目标数据库中每一图像的视觉特征；例如，可采用全局特征描述子的方式提取每一个样例图像和所述目标数据库中每一图像的视觉特征，或者采用局部特征描述子的方式提取每一个样例图像和所述目标数据库中每一图像的视觉特征。

通常，可采用尺度不变特征转换(Scale-invariantfeaturetransform，简称SIFT)，快速鲁棒特征(Speeded-upRobustFeatures，简称SURF)，特征梯度直方图(HistogramsofOrientedGradients，简称HOG)等方式提取每一个样例图像或所述目标数据库中每一图像的视觉特征。

本实施例中，提取任一图像的视觉特征可为业内公知技术，本实施例不对其进行详述。

另外，在提取每一个样例图像和所述目标数据库中每一图像的视觉特征之后，可采用欧式距离或马式距离的方式获取每一个样例图像的视觉特征和所述目标数据库中每一图像的视觉特征的视觉特征相似度。

105、根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

在具体应用中，可将获取的相似车辆按照视觉特征相似度混合排序，并输出。

例如，可将所述查询图像集合中所有样例图像的检索结果按照相似度大小进行排序，选择相似度大于预设的第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

在另一可能的实现方式中，上述步骤105还可为将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的相似度大于预设的第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。举例来说，归一化可为属于同一区域内的所有检索结果中的视觉特征相似度除以该区域内所有的视觉特征相似度中的最大值，得到归一化后的视觉特征相似度，进而进行比较。

应说明的是，本实施例中对检索结果归一化，原因主要是可能出现查询样例图像的检索结果的视觉特征相似度整体偏低，或者部分视觉特征相似度整体偏高，为此，在混合排序输出时，视觉特征相似度整体偏低的结果都会排序到整体偏高的结果后面，可能导致结果输出不太准确，鉴于此，可将检索结果归一化，并将归一化后的检索结果输出。

在具体应用中，可根据实际需要设置第一阈值和第二阈值，本实施例中为选择较相似的图像作为与待查询图像中的车辆的相似车辆，故需要设定第一阈值。由于小于等于第一阈值的视觉特征相似度对应的图像为相似度差的图像，本实施例不考虑。

本实施例的跨区域相似车辆检索方法，能够解决真实场景下由不同区域下的监控点的视觉模型的差异性带来的车辆检索性能下降的问题。

在具体应用中，如果待查询图像中的车牌号无法识别，或者，待查询图像中没有能够识别的车牌号时，前述图1所示的方法中的步骤101可包括采用下述的图中未示出的步骤1011至步骤1013获取待查询图像的车型信息：

1011、提取待查询图像中包括车辆的第一子图像。

1012、在预先建立的数据库中查找与所述第一子图像匹配的车辆图像。

在本实施例中，可通过计算第一子图像与数据库中的所有车型模板库的所有样例图像的第一视觉相似度，将第一视觉特征相似度最大值对应的样例图像作为与第一子图像匹配的车辆图像。

本实施例仅为举例说明，在具体应用中，还可通过其它方式在数据库中查找与第一子图像匹配的车辆图像。

该步骤中的数据库可为包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

在该步骤中，可获取所述第一子图像与预先建立的数据库中所有图像的视觉特征相似度；确定某一个或多个视觉特征相似度是否大于预设阈值，如果大于预设阈值，可确定第一子图像与数据库中的图像匹配。如果所有的视觉特征相似度都不大于预设阈值，可认为数据库中没有与第一子图像匹配的图像。

获取视觉特征相似度之前需要分别提取第一子图像的视觉特征，以及预先建立的数据库中每一图像的视觉特征；在实际应用中，可采用全局特征描述子的方式提取第一子图像和预先建立的数据库中每一图像的视觉特征，或者采用局部特征描述子的方式提取第一子图像和预先建立的数据库中每一图像的视觉特征。

1013、将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息。

在另一种可能的实现方式中，如果待查询图像中的车牌号无法识别，或者，待查询图像中没有能够识别的车牌号时，前述图1所示的方法中的步骤101可包括采用下述的图中未示出的步骤1011”至步骤1013”获取待查询图像的车型信息：

1011”、提取待查询图像中包括车辆的第一子图像。

1012”、在预先建立的数据库中查找与所述第一子图像匹配的车型模板库。

举例来说，采用特征描述子方式获取所述第一子图像与每一车型模板库中所有样例图像的第一相似度即第一视觉特征相似度，得到第一相似度集合；对与每一车型模板库对应的所有样例图像的第一相似度集合进行数学统计分析，得到所述第一子图像与每一车型模板库的视觉特征相似度。

例如，可将与每一车型模板库对应的所有样例图像的第一相似度的平均值作为所述第一子图像与每一车型模板库的视觉特征相似度；或者，可将与每一车型模板库对应的所有样例图像的第一相似度中的最大值作为所述第一子图像与每一车型模板库的视觉特征相似度；或者，可将与每一车型模板库对应的所有样例图像的第一相似度中的最小值作为所述第一子图像与每一车型模板库的视觉特征相似度；或者，采用异类样本分析方式去除每一车型模板库对应的所有样例图像的第一相似度中的孤立点，获取与每一车型模板库对应的所有样例图像中除去孤立点之外的第一相似度的平均值，将该平均值作为第一子图像与每一车型模板库的视觉特征相似度。

在该步骤中，确定第一子图像与所有的车型模板库中的一个或多个视觉特征相似度是否大于预设阈值，如果大于预设阈值，可确定第一子图像与车型模板库匹配。

1013”、将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

具体地，该步骤1013”可包括下述的举例的内容：

将与所述第一子图像匹配的视觉特征相似度最大值对应的车型模板库的车型信息作为所述待查询图像的车型信息。

通过上述举例的方式能够较好的获取待查询图像的车型信息，进而可实现较好的查询扩展，并能够较好的实现车辆图像查询的召回率和准确率。

在具体应用中，前述图1所示的方法中的步骤101之后，所述方法还可包括图中未示出的步骤S1：

S1、确定所述目标数据库中所有图像分别所属的区域是否相同。

当然，如果在步骤S1中，所述目标数据库中所有图像分别所属的区域相同，可认为目标数据库中所有图像均属于第二区域，则执行前述的步骤102至步骤104。

另外，实际应用中可能存在所述目标数据库中所有图像所属的区域不同的情况，此时，则需要对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库，将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；

相应地，针对第一子数据库，则可执行前述的步骤102和步骤103、步骤104如下变化：

102’、确定第一子数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

103’、在所述车型模板库中选取不同角度、不同场景、符合所述第一子数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

104’、获取所述第二区域的查询图像集合中的每一个样例图像与所述第一子数据库中所有图像的第一检索结果；

针对第二子数据库，则可执行前述的步骤102和步骤103、步骤104如下变化：

102”、确定第二子数据库中所有图像所属的第三区域，在所述第三区域与所述第一区域不同时，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

103”、在所述车型模板库中选取不同角度、不同场景、符合所述第二子数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

104”、获取所述第三区域的查询图像集合中的每一个样例图像与所述第二子数据库中所有图像的第二检索结果；

依次类推，直至获得所有目标数据库中的所有区域的检索结果，例如，目标数据库包括第N个区域，则相应的针对每一区域的每一子数据库，得到第N个检索结果；

此时，前述的步骤105可为：根据所有区域的查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

优选地，可为将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的相似度大于预设值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。例如，归一化可为属于同一区域内的所有检索结果中的视觉特征相似度除以该区域内所有的视觉特征相似度中的最大值，得到归一化后的视觉特征相似度，进而进行比较。

本实施例的上述方法是当目标数据库中的图像为特定区域(该特定区域包括多个不同区域)内多个监控视频装置中在特定时间段内的采集的图像时的跨区域相似车辆检索方法，能够解决真实场景下由不同区域下的监控点/视频监控装置的视觉模型的差异性带来的车辆检索性能下降的问题。

图2示出了本发明一实施例提供的车型模板库的建立方法的流程示意图，如图2所示，本实施例的车型模板库的建立方法如下所述。

201、获取多个车辆图像，每一车辆图像中具有能够识别的车牌号。

举例来说，可通过车辆的视频监控装置中获取多个车辆图像，或者，可通过图像采集装置获取多个车辆图像。该些车辆图像可为样例图像。

应说明的是，本实施例中获取的多个车辆图像中的每一车辆图像可包括车牌号，即每一车辆图像中具有能够识别的车牌号。

对于车辆图像包括车牌号主要是用于方便获取车辆信息。当前，只有通过车牌号的方式可获取车辆信息，保证车辆信息的准确性。

202、识别所述车辆图像中的车牌号，并根据所述车辆图像的车牌号，从预设的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息可包括：车型信息。

本实施例中的车型信息包括：车辆的型号，以及车辆的颜色等信息。

举例来说，识别车牌号可为当前业内公知的技术，例如采用车牌识别技术从车辆图像中识别车牌号。本实施例中采用公知技术识别车辆图像中的车牌号主要是用于获取车牌号对应的车辆信息。

当然，在实际应用中，本实施例的车辆信息还可包括：车辆部件信息(如部件型号)、车辆颜色(如白色、黑色)、所述车辆的购买日期等等，本实施例仅对车辆信息进行举例说明，不限定车辆信息所包含的其他内容。另外，需要说明的是，这里所述的车辆信息可为车辆管理机构内部的车辆信息。

前述的预设的数据库可为业内所知的车辆管理机构的数据库。

举例来说，车辆管理机构的数据库中包括如下信息：车辆是宝马X6汽车、奥迪Q7汽车、大众v6汽车等车型的信息，车辆是什么颜色的，是黑色，白色还是银色的，车辆所有者车辆的购买日期等等。

203、将所述车辆信息和所述车辆图像生成所述车型信息的候选车型模板库。

也就是说，对一幅监控视频中的车辆图像S，对车辆图像S中的车牌号进行识别，获取车辆图像S的车牌号P；通过车牌号P获取车辆图像S的车辆信息，对车牌号P检索到与之对应的车辆的车型T，将车辆图像S与车辆的车型T加入到车型T的候选车型模板库TDS。

需要说明的是，本实施例可重复执行前述的步骤201至步骤203，获取车型T的多个角度、不同光照、不同场景下的多个车辆图像即样例图像，进而将这些样例图像均加入到车型T的候选车型模板库TDS。

另外，在确定车型T的候选车型模板库之后，还可采用图像采集装置对该车型T采集多个图像，该些图像可以包括车牌号，也可以不包括车牌号等，采集的多个图像均属于车型T的候选车型模板库中的图像。

应说明的是，由于区域的分配，每个区域的车型T的候选车型模板库可不同，例如，北京区域的车型T的候选车型模板库、天津区域的车型T的候选车型模板库、南京区域的车型T的候选车型模板库可不相同。本实施例中可针对不同区域建立各自的候选车型模板库，方便后续车辆管理机构的管理。

当然，在实际应用中，车型T也可建立一个候选车型模板库，该候选车型模板库可包括不同区域的子候选车型模板库，本实施例仅为举例说明，不对其进行限定。

204、根据预设条件筛选所述候选车型模板库，获得所述车型信息的车型模板库。

通常情况下，可将候选车型模板库中重复的图像删除，保证车型模板库中每一样例图像的场景/光照/属性都是唯一的。

在实际应用中，筛选可为人工筛选也可为自动筛选，优选实现自动筛选，因为每一车型信息的车型模板库中的数据(包括图像)有上千张，人工筛选导致费时费力，可通过视觉特征比对的方式自动筛选重复的图像。

本实施例中，候选车型模板库中图像的数量可大于等于最后获取的车型模板库中图像的数量。

筛选时应保证车型模板库中的数据的多样性，即包含不同角度、不同尺度、不同颜色、不同遮挡程度、不同遮挡角度、不同光照、不同天气情况等尽可能涵盖所有代表性的不同情况下的图像。

本实施例中，通过对候选车型模板库的筛选，可以建立良好的车型模板库，涵盖各种条件的图像，方便车辆管理机构的管理。

另外，还可从道路的视频监控装置中获取多个车辆样例图像，若所述车辆图像包括：背景区域和车辆显示区域。本实施例中的背景区域为使用车辆图像时用户不关注的区域。由此，最后获取的车型模板库中的车辆样例图像可不包括车辆图像的背景区域。

图3为本发明另一实施例提供的跨区域相似车辆检索装置的结构示意图，如图3所示，本实施例的跨区域相似车辆检索装置包括：车型信息确定单元31、车型模板库确定单元32、查询图像集合生成单元33、检索结果获取单元34、相似车辆确定单元35；

车型信息确定单元31，用于根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息；

车型模板库确定单元32，用于确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

查询图像集合生成单元33，用于在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

检索结果获取单元34，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元35，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

另外，在具体应用中，前述的装置还可包括图中未示出的结果输出单元，该结果输出单元可用于将获取的相似车辆按照相似度从高到低输出。

在具体应用中，所述车型信息确定单元31，可具体用于在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，确定所述待查询图像的车型信息；

或者，在一种可能的实现方式中，所述车型信息确定单元31，还可具体用于提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

在另一种可能的实现方式中，所述车型信息确定单元31，还可具体用于提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

其中，所述数据库包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

此外，前述的检索结果获取单元34，可具体用于获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息；或者，所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

进一步地，在本实施例中，所述时间信息可以包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件可以为：所述最早时间点至所述最晚时间点之间的光照信息。

在一种可能的应用场景中，上述装置还可包括图中未示出的判断单元36：

其中，判断单元36，具体用于确定所述目标数据库中所有图像分别所属的区域是否相同；

相应地，所述车型模板库确定单元32，用于在所述判断单元36确定所述目标数据库中所有图像属于相同的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

或者，所述车型模板库确定单元32，用于在所述判断单元36确定所述目标数据库中所有图像所属的区域不同，则对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库；将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；针对所述第二区域，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

针对所述第三区域，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

相应地，所述查询图像集合生成单元33，具体用于在所述第三区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第三区域的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

相应地，所述检索结果获取单元34，具体用于获取所述第三区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第三区域的图像的检索结果；

相应地，所述相似车辆确定单元35，具体用于直至所述目标数据库中的所有图像所属区域的图像检索完成，根据所有样例图像的所有检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

本实施例的跨区域相似车辆检索装置，能够解决真实场景下由不同区域下的监控点的视觉模型的差异性带来的车辆检索性能下降的问题。

本实施例的跨区域相似车辆检索装置，可以用于执行前述图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种跨区域相似车辆检索方法，其特征在于，包括：

根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息；

确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

2.根据权利要求1所述的方法，其特征在于，所述根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息的步骤，包括：

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，获取所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

其中，所述数据库包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

3.根据权利要求1所述的方法，其特征在于，在所述确定所述第一区域内所述待查询图像的车型信息的步骤之后，所述方法还包括：

确定所述目标数据库中所有图像分别所属的区域是否相同；

如果所述目标数据库中所有图像属于相同的第二区域，则执行在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库的步骤；

如果所述目标数据库中所有图像所属的区域不同，则对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库；将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；

针对所述第二区域，执行所述在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库的步骤；

在所述第二区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第二区域内的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

获取所述第二区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第二区域的图像的检索结果；

针对所述第三区域，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

在所述第三区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第三区域的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

获取所述第三区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第三区域的图像的检索结果；

直至所述目标数据库中的所有图像所属区域的图像检索完成，根据所有样例图像的所有检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

4.根据权利要求1所述的方法，其特征在于，所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

5.根据权利要求1所述的方法，其特征在于，所述获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果的步骤，包括：

获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息；

或者，

所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

6.一种跨区域相似车辆检索装置，其特征在于，包括：

车型信息确定单元，用于根据包括车辆的待查询图像，以及所述待查询图像所属的第一区域，确定所述第一区域内所述待查询图像的车型信息；

车型模板库确定单元，用于确定目标数据库中所有图像所属的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

查询图像集合生成单元，用于在所述车型模板库中选取不同角度、不同场景、符合所述目标数据库中的时间信息、光照条件的多个样例图像，将选取的多个样例图像组成第二区域的查询图像集合；

检索结果获取单元，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

7.根据权利要求6所述的装置，其特征在于，所述车型信息确定单元，具体用于

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号在车辆管理机构数据库中进行查询，获取所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在预先建立的数据库中查找与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

其中，所述数据库包括所述待查询图像所属的第一区域内的多个车型的车型模板库。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断单元，用于确定所述目标数据库中所有图像分别所属的区域是否相同；

相应地，所述车型模板库确定单元，用于在所述判断单元确定所述目标数据库中所有图像属于相同的第二区域，在所述第二区域与所述第一区域不同时，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

或者，所述车型模板库确定单元，用于在所述判断单元确定所述目标数据库中所有图像所属的区域不同，则对所述目标数据库中的图像进行划分，将属于第二区域的图像组成第一子数据库；将属于第三区域的图像组成第二子数据库，直至将所述目标数据库中的所有图像按照区域划分完成；针对所述第二区域，根据所述车型信息确定所述第二区域内与所述车型信息对应的车型模板库；

针对所述第三区域，根据所述车型信息确定所述第三区域内与所述车型信息对应的车型模板库；

相应地，所述查询图像集合生成单元，具体用于在所述第三区域的对应车型信息的车型模板库中选取符合所述目标数据库中属于第三区域的图像的时间信息、光照条件的多个角度、多种场景下的多个样例图像，将选取的多个样例图像组成第三区域的查询图像集合；

相应地，所述检索结果获取单元，具体用于获取所述第三区域的查询图像集合中的每一个样例图像与所述目标数据库中属于第三区域的图像的检索结果；

相应地，所述相似车辆确定单元，具体用于直至所述目标数据库中的所有图像所属区域的图像检索完成，根据所有样例图像的所有检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

9.根据权利要求6所述的装置，其特征在于，

所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

10.根据权利要求6所述的装置，其特征在于，所述检索结果获取单元，具体用于

获取每一个样例图像与所述目标数据库中每一图像的视觉特征相似度，将区域信息、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有区域的三元组信息；

或者，

所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。