CN109255052B - 一种基于多特征的三阶段车辆检索方法 - Google Patents

Abstract

本发明提出的车辆检索方法，具体是一种基于多特征的三阶段车辆检索方法。该方法通过依次利用从粗到细的特征进行检索，从而找到与目标车辆最为相似的车辆集。首先，在第一阶段根据车辆颜色进行车辆筛选，筛选找到与目标检索车辆颜色一致的车辆集；然后，在第二阶段，再根据车辆车型特征进行筛选，找到与目标车辆车型相似度较高的车辆集；最后根据车辆区别于其他同车型的车辆特征进行检索，找到于目标车辆最为相似的车辆数据集。本发明的优势在于：多阶段检索的方式将检索问题细分为多个子问题，可以降低整体问题的解决难度，同时对于海量数据检索，利用从粗到细的特征分阶段进行检索可以有效提升检索的效率。

Description

一种基于多特征的三阶段车辆检索方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于多特征的三阶段车辆检索方法。

背景技术

随着视频监控在公共安全领域发挥出的重要作用，如何在复杂环境的视频图像中快速找到公共***门锁定的目标车辆，已成为迫在眉睫的需求。目前，车牌自动识别技术与市场需求的结合已很成熟，车牌识别应用到实际交通管理***中的社会效益和经济效益都很显著。然而车牌识别***对于存在污损、遮挡和套牌等情况的车辆无能为力。

在传统识别技术遇到瓶颈的同时，一种基于图像分析的目标再识别技术近几年逐渐成为研究的热点。但目前，针对目标再识别的研究主要集中在行人再识别领域，近几年极少学者开始尝试进军车辆再识别领域。比如王盼盼等人提出了(基于特征融合和L-M算法的车辆重识别方法[J].电子科技,2018,4(31):12-15)将车辆图像的HSV特征和LBP特征进行融合，并对融合特征矩阵进行奇异值分解，提取特征值，然后采用L-M自适应调整算法优化BP神经网络实现车辆匹配。该方法只用到了传统简单的特征很难满足复杂场景下的车辆检索需求。鲁璐(基于MVBI哈希算法的车辆再识别方法研究[D].安徽大学,2018)将研究重心放在检索的效率问题上，首先将车辆底层特征和深度特征用相关分析算法进行特征融合，然后利用主成分分析进行特征降维，最后通过一种MVBI哈希算法将特征描述子映射到汉明空间上进行比较。

发明内容

针对现有技术中存在的问题，本发明提出了一种基于多特征的三阶段车辆检索方法，通过依次利用从粗到细的特征进行检索，从而找到与目标车辆最为相似的车辆集。首先，在第一阶段根据车辆颜色进行车辆筛选，筛选找到与目标检索车辆颜色一致的车辆集；然后，在第二阶段，再根据车辆车型特征进行筛选，找到与目标车辆车型相似度较高的车辆集；最后根据车辆区别于其他同车型的车辆特征进行检索，找到于目标车辆最为相似的车辆数据集。同时，本发明在图像预处理阶段还引入一种基于车窗的车辆图像区域分割与重构方法。

本发明的技术方案如下：

一种基于多特征的三阶段车辆检索方法，其特征在于，包括如下步骤：

步骤1：首先训练得到检索过程中需要用到的检测模型和分类模型，包括：车窗检测模型winDetect、基于车脸区域的车辆颜色识别模型colorClassify、基于车型重构图像的深度特征提取网络模型carTypeFeature、基于车辆重构图像的深度特征提取网络模型carFeature；其中，车脸区域根据一种基于车窗的车辆区域分割方法得到；

步骤2：将被检索的目标车辆记为I，将车辆搜索库中车辆集记为X＝{x₀,x₁,...,x_n-1}；

步骤3：用颜色分类模型colorClassify识别目标车辆I和车辆集X中所有车辆的颜色，然后从X中找到与目标车辆I颜色相同的车辆，组成车辆集S₁；

步骤4：得到目标车辆I和车辆集S₁对应的车型重构图像，记为I^T和S₁ ^T，用深度网络模型carTypeFeature提取I^T和S₁ ^T对应的车型特征向量，找到车辆集S₁中所有满足对应车型特征向量与I的车型特征向量的欧氏距离小于λ₁的车辆，组成新的车辆集，记为S₂；其中λ₁为预先给定的同车型车辆在特征空间的最大欧氏距离阈值；

步骤5：得到目标车辆I和车辆集S₂对应的车辆重构图像，记为I^C和S₂ ^C，用深度网络模型carFeature提取I^C和S₂ ^C对应的车辆特征向量，找到车辆集S₂中所有满足对应车辆特征向量与I的车辆特征向量的欧氏距离小于λ₂的车辆，组成新的车辆集，记为S₃，S₃最终从搜索库中找到的与目标车辆最为相似的车辆集；其中λ₂为预先给定的相同车辆在特征空间的最大欧氏距离阈值；

所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤1中的一种基于车窗的车辆区域分割方法具体步骤如下：

步骤1.1：对于任意车辆图像A，首先利用检测模型winDetect定位车窗的大致位置，并截取得到车窗图像A^W，然后确定车窗图像A^W上车窗的上、下、左、右边线的检测区域分别为：D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中w、h分别表示车窗图像A^W的宽、高；

步骤1.2：利用任意一种直线检测方法，分别在对应检测区域内找到车窗上、下、左、右四条边线，并将其在图像A上的对应直线分别记为L^T、L^R、L^B、L^L；

步骤1.3：根据如下规则确定车辆的车脸、车窗、车顶、左车身、右车身区域：

a)车脸区域：图像A上直线L^R、L^B、L^L、图像A底边围成的任意多边形区域；

b)车窗区域：图像A上直线L^R、L^B、L^L、L^T围成的四边形区域；

c)车顶区域：图像A上直线L^R、L^B、L^L、图像A顶边围成的任意多边形区域；

d)左车身区域：图像A上直线L^L左侧的任意多边形区域；

e)右车身区域：图像A上直线L^R右侧的任意多边形区域；

所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤4中的车型重构图像的获取的具体步骤如下：

步骤4.1：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车身区域图像分别记为A₁，A₂；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

步骤4.2：若车身区域图像A₂对应的是右车身区域，则水平翻转图像；

步骤4.3：将图像A₁，A₂统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车型重构图像。

所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤1和步骤5中的车辆重构图像的获取的具体步骤如下：

步骤5.1：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车窗区域图像、车身区域图像、车顶区域图像分别记为A₁，A₂，A₃，A₄；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

步骤5.2：若车身区域图像A₃对应的是右车身区域，则水平翻转图像；

步骤5.3：将图像A₁，A₂，A₃，A₄统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车辆重构图像。

所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤1中，

车窗检测模型winDetect：基于yolo检测网络训练得到；

基于车脸区域的车辆颜色识别模型colorClassify：基于SVM分类器训练得到，用到的特征为车脸区域的统计HSV颜色直方图特征，其由36维的H分量、20维的S分量、20维的V分量组成，该SVM颜色分类器可以识别黑、白、红、黄、蓝、绿，其他六大车辆颜色；

基于车型重构图像的深度特征提取网络模型carTypeFeature：包括用于进行训练的网络模型结构及用于进行特征提取的网络模型结构，且用于进行特征提取的网络模型结构由一个分类网络和一个双输入的图像匹配网络组成，构成其的基础网络结构为caffeNet，网络提取特征的维度为2048；所述基于车型重构图像的深度特征提取网络模型carTypeFeature的训练数据集为一种细类别车型数据集；

基于车型重构图像的深度特征提取网络模型carFeature：其网络模型与基于车型重构图像的深度特征提取网络模型carTypeFeature相同，所述基于车型重构图像的深度特征提取网络模型carFeature的训练数据集为一种车辆重识别数据集。

所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述一种直线检测方法具体如下：

1)对于检测图像X，首先给定目标直线的角度范围，记为[angleMin,angleMax]；

2)对图像X进行高斯滤波、Canny边缘检测、Hough直线检测，得到直线集L＝{li|i＝0,1,…,NL-1}，NL为检测出的所有直线数量；

3)找到直线集L中角度满足在[angleMin,angleMax]范围内的所有直线，则这些直线中对应length最大的直线为图像中的目标关键直线；其中，直线l_i.length为直线l_i经过的所有边缘点相距最远的两个点的距离。

本发明的有益效果是：

1)多阶段检索的方式将检索问题细分为多个子问题，可以降低整体问题的解决难度，同时对于海量数据检索，利用从粗到细的特征分阶段进行检索可以有效提升检索的效率；

2)引入的一种基于车窗的车辆区域划分与图像重构方法，其优势在于：针对不同特征提取目标重构不同的图像，去除冗余信息，提升特征表达的精准度；实现了车辆图像区域布局统一，极大改善了不同偏转角度车辆的检索精准度；

附图说明

图1：用于训练的深度网络模型结构图；

图2：用于特征提取的深度网络模型结构图；

图3：示例车辆图像；

图4：示例车辆的车窗定位结果图；

图5：示例车辆的车型重构图像；

图6：示例车辆的车辆重构图像。

具体实施方式

下面结合具体实例，对本发明(一种基于多特征的三阶段车辆检索方法)实施的过程进行详细的说明。

步骤1：首先训练得到检索过程中需要用到的检测模型和分类模型，包括：车窗检测模型winDetect、基于车脸区域的车辆颜色识别模型colorClassify、基于车型重构图像的深度特征提取网络模型carTypeFeature、基于车辆重构图像的深度特征提取网络模型carFeature；其中，车脸区域根据一种基于车窗的车辆区域分割方法得到；

在本实例中，上述检测模型和分类模型具体如下：

1)车窗检测模型winDetect：基于yolo检测网络训练得到；

2)车辆颜色识别模型colorClassify：基于SVM分类器训练得到，用到的特征为车脸区域的统计HSV颜色直方图特征，其由36维的H分量、20维的S分量、20维的V分量组成，该SVM颜色分类器可以识别黑、白、红、黄、蓝绿，其他六大车辆颜色；

3)深度特征提取网络模型carTypeFeature：其用于进行训练的网络模型结构如图1所示，用于进行特征提取的网络模型结构如图2所示，该网络模型结构由一个分类网络和一个双输入的图像匹配网络组成，构成其的基础网络结构为caffeNet，网络提取特征的维度为2048；模型的训练数据集为一种细类别车型数据集；

4)深度特征提取网络模型carFeature：用于进行训练和检测的网络模型结构同3)，模型的训练数据集为一种车辆重识别数据集；

步骤2：将被检索的目标车辆记为I，将车辆搜索库中车辆集记为X＝{x₀,x₁,...,x_n-1}；

步骤3：用颜色分类模型colorClassify识别目标车辆I和车辆集X中所有车辆的颜色，然后从X中找到与目标车辆I颜色相同的车辆，组成车辆集S₁；

步骤4：得到目标车辆I和车辆集S₁对应的车型重构图像，记为I^T和S₁ ^T，用深度网络模型carTypeFeature提取I^T和S₁ ^T对应的车型特征向量，找到车辆集S₁中所有满足对应车型特征向量与I的车型特征向量的欧氏距离小于λ₁的车辆，组成新的车辆集，记为S₂；其中λ₁为预先给定的同车型车辆在特征空间的最大欧氏距离阈值；

步骤5：得到目标车辆I和车辆集S₂对应的车辆重构图像，记为I^C和S₂ ^C，用深度网络模型carFeature提取I^C和S₂ ^C对应的车辆特征向量，找到车辆集S₂中所有满足对应车辆特征向量与I的车辆特征向量的欧氏距离小于λ₂的车辆，组成新的车辆集，记为S₃，S₃最终从搜索库中找到的与目标车辆最为相似的车辆集；其中λ₂为预先给定的相同车辆在特征空间的最大欧氏距离阈值；

所述的一种基于多特征的三阶段车辆检索方法，其特征在于步骤1中的一种基于车窗的车辆区域分割方法具体步骤如下：

步骤1.1：对于任意车辆图像A，首先利用检测模型winDetect定位车窗的大致位置，并截取得到车窗图像A^W，然后确定车窗图像A^W上车窗的上、下、左、右边线的检测区域分别为：D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中w、h分别表示车窗图像A^W的宽、高；

步骤1.2：利用任意一种直线检测方法，分别在对应检测区域内找到车窗上、下、左、右四条边线，并将其在图像A上的对应直线分别记为L^T、L^R、L^B、L^L；

在本实例中，使用的直线检测方法描述如下：

对于检测图像X，首先给定目标直线的角度范围，记为[angleMin,angleMax]；对图像X进行高斯滤波、Canny边缘检测、Hough直线检测，得到直线集L＝{l_i|i＝0,1,…,N_L-1}，N_L为检测出的所有直线数量；找到直线集L中角度满足在[angleMin,angleMax]范围内的所有直线，则这些直线中对应length最大的直线为图像中的目标关键直线；其中，直线l_i.length为直线l_i经过的所有边缘点相距最远的两个点的距离；

步骤1.3：根据如下规则确定车辆的车脸、车窗、车顶、左车身、右车身区域：

f)车脸区域：图像A上直线L^R、L^B、L^L、图像A底边围成的任意多边形区域；

g)车窗区域：图像A上直线L^R、L^B、L^L、L^T围成的四边形区域；

h)车顶区域：图像A上直线L^R、L^B、L^L、图像A顶边围成的任意多边形区域；

i)左车身区域：图像A上直线L^L左侧的任意多边形区域；

j)右车身区域：图像A上直线L^R右侧的任意多边形区域；

步骤4中的车型重构图像的获取的具体步骤如下：

步骤4.1：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车身区域图像分别记为A₁，A₂；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

步骤4.2：若车身区域图像A₂对应的是右车身区域，则水平翻转图像；

步骤4.3：将图像A₁，A₂统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车型重构图像；

步骤1和步骤5中的车辆重构图像的获取的具体步骤如下：

步骤5.1：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车窗区域图像、车身区域图像、车顶区域图像分别记为A₁，A₂，A₃，A₄；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

步骤5.2：若车身区域图像A₃对应的是右车身区域，则水平翻转图像；

步骤5.3：将图像A₁，A₂，A₃，A₄统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车辆重构图像。

在本实例中，对于图3所示车辆图像，对应的车窗定位结果、车型重构图像、车辆重构图像分别如图4、图5、图6所示。

Claims (5)

1.一种基于多特征的三阶段车辆检索方法，其特征在于，包括如下步骤：

步骤1：首先训练得到检索过程中需要用到的检测模型和分类模型，包括：车窗检测模型winDetect、基于车脸区域的车辆颜色识别模型colorClassify、基于车型重构图像的深度特征提取网络模型carTypeFeature及基于车辆重构图像的深度特征提取网络模型carFeature；其中，车脸区域根据一种基于车窗的车辆区域分割方法得到；

所述步骤1中的一种基于车窗的车辆区域分割方法具体过程如下：

1.1)：对于任意车辆图像A，首先利用检测模型winDetect定位车窗的大致位置，并截取得到车窗图像A^W，确定车窗图像A^W上车窗的上、下、左、右边线的检测区域分别为：D^L(0,0,w/3,h)、D^R(2*w/3-1,0,w/3,h)、D^T(0,0,w,h/5)、D^B(0,4*h/5-1,w,h/5)，其中w、h分别表示车窗图像A^W的宽、高；

1.2)：利用一种直线检测方法，分别在对应检测区域内找到车窗上、下、左、右四条边线，并将其在图像A上的对应直线分别记为L^T、L^R、L^B、L^L；

1.3)：根据如下规则确定车辆的车脸、车窗、车顶、左车身、右车身区域：

a)车脸区域：图像A上直线L^R、L^B、L^L、图像A底边围成的任意多边形区域；

b)车窗区域：图像A上直线L^R、L^B、L^L、L^T围成的四边形区域；

c)车顶区域：图像A上直线L^R、L^B、L^L、图像A顶边围成的任意多边形区域；

d)左车身区域：图像A上直线L^L左侧的任意多边形区域；

e)右车身区域：图像A上直线L^R右侧的任意多边形区域；

步骤2：将被检索的目标车辆记为I，将车辆搜索库中车辆集记为X＝{x₀,x₁,...,x_n-1}；

步骤3：用基于车脸区域的车辆颜色识别模型colorClassify识别目标车辆I和车辆集X中所有车辆的颜色，然后从X中找到与目标车辆I颜色相同的车辆，组成车辆集S₁；

步骤4：得到目标车辆I和车辆集S₁对应的车型重构图像，记为I^T和S₁ ^T，用基于车型重构图像的深度网络模型carTypeFeature提取I^T和S₁ ^T对应的车型特征向量，找到车辆集S₁中所有满足对应车型特征向量与I的车型特征向量的欧氏距离小于λ₁的车辆，组成新的车辆集，记为S₂；其中λ₁为预先给定的同车型车辆在特征空间的最大欧氏距离阈值；

步骤5：得到目标车辆I和车辆集S₂对应的车辆重构图像，记为I^C和S₂ ^C，用基于车型重构图像的深度网络模型carFeature提取I^C和S₂ ^C对应的车辆特征向量，找到车辆集S₂中所有满足对应车辆特征向量与I的车辆特征向量的欧氏距离小于λ₂的车辆，组成新的车辆集，记为S₃；其中λ₂为预先给定的相同车辆在特征空间的最大欧氏距离阈值。

2.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤4中的车型重构图像的获取的具体步骤如下：

4.1)：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车身区域图像分别记为A₁，A₂；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

4.2)：若车身区域图像A₂对应的是右车身区域，则水平翻转图像；

4.3)：将图像A₁，A₂统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车型重构图像。

3.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤1和步骤5中的车辆重构图像的获取的具体过程如下：

5.1)：对于任意车辆图像A，首先利用一种基于车窗的车辆区域分割方法进行车辆图像区域分割，然后将图像A上得到对应的车脸区域图像、车窗区域图像、车身区域图像、车顶区域图像分别记为A₁，A₂，A₃，A₄；其中，车身区域图像为左右车身区域中较大的区域对应的区域图像；

5.2)：若车身区域图像A₃对应的是右车身区域，则水平翻转图像；

5.3)：将图像A₁，A₂，A₃，A₄统一缩放到200px*200px大小，然后按照从左到右的顺序水平拼接得到车辆A对应的车辆重构图像。

4.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述步骤1中，

车窗检测模型winDetect：基于yolo检测网络训练得到；

基于车脸区域的车辆颜色识别模型colorClassify：基于SVM分类器训练得到，用到的特征为车脸区域的统计HSV颜色直方图特征，其由36维的H分量、20维的S分量、20维的V分量组成，该SVM分类器识别黑、白、红、黄、蓝和绿六大车辆颜色；

基于车型重构图像的深度特征提取网络模型carTypeFeature：包括用于进行训练的网络模型结构及用于进行特征提取的网络模型结构，且用于进行特征提取的网络模型结构由一个分类网络和一个双输入的图像匹配网络组成，构成其的基础网络结构为caffeNet，网络提取特征的维度为2048；所述基于车型重构图像的深度特征提取网络模型carTypeFeature的训练数据集为一种细类别车型数据集；

基于车型重构图像的深度特征提取网络模型carFeature：其网络模型与基于车型重构图像的深度特征提取网络模型carTypeFeature结构相同，所述基于车型重构图像的深度特征提取网络模型carFeature的训练数据集为一种车辆重识别数据集。

5.根据权利要求1所述的一种基于多特征的三阶段车辆检索方法，其特征在于，所述一种直线检测方法具体如下：

1)对于检测图像X，首先给定目标直线的角度范围，记为[angleMin,angleMax]；

2)对图像X进行高斯滤波、Canny边缘检测、Hough直线检测，得到直线集L＝{l_i|i＝0,1,…,NL-1}，NL为检测出的所有直线数量；

3)找到直线集L中角度满足在[angleMin,angleMax]范围内的所有直线，则这些直线中对应length最大的直线为图像中的目标关键直线；其中，直线l_i.length为直线l_i经过的所有边缘点相距最远的两个点的距离。

Images