CN106778517A - 一种监控视频序列图像车辆再识别的方法 - Google Patents

Abstract

本发明公开了一种监控视频序列图像车辆再识别的方法，包括以下步骤：图像特征提取：对于拍摄到的所有视频数据，首先检测出所有在摄像头下出现的车辆图像，监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列，计算在YCrCb空间中Cr、Cb两个通道的灰度直方图，最后用Gabor滤波器和原图像卷积得到车辆轮廓图像；基于集合到集合的度量学习方法：训练车辆目标图像序列间相对距离度量函数学习步骤，即基于类内距离比类间距离小的概率最大化的思想学习度量；基于集合间度量学习的车辆再识别；本发明的方法在降低了特征维数的同时，也降低了算法的复杂度。在再识别的效果上，加入了集合间距离度量后，提高了算法的识别率，改善了识别的结果。

Description

一种监控视频序列图像车辆再识别的方法

技术领域

本发明涉及一种监控视频序列图像车辆再识别的方法。

背景技术

无重叠视域的监控***拍摄到的车辆图像是车辆再识别问题用到的主要处理对象，然而这些车辆图像包含视角变化、分辨率、光照变化、模糊、摄像头设置、复杂背景以及遮挡等问题，使得车辆再识别问题的困难加剧，这些问题的解决方案也仍然被很多学者研究着。在非重叠视域监控***下的车辆再识别这个领域下，有非常多的方法被国内外研究学者提出。这些方法可以粗略的分成两个类别，一类为基于特征选择的车辆再识别算法，另一类则是基于度量学习的车辆再识别算法。

对于第一种基于特征选择的车辆再识别方法，车辆图像通过一些具有鲁棒性、稳定和有区分能力的描述子来表示成为特征向量。被广泛应用的特征描述子包括SIFT[1]以及SURF[2] ([1]D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60: 91-110、[2]H. Bay,A. Ess, T. Tuytelaars, and L. Van Gool. Speeded-up robust features (SURF).Computer Vision and Image Understanding, 2008, 110(3):346–359)。再识别问题中，传统的生物特征识别的方法，如：人脸识别[3]、步态识别[4] 或者轮廓识别[5]等([3]KaleA, Kroychowdhury A, Chellappa R. Fusion of gait and face for humanidentification, 2004, 5: 901-904、[4]L. Wang, T. Tan, H. Ning, and W. Hu.Silhouette analysis-based gait recognition for human identification. IEEETransactions on Pattern Analysis and Machine Intelligence, 2003, 25(12):1505–1518、[5]D.-N. Truong Cong, L. Khoudour, C. Achard, C. Meurie, andO. Lezoray.People re-identification by spectral classification of silhouettes. SignalProcess, 2010, 90(8): 2362–2374)，是被广泛应用于行人再识别类问题的。然而，上述的一系列特征描述子对于车辆再识别问题并不是特别有效，很难同时满足鲁棒性、稳定性和有区分性这几个要求。因为大部分由监控***摄像头拍摄到的车辆图像不具有高分辨率，低分辨率会导致在实际的监控***中无法看清楚车辆细节，如车辆车牌号码，或者由于监控摄像头拍摄的角度、距离等原因使得车辆部分区域被遮挡而无法精确再识别。与行人的再识别相比，由于车辆的机械构造而无法利用生物特征来通过细节实现车辆再识别。现有的很多研究方法都在寻找一个更与众不同、更鲁棒和稳定的车辆外形特征，就特征提取而言，如何设计特征以及寻找优化的特征对于车辆再识别有着举足轻重的影响力，比如研究颜色特征时主要关注的问题是如何同时满足减少光照变化影响和保留色彩色调信息两个条件，而将纹理特征和颜色特征一起使用往往能得到更加优化的效果。主流的目标再识别特征有：基于Haar的特征[6]([6]文学志, 方巍, 郑钰辉. 一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J]. 电子学报, 2011, 39(5):1121-1126.)、颜色直方图和纹理直方图等特征。

第二种为基于度量学习的再识别方法。利用度量学习的方法，如PCCA[7]、([7]A.Mignon and F. Jurie. PCCA: A new approach for distance learning from sparsepairwise constraints. Computer Vision and Pattern Recognition, 2012, 157:2666-2672)LMNN[8]、([8]K. Q. Weinberger and L. K. Saul. Distance metriclearning for large margin nearest neighbor classification. Journal of MachineLearning Research, 2009, 10:207-244) RankSVM[9]和LDML[10] ([9]B. Prosser, W.-S. Zheng, S. Gong, and T. Xiang. Person re-identification by support vectorranking. British Machine Vision Conference, 2010, 42:1-11、[10]M. Guillaumin,J. Verbeek, and C. Schmid. Is that you.Metric learning approaches for faceidentification. International Conference on Computer Vision, 2009, 30(2):498-505)等，将其成功应用到行人再识别问题中如[9][10]，并已取得了很好的效果，但是应用到车辆再识别中仍然是一个较新的问题。大部分目标再识别方法中都将其定义为单个目标图像间的匹配问题，即只利用了单帧图像的信息而忽略了序列图像间的关联信息。事实上当车辆经过一个监控摄像头时，这个监控摄像头会拍摄到车辆由远到近以及由近到远的一系列图像，而不仅仅是单帧图像。

发明内容

有鉴于此，本发明目的是提供一种在算法复杂度上，在降低了特征维数的同时，也降低了算法的复杂度。在再识别的效果上，加入了集合间距离度量后，提高了算法的识别率，改善了识别的结果的监控视频序列图像车辆再识别的方法。

为了解决上述技术问题，本发明的技术方案是：

一种监控视频序列图像车辆再识别的方法，包括以下步骤：

（1）图像特征提取：对于拍摄到的所有视频数据，首先检测出所有在摄像头下出现的车辆图像，监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列，然后对于序列图像中每一帧图像，计算在YCrCb空间中Cr、Cb两个通道的灰度直方图，最后用Gabor滤波器和原图像卷积得到车辆轮廓图像，将其与之前两个直方图结合，得到每一帧图像的特征向量；

（2）基于集合到集合的度量学习方法：训练车辆目标图像序列间相对距离度量函数学习步骤，即基于类内距离比类间距离小的概率最大化的思想学习度量，求得特征向量间的映射矩阵，具体为：

首先，采取计算平均距离的方法计算车辆特征序列间距离，得到有标记的距离集合，其中代表属于同一类（车辆）间距离，代表属于不同类（车辆）间的距离；

其次，开始迭代前设定，经过次迭代后，总共学习到这个正交向量，那么再学习下一个正交向量时，让

其中和的 p和n如前面部分解释可知，它们分别表示的是第次迭代时的同一类和不同类的差分向量，具体定义公式为：

然后，学习新的向量的优化函数则为：

经过以上两步后，接着利用梯度下降法寻找一个最优解：

其中代表了梯度下降法的迭代步长，由上式所示的梯度下降方

向来进行求解，的初始值设为：

算法的迭代终止条件为：

最后，当两次迭代后目标函数的值相差小于这个容忍值时，就默认目标优化函数已经达到了它的最小值，也就是求得了最优解，获得了特征向量间的映射矩阵

（3）基于集合间度量学习的车辆再识别:视频数据的车辆再识别步骤：首先，对于步骤（1）的方法中得到的车辆图像数据，将除训练数据外需要进行再识别的车辆序列标记作为样本数据；其次，将视频数据的所有车辆序列与样本数据中所有车辆序列利用步骤（2）学习到的度量映射矩阵W计算距离，将距离由小到大排序；最后，距离最小的两辆车辆序列就被判断归属于同一辆车辆，即匹配到了车辆序列，完成了车辆再识别。

进一步的，所述步骤（2）的序列间距离计算中，所述集合间平均距离的计算公式为：

其中，为需要计算距离的两个集合，代表 x 和 y 这两个样本间的距离，由于在本车辆再识别方法中，监控***下的不同摄像头拍摄到的车辆序列都拥有同一长度，定义为k。

进一步的，平均距离中的测度为马氏距离，马氏距离的具体计算方法为：假设有 M个样本向量，计算得到协方差矩阵为 S，均值为向量，那么样本向量 X 到均值的马氏距离为

其中样本向量之间的马氏距离为：

如果各个样本向量互相独立同分布，也就是可以如欧氏距离一样，将

样本向量间的不同属性同等看待，那么协方差矩阵就相对应的是单位矩阵，上述（1-6）公式则可以写成：

即可。

其中，（1)在车辆的特征选择上，提出用纹理特征加上颜色特征的结合作为车辆的最终的距离度量特征。其中，颜色特征选择YCbCr中的CbCr分量，可以去掉光照的影响；纹理特征选择Gabor滤波器提取的图像纹理特征。

(2)在算法上，将单张图片的距离度量改成图片序列的距离度量，距离度量的方式为马氏距离。具体学习部分算法实现包含以下的步骤。求得一个将训练样本利用线性转换投影到低维子空间中的W矩阵，这个低维子空间是使得所有样本的特征和语义区分度更容易被区分开来的空间。测试部分则是利用学习到的集合间度量函数计算已知的车辆序列与测试的车辆序列间的距离，距离按照从小到大的顺序排序，排第一的即距离最小的判断为同一个车辆。

学习算法的具体实现步骤：

输入：用于训练学习的车辆图像序列集合，终止迭代阈值，迭代最大次数L。

输出：学习到的度量投影矩阵。

1.初始化；

2.设置迭代开始前的迭代值，；

3.利用式；

4.用式（1-2）计算；

5.更新；

6.根据式（1-3）估算；

7.计算；

8.判断条件是否满足其中一条，满足执行9，否则执行10；

9.输出迭代的矩阵W；

10. 接着从3开始顺序计算。

本发明技术效果主要体现在以下方面：通过学***均值。用于计算车辆目标间距离的特征为Gabor纹理特征和YCrCb颜色空间直方图特征组合而成。对所有的候选车辆目标序列，按其和待识别车辆目标序列间的距离进行排序，距离小者排前，其相似度更高。本发明提出的的车辆再识别方式在减少运算时间同时，匹配率也大大提高。

附图说明

图1(a)是样本集数据的一部分，A摄像头下的车辆数据；

图1(b)是测试集数据的一部分，B摄像头下对应的车辆数据；

图1(c)是训练集数据的一部分，来自于A摄像头下拍摄图片。实际上每一类都是一辆车图片序列，本训练集数据的每类序列数目取k=6。

图2是车辆颜色特征提取流程；

图3是车辆纹理特征提取流程；

图4是仅颜色特征与颜色+纹理结合特征下匹配的效果对比图。

具体实施方式

以下结合附图，对本发明的具体实施方式作进一步详述，以使本发明技术方案更易于理解和掌握。

Vehicle Reid数据集下车辆再识别，在本实例下的样本尺寸大小为：312×104像素。

一、实验数据集：

如附图1所示，实验数据由三个部分组成：训练数据、样本数据和测试数据。如图1(a),图1(b)所示,分别是A、B摄像头下的数据图片序列。图1(a)作为样本集，图1(b)作为测试集,图1(c)作为训练集。其中A摄像头下的图片数据划分为样本集与训练集，B摄像头下的图片数据作为测试集与样本集进行匹配。该再识别的车辆图像的数据集来源于Vehicle Reid数据集。对应的是A,B两个摄像头下的车辆图片序列。为了实验的方便，从中选取的A摄像头下选取25辆车辆序列作为训练集，11辆车辆序列作为样本集，B摄像头下选取对应的11类车作为测试集。其中每辆车由6张图片序列组成，

二、特征量提取:

1.颜色特征提取：首先将初始读取的车辆图像由 RGB 颜色空间转换到 YCrCb 颜色。然后去除掉光照变化影响尤为严重的 Y 通道，在 Cr 和 Cb 这两个子通道中，分别统计像素值在子通道的大小范围中由小到大每个像素值的个数，由颜色空间转换公式可知，因为RGB 每个通道的像素值范围均为 0-255，所以 Cr 和 Cb 这两个子通道的像素值范围也为0-255。因此统计直方图后得到车辆的颜色特征，此特征的维数为256+256=516 维。车辆的颜色特征提取的流程图如图 2 所示。

2.纹理特征提取：首先确定Gabor滤波器参数（二维方向上的方差：Sx,Sy，滤波器的方向：theta，以及正弦函数的频率f），得到Gabor滤波器。然后将输入的车辆图像与Gabor滤波器进行卷积运算得到车辆的纹理特征图像，将纹理特征图像归一化后作为图像的纹理特征进行运算。车辆图像的纹理特征图像为单通道的灰度图像，即一维图像。车辆纹理特征提取的流程图如图3所示。

3.性能分析指标及特征选择：

a、CMC曲线（cumulative match characteristic）

b、横坐标为排名分数（Rank score）r

c、纵坐标为匹配率（Recognition Percentage，有时也写作Matching rate）

名词详细解释：不同车辆再识别算法间的对比结果主要是利用了CMC曲线来显示。CMC曲线又叫累计匹配特征（cumulative match characteristic）曲线，是一个累计的曲线，这个CMC曲线图由文献[11] 解释阐述，([11]D. Gray, S. Brennan, and H. Tao.Evaluating appearance models for recognition, reacquisition, and tracking.IEEE International workshop on performance evaluation of tracking andsurveillance, 2007)与本发明的实验无关。CMC曲线图中横坐标为排名分数（Rank score）r。对于训练集,按照学习到的度量计算不同车辆序列间的距离，将距离由小到大依次排序，这个排序就是排名分数,这就是学习过程。预测过程将测试样本输入学习得到的排序模型中，即可得到结果的相关得分，利用该得分进行排序即可得到待预测结果的最终顺序。当r=1时，表示的就是距离最近的车辆序列，即按照这个最小距离作为车辆再次识别到的距离，此情况下的计算精度最高。纵坐标为匹配率（Recognition Percentage，有时也写作Matching rate），匹配率的计算公式为：

如附图4 所示，选择两种特征下，相同的排名分数下，选择颜色特征+纹理特征结合的方式的匹配率更高。因此证明了本发明选择的特征具有更好的再识别效果。

4.基于集合间的距离度量训练

4.1输入监控摄像头拍摄到的车辆图像序列：

输入：A 表示图 1(a)所示的样本集，输入B 表图 1（b）所示的测试集。分别代表样本集和测试集里面的一个图像序列。如附图 1所示，每个图像序列的个数 k=6。从表示有 n 个不同的车辆序列，且在该样本集中 n=11。即样本集中图片总张数为：k×n，测试集相同。

输出：图像序列间的距离度量函数，及其投影矩阵W。

4.2求得两车辆图像序列间的距离；

4.3利用车辆图像序列对间的距离，结合马氏距离的计算公式，求得两个车辆图像序列间的马氏；

4.4结合传统的基于单帧图像的距离度量学习算法，以及图像序列对间马氏距离的计算公式，得到集合到集合间的距离度量函数

；

结合本实例：先将训练集中的25类车辆样本，总数为25×6=150帧车辆的图片进行学习，通过训练后得到距离度量的参数，即一个距离模型的投影系数的向量W。然后按照上式将W带入计算，得到样本集与测试集之间的图片间距离度量。即：按图像序列顺序，依次计算集合间对应每一张图像的离，得到一个66×66的距离矩阵。

4.5排序：将过程（4.4）中得到的距离度量函数，（为一个66×66距离矩阵），按图像序列的类统计。对于测试集，按样本的每类k帧相加，将距离矩阵压缩到n ×n维（11×11），即用k个序列的和值代表A集合下一辆车与B集合下一辆车的之间的距离分数。再按照从小到大顺序将序列间的距离矩阵排序，得到距离从小到大的车辆编号。距离最小表示两辆车之间的相似度最高，度量的精度也是最高。然后分别将分数排序1：11下的距离作为可以再识别到车辆的距离，并统计匹配成功的对数。得到最终的结果见附图4所示。从附图4可以看出，本发明选取的两种特征都能较好的实现不同监控摄像头下车辆的再识别。而且选取颜色+纹理特征结合的方式，再识别效果更优。

4.6时间复杂度分析

在本实例算法复杂度上，由于归一化后的数据集上的图像尺寸（M*N），在原本直接输入度量学习算法的图像数据是M*N维，现在特征向量变成了纹理特征加上颜色特征。降低了维数，即降低了该算法运算时间。

本发明技术效果主要体现在以下方面：通过学***均值。用于计算车辆目标间距离的特征为Gabor纹理特征和YCrCb颜色空间直方图特征组合而成。对所有的候选车辆目标序列，按其和待识别车辆目标序列间的距离进行排序，距离小者排前，其相似度更高。本发明提出的的车辆再识别方式在减少运算时间同时，匹配率也大大提高。

当然，以上只是本发明的典型实例，除此之外，本发明还可以有其它多种具体实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (3)

1.一种监控视频序列图像车辆再识别的方法，其特征在于，包括以下步骤：

（1）图像特征提取：对于拍摄到的所有视频数据，首先检测出所有在摄像头下出现的车辆图像，监控视频车辆图像根据车辆和摄像头分成多个等长的车辆图像序列，然后对于序列图像中每一帧图像，计算在YCrCb空间中Cr、Cb两个通道的灰度直方图，最后用Gabor滤波器和原图像卷积得到车辆轮廓图像，将其与之前两个直方图结合，得到每一帧图像的特征向量；

（2）基于集合到集合的度量学习方法：训练车辆目标图像序列间相对距离度量函数学习步骤，即基于类内距离比类间距离小的概率最大化的思想学习度量，求得特征向量间的映射矩阵，具体为：

首先，采取计算平均距离的方法计算车辆特征序列间距离，得到有标记的距离集合其中代表属于同一类（车辆）间距离，代表属于不同类（车辆）间的距离；

其次，开始迭代前设定经过次迭代后，总共学习到这个正交向量，那么再学习下一个正交向量时，让

其中的 p和n如前面部分解释可知，它们分别表示的是

第次迭代时的同一类和不同类的差分向量，具体定义公式为：

其中，

然后，学习新的向量的优化函数则为：

经过以上两步后，接着利用梯度下降法寻找一个最优解：

其中代表了梯度下降法的迭代步长，由上式所示的梯度下降方

向来进行求解，的初始值设为：

算法的迭代终止条件为：

最后，当两次迭代后目标函数的值相差小于这个容忍值时，就默认目标优化函数已经达到了它的最小值，也就是求得了最优解，获得了特征向量间的映射矩阵；

（3）基于集合间度量学习的车辆再识别:视频数据的车辆再识别步骤：首先，对于步骤（1）的方法中得到的车辆图像数据，将除训练数据外需要进行再识别的车辆序列标记作为样本数据；其次，将视频数据的所有车辆序列与样本数据中所有车辆序列利用步骤（2）学习到的度量映射矩阵W计算距离，将距离由小到大排序；最后，距离最小的两辆车辆序列就被判断归属于同一辆车辆，即匹配到了车辆序列，完成了车辆再识别。

2.根据权利要求 1 所述的监控视频序列图像车辆再识别的方法，其特征在于，所述步骤（2）的序列间距离计算中，所述集合间平均距离的计算公式为：

其中，为需要计算距离的两个集合，

代表 x 和 y 这两个样本间的距离，由于在本车辆再识别方法中，监控***下的不同摄像头拍摄到的车辆序列都拥有同一长度，定义为k。

3.根据权利要求 2 所述的监控视频序列图像车辆再识别的方法，其特征在于，平均距离中的测度为马氏距离，马氏距离的具体计算方法为：假设有 M 个样本向量计算得到协方差矩阵为 S，均值为向量，那么样本向量 X 到均值的马氏距离为

其中样本向量之间的马氏距离为：

如果各个样本向量互相独立同分布，也就是可以如欧氏距离一样，将

样本向量间的不同属性同等看待，那么协方差矩阵就相对应的是单位

矩阵，上述（1-6）公式则可以写成：

即可。