CN103164693B - 一种监控视频行人检测匹配方法 - Google Patents

Abstract

本发明属于视频图像数据处理领域，公开了一种监控视频行人检测匹配方法，包括视频行人目标检测步骤；帧间同目标关联步骤；目标序列及待匹配目标特征提取步骤；特征相似度计算步骤和目标匹配判别步骤。由于相邻帧间行人目标不会有太大的位移，本发明使用被检测出的行人的位置信息对序列连续帧中的同一目标进行关联得到目标序列；目标序列特征提取的方法一是提取目标序列多帧的灰度直方图特征，一是目标序列的PCA模板，由于都采用了多帧的信息，相对于单帧目标匹配有更好的稳定性和匹配精度；匹配判别方法利用迭代特征融合这两个特征的相似度来做出判断，得出匹配结果。

Description

一种监控视频行人检测匹配方法

技术领域

本发明属于视频图像数据处理领域，更具体地，涉及一种监控视频行人检测匹配方法。

背景技术

监控***中的摄像机视域大多是非重叠、以行人为目标的，研究在多视域监控***中行人目标的跟踪与匹配问题的目的是解决某区域监控***中不同的监控视频里中目标的计算机自动搜索问题。解决目标匹配问题的基本框架一般包括目标特征提取，建立目标特征数据库，特征相似度测度等步骤。

目前国内外的监控视频中单帧目标特征提取的主要类型有：（1）基于颜色特征的外观模型匹配方法，例如颜色直方图外观模型匹配，UV色度空间模型匹配等；（2）基于非颜色特征的方法，例如SIFT特征匹配。

但单一的特征描述往往不能对所有视频不确定因素都鲁棒，因此有很多尝试通过多特征融合的方法来提高匹配方法的准确性。不管单一特征匹配还是多特征融合的匹配方法都是基于单帧目标信息的，没有充分利用视频序列中连续多帧的行人目标信息，容易产生匹配结果的不稳定。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种监控视频行人检测匹配方法，旨在解决现有的匹配方法都是基于单帧目标信息容易产生匹配结果不稳定的问题。

本发明提供了一种监控视频行人检测匹配方法，包括下述步骤：

S1：在单帧图像中框选出待匹配目标图像并在视频图像序列中通过提取图像的全局变换直方图特征获得行人目标的方形区域坐标；

S2：根据每个视频图像序列的第a帧的行人目标的个数b_a建立b_a个目标序列，从第a+1帧开始依次计算当前帧（a+p）行人目标T_j的方形区域中心与前一帧（a+p-1）的b_（a+p-1）个目标序列的序列末目标中心之间的距离h_c，a、b_a、j、p均为大于等于1的正整数；

S3：判断所述距离h_c是否小于设定的阈值；若是，则进入步骤S4；若否，则进入步骤S5；

S4：将所述第（a+p）帧行人目标T_j添加至第c个目标序列的序列末；c=1……b_a；

S5：以第（a+p）帧行人目标T_j为第一个元素重新建立一个新的目标序列；

S6：提取目标序列每一帧的灰度直方图特征和主成分分析模板特征，并提取待匹配目标图像的灰度直方图特征和主成分分析模板特征；

S7：计算目标序列各帧的灰度直方图特征与待匹配目标图像的灰度直方图特征之间的巴氏距离，并将巴氏距离均值作为灰度直方图特征相似度H_i；计算目标序列各帧的主成分分析模板特征与待匹配目标图像的主成分分析模板特征之间的欧式距离，并将所述欧式距离作为主成分分析模板特征相似度P_i；

S8：根据设置的迭代宽度、相似度差异阈值以及排序后的灰度直方图特征相似度和主成分分析模板特征相似度获得初步匹配目标序列，并根据初步匹配目标序列输出匹配目标序列。

更进一步地，在步骤S6中提取目标序列每一帧的灰度直方图特征具体为：

S61：将目标序列每一帧图像RGB三个通道分别做直方图规定化处理并获得消除光照差异的图像；

S62：计算所述消除光照差异的图像的灰度直方图，并将所述灰度直方图作为所述目标序列每一帧的灰度直方图特征。

更进一步地，所述直方图规定化处理是采用模型数为2的混合高斯模型。

更进一步地，在步骤S6中提取目标序列的主成分分析模板特征具体为：

利用目标序列前m帧做主成分分析，将每一帧展开成一行n列的向量A_i，计算协方差矩阵的特征值和特征向量，将n个特征值按照从大到小排列并取前k个特征值对应的特征向量构成特征空间F_n×k；

分别将目标序列前m帧数据向量组成的矩阵A_m×n与待匹配目标向量I_1×n均投影到所述特征空间F_n×k并得到目标序列的主成分分析模板特征A_m×k和待匹配目标的主成分分析模板特征I_1×k。

更进一步地，在步骤S8中将灰度直方图特征相似度与主成分分析模板特征相似度分别按照从小到大的顺序进行排序。

更进一步地，步骤S8具体为：

S81：初始化迭代宽度和相似度差异阈值；

S82：将在排序后的前w个灰度直方图特征相似度和前w个主成分分析模板特征相似度中同时出现的目标序列作为初步匹配目标序列；

S83：当所述初步匹配目标序列的数目为1时，输出匹配目标序列；当所述初步匹配目标序列的数目大于1时，计算初步匹配目标序列的相似度差异值，并判断相似度差异值是否小于所述相似度差异阈值，若是，则输出匹配目标序列；若否，则为非匹配目标序列；当所述初步匹配目标序列的数目为0时，更新迭代宽度和相似度差异阈值，返回至步骤S82；当初步匹配目标序列的数目再次为0时，则为非匹配目标序列。

更进一步地，所述迭代宽度w的范围为0<w<N，N为目标序列个数。

更进一步地，所述初始化相似度差异值阈值R=3×(σ₁+σ₂)，σ₁,σ₂分别为当待匹配目标和目标序列为同一目标时的两个特征相似度在归一化后的标准差。

更进一步地，根据公式h=10×|P_i-P₀|+|H_i-H₀|计算初步匹配目标序列的相似度差异值，P₀、H₀分别为两个特征相似度排序中的最小项。

本发明从目标序列角度出发，通过目标序列特征来表示目标序列的信息，很好的克服了单帧行人目标匹配的不稳定性。本发明的特征融合方法经过两次迭代判别，能有效的消除由于单一特征无法对所有视频不确定因素都鲁棒特性产生的干扰，相对于传统的基于贝叶斯结构的融合算法有更好的鲁棒性和匹配精度。

附图说明

图1是本发明实施例提供的监控视频行人检测匹配方法的实现流程图；

图2是本发明实施例提供的监控视频行人检测匹配方法中步骤S8的子流程图；

图3是采用本发明实施例提供的监控视频行人检测匹配方法实现行人检测匹配的匹配结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供的监控视频行人检测匹配方法，具体包括下述步骤：

S1：在单帧图像中框选出待匹配目标图像并在视频图像序列中通过提取图像的全局变换直方图（CensusTransformHistogram，CENTRIST）特征获得行人目标的方形区域坐标；

S2：根据每个视频图像序列的第a帧的行人目标的个数b_a建立b_a个目标序列，从第a+1帧开始依次计算当前帧（a+p）行人目标T_j的方形区域中心与前一帧（a+p-1）的b_（a+p-1）个目标序列的序列末目标中心之间的距离h_c，a、b_a、j、p均为大于等于1的正整数；

S3：判断所述距离h_c是否小于设定的阈值；若是，则进入步骤S4；若否，则进入步骤S5；其中阈值为经验值，本发明通过统计10组行人目标序列相邻帧目标之间的位移来确定该阈值为60；

S4：将所述第（a+p）帧行人目标T_j添加至第c个目标序列的序列末；c=1……b_a；

S5：以第（a+p）帧行人目标T_j为第一个元素重新建立一个新的目标序列；

S6：提取目标序列每一帧的灰度直方图特征和主成分分析模板特征，并提取待匹配目标图像的灰度直方图特征和主成分分析模板特征；

S7：计算目标序列各帧的灰度直方图特征与待匹配目标图像的灰度直方图特征之间的巴氏距离，并将巴氏距离均值作为灰度直方图特征相似度H_i；计算目标序列各帧的主成分分析模板特征与待匹配目标图像的主成分分析模板特征之间的欧式距离，并将所述欧式距离作为主成分分析模板特征相似度P_i；

S8：根据设置的迭代宽度、相似度差异阈值以及排序后的灰度直方图特征相似度和主成分分析模板特征相似度获得初步匹配目标序列，并根据初步匹配目标序列输出匹配目标序列。

本发明实施例提供的算法在对于不同光照环境、不同角度、不同姿态的同一行人目标都有着较好的匹配精度，同单一特征下的匹配结果相比准确度更高。

在发明实施例中，在步骤S6中提取目标序列每一帧的灰度直方图特征具体为：

S61：将目标序列每一帧图像RGB三个通道分别做直方图规定化处理并获得消除光照差异的图像；

S62：计算所述消除光照差异的图像的灰度直方图，并将所述灰度直方图作为所述目标序列每一帧的灰度直方图特征。

在发明实施例中，所述直方图规定化处理是采用模型数为2的混合高斯模型。 $S_i=a_1\frac{1}{\sqrt{2\mathrm{\&pi;}{{\mathrm{\&sigma;}}_1}^2}}{e}^{\frac{-{(\frac{i}{256}-{\mathrm{\&mu;}}_1)}^2}{{{2\mathrm{\&sigma;}}_1}^2}}+a_2\frac{1}{\sqrt{2\mathrm{\&pi;}{{\mathrm{\&sigma;}}_2}^2}}{e}^{\frac{-{(\frac{i}{256}-{\mathrm{\&mu;}}_2)}^2}{2{{\mathrm{\&sigma;}}_2}^2};}$ $T=\underset{j=0}{\overset{255}{\mathrm{\&Sigma;}}}(a_1\frac{1}{\sqrt{2\mathrm{\&pi;}{{\mathrm{\&sigma;}}_1}^2}}{e}^{\frac{-{(\frac{j}{256}-{\mathrm{\&mu;}}_1)}^2}{{{2\mathrm{\&sigma;}}_1}^2}}+a_2\frac{1}{\sqrt{2\mathrm{\&pi;}{{\mathrm{\&sigma;}}_2}^2}}{e}^{\frac{-{(\frac{j}{256}-{\mathrm{\&mu;}}_2)}^2}{2{{\mathrm{\&sigma;}}_2}^2}});$ G_i＝S_i/T；其中a₁,a₂,μ₁,μ₂,σ₁,σ₂利用最大似然估计来确定，本发明实施例中a₁=1,a₂=0.07，μ₁=0.15,μ₂=0.75，σ₁=σ₂=0.05。

在发明实施例中，在步骤S6中提取目标序列的主成分分析模板特征具体为：利用目标序列前m帧做主成分分析，将每一帧展开成一行n列的向量A_i，计算协方差矩阵的特征值和特征向量，将n个特征值按照从大到小排列并取前k个特征值对应的特征向量构成特征空间F_n×k；k的范围为1……n；分别将目标序列前m帧数据向量组成的矩阵A_m×n与待匹配目标向量I_1×n均投影到所述特征空间F_n×k并得到目标序列的主成分分析模板特征A_m×k和待匹配目标的主成分分析模板特征I_1×k。

在本发明实施例中，基于单帧目标图像的特征提取往往受到目标检测结果的直接影响，而步骤S6是通过提取目标序列的特征来进行后面的匹配，这样可以有效的消除单帧目标特征存在的不稳定性，进而提高最终匹配精度。

在发明实施例中，在步骤S8中将灰度直方图特征相似度与主成分分析模板特征相似度分别进行从小到大排序。

如图2所示，在发明实施例中，步骤S8具体为：

S81：初始化迭代宽度w和相似度差异阈值R；

S82：将在排序后的前w个灰度直方图特征相似度和前w个主成分分析模板特征相似度中同时出现的目标序列作为初步匹配目标序列；

S83：当所述初步匹配目标序列的数目为1时，输出匹配目标序列；当所述初步匹配目标序列的数目大于1时，计算初步匹配目标序列的相似度差异值，并判断相似度差异值是否小于所述相似度差异阈值，若是，则输出匹配目标序列；若否，则为非匹配目标序列；当所述初步匹配目标序列的数目为0时，更新迭代宽度和相似度差异阈值，返回至步骤S82；当初步匹配目标序列的数目再次为0时，则为非匹配目标序列。

在发明实施例中，迭代宽度w的范围为0<w<N，N为目标序列个数。

在发明实施例中，相似度差异阈值R＝3×(σ₁+σ₂)，σ₁,σ₂分别为当待匹配目标和目标序列为同一目标时的两个特征相似度在归一化后的标准差，本发明基于样本数目为20的目标序列和10个待匹配目标，计算得到σ₁＝0.0484,σ₂＝0.0498，因此本文初始化R=0.03。

在发明实施例中，根据公式h=10×|P_i-P₀|+|H_i-H₀|计算初步匹配目标序列的相似度差异值，P₀、H₀分别为两个特征相似度排序中的最小项。

采用本发明实施例提供的监控视频行人检测匹配方法实现行人检测匹配的匹配结果如图3所示，实验选取了框选6个待匹配目标，然后通过行人目标检测和帧间同目标关联步骤得到了20个目标序列（图中用目标序列中一帧图像表示相应目标序列），然后利用本发明算法从目标序列中找出与待匹配目标相应的项。从匹配结果中可以看出，虽然存在少量误匹配，但效果可以满足需求。

本发明基于特征相似度排序的迭代融合算法通过两个特征相似度的排序来综合利用两个特征的判别结果，避免了传统匹配算法中特征阈值的选取，因而能够排除在不同环境下特征相似度整体浮动带来的干扰。然后分别归一化两个特征相似度排序，然后利用每个待匹配目标的两个特征相似度分别与相应特征相似度排序中最优项的相对差异来做进一步判断，提高准确率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种监控视频行人检测匹配方法，其特征在于，包括下述步骤：

S1：在单帧图像中框选出待匹配目标图像并在视频图像序列中通过提取图像的全局变换直方图特征获得行人目标的方形区域坐标；

S2：根据每个视频图像序列的第a帧的行人目标的个数b_a建立b_a个目标序列，从第a+1帧开始依次计算当前帧(a+p)行人目标T_j的方形区域中心与前一帧(a+p-1)的b_(a+p-1)个目标序列的序列末目标中心之间的距离h_c，a、b_a、j、p均为大于等于1的正整数；

S3：判断所述距离h_c是否小于设定的阈值；若是，则进入步骤S4；若否，则进入步骤S5；

S4：将所述第(a+p)帧行人目标T_j添加至第c个目标序列的序列末；c＝1……b_a；

S5：以第(a+p)帧行人目标T_j为第一个元素重新建立一个新的目标序列；

S6：提取目标序列每一帧的灰度直方图特征和主成分分析模板特征，并提取待匹配目标图像的灰度直方图特征和主成分分析模板特征；

S7：计算目标序列各帧的灰度直方图特征与待匹配目标图像的灰度直方图特征之间的巴氏距离，并将巴氏距离均值作为灰度直方图特征相似度H_i；计算目标序列各帧的主成分分析模板特征与待匹配目标图像的主成分分析模板特征之间的欧式距离，并将所述欧式距离作为主成分分析模板特征相似度P_i；

S8：根据设置的迭代宽度、相似度差异阈值以及排序后的灰度直方图特征相似度和主成分分析模板特征相似度获得初步匹配目标序列，并根据初步匹配目标序列输出匹配目标序列；

在步骤S6中提取目标序列每一帧的灰度直方图特征具体为：

S61：将目标序列每一帧图像RGB三个通道分别做直方图规定化处理并获得消除光照差异的图像；

S62：计算所述消除光照差异的图像的灰度直方图，并将所述灰度直方图作为所述目标序列每一帧的灰度直方图特征；

所述直方图规定化处理是采用模型数为2的混合高斯模型；

在步骤S6中提取目标序列的主成分分析模板特征具体为：

利用目标序列前m帧做主成分分析，将每一帧展开成一行n列的向量A_i，计算协方差矩阵的特征值和特征向量，将n个特征值按照从大到小排列并取前k个特征值对应的特征向量构成特征空间F_n×k；

分别将目标序列前m帧数据向量组成的矩阵A_m×n与待匹配目标向量I_1×n均投影到所述特征空间F_n×k并得到目标序列的主成分分析模板特征A_m×k和待匹配目标的主成分分析模板特征I_1×k；k的范围为1，2……n；

在步骤S8中，将灰度直方图特征相似度与主成分分析模板特征相似度分别按照从小到大的顺序进行排序；

步骤S8具体为：

S81：初始化迭代宽度和相似度差异阈值；

S82：将在排序后的前w个灰度直方图特征相似度和前w个主成分分析模板特征相似度中同时出现的目标序列作为初步匹配目标序列；

S83：当所述初步匹配目标序列的数目为1时，输出匹配目标序列；

当所述初步匹配目标序列的数目大于1时，计算初步匹配目标序列的相似度差异值，并判断相似度差异值是否小于所述相似度差异阈值，若是，则输出匹配目标序列；若否，则为非匹配目标序列；

当所述初步匹配目标序列的数目为0时，更新迭代宽度和相似度差异阈值，返回至步骤S82；当初步匹配目标序列的数目再次为0时，则为非匹配目标序列。

2.如权利要求1所述的方法，其特征在于，所述迭代宽度w的范围为0<w<N，N为目标序列个数。

3.如权利要求1所述的方法，其特征在于，所述初始化相似度差异值阈值R＝3×(σ₁+σ₂)，σ₁,σ₂分别为当待匹配目标和目标序列为同一目标时的两个特征相似度在归一化后的标准差。

4.如权利要求1所述的方法，其特征在于，根据公式h＝10×|P_i-P₀|+|H_i-H₀|计算初步匹配目标序列的相似度差异值，P₀、H₀分别为两个特征相似度排序中的最小项。