CN104143077A - 基于图像的行人目标检索方法和*** - Google Patents

Abstract

一种基于图像的行人目标检索方法，包括：从原始视频图像中获取行人目标序列和相应的前景序列；计算行人目标序列i的第j帧R_i,j的权值，将行人目标序列i的所有帧对应的前景序列的像素点按照权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，计算行人目标直方图H_f，并使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。从而避免了分割服饰的难题，在视频中提取出检测跟踪出来的一系列运动目标的前景。通过累计每幅图像的前景可以有效地提取出其服饰信息。因此，基于背景分割检测提高了视频中行人检测的鲁棒性，避免服饰分割有效地提高了行人检索的准确性。此外，还提供一种基于图像的行人目标检索***。

Description

基于图像的行人目标检索方法和***

技术领域

本发明涉及图像处理技术，特别是涉及一种基于图像的行人目标检索方法和***。

背景技术

随着互联网时代的到来，图像检索技术得到广泛的发展与应用。特别是随着智能交通的发展与应用，图像检索技术也随之应用到智能交通分析中。现代城市中广泛分布的摄像头已使得传统的交通分析及行人车辆追踪变得更为简单方便。但是由于监控视频数量过于庞大，面对突发的案件或交通事故往往很难依靠人力来跟踪分析大量的监控视频。

当前的行人检索方法一般利用单张检测到的行人目标图像，对行人目标进行分割，然后利用分割出的行人服饰作为特征来检索。静态图像中的行人检测技术这些年有些突破，例如，能够应对一般的正常行人场景，但在实际视频中不能具有很好鲁棒性。服饰分割的准确性对检索有很大的影响。在其他方法中对行人的服饰分割进行了研究，但是由于行人姿态的多样性导致服饰的分割无法太准确，或者太准确的分割的时间代价太大。也有使用视频中的运动目标边沿信息来检测与分割行人，但其没有使用行人模型来区分行人与汽车等其他运动目标，只是利用条纹密度等方法来判断，会有较大的误判率。

发明内容

基于此，提供一种高检出、低误检的基于图像的行人目标检索方法。

一种基于图像的行人目标检索方法，包括以下步骤：

从原始视频图像中获取行人目标序列和相应的前景序列；

采用公式 $f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.19404t}^2}{T^2}\right),& t\≤T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度；

将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，

根据公式 $H_f=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

计算行人目标直方图H_f，并使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS个间隔，灰度值V小于阈值Tg为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔。

在其中一个实施例中，从原始视频图像中获取行人目标序列和相应的前景序列的步骤包括：

采用混合高斯模型分割行人目标的前景和背景；

统计该帧对应的前景内包含可能存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素；

将窗口的重合部分进行合并；

采用基于梯度方向直方图在合并后的窗口检测行人目标；

采用基于学习的目标跟踪方法对检测到的行人目标进行跟踪获得行人目标序列；

利用获取到的行人目标序列，从原始视频图片与其对应的背景分割图中获取前景序列。

在其中一个实施例中，所述将窗口的重合部分进行合并的步骤包括：

将任何两个有重合的窗口标记为同一个集合S_i；

判断集合S_i，如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复本步骤直至所有包含有重合部分窗口的集合都被合并；

用一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

在其中一个实施例中，所述绝对区域直方图H₁与模糊区域直方图H₂的计算步骤包括：

将行人目标图像转换到HSV颜色空间；

如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1；

如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1；

如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1；

如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分：

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1；

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

在其中一个实施例中，所述将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂的步骤包括：

将绝对区域直方图H₁与模糊区域直方图H₂置零；

计算行人目标序列i的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景；

将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累加至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成；

保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。

上述基于图像的行人目标检索方法通过基于学习的目标跟踪及前景分割，得到具有鲁棒性的行人检测结果，进而获取行人目标序列及前景序列。再通过计算获取行人目标序列的颜色特征直方图，即对行人目标的服饰颜色进行特征提取及匹配，最后根据公式计算行人目标直方图H_f，并使用测地距离获取行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。从而获取具有相关性排列的检索结果。上述基于图像的行人目标检索方法避免了分割服饰这一难题，而是在视频中提取出检测跟踪出来的一系列运动目标的前景。通过累计每幅图像的前景可以有效地提取出其服饰信息。因此，基于背景分割的行人检测提高了视频中行人检测的鲁棒性，避免服饰分割有效地提高了行人检索的准确性。

此外，还提供一种高检出、低误检的基于图像的行人目标检索***。

一种基于图像的行人目标检索***，其特征在于，包括图像获取模块、行人序列多直方图特征计算模块、行人序列特征计算模块及测地距离排序模块；所述行人序列多直方图特征计算模块分别与所述图像获取模块及所述行人序列特征计算模块连接，所述行人序列特征计算模块还与所述测地距离排序模块连接；

所述图像获取模块用于从原始视频图像中获取行人目标序列和相应的前景序列；

所述行人序列多直方图特征计算模块用于采用公式

$f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度；

所述行人序列多直方图特征计算模块还用于将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，

所述行人序列特征计算模块用于根据公式

$H_f=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

计算行人目标直方图H_f；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS个间隔，灰度值V小于阈值Tg为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔；

所述测地距离排序模块用于使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。

在其中一个实施例中，所述图像获取模块包括前景分割模块、行人目标检测模块及行人目标序列提取模块；

所述前景分割模块分别与所述行人目标检测模块及所述行人目标序列提取模块连接；

所述前景分割模块用于采用混合高斯模型分割每帧行人目标的前景和背景；

所述行人目标检测模块包括行人位置初步估计模块及基于HOG的行人检测模块；

所述行人位置初步估计模块用于统计该帧对应的前景模板窗口内可能包含存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素，并将存在重合的窗口按照如下步骤进行合并：

将任何两个有重合的窗口标记为同一个集合S_i；

判断集合S_i，如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复判断直至所有包含有重合部分窗口的集合都被合并；

将一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

所述基于HOG的行人检测模块是采用HOG特征在初步估计得到的行人位置处进行行人检测。

在其中一个实施例中，所述行人目标序列提取模块包括行人跟踪模块及前景序列获取模块；

所述行人跟踪模块用于使用基于学习方法的行人跟踪技术（TLD）对检测到的行人目标进行跟踪，获取行人目标序列；

所述前景序列获取模块用于在行人目标序列中提取对应的前景序列；

在其中一个实施例中，所述行人序列多直方图特征计算模块包括颜色空间转化模块和单帧图像颜色直方图计算模块；

所述颜色空间转化模块用于将行人目标图像转换到HSV颜色空间；

所述单帧图像颜色直方图计算模块包括以下计算步骤：

如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1；

如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1；

如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1；

如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分：

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1；

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

在其中一个实施例中，所述行人序列多直方图特征计算模块还包括行人序列颜色直方图累积计算模块，所述行人序列颜色直方图累积计算模块包括如下计算步骤：

将绝对区域直方图H₁与模糊区域直方图H₂置零；

计算行人目标序列i的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景；

将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累加至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成；

保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。

上述基于图像的行人目标检索***通过基于学习的目标跟踪及前景分割，得到具有鲁棒性的行人检测结果，进而获取行人目标序列及前景序列。再通过计算获取行人目标序列的颜色特征直方图，即对行人目标的服饰颜色进行特征提取及匹配，最后根据公式计算行人目标直方图H_f，并使用测地距离获取行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。从而获取具有相关性排列的检索结果。上述基于图像的行人目标检索***避免了分割服饰这一难题，而是在视频中提取出检测跟踪出来的一系列运动目标的前景。通过累计每幅图像的前景可以有效地提取出其服饰信息。因此，基于背景分割的行人检测提高了视频中行人检测的鲁棒性，避免服饰分割有效地提高了行人检索的准确性。

附图说明

图1为基于图像的行人目标检索方法的流程图；

图2（a）为获取的行人目标序列示意图；

图2（b）为行人目标序列对应的前景序列示意图；

图2（c）为内切椭圆去干扰的示意图；

图3彩色颜色直方图的分布示意图；

图4为权值函数示意图；

图5为基于图像的行人目标检索***的示意图。

具体实施方式

如图1所示，为基于图像的行人目标检索方法的流程图。

一种基于图像的行人目标检索方法，包括以下步骤：

步骤S110，从原始视频图像中获取行人目标序列和相应的前景序列。具体地，检测视频中的行人目标，对检测得到的行人目标进行跟踪获取行人序列，，并根据所述行人目标序列位置从原始视频图像与其对应的背景分割图中获取前景序列。如图2（a）所示，为获取的行人目标序列，图2（b）为行人目标序列对应的前景序列。

步骤S110具体包括：

①采用混合高斯模型分割行人目标的前景和背景。

混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。

②初步估计可能的行人位置，具体地，包括以下步骤：

⑴统计该帧对应前景中包含可能存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素。进行行人目标检测的单帧图像一般是从多帧图像抽取出来，优选地，是从15帧图像抽取的。

⑵将任何两个有重合的窗口标记为同一个集合S_i。

⑶如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复本步骤直至所有包含有重合部分窗口的集合都被合并。

(4)用一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

③采用基于梯度方向直方图在合并后的窗口检测行人目标。

图像梯度方向直方图是一种解决人体目标检测的图像描述子，该方法使用梯度方向直方图（Histogram of Oriented Gradients,简称HOG）特征来表达人体，提取人体的外形信息和运动信息，形成丰富的特征集。在本实施例中，采用梯度方向直方图检测合并后的窗口中所包含的行人目标。所采用的分类器阈值为-0.5。

④采用基于学习的目标跟踪方法对检测到的行人目标进行跟踪获得行人目标序列。

利用跟踪学习检测(Tracking-Learning-Detection，TLD)算法能够对目标进行长期的持续跟踪，对动态图像序列中的目标进行跟踪。TLD能够对目标进行持续跟踪，即使在可见光下跟踪失效也能够通过红外图像的弥补，从而使跟踪效果更为精确。

利用获取到的行人目标序列，从原始视频图片与其对应的背景分割图中，分别获取行人目标序列与前景序列。

步骤S120，采用公式 $f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度。

步骤S130，将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，将累积后的绝对区域直方图H₁与模糊区域直方图H₂记为行人目标序列i的颜色特征直方图。

将彩色图像从RGB空间转换为HSV空间，根据人眼的视觉特性，根据颜色饱和度值将彩色颜色分为3个区域，饱和度大于S_c的彩色区域，饱和度小于S_g的灰度区域及饱和度处于之间的模糊区域，彩色区域与灰度区域统称为准确颜色区域。对于彩色区域仅考虑其颜色分量H值，对于灰度区域仅考虑其灰度分量V值，而模糊区域则同时考虑其颜色分量与灰度分量值；另外，对于灰度值太小的灰度分量值都作为灰度中的黑色。

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

HSV（也叫HSB）是对RGB色彩空间中点的两种有关系的表示，描述上比RGB更准确的感知颜色联系，并计算简单。H指hue（色相）、S指saturation（饱和度）、L指lightness（亮度）、V指value(色调)、B指brightness（明度）。

色相（H）是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色等。

饱和度（S）是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100%的数值。色调（V），亮度（L）取0-100%。

HSV把颜色描述在圆柱坐标系内的点，这个圆柱的中心轴取值为自底部的黑色到顶部的白色而在它们中间是的灰色，绕这个轴的角度对应于“色相”，到这个轴的距离对应于“饱和度”，而沿着这个轴的高度对应于“亮度”，“色调”或“明度”。

HSV（色相，饱和度，色调）在概念上可以被认为是颜色的倒圆锥体（黑点在下顶点，白色在上底面圆心）。因为HSV是设备依赖的RGB的简单变换，（h，s，l）或（h，s，v）三元组定义的颜色依赖于所使用的特定红色、绿色和蓝色“加法原色”。每个独特的RGB设备都伴随着一个独特的HSV空间。但是（h，s，l）或（h，s，v）三元组在被约束于特定RGB空间。比如，sRGB的时候就变成明确的了。

HSV模型是三原色光模式的一种非线性变换。

将HSV空间中的颜色分量均匀分为HBINS个间隔，优选地，将彩色空间0-360度平均分为HBINS=100个间隔。灰度值V小于Tg=0.05为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔，优选地，VBINS=100。图像的临时彩色直方图包括2个部分：准确颜色区域对应的绝对区域直方图H₁，其长度为1+VBINS+HBINS；及模糊颜色对应的区域的模糊区域直方图H₂，其长度为VBINS+HBINS，如图3所示。准确颜色区域的绝对区域直方图H₁中的灰度区域为1+VBINS，颜色区域HBINS为彩色的，颜色排列依次为红色、黄色、绿色、蓝色和红色，在颜色交叉部分，按各颜色所占比例形成新的颜色。模糊颜色区域的模糊区域直方图H₂的灰度区域为VBINS，颜色区域HBINS的颜色排列一致。准确颜色区域的绝对区域直方图H₁与最终的颜色直方图H_f是绝对区域直方图H₁与模糊区域直方图H₂之和，其颜色分布与准确颜色区域的直方图分布一致,长度为1+VBINS+HBINS。最终的颜色直方图定义为：

$H_f=(H_1\&CirclePlus;H_2)\left(x\right)$

$=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

其中x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先。

在颜色直方图定义完成后，则计算绝对区域直方图H₁与模糊区域直方图H₂，具体计算步骤为：

①将行人目标图像转换到HSV颜色空间。

②如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1。

③如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1。

④如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1。

⑤如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分。

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1。

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

优选地，颜色区域的阈值S_c＝0.15，S_g＝0.05

基于绝对区域直方图H₁与模糊区域直方图H₂，则颜色特征直方图H_f的计算步骤为：

①将绝对区域直方图H₁与模糊区域直方图H₂置零。

②取第i个行人目标序列及对应的前景序列其中N_i为第i个行人目标序列的序列长度；使用以下公式计算行人目标序列每帧图像对应的权值f，并对行人目标序列i进行加权，取T=N_i*2/3。如图4所示，为T与累积值weight(j)函数示意图。

$f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.;$

计算行人目标序列的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景。采用内切椭圆能够去除图像中的干扰，如图2（c）所示。

③将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累积至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成。

④保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。

步骤S140，根据公式 $\begin{array}{c}{H}_f=(H_1\&CirclePlus;H_2)\left(x\right)\\ =\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.\end{array}$

计算行人目标直方图H_f，并使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS=100个间隔，灰度值V小于阈值Tg=0.05为黑色区域，灰度区域[Tg,1]均匀分为VBINS=10个间隔。

测地距离EMD（Earth Mover's Distance）用于计算直方图之间的距离，当特征间(bin与bin)的距离可以使用ground distance求得时,用Earth Mover's Distance做相似计算能够得到更精确的结果。

上述基于图像的行人目标检索方法通过基于学习的目标跟踪及前景分割，得到具有鲁棒性的行人检测结果，进而获取行人目标序列及前景序列。再通过计算获取行人目标序列的颜色特征直方图，即对行人目标的服饰颜色进行特征提取及匹配，最后根据公式计算行人目标直方图H_f，并使用测地距离获取行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。从而获取具有相关性排列的检索结果。上述基于图像的行人目标检索方法避免了分割服饰这一难题，而是在视频中提取出检测跟踪出来的一系列运动目标的前景。通过累计每幅图像的前景可以有效地提取出其服饰信息。因此，基于背景分割的行人检测提高了视频中行人检测的鲁棒性，避免服饰分割有效地提高了行人检索的准确性。

如图5所示，一种基于图像的行人目标检索***，包括图像获取模块500、行人序列多直方图特征计算模块540、行人序列特征计算模块550及测地距离排序模块560；所述行人序列多直方图特征计算模块540分别与所述图像获取模块500及所述行人序列特征计算模块550连接，所述行人序列特征计算模块550还与所述测地距离排序模块560连接。

图像获取模块500用于从原始视频图像中获取行人目标序列和相应的前景序列。

行人序列多直方图特征计算模块540用于采用公式

$f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度；

所述行人序列多直方图特征计算模块540还用于将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，

所述行人序列特征计算模块550用于根据公式

$H_f=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

计算行人目标直方图H_f；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS个间隔，灰度值V小于阈值Tg为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔；

所述测地距离排序模块560用于使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。

图像获取模块500包括前景分割模块510、行人目标检测模块520及行人目标序列提取模块530。

所述前景分割模块510分别与所述行人目标检测模块520及所述行人目标序列提取模块530连接。

所述前景分割模块510用于采用混合高斯模型分割每帧行人目标的前景和背景。

所述行人目标检测模块520包括行人位置初步估计模块522及基于HOG的行人检测模块524。

所述行人位置初步估计模块522用于统计该帧对应的前景模板窗口内可能包含存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素，并将存在重合的窗口按照如下步骤进行合并：

将任何两个有重合的窗口标记为同一个集合S_i；

判断集合S_i，如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复判断直至所有包含有重合部分窗口的集合都被合并；

将一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

所述基于HOG的行人检测模块524是采用HOG特征在初步估计得到的行人位置处进行行人检测。

行人目标序列提取模块530包括行人跟踪模块532及前景序列获取模块534。

所述行人跟踪模块532用于使用基于学习方法的行人跟踪技术（TLD）对检测到的行人目标进行跟踪，获取行人目标序列；

所述前景序列获取模块534用于在行人目标序列中提取对应的前景序列。

行人序列多直方图特征计算模块540包括颜色空间转化模块542和单帧图像颜色直方图计算模块544。

所述颜色空间转化模块542用于将行人目标图像转换到HSV颜色空间。

所述单帧图像颜色直方图计算模块544包括以下计算步骤：

如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1；

如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1；

如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1；

如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分：

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1；

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

行人序列多直方图特征计算模块540还包括行人序列颜色直方图累积计算模块546，行人序列颜色直方图累积计算模块546包括如下计算步骤：

将绝对区域直方图H₁与模糊区域直方图H₂置零；

计算行人目标序列i的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景；

将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累加至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成；

保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。

上述基于图像的行人目标检索***通过提取视频中的行人目标，并提取行人目标的特征，快速地在本视频或其他视频中检索具有相似特征的行人目标。利用提取行人的梯度方向直方图（HOG）特征，然后采用这些特征来区分行人与非行人。在视频中行人是运动的，利用这一有效的信息可以将一般的行人检测算法（如HOG）在视频中更加鲁棒的实现。

上述基于图像的行人目标检索***通过基于学习的目标跟踪及前景分割，得到具有鲁棒性的行人检测结果，进而获取行人目标序列及前景序列。再通过计算获取行人目标序列的颜色特征直方图，即对行人目标的服饰颜色进行特征提取及匹配，最后根据公式计算行人目标直方图H_f，并使用测地距离获取行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。从而获取具有相关性排列的检索结果。上述基于图像的行人目标检索***避免了分割服饰这一难题，而是在视频中提取出检测跟踪出来的一系列运动目标的前景。通过累计每幅图像的前景可以有效地提取出其服饰信息。因此，基于背景分割的行人检测提高了视频中行人检测的鲁棒性，避免服饰分割有效地提高了行人检索的准确性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像的行人目标检索方法，包括以下步骤：

从原始视频图像中获取行人目标序列和相应的前景序列；

采用公式 $f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度；

将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，

根据公式 $H_f=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

计算行人目标直方图H_f，并使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS个间隔，灰度值V小于阈值Tg为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔。

2.根据权利要求1所述的基于图像的行人目标检索方法，其特征在于，从原始视频图像中获取行人目标序列和相应的前景序列的步骤包括：

采用混合高斯模型分割行人目标的前景和背景；

统计该帧内窗口内可能包含存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素；

将窗口的重合部分进行合并；

采用基于梯度方向直方图（HOG）的方法在合并后的窗口检测行人目标；

采用基于学习的目标跟踪方法对检测到的行人目标进行跟踪获得行人目标序列；

利用获取到的行人目标序列，从原始视频图片与其对应的背景分割图中获取前景序列。

3.根据权利要求2所述的基于图像的行人目标检索方法，其特征在于，所述将窗口的重合部分进行合并的步骤包括：

将任何两个有重合的窗口标记为同一个集合S_i；

判断集合S_i，如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复本步骤直至所有包含有重合部分窗口的集合都被合并；

用一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

4.根据权利要求1所述的基于图像的行人目标检索方法，其特征在于，所述绝对区域直方图H₁与模糊区域直方图H₂的计算步骤包括：

将行人目标图像转换到HSV颜色空间；

如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1；

如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1；

如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1；

如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分：

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1；

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

5.根据权利要求1所述的基于图像的行人目标检索方法，其特征在于，所述将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂的步骤包括：

将绝对区域直方图H₁与模糊区域直方图H₂置零；

计算行人目标序列i的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景；

将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累加至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成；

保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。

6.一种基于图像的行人目标检索***，其特征在于，包括图像获取模块、行人序列多直方图特征计算模块、行人序列特征计算模块及测地距离排序模块；所述行人序列多直方图特征计算模块分别与所述图像获取模块及所述行人序列特征计算模块连接，所述行人序列特征计算模块还与所述测地距离排序模块连接；

所述图像获取模块用于从原始视频图像中获取行人目标序列和相应的前景序列；

所述行人序列多直方图特征计算模块用于采用公式

$f_T\left(t\right)=\left\{\begin{array}{cc}\cos \left(\frac{{1.1940t}^2}{T^2}\right),& t\&le;T\\ \exp (-\frac{t^2}{T^2}),& t>T\end{array}\right.$ 计算所述行人目标序列i的每帧图像R_i,j的权值，T=N_i*2/3；N_i为第i个行人目标序列的序列长度，T为序列长度；

所述行人序列多直方图特征计算模块还用于将行人目标序列i的所有帧对应的前景序列的像素点按照所述权值进行累加，获得绝对区域直方图H₁与模糊区域直方图H₂，

所述行人序列特征计算模块用于根据公式

$H_f=\left\{\begin{array}{cc}{H}_1\left(1\right)& i=1\\ H_1\left(i\right)+(1-x)\&times;H_2(i-1)& 2\&le;i\&le;1+\mathrm{VBINS}\\ H_1\left(i\right)+x\&times;H_2(i-1)& 1+\mathrm{VBINS}<i\&le;1+\mathrm{VBINS}+\mathrm{HBINS}\end{array}\right.$

计算行人目标直方图H_f；其中，x∈{0,1}，x＝0为灰度优先，x＝1表示彩色优先；颜色分量均匀分为HBINS个间隔，灰度值V小于阈值Tg为黑色区域，灰度区域[Tg,1]均匀分为VBINS个间隔；

所述测地距离排序模块用于使用测地距离计算行人目标直方图H_f之间的距离，按照测地距离的大小对行人目标序列进行排序。

7.根据权利要求6所述的基于图像的行人目标检索***，其特征在于，所述图像获取模块包括前景分割模块、行人目标检测模块及行人目标序列提取模块；

所述前景分割模块分别与所述行人目标检测模块及所述行人目标序列提取模块连接；

所述前景分割模块用于采用混合高斯模型分割每帧行人目标的前景和背景；

所述行人目标检测模块包括行人位置初步估计模块及基于HOG的行人检测模块；

所述行人位置初步估计模块用于统计该帧对应的前景模板窗口内可能包含存在行人目标的窗口W＝{w_i}，其中，窗口内包含的前景面积占窗口面积一半以上，且窗口的高大于Hmin=60像素，宽大于Wmin=30像素，并将存在重合的窗口按照如下步骤进行合并：

将任何两个有重合的窗口标记为同一个集合S_i；

判断集合S_i，如果并且有i≠j∧w_i1∩w_i2≠φ，那么合并S_i与S_j；重复判断直至所有包含有重合部分窗口的集合都被合并；

将一个面积最小的包含集合S_i所有窗口的矩形T_i来代表集合S_i中所有的窗口，重新形成窗口集合T＝{T_i}。

所述基于HOG的行人检测模块是采用HOG特征在初步估计得到的行人位置处进行行人检测。

8.根据权利要求6所述的基于图像的行人目标检索***，其特征在于，所述行人目标序列提取模块包括行人跟踪模块及前景序列获取模块；

所述行人跟踪模块用于使用基于学习方法的行人跟踪技术（TLD）对检测到的行人目标进行跟踪，获取行人目标序列；

所述前景序列获取模块用于在行人目标序列中提取对应的前景序列。

9.根据权利要求6所述的基于图像的行人目标检索***，其特征在于，所述行人序列多直方图特征计算模块包括颜色空间转化模块和单帧图像颜色直方图计算模块；

所述颜色空间转化模块用于将行人目标图像转换到HSV颜色空间；

所述单帧图像颜色直方图计算模块包括以下计算步骤：

如果行人目标图像像素的灰度值V＜Tg，则H₁[1]＝H₁[1]+1；

如果行人目标图像像素的灰度值V≥Tg并且饱和度值S≤S_g，则计算像素的灰度值，索引 $\mathrm{index}=1+\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₁[index]＝H₁[index]+1；

如果行人目标图像像素灰度值V≥Tg并且饱和度值S≥S_c，则计算像素的颜色值，索引 $\mathrm{index}=1+\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₁[index]＝H₁[index]+1；

如果像素灰度值V≥Tg并且饱和度值S_g＜S＜S_c,则计算模糊区域直方图H₂；其中，模糊区域直方图计算包括颜色部分与灰度部分：

灰度部分： $\mathrm{index}=\mathrm{ceil}((V-\mathrm{Tg})\&times;\frac{\mathrm{VBINS}}{1-\mathrm{Tg}}),$ H₂[index]＝H₂[index]+1；

彩色部分： $\mathrm{index}=\mathrm{VBINS}+\mathrm{ceil}(H\&times;\frac{\mathrm{HBINS}}{360}),$ H₂[index]＝H₂[index]+1。

10.根据权利要求6所述的基于图像的行人目标检索***，其特征在于，所述行人序列多直方图特征计算模块还包括行人序列颜色直方图累积计算模块，所述行人序列颜色直方图累积计算模块包括如下计算步骤：

将绝对区域直方图H₁与模糊区域直方图H₂置零；

计算行人目标序列i的第j帧前景F_i,j的内切椭圆，将内切椭圆与矩形之间部分置为背景；

将行人目标序列i的第j帧R_i,j对应的前景部分像素按照所述权值进行累加至第j帧R_i,j的绝对区域直方图H₁与模糊区域直方图H₂，累积值为weight(j)，H₁[index]＝H₁[index]+weight(j)或H₂[index]＝H₂[index]+weight(j)，直至行人目标序列中所有帧都计算完成；

保存绝对区域直方图H₁与模糊区域直方图H₂为序列i的颜色特征直方图。