CN102609686B - 一种行人检测方法 - Google Patents

Abstract

本发明公开了一种行人检测方法，通过基于HOG特征的人体检测方法获取当前帧图像中的候选检测窗口，然后确定当前候选检测窗口与前一帧图像中的人体检测窗口的对应关系，并对当前候选检测窗口进行尺寸规范化，再根据是否建立对应确定对当前规范化候选检测窗口采用基于形状先验的图割方法还是采用基于运动信息与形状先验相结合的图割方法，以获取当前规范化候选检测窗口的对象分割掩膜，最后利用对象分割掩膜与HOG检测得分共同训练的行人分类器来验证当前候选检测窗口是否为误检，由于将运动信息和形状先验融入到图割方法中，因此提高了对象分割的准确性，进而提高了对候选检测窗口的检测判别，从而有效地降低了误检率、提高了检测的准确性。

Description

一种行人检测方法

技术领域

本发明涉及一种行人检测技术，尤其是涉及一种视频中的行人检测方法。

背景技术

行人检测技术在视觉监控、汽车自动驾驶、机器人视觉、基于内容的图像与视频索引以及高级人机交互等方面具有广泛的应用。在实际应用中，由于受到场景的复杂性、视角与尺度的变化、人体姿态与着装的多样性以及部分遮挡等因素的影响，使得行人检测面临极大的挑战性。

近几年来随着研究的深入，研究人员提出了各种行人检测方法。Dalal与Triggs等人提出了一种基于梯度方向直方图的人体检测方法(Dalal N，Triggs B.Histograms oforiented gradient for human detection.In：IEEE Conference on Computer Vision and PatternRecognition，Dalal N，Triggs B.基于梯度方向直方图的人体检测.电气电子工程师学会，计算机视觉与模式识别国际会议)，该人体检测方法通过提取梯度方向直方图(HOG，Histograms of Oriented Gradients)特征，采用多尺度窗口扫描结合SVM(Support VectorMachine，支持向量机)分类器的方式获得了较好的人体检测效果。Felzenszwalb等人提出了一种判别训练过程下的多尺度、可变形的部件模型(Felzenszwalb P，McAllesterD，Ramanan D.A discriminatively trained，multiscale，deformable part model.In：IEEEConference on Computer Vision and Pattern Recognition，Felzenszwalb P.McAllesterD，Ramanan D.一种判别训练过程下的多尺度、可变形部件模型.电气电子工程师学会，计算机视觉与模型识别国际会议)，该方法将多尺度的变形部件模型与HOG特征相结合，利用一种新的隐式SVM判别方法解决部件位置为隐变量的训练问题，进一步提高了行人检测准确率。Dollar等人同样提出了一种基于部件模型的行人检测方法(Dollár P，Babenko B，Belongie S，Perona P，Tu Z.Multiple component learning for object detection.In：10th European Conference on Computer Vision，Dollár P，Babenko B，Belongie S，PeronaP，Tu Z.基于多部件学习的对象检测.第10界计算机视觉欧洲会议)，不同的是该行人检测方法利用小波特征与Boosting方法训练部件模型。Sabzmeydani等人提出了一种基于类似形状特征学习的行人检测方法(Sabzmeydani P，Mori G.Detecting pedestrians by learningshapelet features.In：IEEE Conference on Computer Vision and Pattern Recognition，Sabzmeydani P，Mori G.基于类似形状特征学习的行人检测.电气电子工程师学会，计算机视觉与模型识别国际会议)，该行人检测方法通过Ada-Boost学习由底层梯度信息组合而形成的类似形状的中层特征，并进一步利用Ada-Boost选择形状特征子集进行人体检测，获得了超过基于梯度方向直方图的人体检测方法的检测效果。Tran等人提出了一种通过人体模型估计改进行人检测的方法(Tran D，Forsyth D.Configuration estimates improvepedestrian finding.In：In Advances in Neural Information Processing System，Vol.20，Cambrige：MIT Press，Tran D，Forsyth D.模型估计改进行人检测.神经信息处理***20卷.剑桥：麻省理工学院出版)，该行人检测方法利用梯度的局部直方图与梯度的局部PCA(Principal Component Analysis，主成分分析)特征学习人体模型完成人体检测。Wu等人提出了一种基于级联聚类树分类的多视角、多姿态对象检测方法(Wu B，Nevatia R.Cluster boosted tree classifier for multi-view，multi-pose object detection.In：IEEEInternational Conference on Computer Vision，Wu B，Nevatia R.基于级联聚类树分类的多视角、多姿态对象检测.电气电子工程师学会，计算机视觉国际会议)，该方法在Boosting框架与edgelet特征相结合的基础上，通过自动构造层次树解决多视角的行人检测问题。

为进一步提高人体检测准确率，研究人员提出了基于上下文(Context)的静态人体检测方法以及多特征融合的行人检测方法。基于上下文的静态人体检测方法一般都利用基于表观特征的检测子以窗口扫描方式获得大量的候选检测窗口，再通过各种上下文信息对候选检测窗口进行验证，以此提高检测准确率。Divvala等人提出了基于环境上下文的对象检测方法(Divvala SK，Hoiem D，Hays JH，Efros AA，Hebert M.An empirical study ofcontext in object detection.In：IEEE Conference on Computer Vision and Pattern Recognition，Divvala SK，Hoiem D，Hays JH，Efros AA，Hebert M.对象检测中环境上下文方法的研究.电气电子工程师学会，计算机视觉与模式识别国际会议)，该对象检测方法先获取特定对象(包括人体)检测的候选检测窗口，然后基于各种可能的Context特征训练若干分类器，并通过逻辑回归方式将多个分类器合并在一起，完成对候选检测窗口中对象的出现、定位以及尺寸的判别，并结合分割方法获取对象的空间支持。Ramanan等人提出的一种通过分割验证对象检测的方法(Ramanan D.Using segmentation to verify objecthypotheses.In：IEEE Conference on Computer Vision and Pattern Recognition，Ramanan D.通过分割验证对象检测.电气电子工程师学会，计算机视觉与模式识别国际会议)，该方法同样在通过基本检测子获得候选人体检测窗口后，通过分割获取候选人体检测窗口中对象的形状特征，并基于该形状训练人体分类器完成对候选人体检测窗口的验证。

行人检测方法的另一个研究方向是多特征融合的行人检测方法。Wojek等人对多个基于单特征或多特征的人体检测方法的性能进行评价(Wojek C，Schiele B.A performanceevaluation of single and multi-teature people detection.In：30th DAGM symposium on PatternRecognition，Wojek C，Schiele B.对通过单特征与多特征的人体检测方法效果的评价.第30界模式识别会议--DAGM研讨会)，其评价了多个人体检测特征组合的检测效果。Wu等人提出了一种兼顾检测效率与检测准确性的多特征结合的人体检测方法(Wu B，NevatiaR.Optimizing discrimination-efficiency tradeoff in integrating heterogeneous local featuresfor object detection.In：IEEE Conference on Computer Vision and Pattern Recognition，WuB，Nevatia R.结合各向异性的局部特征优化对象检测的判别效率.电气电子工程师学会，计算机视觉与模型识别国际会议)，该人体检测方法分别基于HOG、edgelet以及协方差等特征训练多个分类器，自动学习分类器的分类性能并据此建立分层次的多级人体检测分类器。在与运动特征的结合方面，Jones等人(Jones M，Snow D.Pedestrian detectionusing boosted features over many frames，In：19th International Conference on PatternRecognition(ICPR)，Motion，Tracking，Video Analysis，Jones M，Snow D.基于多帧图像特征提取的行人检测，第19界模式识别国际会议，运动、跟踪、视频分析)与Viola等人(ViolaP.Jones M，Snow D.Detecting pedestrians using patterns of motion and appearance.In：9thIEEE International Conference on Computer Vision 2，Viola P，Jones M，Snow D.基于运动模式与表观特征的行人检测.第9界电气电子工程师学会计算机视觉国际会议)提出了结合表观特征与运动特征的行人检测方法，分类器的输入来自连续的两帧或多帧图像中同一小窗口内的图像，基于连续两帧图像的帧差异以及两帧图像的方向偏移差提取运动特征，基于单独一帧图像提取Haar表观特征，最终基于上述两类特征训练Adaboost分类器进行行人检测。上述结合表观特征与运动特征的行人检测方法，虽然增强了行人检测特征的判别特性，但其运动特征的提取只能限制在固定场景的情景下；另一方面，由于要求在连续多帧图像的检测窗口内，行人不能运动到检测窗口外，而检测窗口在多帧图像序列中是固定位置和大小的，因此，只能完成针对很小尺寸的行人检测，从而限制了行人检测的应用环境。Tian等人提出了一种基于颜色与空间信息的时序分析方法(Tian G，QiFH.Feature transformation and SVM based hierarchicaI pedestrian detection with amonocular moving camera.ACTA ELECTRONICA SINICA，Tian G，Qi FH.单目移动摄像条件下基于特征变换与SVM的分层行人检测.电子学报)，该方法首先利用表观检测子(基于类似Haar特征的Adaboost分类器)初步判别单帧图像中行人检测框，然后根据连续帧中检测框的颜色与空间信息的相似性判别一个检测框是否多次出现，并将多次出现的检测框作为真实的行人检测结果，以此消除误检，然而该方法只能消除一部分在表观检测子中偶尔出现的错误检测框，却无法消除在表观检测子中连续出现的误检，因此并没有真正弥补相应的表观检测子在行人检测能力上的不足。

通过上述分析可以发现，上述各种行人检测方法尽管取得了不错的检测效果，然而在减少误检(false positive)、检测定位准确率以及检测效率等方面仍然需要进一步提高。

发明内容

本发明所要解决的技术问题是提供一种误检率低、检测准确率高的行人检测方法。

本发明解决上述技术问题所采用的技术方案为：一种行人检测方法，其特征在于包括以下步骤：

①视频序列中当前待处理的帧图像定义为当前帧图像；

②利用基于HOG特征的人体检测方法，获取当前帧图像中尽可能多的包含有人体的候选检测窗口及各个候选检测窗口相应的HOG检测得分；

③当前帧图像中当前待处理的候选检测窗口定义为当前候选检测窗口；

④将当前候选检测窗口与当前帧图像的前一帧图像中的所有人体检测窗口通过窗口的面积和窗口的质心进行对比，如果两者的面积的比值小于设定的第一阈值且两者的质心的坐标位置之差小于设定的第二阈值，则认为当前候选检测窗口与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象；否则，认为当前候选检测窗口中包含有新出现的候选人体检测对象；然后对当前候选检测窗口的尺寸进行规范化处理，得到当前规范化候选检测窗口，对于与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象的当前规范化候选检测窗口，采用基于运动信息和形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜，对于包含有新出现的候选人体检测对象的当前规范化候选检测窗口，采用基于形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜；

⑤将当前规范化候选检测窗口内的对象分割掩膜和当前候选检测窗口对应的HOG检测得分输入行人分类器，行人分类器验证当前候选检测窗口是否为误检；

⑥将当前帧图像中下一个待处理的候选检测窗口作为当前候选检测窗口，并返回步骤④继续执行，直至当前帧图像中的所有候选检测窗口处理完毕；

⑦将视频序列中下一帧待处理的帧图像作为当前帧图像，并返回步骤②继续执行，直至视频序列中的所有帧图像处理完毕。

所述的步骤⑤中的行人分类器通过离线训练得到，所述的行人分类器的离线训练过程为：b1、从具有矩形框标注的人体训练库中选择多幅人体样本，利用基于HOG特征的人体检测方法，获取所有包含有人体的人体样本和对应的HOG检测得分及所有不包含有人体的人体样本和对应的HOG检测得分，将所有包含有人体的人体样本作为行人分类器的正样本，将所有不包含有人体的人体样本作为行人分类器的负样本；b2、采用基于形状先验的图割方法获取所有正样本各自对应的对象分割掩膜及所有负样本各自对应的对象分割掩膜；b3、将正样本的对象分割掩膜和正样本对应的HOG检测得分的集合定义为行人分类器的正样本特征，将负样本的对象分割掩膜和负样本对应的HOG检测得分的集合定义为行人分类器的负样本特征；b4、根据正样本特征和负样本特征训练得到线性的行人分类器。

所述的基于形状先验的图割方法的具体过程为：

④-1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜，其中，M≥100；

④-2、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜；

④-3、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg′(u)，其中，fg′用于表示当前规范化候选检测窗口中的前景；

④-4、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg′(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg′(k))和Pr(bg′(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg′用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg′(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bg′(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg′(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率；

④-5、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.,$ 同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u，v}(f_u，f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg′，bg′}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg′，bg′}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值；

④-6、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u，v}(f_u，f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E′(f)，

其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E′(f)的一元项，V_{u，v}(f_u，f_v)作为图割能量函数E′(f)的二元项；

④-7、根据MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜。

所述的基于运动信息和形状先验的图割方法的具体过程为：

④-1)、对具有矩形框标注的人体训练库中的人体样本进行预处理，选择M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜，其中，M≥100；

④-2)、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜；

④-3)、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg′(u)，其中，fg′用于表示当前规范化候选检测窗口中的前景；

④-4)、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg′(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg′(k))和Pr(bg′(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg′用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg′(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bg′(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg′(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率；

④-5)、利用当前帧图像的前一帧图像中与当前规范化候选检测窗口包含有同一个人体检测对象的规范化人体检测窗口中前景的颜色直方图分布模型Pr(fg′_old(k))，修正当前规范化候选检测窗口中前景的颜色直方图分布模型Pr(fg′(k))，得到当前规范化候选检测窗口中前景的颜色直方图分布的修正模型，记为Pr(fg′_new(k))，Pr(fg′_new(k))＝(1-α)Pr(fg′(k))+αPr(fg′_old(k))，其中，α为修正系数，α∈[0.5，1]；

④-6)、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.,$ 同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u，v}(f_u，f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg′，bg′}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg′，bg′}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值；

④-7)、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u，v}(f_u，f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E′(f)，

其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E′(f)的一元项，V_{u，v}(f_u，f_v)作为图割能量函数E′(f)的二元项；

④-8)、根据MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜。

所述的步骤④-1和所述的步骤④-1)的具体过程均为：a1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本；a2、将各幅初始人体样本的矩形框标注内的所有像素点属于前景的概率设为1，将各幅初始人体样本的矩形框标注外的所有像素点属于前景的概率设为0；a3、分别计算各幅初始人体样本中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg(k))和Pr(bg(k))， $\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}{p}_{\mathrm{fg}}\left(x\right)[h\left(x\right)=k],$ $\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}(1-p_{\mathrm{fg}}\left(x\right))[h\left(x\right)=k],$ 其中，fg表示初始人体样本中的前景，bg表示初始人体样本中的背景，k表示初始人体样本中前景的颜色直方图中Bin的索引或背景的颜色直方图中Bin的索引，fg(k)表示初始人体样本中前景的颜色直方图中的第k个Bin，bg(k)表示初始人体样本中背景的颜色直方图中的第k个Bin，x表示初始人体样本中的像素点，p_fg(x)表示初始人体样本中的像素点x属于前景的概率，h(x)表示初始人体样本中的像素点x所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号；a4、分别计算各幅初始人体样本中的像素点x属于前景或背景的程度，记为V_x(f_x)， $V_x\left(f_x\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\right)& f_x=\mathrm{fg}\\ -\log \left(\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\right)& f_x=\mathrm{bg}\end{array}\right.,$ 同时分别计算各幅初始人体样本中的像素点x在邻域窗口N×N内的平滑程度，记为V_{x，y}(f_x，f_y)，

其中，f_x表示初始人体样本中的像素点x的分割标签，f_x∈{fg，bg}，f_y表示初始人体样本中的像素点y的分割标签，f_y∈{fg，bg}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_x表示初始人体样本中的像素点x的颜色向量，v_y表示初始人体样本中的像素点y的颜色向量，σ表示初始人体样本中所有相邻像素点之间的颜色距离的平均值；a5、根据各幅初始人体样本中的像素点x属于前景或背景的程度V_x(f_x)及初始人体样本中的像素点x在邻域窗口N×N内的平滑程度V_{x，y}(f_x，f_y)，建立各幅初始人体样本的图割能量函数，记为E(f)，

其中，f对应一种图割结果，X表示初始人体样本中的所有像素点的集合，V_x(f_x)作为图割能量函数E(f)的一元项，V_{x，y}(f_x，f_y)作为图割能量函数E(f)的二元项；a6、根据MRF-MAP框架理论及其在图像分割中的应用，各幅初始人体样本的图割能量函数

取值最小时得到各幅初始人体样本各自对应的对象分割掩膜；a7、采用尺度归一化方法将各幅初始人体样本各自对应的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的初始人体样本的对象分割掩膜作为规范化对象分割掩膜。

所述的步骤a1中的人体样本的预处理过程为：对人体训练库中的每幅矩形框标注的人体样本在宽度与高度上向外扩展，两侧宽度的扩展距离为原矩形框宽度的1/2，两侧高度的扩展距离为原矩形框高度的1/6，然后将宽度与高度上向外扩展后的矩形框作为检测窗口，得到预处理后的人体样本。

所述的步骤④中当前候选检测窗口的尺寸规范化采用尺度归一化方法，将其规范化为与预设的掩膜窗口的尺寸一致。

所述的预设的掩膜窗口的尺寸根据常见的视频序列中人体的大小确定；所述的邻域窗口采用四邻域的窗口，N＝4。

所述的步骤④中两者的面积的比值为具有较大尺寸的窗口的面积与具有较小尺寸的窗口的面积的比值，设定的第一阈值为4；两者的质心的坐标位置之差为两者的质心的X轴方向的坐标位置之差及两者的质心的Y轴方向的坐标位置之差，设定的第二阈值为10个像素。

与现有技术相比，本发明的优点在于首先通过基于HOG特征的人体检测方法获取当前帧图像中的候选检测窗口，然后通过对比当前候选检测窗口与前一帧图像中的人体检测窗口的质心与面积比，确定当前候选检测窗口与前一帧图像中的人体检测窗口的对应关系，并对当前候选检测窗口进行尺寸规范化，再根据是否建立对应关系确定对当前规范化候选检测窗口采用基于形状先验的图割方法还是采用基于运动信息与形状先验相结合的图割方法，以获取当前规范化候选检测窗口的对象分割掩膜，最后通过利用当前规范化候选检测窗口的对象分割掩膜与当前候选检测窗口的HOG检测得分共同训练的行人分类器来验证当前候选检测窗口是否为误检，在此检测过程中，由于将运动信息和形状先验融入到图割方法中，因此提高了对象分割的准确性，进而提高了对候选检测窗口的检测判别，从而有效地降低了误检率、提高了检测的准确性；在获取规范化候选检测窗口的对象分割掩膜后再利用行人分类器通过对象分割掩膜与相应的候选检测窗口得分验证候选检测窗口的检测结果，可以有效消除通过基于HOG特征的人体分类检测器获取的候选检测窗口的误检，进一步提高了本发明方法的检测准确率。

附图说明

图1为本发明的行人检测方法的总体实现过程示意图；

图2为人体样本的对象分割掩膜的获取过程示意图；

图3a为来自CAVIAR视频的一帧图像(为商店走廊的视频序列中的一帧图像)，以及只采用基于HOG特征的人体检测方法的检测结果；

图3b为图3a所示的图像采用HOG结合基于形状先验分割的检测方法的检测结果；

图3c为图3a所示的图像采用HOG结合基于运动信息与形状先验分割的检测方的检测结果；

图3d为来自CAVIAR视频的另一帧图像(为商店走廊的视频序列中的另一帧图像)，以及只采用基于HOG特征的人体检测方法的检测结果；

图3e为图3d所示的图像采用HOG结合基于形状先验分割的检测方法的检测结果；

图3f为图3d所示的图像采用HOG结合基于运动信息与形状先验分割的检测方的检测结果；

图4a为自行通过运动中的摄像机获取的一段视频序列中的一帧图像，以及只采用HOG检测方法的检测结果；

图4b为图4a所示的图像采用HOG结合基于形状先验分割的检测方法的检测结果；

图4c为图4a所示的图像采用HOG结合基于运动信息与形状先验分割的检测方法的检测结果；

图4d为自行通过运动中的摄像机获取的一段视频序列中的另一帧图像，以及只采用HOG检测方法的检测结果；

图4e为图4d所示的图像采用HOG结合基于形状先验分割的检测方法的检测结果；

图4f为图4d所示的图像采用HOG结合基于运动信息与形状先验分割的检测方法的检测结果；

图5a为基于HOG特征的人体检测方法、HOG结合基于形状先验分割的检测方法及HOG结合基于运动信息与形状先验分割的检测方法在CAVIAR测试视频上的PR曲线及平均准确率；

图5b为基于HOG特征的人体检测方法、HOG结合基于形状先验分割的检测方法及HOG结合基于运动信息与形状先验分割的检测方法在自行拍摄的测试视频上的PR曲线及平均准确率；

图6为基于形状先验的图割方法和基于运动信息与形状先验的图割方法针对同一候选检测窗口的分割结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种行人检测方法，首先通过基于HOG特征的人体检测方法获取当前帧图像中的候选检测窗口，然后通过分割获取候选检测窗口的前景对象(人体)的全局形状特征(对象分割掩模)，并联合该特征与HOG检测得分共同输入行人分类器对候选检测窗口进行验证。由于在连续多帧图像中，一般行人图像(前景)变化不大，但背景图像会发生较大的变化，因此本发明将运动信息引入到图像分割中，在获得更准确的分割结果的同时，提高了行人检测准确率。本发明的行人检测方法的总体实现过程如图1所示，其包括以下具体步骤：

①将视频序列中当前待处理的帧图像定义为当前帧图像。在此，视频序列可直接采用常见的视频序列。

②利用基于HOG特征的人体检测方法，获取当前帧图像中尽可能多的包含有人体的候选检测窗口及各个候选检测窗口相应的HOG检测得分。在此，基于HOG特征的人体检测方法采用现有技术，在实际处理过程中可适当降低人体分类检测器的检测阈值，这样能够提取得到更多的候选检测窗口，目的是尽可能多地检测出行人，并通过随后的分割验证消除误检，以此来提高检测准确率。在此，候选检测窗口中可能包含有人体，也有可能不包含有人体。

③当前帧图像中当前待处理的候选检测窗口定义为当前候选检测窗口。

④将当前候选检测窗口与当前帧图像的前一帧图像中的所有人体检测窗口通过窗口的面积和窗口的质心进行对比，本发明中采用的对比方法如下：如果两者的面积的比值即具有较大尺寸的窗口的面积与具有较小尺寸的窗口的面积的比值小于4且两者的质心的坐标位置之差即两者的质心的X轴方向的坐标位置之差及两者的质心的Y轴方向的坐标位置之差均小于10个像素，则认为当前候选检测窗口与当前帧图像的前一帧图像中的某一个人体检测窗口之间建立了对应关系，即认为当前候选检测窗口与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象；否则，认为当前候选检测窗口与当前帧图像的前一帧图像中的任一个检测窗口之间不存在对应关系，即认为当前候选检测窗口中包含有新出现的候选人体检测对象。确定好有无对应关系后，对当前候选检测窗口的尺寸进行规范化处理，得到当前规范化候选检测窗口。对没有建立对应关系的当前规范化候选检测窗口，即对于包含有新出现的候选人体检测对象的当前规范化候选检测窗口，采用基于形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜；对于建立对应关系的当前规范化候选检测窗口，即对于与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象的当前规范化候选检测窗口，则采用结合运动信息与形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜。对视频的第一帧图像中的全部候选检测窗口，按照无对应关系候选检测窗口方式处理。在此，当前候选检测窗口的尺寸规范化采用尺度归一化方法，将其规范化为与预设的掩膜窗口的尺寸一致。

在此，由于帧图像的候选检测窗口是通过多尺度窗口扫描方式获得的，因此本发明在建立连续两帧图像中的检测窗口的对应关系时利用了检测窗口的质心和面积因素。研究表明，在中等分辨率以上的环境中(人体高度大于40个像素)，基于HOG特征的人体检测方法对人体检测具有较强的稳定性，能够检测到大多数的人体对象，当然这同时也导致数量众多的误检窗口，因此本发明的目标就是通过后续的分割验证消除误检来提高检测准确率。正是HOG特征对人体检测的稳定性，使得通过检测窗口的质心与面积对比的方式能够很好地建立连续两帧图像的检测窗口的对应关系。即使是在多个行人距离较近的环境中，这种简单的通过检测窗口的质心与面积对比的方式也能在连续两帧图像的检测窗口之间建立正确的对应关系。本发明对没有建立对应关系的候选检测窗口视作存在新出现的候选人体检测对象，并利用自顶向下的先验知识分割候选检测窗口中的对象，即采用基于形状先验的图割方法，仍能起到很好的验证效果；而对于有对应关系的候选检测窗口，意味着连续两帧图像具有对应关系的检测窗口中包含有同一个人体对象，此时可以假定连续两帧图像中对应的检测窗口内像素的背景模型是独立的，前景模型是相同的，因此此时可采用基于运动信息和形状先验的图割方法，对验证具有较强的鲁棒性。

在此具体实施例中，基于运动信息和形状先验的图割方法的具体过程为：

④-1)、对具有矩形框标注的人体训练库(如INRIA的人体训练库)中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜窗口的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜。其中，取M≥100，理论上初始人体样本选取的越多则后续处理的人体形状参考分割掩膜中的各个像素点属于前景的概率的判断准确度越高。

在此，如图2所示，步骤④-1)的具体过程为：a1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本，在此，人体样本的预处理过程如下：对人体训练库中的每幅矩形框标注的人体样本在宽度与高度上向外扩展，两侧宽度的扩展距离为原矩形框宽度的1/2，两侧高度的扩展距离为原矩形框高度的1/6(参照标准HOG检测窗口中人体中心到候选检测窗口***距离的比例)，然后将宽度与高度上向外扩展后的矩形框作为检测窗口，得到预处理后的人体样本。a2、将各幅初始人体样本中矩形框标注内的所有像素点属于前景的概率设为1，将各幅初始人体样本中矩形框标注外的所有像素点属于前景的概率设为0。a3、分别计算各幅初始人体样本中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg(k))和Pr(bg(k))， $\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}{p}_{\mathrm{fg}}\left(x\right)[h\left(x\right)=k],$ $\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}(1-p_{\mathrm{fg}}\left(x\right))[h\left(x\right)=k],$ 其中，fg表示初始人体样本中的前景，bg表示初始人体样本中的背景，k表示初始人体样本中前景的颜色直方图中Bin的索引或背景的颜色直方图中Bin的索引，fg(k)表示初始人体样本中前景的颜色直方图中的第k个Bin，bg(k)表示初始人体样本中背景的颜色直方图中的第k个Bin，x表示初始人体样本中的像素点，p_fg(x)表示初始人体样本中的像素点x属于前景的概率，h(x)表示初始人体样本中的像素点x所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号。a4、采用概率分布密度的负对数分别计算各幅初始人体样本中的像素点x属于前景或背景的程度，记为V_x(f_x)， $V_x\left(f_x\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\right)& f_x=\mathrm{fg}\\ -\log \left(\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\right)& f_x=\mathrm{bg}\end{array}\right.,$ 同时分别计算各幅初始人体样本中的像素点x在邻域窗口N×N内的平滑程度，记为V_{x，y}(f_x，f_y)，

其中，f_x表示初始人体样本中的像素点x的分割标签，f_x∈{fg，bg}，f_y表示初始人体样本中的像素点y的分割标签，f_y∈{fg，bg}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_x表示初始人体样本中的像素点x的颜色向量，v_y表示初始人体样本中的像素点y的颜色向量，σ表示初始人体样本中所有相邻像素点之间的颜色距离的平均值。a5、根据各幅初始人体样本中的像素点x属于前景或背景的程度V_x(f_x)及初始人体样本中的像素点x在邻域窗口N×N内的平滑程度V_{x，y}(f_x，f_y)，建立各幅初始人体样本的图割能量函数，记为E(f)，其中，f对应一种图割结果，X表示初始人体样本中的所有像素点的集合，V_x(f_x)作为图割能量函数E(f)的一元项，V_{x，y}(f_x，f_y)作为图割能量函数E(f)的二元项。a6、根据MRF-MAP框架理论及其在图像分割中的应用，各幅初始人体样本的图割能量函数

取值最小时得到各幅初始人体样本各自对应的对象分割掩膜。在此，由于无需考虑光照的影响，因此本发明可直接采用RGB颜色空间，针对R、G和B三个颜色分量各自设置16个Bin，这样可得到k∈{1，2，…，4096}，在实际处理过程中针对R、G和B三个颜色分量可根据实际情况设定Bin的个数，k的最大值为R、G和B三个颜色分量对应的Bin的个数的乘积。a7、采用尺度归一化方法将各幅初始人体样本各自对应的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的初始人体样本的对象分割掩膜作为规范化对象分割掩膜。

④-2)、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜，即人体形状先验。在此，假设有300幅初始人体样本对应的对象分割掩膜，所有对象分割掩膜中同一位置的像素点属于前景的对象分割掩膜有100幅，则人体形状参考分割掩膜中对应的像素点属于前景的概率为100/300，即是该像素点对应的人体形状先验概率。

④-3)、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg′(u)，其中，fg′用于表示当前规范化候选检测窗口中的前景。

④-4)、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg′(k))和Pr(bg′(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg′用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg′(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bg′(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg′(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率。

④-5)、在连续多帧图像中，获得的同一对象(前景)的多个候选检测窗口，可以认为这些候选检测窗口中的对象具有相同的颜色分布，而这些候选检测窗口中的背景存在差异，具有各自独立的颜色分布，因此在获取当前规范化候选检测窗口的对象分割掩膜的过程中，可以利用当前帧图像的前一帧图像中与当前候选检测窗口包含有同一个人体检测对象的人体检测窗口中前景的颜色直方图分布模型来修正当前候选检测窗口中前景的颜色直方图分布模型，这样可以有效提高分割的准确性。在此，利用当前帧图像的前一帧图像中与当前规范化候选检测窗口相对应的规范化人体检测窗口中前景的颜色直方图分布模型Pr(fg′_old(k))，修正当前规范化候选检测窗口中前景的颜色直方图分布模型Pr(fg′(k))，得到当前规范化候选检测窗口中前景的颜色直方图分布的修正模型，记为Pr(fg′_new(k))，Pr(fg′_new(k))＝(1-α)Pr(fg′(k))+αPr(fg′_old(k))，其中，α为修正系数，α∈[0.5，1]。在此，修正系数α的初始值取0.5，每次递增(在此递增值取为0.1)，直到取值为1后保持不变。针对重新建立对应关系的候选检测窗口，α重新取初始值。α的这种取值方式，目的是在建立对应关系的候选检测窗口的分割中，逐步增强当前帧图像的前一帧图像中对应的候选检测窗口中前景的颜色直方图分布模型的作用，削弱当前候选检测窗口中前景的颜色直方图分布模型的作用，即增强运动信息的作用，削弱形状先验的作用。

④-6)、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.,$ 同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u，v}(f_u，f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg′，bg′}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg′，bg′}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值。

④-7)、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u，v}(f_u，f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E′(f)，

其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E′(f)的一元项，V_{u，v}(f_u，f_v)作为图割能量函数E′(f)的二元项。

④-8)、根据MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜。

本发明的基于运动信息和形状先验的图割方法在以下两个方面提高了运动对象分割的准确性，进而通过验证方式提高了候选人体检测的准确性。一方面，在一定程度上消除了由于多个行人连在一起或与其它物体交叠对分割产生的不利影响；另一方面，在对当前候选检测窗口的分割过程中，降低了人体形状先验对非直立状态人体的不利影响。在基于运动信息和形状先验的图割方法中，在通过前一帧图像的人体检测窗口的检测结果证实了前一帧图像的人体检测窗口中前景的直方图分布模型作为人体前景模型的合理性与准确性的情况下，将前一帧图像的人体检测窗口中前景的直方图分布模型作用于同一个人体后续的帧图像的候选检测窗口中前景的直方图分布模型中，显然可以提高分割准确性。另外，由于当前帧图像的候选检测窗口中前景的直方图分布模型主要依据人体形状先验获得，因此更多地体现了人体形状先验的作用，前一帧图像的人体检测窗口中前景的直方图分布模型则更多地体现了运动信息的利用。

在此具体实施例中，基于形状先验的图割方法的具体过程为：

④-1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜窗口的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜。其中，取M≥100。

在此，步骤④-1的具体过程与步骤④-1)的具体过程相同。

④-2、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜，即人体形状先验，该人体形状先验即规范化对象分割掩膜的平均在具体实施过程中只需要计算一次，在基于运动信息和形状先验的图割方法以及基于形状先验的图割方法都可以直接使用而无需重复计算。

④-3、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg′(u)，其中，fg′用于表示当前规范化候选检测窗口中的前景。

④-4、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg′(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg′(k))和Pr(bg′(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg′用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg′(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bb′(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg′(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率。

④-5、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.,$ 同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u，v}(f_u，f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg′，bg′}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg′，bg′}，“[]”为布尔运算符号，“|| ||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值。

④-6、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u，v}(f_u，f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E′(f)，其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E′(f)的一元项，V_{u，v}(f_u，f_v)作为图割能量函数E′(f)的二元项。

④-7、根据MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜。

⑤将当前规范化候选检测窗口内的对象分割掩膜和当前候选检测窗口对应的HOG检测得分输入行人分类器，行人分类器验证当前候选检测窗口是否为误检。

在此具体实施例中，行人分类器通过离线训练得到，行人分类器的离线训练过程为：b1、从矩形框标注的人体训练库中选择多幅人体样本，利用基于HOG特征的人体检测方法，获取所有包含有人体的人体样本和对应的HOG检测得分及所有不包含有人体的人体样本和对应的HOG检测得分，将所有包含有人体的人体样本作为行人分类器的正样本，将所有不包含有人体的人体样本作为行人分类器的负样本；b2、采用基于形状先验的图割方法获取所有正样本各自对应的对象分割掩膜及所有负样本各自对应的对象分割掩膜；b3、将正样本的对象分割掩膜和正样本对应的HOG检测得分的集合定义为行人分类器的正样本特征，将负样本的对象分割掩膜和负样本对应的HOG检测得分的集合定义为行人分类器的负样本特征；b4、根据正样本特征和负样本特征训练得到线性的行人分类器。

⑥将当前帧图像中下一个待处理的候选检测窗口作为当前候选检测窗口，并返回步骤④继续执行，直至当前帧图像中的所有候选检测窗口处理完毕。

⑦将视频序列中下一帧待处理的帧图像作为当前帧图像，并返回步骤②继续执行，直至视频序列中的所有帧图像处理完毕。

在此具体实施例中，预设的掩膜窗口的尺寸是根据常见的视频序列中人体的大小确定的，如预设的掩膜窗口可设置为64×48；邻域窗口可采用四邻域的窗口，即取N＝4。

以下为实验与分析，客观说明了本发明的基于形状先验的图割方法和基于运动信息与形状先验的图割方法的有效性。

测试视频：目前用于行人检测的视频图像库中，最全面的应该是TUD-Brussels视频序列库，该视频序列库是基于运动平台获取的行人视频库，图像情景复杂，含有丰富的行人内容。然而该视频序列库并不适合本发明中基于运动信息与形状先验的图割方法，原因是该视频序列库中的图像序列都是一对一对出现的，即一对图像是连续的两帧图像，而两对序列之间并不连续。这对获取类似光流的运动特征是足够的，但对于本发明将多帧序列的运动信息融入对象分割中的方法略显不足。因此本发明选用了TUD-Brussels之外的两段视频进行测试，其中一段来自CAVIAR项目具有固定背景的视频序列，CAVIAR是关于动作识别的一个项目，提供了各种环境下的人体运动视频，在此从中选取一段商店走廊的视频，这段视频含有相对较多的行人，且背景环境较复杂，图3a给出了来自CAVIAR视频的一帧图像(为商店走廊的视频序列中的一帧图像)，图3d给出了来自CAVIAR视频的另一帧图像(为商店走廊的视频序列中的另一帧图像)；另一个测试视频则为自行通过运动中的摄像机获取的一段视频，图4a给出了自行通过运动中的摄像机获取的一段视频序列中的一帧图像，图4d给出了自行通过运动中的摄像机获取的一段视频序列中的另一帧图像。

以下为对比分析三种行人检测算法在上述两段测试视频中的检测效果。三种行人检测算法分别为基于HOG特征的人体检测方法、HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法。基于HOG特征的人体检测方法使用了提供开放代码的fastHOG检测子，后面两种方法都是在基于HOG特征的人体检测方法基础上实现的，首先通过降低标准HOG检测子的得分阈值获得更多的候选检测窗口(返回窗口的坐标、检测尺度以及检测得分)，然后分别利用不同的行人检测算法完成行人检测。针对实验中所选用的两个视频库，根据分辨率的不同，每帧通过基本检测子确定的候选检测窗口规模从十几个到几十个不等，这些候选检测窗口是执行了基于均值漂移算法的非最大抑制的结果，即合并了同一检测对象在不同尺度以及相近位置上全部的候选检测窗口。本发明用到的人体形状先验以及行人分类器都是基于INRIA的人体训练库学习获得的，学习过程中将窗口都规范化成与基本HOG检测子相同的窗口大小。

在此采用类似PACSAL VOC中的评价方法，即计算基于准确率与召回率曲线(PR-Curve)的平均准确率(AP)。基于对检测结果评价合理性的考虑，对测试的每段视频随机确定从某个位置开始，每隔5帧给出一帧图像对应三种行人检测算法的检测结果。每段视频各提取200帧图像作为检测结果，绘制各个行人检测算法的准确率与召回率，并最终计算出平均准确率。由于上述候选检测窗口都是基于基本HOG检测子获得的，基本HOG检测子选定的检测窗口为64×128，针对分辨率较低的人体对象很难检测到，因此在评价不同行人检测算法的检测结果时，在此只考虑高度大于40的人体对象(对应的候选检测窗口高度一般大于60)，这并不影响各个行人检测算法之间的可比性。图5a给出了三种行人检测算法在CAVIAR测试视频上的PR曲线及平均准确率，图5b给出了三种行人检测算法在自行拍摄的测试视频上的PR曲线及平均准确率。

从图5a和图5b可以看出，在两段测试视频上，HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法相对于基于HOG特征的人体检测方法的检测准确率都有提高，其中HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法在两段测试视频中分别提高了3.9和2.7个百分点，而HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法在两段测试视频中分别提高了7.7和5.8个百分点。分析原因是HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法在利用HOG特征之外还利用了颜色信息。HOG特征是一种基于梯度方向的特征，只利用了图像的灰度信息。由于人体着装以及周围环境颜色的多样性，颜色信息并不能直接作为人体检测的线索。然而在HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法中，利用颜色信息建立分割过程中的前景/背景的直方图分布模型，进而获取对象的形状特征，并结合形状特征与HOG特征共同完成行人检测，不仅丰富了行人检测线索，而且还提高了行人检测准确率。

HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法中，HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法优于HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法的检测效果。在两段测试视频中，HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法的平均检测率比HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法分别提高了3.8和3.1个百分点。原因是相对于HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法，HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法额外利用了运动信息获取更准确的形状特征。这一点在两段测试视频中都明显地体现了出来，尤其是针对具有更多的行人数量，行人出现的情况也相对更复杂，运动信息的特性体现得更充分一些。图6给出了基于形状先验的图割方法和基于运动信息与形状先验的图割方法针对同一候选检测窗口的分割结果，从图6中可以看出，由于受背景以及行人连在一起等因素的影响，使得基于形状先验的图割方法将这样的候选检测窗口过滤掉，无法给出正确的检测结果，而基于运动信息与形状先验的图割方法明显改善了分割效果，仍能够正确判别这样的候选检测窗口，因此该方法有效提高了运动对象分割的准确性，并在一定程度上消除了由于多个行人连在一起或背景复杂对分割的不利影响。

图3a、图3b、图3c和图3d、图3e、图3f及图4a、图4b、图4c和图4d、图4e、图4f分别给出了三种行人检测算法在两段测试视频的部分帧中的检测结果。图3a至图3f及图4a至图4f中浅色框为正确检测结果，深色框表示误检结果，而黑色框表示由于分割结果不准确造成的漏检。从图3a至图3f及图4a至图4f中可以看出，HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法以及HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法能够在提高召回率的情况下，提高检测准确率(对应着更多的候选检测窗口以及对误检窗口的过滤)，但也有少数正确的候选检测窗口由于分割结果不准确而被过滤掉了，如图中黑色框标记。其中一个原因是对尺寸较小窗口(分辨率较低)的分割结果不准确。

在HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法的检测实验中，有65％的包含有人体的候选检测窗口最终给出了正确的检测结果，这说明多半含人体的候选检测窗口都建立了与前一帧的对应关系。与没有建立对应关系的候选检测窗口相比，HOG结合基于运动信息与形状先验的图割(Hog+MS-Seg)的检测方法相对于HOG结合基于形状先验的图割(Hog+S-Seg)的检测方法，多了两项运算：分别是对应关系的计算以及前景模型的计算。对应关系通过简单的质心距离与面积比来确定，因此计算量取决于候选检测窗口的数量。而前景模型的合并只是简单的向量相加。因此，对于候选检测窗口数量不多的情况下，通过结合运动信息与形状先验的分割算法进行行人检测，在运算量没有显著增加的情况下，检测准确率可以得到较大的提高。对于候选检测窗口数量众多的情况下，也可以采用首先对候选检测窗口执行基于形状先验的图割方法进行验证，对于验证没有通过的候选检测窗口，再采用基于运动信息与形状先验的图割方法。

Claims (7)

1.一种行人检测方法，其特征在于包括以下步骤：

①将视频序列中当前待处理的帧图像定义为当前帧图像；

②利用基于方向梯度直方图HOG特征的人体检测方法，获取当前帧图像中尽可能多的包含有人体的候选检测窗口及各个候选检测窗口相应的HOG检测得分；

③将当前帧图像中当前待处理的候选检测窗口定义为当前候选检测窗口；

④将当前候选检测窗口与当前帧图像的前一帧图像中的所有人体检测窗口通过窗口的面积和窗口的质心进行对比，如果两者的面积的比值小于设定的第一阈值且两者的质心的坐标位置之差小于设定的第二阈值，则认为当前候选检测窗口与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象；否则，认为当前候选检测窗口中包含有新出现的候选人体检测对象；然后对当前候选检测窗口的尺寸进行规范化处理，得到当前规范化候选检测窗口，对于与当前帧图像的前一帧图像中相对应的人体检测窗口中包含有同一个人体检测对象的当前规范化候选检测窗口，采用基于运动信息和形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜，对于包含有新出现的候选人体检测对象的当前规范化候选检测窗口，采用基于形状先验的图割方法获取当前规范化候选检测窗口内的对象分割掩膜；

所述的基于形状先验的图割方法的具体过程为：

④-1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜，其中，M≥100；

④-2、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜；

④-3、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg'(u)，其中，fg'用于表示当前规范化候选检测窗口中的前景；

④-4、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg'(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg'(k))和Pr(bg'(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg'用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg'(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bg'(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg'(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率；

④-5、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.$ ，同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u,v}(f_u,f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg',bg'}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg',bg'}，“[]”为布尔运算符号，“||||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值；

④-6、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u,v}(f_u,f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E'(f)，

其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E'(f)的一元项，V_{u,v}(f_u,f_v)作为图割能量函数E'(f)的二元项；

④-7、根据马尔可夫随机场-最大后验估计MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜；

所述的基于运动信息和形状先验的图割方法的具体过程为：

④-1）、对具有矩形框标注的人体训练库中的人体样本进行预处理，选择M幅预处理后的人体样本作为初始人体样本，然后对各幅矩形框标注的初始人体样本进行二值图割处理得到各幅初始人体样本各自对应的对象分割掩膜，再将各幅初始人体样本的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的对象分割掩膜作为规范化对象分割掩膜，其中，M≥100；

④-2）、计算M幅初始人体样本的规范化对象分割掩膜的平均，作为人体形状参考分割掩膜；

④-3）、将人体形状参考分割掩膜中的各个像素点属于前景的概率作为当前规范化候选检测窗口中对应的像素点属于前景的概率，将当前规范化候选检测窗口中的像素点u属于前景的概率记为p_fg'(u)，其中，fg'用于表示当前规范化候选检测窗口中的前景；

④-4）、根据当前规范化候选检测窗口中的每个像素点属于前景的概率p_fg'(u)，建立当前规范化候选检测窗口中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg'(k))和Pr(bg'(k))， $\mathrm{Pr}\left({\mathrm{fg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}{p}_{{\mathrm{fg}}^{\′}}\left(u\right)[h\left(u\right)=k],$ $\mathrm{Pr}\left({\mathrm{bg}}^{\′}\left(k\right)\right)\∝\underset{u}{\mathrm{\Σ}}(1-p_{{\mathrm{fg}}^{\′}}\left(u\right))[h\left(u\right)=k],$ 其中，bg'用于表示当前规范化候选检测窗口中的背景，k表示当前规范化候选检测窗口中前景的颜色直方图中Bin的索引或当前规范化候选检测窗口中背景的颜色直方图中Bin的索引，fg'(k)表示当前规范化候选检测窗口中前景的颜色直方图中的第k个Bin，bg'(k)表示当前规范化候选检测窗口中背景的颜色直方图中的第k个Bin，h(u)表示当前规范化候选检测窗口中的像素点u所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号，1-p_fg'(u)表示当前规范化候选检测窗口中的像素点u属于背景的概率；

④-5）、利用当前帧图像的前一帧图像中与当前规范化候选检测窗口包含有同一个人体检测对象的规范化人体检测窗口中前景的颜色直方图分布模型Pr(fg'_old(k))，修正当前规范化候选检测窗口中前景的颜色直方图分布模型Pr(fg'(k))，得到当前规范化候选检测窗口中前景的颜色直方图分布的修正模型，记为Pr(fg'_new(k))，Pr(fg'_new(k))=(1-α)Pr(fg'(k))+αPr(fg'_old(k))，其中，α为修正系数，α∈[0.5,1]；

④-6）、计算当前规范化候选检测窗口中的像素点u属于前景或背景的程度，记为V_u(f_u)， $V_u\left(f_u\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{fg}}^{\′}\\ -\log \left(\mathrm{Pr}\left({{\mathrm{fg}}^{\′}}_{\mathrm{new}}\left(k\right)\right)\right)& f_u={\mathrm{bg}}^{\′}\end{array}\right.$ ，同时计算当前规范化候选检测窗口中的像素点u在邻域窗口N×N内的平滑程度，记为V_{u,v}(f_u,f_v)，

其中，f_u表示当前规范化候选检测窗口中的像素点u的分割标签，f_u∈{fg',bg'}，f_v表示当前规范化候选检测窗口中的像素点v的分割标签，f_v∈{fg',bg'}，“[]”为布尔运算符号，“||||”为欧氏距离运算符号，v_u表示当前规范化候选检测窗口中的像素点u的颜色向量，v_v表示当前规范化候选检测窗口中的像素点v的颜色向量，λ表示当前规范化候选检测窗口中所有相邻像素点之间的颜色距离的平均值；

④-7）、根据当前规范化候选检测窗口中的像素点u属于前景或背景的程度V_u(f_u)及当前规范化候选检测窗口中的像素点u在邻域窗口内的平滑程度V_{u,v}(f_u,f_v)，建立当前规范化候选检测窗口的图割能量函数，记为E'(f)，其中，f对应一种图割结果，U表示当前规范化候选检测窗口中的所有像素点的集合，V_u(f_u)作为图割能量函数E'(f)的一元项，V_{u,v}(f_u,f_v)作为图割能量函数E'(f)的二元项；

④-8）、根据马尔可夫随机场-最大后验估计MRF-MAP框架理论及其在图像分割中的应用，当前规范化候选检测窗口的图割能量函数

取值最小时得到当前规范化候选检测窗口内的对象分割掩膜；

⑤将当前规范化候选检测窗口内的对象分割掩膜和当前候选检测窗口对应的HOG检测得分输入行人分类器，行人分类器验证当前候选检测窗口是否为误检；

⑥将当前帧图像中下一个待处理的候选检测窗口作为当前候选检测窗口，并返回步骤④继续执行，直至当前帧图像中的所有候选检测窗口处理完毕；

⑦将视频序列中下一帧待处理的帧图像作为当前帧图像，并返回步骤②继续执行，直至视频序列中的所有帧图像处理完毕。

2.根据权利要求1所述的一种行人检测方法，其特征在于所述的步骤⑤中的行人分类器通过离线训练得到，所述的行人分类器的离线训练过程为：b1、从具有矩形框标注的人体训练库中选择多幅人体样本，利用基于HOG特征的人体检测方法，获取所有包含有人体的人体样本和对应的HOG检测得分及所有不包含有人体的人体样本和对应的HOG检测得分，将所有包含有人体的人体样本作为行人分类器的正样本，将所有不包含有人体的人体样本作为行人分类器的负样本；b2、采用基于形状先验的图割方法获取所有正样本各自对应的对象分割掩膜及所有负样本各自对应的对象分割掩膜；b3、将正样本的对象分割掩膜和正样本对应的HOG检测得分的集合定义为行人分类器的正样本特征，将负样本的对象分割掩膜和负样本对应的HOG检测得分的集合定义为行人分类器的负样本特征；b4、根据正样本特征和负样本特征训练得到线性的行人分类器。

3.根据权利要求1所述的一种行人检测方法，其特征在于所述的步骤④-1和所述的步骤④-1）的具体过程均为：a1、对具有矩形框标注的人体训练库中的人体样本进行预处理，选取M幅预处理后的人体样本作为初始人体样本；a2、将各幅初始人体样本的矩形框标注内的所有像素点属于前景的概率设为1，将各幅初始人体样本的矩形框标注外的所有像素点属于前景的概率设为0；a3、分别计算各幅初始人体样本中前景的颜色直方图分布模型和背景的颜色直方图分布模型，分别记为Pr(fg(k))和Pr(bg(k))， $\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}{p}_{\mathrm{fg}}\left(x\right)[h\left(x\right)=k],$ $\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\∝\underset{x}{\mathrm{\Σ}}(1-p_{\mathrm{fg}}\left(x\right))[h\left(x\right)=k],$ 其中，fg表示初始人体样本中的前景，bg表示初始人体样本中的背景，k表示初始人体样本中前景的颜色直方图中Bin的索引或背景的颜色直方图中Bin的索引，fg(k)表示初始人体样本中前景的颜色直方图中的第k个Bin，bg(k)表示初始人体样本中背景的颜色直方图中的第k个Bin，x表示初始人体样本中的像素点，p_fg(x)表示初始人体样本中的像素点x属于前景的概率，h(x)表示初始人体样本中的像素点x所属的Bin的序号，“∝”为正比符号，“[]”为布尔运算符号；a4、分别计算各幅初始人体样本中的像素点x属于前景或背景的程度，记为V_x(f_x)， $V_x\left(f_x\right)=\left\{\begin{array}{cc}-\log \left(\mathrm{Pr}\left(\mathrm{fg}\left(k\right)\right)\right)& f_x=\mathrm{fg}\\ -\log \left(\mathrm{Pr}\left(\mathrm{bg}\left(k\right)\right)\right)& f_x=\mathrm{bg}\end{array}\right.,$ 同时分别计算各幅初始人体样本中的像素点x在邻域窗口N×N内的平滑程度，记为V_{x,y}(f_x,f_y)，

其中，f_x表示初始人体样本中的像素点x的分割标签，f_x∈{fg,bg}，f_y表示初始人体样本中的像素点y的分割标签，f_y∈{fg,bg}，“[]”为布尔运算符号，“||||”为欧氏距离运算符号，v_x表示初始人体样本中的像素点x的颜色向量，v_y表示初始人体样本中的像素点y的颜色向量，σ表示初始人体样本中所有相邻像素点之间的颜色距离的平均值；a5、根据各幅初始人体样本中的像素点x属于前景或背景的程度V_x(f_x)及初始人体样本中的像素点x在邻域窗口N×N内的平滑程度V_{x,y}(f_x,f_y)，建立各幅初始人体样本的图割能量函数，记为E(f)，

其中，f对应一种图割结果，X表示初始人体样本中的所有像素点的集合，V_x(f_x)作为图割能量函数E(f)的一元项，V_{x,y}(f_x,f_y)作为图割能量函数E(f)的二元项；a6、根据MRF-MAP框架理论及其在图像分割中的应用，各幅初始人体样本的图割能量函数

取值最小时得到各幅初始人体样本各自对应的对象分割掩膜；a7、采用尺度归一化方法将各幅初始人体样本各自对应的对象分割掩膜的尺寸规范化为与预设的掩膜窗口的尺寸一致，并将尺寸规范化后的初始人体样本的对象分割掩膜作为规范化对象分割掩膜。

4.根据权利要求3所述的一种行人检测方法，其特征在于所述的步骤a1中的人体样本的预处理过程为：对人体训练库中的每幅矩形框标注的人体样本在宽度与高度上向外扩展，两侧宽度的扩展距离为原矩形框宽度的1/2，两侧高度的扩展距离为原矩形框高度的1/6，然后将宽度与高度上向外扩展后的矩形框作为检测窗口，得到预处理后的人体样本。

5.根据权利要求4所述的一种行人检测方法，其特征在于所述的步骤④中当前候选检测窗口的尺寸规范化采用尺度归一化方法，将其规范化为与预设的掩膜窗口的尺寸一致。

6.根据权利要求5所述的一种行人检测方法，其特征在于所述的预设的掩膜窗口的尺寸根据常见的视频序列中人体的大小确定；所述的邻域窗口采用四邻域的窗口，N=4。

7.根据权利要求6所述的一种行人检测方法，其特征在于所述的步骤④中两者的面积的比值为具有较大尺寸的窗口的面积与具有较小尺寸的窗口的面积的比值，设定的第一阈值为4；两者的质心的坐标位置之差为两者的质心的X轴方向的坐标位置之差及两者的质心的Y轴方向的坐标位置之差，设定的第二阈值为10个像素。

Images