CN103514444A - 一种基于轮廓和色彩相似对称分布特征的行人检测方法 - Google Patents

Abstract

本发明属于计算机视觉领域，公开了一种基于轮廓和色彩相似对称分布特征的行人检测方法。包括：输入被检测行人图像，并转换为图片数据；对图像进行滑窗扫描；选择训练样本；提取训练样本的轮廓HOG特征和色彩相似对称分布特征LVHCSSF特征；将提取的特征保存到特征向量中，输入线性支持向量机训练得到SVM分类器；提取扫描窗口图像的HOG和LVHCSSF特征并输入SVM分类器，得到输出分类结果，即行人和非行人；进行窗口融合；将融合结果显示在图像上，实现行人定位。本发明将HOG与LVHCSSF特征相结合应用于行人检测，降低了特征的维度及其计算量，提高了计算速度、识别效果和检测率。

Description

一种基于轮廓和色彩相似对称分布特征的行人检测方法

技术领域

本发明属于计算机视觉领域，涉及一种基于轮廓和色彩相似对称分布特征的行人检测方法。

背景技术

行人检测在视频监控、机器人学、虚拟现实技术等领域有广泛的应用，也是计算机视觉和模式识别领域中的重要研究方向。不同行人的身材、姿势、视角和衣着、光照方面都有着极大的变化，加之复杂的背景场景以及摄像头自身的移动和晃动，这都给行人检测带来了很大的困难。

目前行人检测的方法主要分为三类：第一类是基于确定人体模型的方法，但是模型的求解比较复杂；第二类是基于模板匹配的方法，但由于行人的多态性很难构造出足够的模板；第三类是基于统计分类的方法，此方法通过提取人体的各种特征，然后利用模式识别的方法进行分类。在这类方法中最具影响的是，DALAL于2005年在Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition上发表的论文“Histograms of Oriented Gradients forHuman Detection”中提出的基于梯度方向直方图(Histogram of Oriented Gradient,HOG)的特征描述行人的方法。由于HOG特征描述了图像局部区域的梯度强度和梯度方向的分布情况，而该分布情况对局部对象外观和形状可以进行很好的表征，因此，该方法具有优良的检测性能，成为目前行人检测的主流方法。但是HOG仅仅是对矩形区域中的梯度方向上的梯度强度统计，HOG仅仅反映了行人的轮廓的统计特征，采用HOG训练的分类器，容易将树木等一些非行人的环境图片误检为行人。

行人的轮廓梯度特征在行人的特征描述中占着非常重要的地位，其中以HOG作为行人检测中最为广泛使用的特征。行人具有非刚性、姿态多样化、所处环境复杂等特点，仅仅使用行人的轮廓特征不足以充分表征和描述行人的这些特点，难以降低行人检测的漏检率和误检率。针对HOG特征单一、误检率和漏检率高的状况，Stenfan Walk于2010年IEEE国际计算机视觉与模式识别会议上提出了HOG结合行人的色彩信息CSS（Color Self Similarity）的行人检测方法，通过统计矩形区域中的色彩的统计信息、计算颜色直方图的相似性来表征行人的色彩分布特征。Walk结合了HOG特征得到了很好的行人检测效果，但其特征高达8128维，HOG特征为3780维，给计算机带来了很大的计算负担，其主要原因是CSS特征需要很大的计算量。

发明内容

针对现有技术中存在的上述问题，本发明提出了一种基于轮廓和局部色彩相似对称分布特征的行人检测方法，将HOG轮廓特征与本发明提出的多部位局部色彩相似对称分布特征LVHCSSF(Local Vertical Horizontal Color Self-similarity Feature)相结合，提高了计算速度，降低了漏检率和误检率。

一种基于轮廓和局部色彩相似对称分布特征的行人检测方法，主要包括以下步骤：

步骤一，输入被检测的行人图像，将视频流图像数据转换为图片数据。

步骤二，对被检测行人图像进行滑窗扫描。

根据行人在图像中的成像比例，设置滑动窗口的大小，并从第一行开始对被检测行人图像进行滑动扫描，水平扫描的长度（水平滑动步长stridestep）为8个像素，竖直扫描的长度（竖直滑动步长stridestep）也为8个像素，将滑动窗口扫描的图像送入步骤四训练得到的SVM分类器。

步骤三，选择训练样本。

选取行人图像作为训练样本，其中，正样本为有行人的图像；负样本为没有行人的图像。

步骤四，提取训练样本的HOG轮廓特征，同时提取训练样本的行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF。方法如下：

（1）提取样本的HOG轮廓特征

HOG特征是针对矩形区域中的梯度方向上的强度统计。一个正样本图像的水平和竖直方向梯度示意图如图3所示。

采用行人模板大小为64*128，将行人模板样本分为16*16大小的block块，设block的高为H，宽为W，本发明采用H:W=1:1块特征提取方法：每个block块分为4个相同的cell单元，每个cell单元的大小为8*8，每个单元的特征是其内部64个像素的特征向量之和。

用I(x,y)表示图像I在（x,y）处像素点的灰度值，按下式计算矩形区域中的梯度方向的强度统计特征：

G_x(x,y)＝I(x+1,y)-I(x-1,y)     （1）

G_y(x,y)＝I(x,y+1)-I(x,y-1)     （2）

$G(x,y)=\sqrt{{G^2}_x(x,y)+{G^2}_y(x,y)}---\left(3\right)$

α(x,y)＝arctan(G_y(x,y),G_x(x,y))     （4）

其中，G_x(x,y)、G_y(x,y)分别表示（x,y）处像素点的水平方向和垂直方向的梯度幅值，G(x,y)为（x,y）处像素点的梯度强度，α(x,y)表示(x,y)处像素点的梯度方向。

HOG特征将

的梯度方向均匀分为9个bin(区间)，第k个方向的梯度幅值大小A_k(x,y)为：

$A_k(x,y)=\left\{\begin{array}{cc}G(x,y),& \mathrm{\α}(x,y)\∈{\mathrm{bin}}_k\\ 0,& \mathrm{others}\end{array},1\≤k\≤9---\left(5\right)\right.$

其中，bin_k(x,y)表示梯度方向的第k个方向区间。这样，(x,y)处像素点的每个方向上的梯度特征可以用一个9维的向量A_k(x,y)表示。

为了消除光照等因素影响，对块内的每个单元进行归一化处理：

$f(c_m,k)=\frac{{\mathrm{\Σ}}_{(x,y){\∈c}_m}{A}_k(x,y)+\mathrm{\ϵ}}{{\mathrm{\Σ}}_{(x,y)\∈B}{A}_k(x,y)+\mathrm{\ϵ}},m=\mathrm{1,2,3,4}---\left(6\right)$

其中，f(c_m,k)表示第m个单元c_m中的第k个区间的归一化强度，ε是为了避免分母为零设置的一个较小的数。

由式（6）可知，每个单元提取的特征向量为9维，每个块的特征为将4个cell单元中的特征级联得到的36维向量。

（2）提取样本的LVHCSSF特征

LVHCSSF特征是对矩形区域中的色彩强度进行统计。采用行人模板大小为64*128，将行人模板无重叠地等分成大小为8*8的block块。

将每个行人模板变换到HSV色彩空间，（x,y）处像素点在色彩空间H、S、V的值分别为H(x,y)，S(x,y)，V(x,y)。

将每个色彩空间均匀分为3个bin(区间)。（x,y）处像素点在H、S、V色彩空间第k个bin的幅值分别为：

H_k(x,y)，S_k(x,y)，V_k(x,y)，k＝1,2,3

这样，（x,y）处像素点在每个bin的色彩统计向量Vec(x,y)可以用一个9维的特征向量表示，即：

Vec(x,y)＝[H₁(x,y),S₁(x,y),V₁(x,y),...,H₃(x,y),S₃(x,y),V₃(x,y)]     （7）

用R(i,j)表示行人模板的第i行、第j列矩形block的颜色统计信息，每个矩形block的颜色统计向量可以表示为：

R(i,j)＝∑_(x,y)∈BVec(x,y)     （8）

将行人的色彩分布的相似性划分为三个矩形区间，如图5所示，第一、二、三个矩形框框出的矩形block区域分别为行人的头肩部分、上身和腿部区域。

对于每个行人模板中的三个部位中的矩形block分别按式(8)进行颜色直方图统计，统计结束后，对每个部位的每一行中的任意两个矩形block采用直方图相交法进行相似度度量。每个人体部分中的色彩特征分别进行归一化处理，融合三个部分的特征，最终得到行人的色彩特征。

步骤五，将步骤四提取的HOG特征和LVHCSSF特征保存到特征向量中，输入线性支持向量机SVM，训练得到SVM分类器。

步骤六，提取步骤二扫描窗口图像的HOG轮廓特征，和行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF，并将提取的特征输入步骤五训练得到的SVM分类器，得到输出分类结果，即行人和非行人。

步骤七，将判断为同一个行人的窗口进行窗口融合。

一张图像中的行人会被多个滑窗检测，将重合面积达到三分之二窗口面积的相邻滑窗的检测结果合并为一个检测结果。

步骤八，将步骤七的融合结果显示在图像上，实现行人定位。

与现有技术相比，本发明具有以下优点：

本发明提出了多部位局部色彩相似对称分布特征LVHCSSF，将HOG轮廓特征与多部位局部色彩相似对称分布特征LVHCSSF相结合应用于行人检测，与Walk提出的HOG结合行人的色彩信息的行人检测方法相比，降低了特征的维度及其计算量，提高了计算速度、识别效果和检测率。

附图说明

图1为基于轮廓和局部颜色对称相似性特征的行人检测方法流程图；

图2为HOG中的block模块示意图：(a)宽高比为1:1，(b)宽高比分别为1:1，1:2和2:1；

图3为正样本的水平竖直方向梯度图；

图4为行人的对称分布示意图；

图5为行人色彩矩形分布示意图；

图6为LHVCSSF中的block模块示意图。

具体实施方式

下面结合附图对本发明做出进一步描述。

如图1所示，一种基于轮廓和色彩局部相似对称性特征的行人检测方法，包括以下几个步骤：

步骤一，输入被检测的行人图像，将视频流图像数据转换为图片数据。

步骤二，滑窗扫描被检测行人图像。对步骤一获取的图像压缩到320*240的大小，设置滑动窗口为64*128，从第一行开始对行人图像进行滑动扫描，每一行每一列的滑动间隔为8。将滑动窗口范围内的图像送入步骤四训练得到的SVM分类器。

步骤三，选择训练样本。选取3700张行人图像作为训练样本，其中正样本2500张，负样本1200张。

步骤四，提取训练样本的HOG轮廓特征，同时提取训练样本的行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF。

HOG特征是针对矩形区域中的梯度方向上的强度统计。Dalal提出的H:W=1:1的block块如图2(a)所示，Zhu提出大小可变的block块如图2(b)所示，高宽比分别为：H:W=1:2，H:W=1:1，H:W=2:1。采用Zhu提出的大小变化的block块，通过增加HOG的特征数量对检测结果有所提高，但是训练检测的速度变慢。因此，采用Dalal等提出的HOG特征提取方法。

本实施例中，正样本里含有行人，负样本里不含行人。

行人的颜色分布具有对称性和局部色彩相似性，如图4和图5所示，但是行人的衣着色彩具有多样性，只对行人的色彩信息进行统计作为特征是无法描述行人的统计特征的。本发明提出了度量行人外表的色彩相似和对称性特征LVHCSSF，对矩形区域中的色彩强度进行统计，并计算在邻域限制条件内的矩形区域的统计值的相似程度。LHVCSSF中的block模块示意图如图6所示。

步骤五：将步骤四提取的HOG特征和LVHCSSF特征保存到特征向量中，输入线性支持向量机SVM，训练得到SVM分类器。

步骤六，提取步骤二扫描窗口图像的HOG轮廓特征，和行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF，并将提取的特征输入步骤五训练得到的SVM分类器，得到输出分类结果，即行人和非行人。

步骤七：将判断为同一个行人的窗口进行窗口融合。

步骤八，将步骤七的融合结果显示在图像上，实现行人定位。

下面通过实验给出本发明所述方法与现有技术的对比。

三种方法均采用归一化为64*128的INRIA（法国国立计算机及自动化研究院）样本集。进行训练和检测时，采用1440个正样本和1000张负样本组成训练样本，300幅正样本和300幅负样本来进行检测。样本分辨率均为64*128。本实施例采用线性支持向量机，其中支持向量机的惩罚因子c=10。

实验1：根据HOG特征进行行人检测

提取训练样本的HOG特征为：block大小为16*16，cell大小为8*8，相邻block的重叠程度为50%。

实验2：根据HOG和CSS特征进行行人检测

提取训练样本的HOG特征为：block大小为16'16，cell大小为8*8，相邻block的重叠程度为50％；CSS特征中：block大小为8*8。

实验3：根据HOG特征和LVHCSSF特征进行行人检测

提取训练样本的HOG特征为：block大小为16'16，cell大小为8*8，相邻block的重叠程度为50％；提取训练样本的LVHCSSF特征为：block大小为8*8。

实验结果见表l。表l中的检测率为600个检测样本被准确分类的概率，漏检率为300个正样本中被错误分类的概率，误检率为300个负样被错误分类的概率。由表l可知，在增加了CSS特征之后，检测率由90.50％提高到95.00％，漏检率由2.33％降低为1.00％，误检率由16.67％降低为9.00％。而本发明所述方法的检测率最高，达到96.67％，漏检率和误检率均最低，分别为0.33％和3％。

表l不同检测方法检测性能的比较

	检测率	漏检率	误检率
				实验l	90.50％(543／600)	2.33％	16.67％
实验2	95.00％r570／600)	1.00％	9.00％
				实验3	96.67％r580／600)	0.67％	6.00％

表2列出了不同检测方法的特征维数及特点。由表2可知，LVHCSSF特征的维度较CSS特征的维度下降了8008(8128—120)维，计算量减少了90％左右，提高了计算速度。

表2不同检测方法的特征维数及特点

Claims (3)

1.一种基于轮廓和色彩相似对称分布特征的行人检测方法，其特征在于包括以下步骤：

步骤一，输入被检测的行人图像，将视频流图像数据转换为图片数据；

步骤二，对被检测行人图像进行滑窗扫描；

根据行人在图像中的成像比例，设置滑动窗口的大小，并从第一行开始对被检测行人图像进行滑动扫描，将滑动窗口扫描的图像送入步骤四训练得到的SVM分类器；

步骤三，选择训练样本；

选取行人图像作为训练样本，其中，正样本为有行人的图像；负样本为没有行人的图像；

步骤四，提取训练样本的HOG轮廓特征，同时提取训练样本的行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF；

步骤五，将步骤四提取的HOG特征和LVHCSSF特征保存到特征向量中，输入线性支持向量机SVM，训练得到SVM分类器；

步骤六，提取步骤二扫描窗口图像的HOG轮廓特征，和行人局部水平、竖直颜色相似及水平颜色对称性特征LVHCSSF，并将提取的特征输入步骤五训练得到的SVM分类器，得到输出分类结果，即行人和非行人；

步骤七，将判断为同一个行人的窗口进行窗口融合；

一张图像中的行人会被多个滑窗检测，将重合面积达到三分之二窗口面积的相邻滑窗的检测结果合并为一个检测结果；

步骤八，将步骤七的融合结果显示在图像上，实现行人定位。

2.根据权利要求1所述的一种基于轮廓和色彩相似对称分布特征的行人检测方法，其特征在于，所述步骤四提取训练样本HOG轮廓特征的方法如下：

采用行人模板大小为64*128，将行人模板样本分为16*16大小的block块，设block块的高为H，宽为W，采用H:W=1:1块特征提取方法：每个block块分为4个相同的cell单元，每个cell单元的大小为8*8，每个cell单元的特征是其内部64个像素的特征向量之和；

用I(x,y)表示图像I在（x,y）处像素点的灰度值，按下式计算矩形区域中的梯度方向的强度统计特征：

G_x(x,y)＝I(x+1,y)-I(x-1,y)     （1）

G_y(x,y)＝I(x,y+1)-I(x,y-1)     （2）

$G(x,y)=\sqrt{{G^2}_x(x,y)+{G^2}_y(x,y)}---\left(3\right)$

α(x,y)＝arctan(G_y(x,y),G_x(x,y))     （4）

其中，G_x(x,y)、G_y(x,y)分别表示（x,y）处像素点的水平方向和垂直方向的梯度幅值，G(x,y)为（x,y）处像素点的梯度强度，α(x,y)表示(x,y)处像素点的梯度方向；

HOG特征将

的梯度方向均匀分为9个bin，即区间，第k个方向的梯度幅值大小A_k(x,y)为：

$A_k(x,y)=\left\{\begin{array}{cc}G(x,y),& \mathrm{\α}(x,y)\∈{\mathrm{bin}}_k\\ 0,& \mathrm{others}\end{array},1\≤k\≤9---\left(5\right)\right.$

其中，bin_k(x,y)表示梯度方向的第k个方向区间；(x,y)处像素点的每个方向上的梯度特征用一个9维的向量A_k(x,y)表示；

为消除光照因素影响，对block块内的每个cell单元进行归一化处理：

$f(c_m,k)=\frac{{\mathrm{\Σ}}_{(x,y){\∈c}_m}{A}_k(x,y)+\mathrm{\ϵ}}{{\mathrm{\Σ}}_{(x,y)\∈B}{A}_k(x,y)+\mathrm{\ϵ}},m=\mathrm{1,2,3,4}---\left(6\right)$

其中，f(c_m,k)表示第m个cell单元c_m中的第k个区间的归一化强度，ε是为了避免分母为零设置的一个较小的数；

每个cell单元提取的特征向量为9维，每个block块的特征为将4个cell单元中的特征级联得到的36维向量。

3.根据权利要求1所述的一种基于轮廓和色彩相似对称分布特征的行人检测方法，其特征在于，所述步骤四提取样本的LVHCSSF特征的方法如下：

采用行人模板大小为64*128，将行人模板无重叠地等分成大小为8*8的block块；

将每个行人模板变换到HSV色彩空间，（x,y）处像素点在色彩空间H、S、V的值分别为H(x,y)，S(x,y)，V(x,y)；

将每个色彩空间均匀分为3个bin；（x,y）处像素点在H、S、V色彩空间第k个bin的幅值分别为：

H_k(x,y)，S_k(x,y)，V_k(x,y)，k＝1,2,3

（x,y）处像素点在每个bin的色彩统计向量Vec(x,y)可以用一个9维的特征向量表示如下：

Vec(x,y)＝[H₁(x,y),S₁(x,y),V₁(x,y),...,H₃(x,y),S₃(x,y),V₃(x,y)]     （7）

用R(i,j)表示行人模板第i行、第j列矩形block块的颜色统计信息，每个矩形block块的颜色统计向量表示为：

R(i,j)＝∑_(x,y)∈BVec(x,y)          （8）

将行人的色彩分布的相似性划分为三个矩形区间，分别对应行人的头肩部分、上身和腿部区域；

对于每个行人模板中的三个部位中的矩形block分别按式(8)进行颜色直方图统计，统计结束后，对每个部位的每一行中的任意两个矩形block采用直方图相交法进行相似度度量；每个人体部分中的色彩特征分别进行归一化处理，融合三个部分的特征，最终得到行人的色彩特征。

Images