CN102682287A - 基于显著度信息的行人检测方法 - Google Patents

Abstract

本发明提供一种利用基于显著度信息的行人检测方法，包括线下训练步骤、线上检测步骤；线上检测步骤：计算待检测的图像的显著图；从图像中提取出检测子窗口，并根据显著图计算检测子窗口对应的显著度；计算检测子窗口中相应特征，利用级联分类器对检测子窗口中相应特征进行检测，同时将根据该检测子窗口对应的显著度为级联分类器分配调整系数。本发明在现有AdaBoost分类器的基础上，引入了显著度信息作为行人检测的辅助信息，参与到图像识别的过程中。大多数情况下，行人较之周围环境在颜色和形状、轮廓方面有很大的不同，利用子窗口的显著度信息修正分类器的检测结果，可有效地提高检测率、降低误检率。

Description

基于显著度信息的行人检测方法

技术领域

本发明涉及图像检测技术，特别涉及基于图像的行人检测技术。

背景技术

近年来行人检测因为其广泛的应用受到了研究人员以及商业公司越来越多的重视，该方面的研究也取得了长足的进步。但是由于行人本身及周围环境固有的特点，要做到实时、准确地检测仍然面临两个技术难点：

1.行人是一个非刚性的物体，因为角度(正面、侧面、背面等)、衣着、遮挡等情况的不同，导致了行人检测的复杂性。

2.摄影角度和属性、光照角度和强度、周边物体的多样性等都会给精确检测带来一定的难度。

行人检测可以看作为一个二分类问题，而分类问题使用统计学习的方法最为有效。主要包括以下两个方面：第一，不同特征的提取，例如颜色、边缘、Haar-like(AdaBoost人脸检测训练算法中的一种特征提取方法)、轮廓、梯度等特征；第二，不同分类器的使用，如近邻法、神经网络、支撑向量机(SVM)和AdaBoost(Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器))、贝叶斯分类器等。

特征提取方面：颜色特征在处理不同衣着或姿势的行人情况时，有着很大的局限性；Haar-like特征在人脸检测的算法中取得了巨大成功，但行人较之人脸有很大的不同，仅仅依据灰度并不能完整地描述行人信息；边缘方向直方图(EOH)、梯度方向直方图(HOG)能够很好地反映物体的形状特征，对方向、尺度的变形不敏感，但其维数较大，计算速度较慢。

分类器方面：目前在使用较为广泛的分类器主要有支撑向量机(SVM)和AdaBoost以及它们的改进算法。相比于SVM，AdaBoost算法在检测速度上更胜一筹，特别是在级联的AdaBoost分类器，能够使得检测速度达到实时性。

目前公认的取得重大突破的行人检测方法是2005年Dalal和Triggs提出的基于梯度方向直方图(HOG)和支撑向量机(SVM)的行人检测方法。在这种算法的基础上，很多研究人员在特征的提取以及分类器的构建有了更进一步的改进。虽然行人检测已经在检测速度和精度上有了显著提高，但是仍有许多值得改进的地方。

另一方面，显著物体检测作为计算机视觉的一个重要领域在近年来也受到越来越多研究人员的关注。所谓显著物体检测，即提取一幅图片最容易引起人眼注意的区域。显著物体检测有着广泛的应用，它可以作为物体检测、物体分割、图片重定位等问题的预处理。

发明内容

本发明所要解决的技术问题是，提供一种利用显著检测提高行人检测精度的方法。

本发明为解决上述技术问题所采用的技术方案是，基于显著度信息的行人检测方法，包括线下训练步骤、线上检测步骤；

线下训练步骤：搜集包含行人的正样本及不包含行人的负样本；分别从正样本以及负样本中提取特征作为训练数据，构造若干弱分类器；再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

其特征在于，线上检测步骤：计算待检测的图像的显著图；从图像中提取出检测子窗口，并根据显著图计算检测子窗口对应的显著度；计算检测子窗口中相应特征，利用级联分类器对检测子窗口中相应特征进行检测，同时将根据该检测子窗口对应的显著度为级联分类器分配调整系数，得到分类结果；最后将所有检测子窗口对应的分类结果进行合并，得到行人检测结果；当显著度越高，检测子窗口被判别为行人窗口的概率越大。

本发明不同于现有的将显著信息在图像处理中的应用。现有的图像处理识别过程中是先根据显著度信息，为之后的图像识别分配不同的采样点，即不同的子窗口的扫描范围和频率。即显著度的应用仅仅是为之后的图像识别确定范围之用，与之后的图像识别是相互独立的。本发明在现有AdaBoost分类器的基础上，引入了显著度信息作为行人检测的辅助信息，参与到图像识别的过程中。大多数情况下，行人较之周围环境在颜色和形状、轮廓方面有很大的不同，利用子窗口的显著度信息修正分类器的检测结果，可有效地提高检测率、降低误检率。

为了提高显著度的准确性，本发明进一步提出一种新的显著图计算方法，引入了梯度直方图的特征信息，具体为：

将待测图像分割为若干区域；通过计算各区域与其它区域的颜色直方图、梯度直方图的差异度，得出该区域的显著值；

对于图像中任意区域r_i，其显著值S(r_i)为：

$S\left(r_i\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\exp (-D_s(r_k,r_i)/{\mathrm{\σ}}_s^2)\mathrm{\ω}\left(r_k\right)(D_c(r_k,r_i)+D_g(r_k,r_i))$

其中，r_k为图像中分割后除区域r_i之外的任意区域，D_s(r_i，r_k)为r_i和r_k区域中心的欧氏距离，D_c(r_i，r_k)、D_g(r_i，r_k)分别为区域r_i、r_k的颜色直方图和梯度直方图的欧氏距离，σ_s为空间距离权重，ω(r_k)为r_k区域的像素个数。显著值越大，显著度越高；

图像中所有区域的显著值计算完毕后，对所有显著值归一化处理，得到最终的显著图I_sal。

具体的，检测子窗口对应的显著度通过检测子窗口对应的显著系数来反映：

检测子窗口对应的显著系数

其中S_win为子窗口显著度，即显著图中对应子窗口中所有像素点显著度的平均值，S_average为图片平均显著度，即显著图中所有像素点显著度的平均值，β为偏移系数。I_sal(x，y)为像素点(x，y)的归一化后的显著值； $S_{\mathrm{win}}=\frac{\underset{(x,y)\∈\mathrm{window}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{window}\right)},$ area(window)为子窗口像素个数； $S_{\mathrm{average}}=\frac{\underset{(x,y)\∈\mathrm{image}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{image}\right)},$ area(image)为整个图像的像素个数。显著度越高，检测子窗口对应的显著系数越小。

具体地，根据该检测子窗口对应的显著度为级联分类器分配调整系数，得到分类结果的具体方式是：

$F_s=\mathrm{sign}(\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)-\frac{1}{2}E\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t)$

其中，F_s为整个级联分类器中第s级强分类器对检测子窗口的分类结果，h_t为F_s中第t个弱分类器，α_t是弱分类器h_t对应的权值，T_s为强分类器F_s中弱分类器的个数，E为检测子窗口对应的显著系数；当sign()函数中的值大于等于0，第s级强分类器输出结果为1，否则为0；当整个级联分类器中所有强分类器的输出结果均为1，则判别为行人子窗口，否则判别为无行人子窗口。

进一步地，为了发挥了现有各类特征在描述灰度和梯度方面的优势，更全面地体现行人不同于其它物体的特性，计算检测子窗口中相应特征，除了计算AdaBoost分类器中常用的Haar-like矩形特征之外，还计算边缘方向直方图特征以及梯度方向直方图特征。Haar-like矩形特征、边缘方向直方图特征以及梯度方向直方图特征除了包含水平和垂直方向的矩形之外，还包含旋转45°的矩形特征。

本发明的有益效果是，较现有的行人算法，在检测速度近乎一致的条件下，检测精度更高，误检率更低，鲁棒性更强。

附图说明

图1为整体流程图。

图2为边缘方向直方图、梯度方向直方图特征提取流程图。

图3为显著图示意图。

图4为实验结果示意图。

具体实施方式

实施流程图如图1所示。

步骤一、线下训练过程：

第1步：样本的生成：搜集包含行人和不包含行人的图片，分别作为正样本、负样本。

第2步：特征的计算：对于样本图片计算其灰度积分图、梯度积分图，计算样本图中不同尺度、位置以及大小的矩形的Haar-like矩形特征、边缘方向直方图特征、梯度方向直方图特征，计算矩形特征时取水平方向、垂直方向，以及左右旋转45°方向的矩形。

灰度积分图与梯度积分图的计算方法、Haar-like矩形特征、边缘方向直方图特征、梯度方向直方图特征均已有成熟的计算方法，不在此赘述。

第3步：降维：采用Fisher线性判别将多维的梯度方向直方图特征转换为同Haar-like矩形、边缘方向直方图一致的一维特征，再将Haar-like矩形特征、边缘方向直方图特征和梯度方向直方图特征组成混合特征库。

第4步：构建分类器：根据级联AdaBoost算法对混合特征库的训练数据进行学习和训练，并将这些训练数据构造弱分类器，再将若干弱分类器组成强分类器，多个强分类器构成级联分类器。

步骤二、线上检测过程：

第1步：提取图片图像或视频帧图像数据。

第2步：计算积分图：对图像进行不同尺度的缩放及灰度化，分别计算各尺度下的灰度积分图、梯度积分图，如图2所示。

第3步：求取显著图I_sal：将图片调整为较小尺度，利用基于图的图像分割方法将图片分割为若干区域；通过计算各区域与其它区域的颜色直方图、梯度直方图的差异度，得出图片显著图I_sal如图3所示；

对于任一区域r_i，其显著值S(r_i)为：

$S\left(r_i\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\exp (-D_s(r_k,r_i)/{\mathrm{\σ}}_s^2)\mathrm{\ω}\left(r_k\right)(D_c(r_k,r_i)+D_g(r_k,r_i));$

其中，r_k为图像中分割后除区域r_i之外的任意区域，D_s(r_i，r_k)为r_i和r_k区域中心的欧氏距离，D_c(r_i，r_k)、D_g(r_i，r_k)分别为区域r_i、r_k的颜色直方图和梯度直方图的欧氏距离，σ_s为空间距离权重，ω(r_k)为r_k区域的像素个数。对于所有区域的显著值归一化，便可得到最终的显著图I_sal。

第4步：检测过程：

1)对每个缩放后的图片进行各个位置的扫描，扫描窗口为128×64；

2)根据积分图快速计算分类器下对应的各个特征(包括由灰度积分图得到的Haar-like矩形特征、根据梯度积分图得到的边缘方向直方图特征以及梯度方向直方图特征)；

3)计算扫描窗口的显著系数其中S_win为子窗口显著度，即显著图中对应子窗口的像素平均值，S_average为图片平均显著度，即显著图中所有像素平均值，β为偏移系数；

$S_{\mathrm{window}}=\frac{\underset{(x,y)\∈\mathrm{window}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{window}\right)},$ area(window)为窗口像素个数；

$S_{\mathrm{average}}=\frac{\underset{(x,y)\∈\mathrm{image}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{image}\right)},$ area(image)为图像像素个数；

4)AdaBoost强分类器的判别式引入显著系数后，对该子窗口进行判别：

$F_s=\mathrm{sign}(\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)-\frac{1}{2}E\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t)$

其中，F_s为整个级联分类器中第s级强分类器，h_t为f_s中第t个弱分类器(对应训练过程中挑选的第t个特征)，α_t是弱分类器h_t的一个权值，T_s为强分类器F_s中弱分类器的个数。当sign()函数中的值大于等于0，第s级强分类器输出结果为1，否则为0；当整个级联分类器中所有强分类器的输出结果均为1，则判别为行人子窗口，否则判别为无行人子窗口。

5)得到检测结果。

第5步：将缩放图片的检测结果按比例映射至原图像，融合重叠部分的检测窗口，得到最终的检测结果，标记出所有可能的人物出现的位置，如图4所示。

申请人在Pentium Dual-Core 2.60GHz处理器、2GB内存的计算机上运行，使用本实施例方法，对于一幅320×240图片的检测速度约为200ms，保证准确性能没有损失的情况下，能够完成相关图片或视频的实时、准确检测，可广泛用于智能交通、视频监控、图像压缩、多媒体检索等领域。

Claims (5)

1.基于显著度信息的行人检测方法，包括线下训练步骤、线上检测步骤；

线下训练步骤：搜集包含行人的正样本及不包含行人的负样本；分别从正样本以及负样本中提取特征作为训练数据，构造若干弱分类器；再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

其特征在于，线上检测步骤：计算待检测的图像的显著图；从图像中提取出检测子窗口，并根据显著图计算检测子窗口对应的显著度；计算检测子窗口中相应特征，利用级联分类器对检测子窗口中相应特征进行检测，同时将根据该检测子窗口对应的显著度为级联分类器分配调整系数，得到分类结果；最后将所有检测子窗口对应的分类结果进行合并，得到行人检测结果；当显著度越高，检测子窗口被判别为行人窗口的概率越大。

2.如权利要求1所述基于显著度信息的行人检测方法，其特征在于，计算待检测图像的显著图的具体方法是：

将待测图像分割为若干区域；

对于图像中任意区域r_i，其显著值S(r_i)为：

$S\left(r_i\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\exp (-D_s(r_k,r_i)/{\mathrm{\σ}}_s^2)\mathrm{\ω}\left(r_k\right)(D_c(r_k,r_i)+D_g(r_k,r_i))$

其中，r_k为图像分割后除区域r_i之外的任意区域，D_s(r_i，r_k)为r_i和r_k区域中心的欧氏距离，D_c(r_i，r_k)、D_g(r_i，r_k)分别为区域r_i、r_k的颜色直方图和梯度直方图的欧氏距离，σ_s为空间距离权重，ω(r_k)为r_k区域的像素个数；显著值越大，显著度越高；

图像中所有区域的显著值计算完毕后，对所有显著值归一化处理，得到最终的显著图I_sal。

3.如权利要求2所述基于显著度信息的行人检测方法，其特征在于，检测子窗口对应的显著度通过检测子窗口对应的显著系数来反映：

检测子窗口对应的显著系数

其中S_win为子窗口显著度，S_average为图片平均显著度，β为偏移系数。I_sal(x，y)为像素点(x，y)的归一化后的显著值； $S_{\mathrm{win}}=\frac{\underset{(x,y)\∈\mathrm{window}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{window}\right)},$ area(window)为子窗口像素个数； $S_{\mathrm{average}}=\frac{\underset{(x,y)\∈\mathrm{image}}{\mathrm{\Σ}}{I}_{\mathrm{sal}}(x,y)}{\mathrm{area}\left(\mathrm{image}\right)},$ area(image)为整个图像的像素个数；显著度越高，检测子窗口对应的显著系数越小。

4.如权利要求3所述基于显著度信息的行人检测方法，其特征在于，根据该检测子窗口对应的显著度为级联分类器分配调整系数，得到分类结果的具体方式是：

$F_s=\mathrm{sign}(\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)-\frac{1}{2}E\underset{t=1}{\overset{T_s}{\mathrm{\Σ}}}{\mathrm{\α}}_t)$

其中，F_s为整个级联分类器中第s级强分类器对检测子窗口的分类结果，h_t为F_s中第t个弱分类器，α_t是弱分类器h_t对应的权值，T_s为强分类器F_s中弱分类器的个数，E为检测子窗口对应的显著系数；当sign()函数中的值大于等于0，第s级强分类器输出结果为1，否则为0；当整个级联分类器中所有强分类器的输出结果均为1，则判别为行人子窗口，否则判别为无行人子窗口。

5.如权利要求1所述基于显著度信息的行人检测方法，其特征在于，所述特征包括Haar-like矩形特征、边缘方向直方图特征以及梯度方向直方图特征，所述Haar-like矩形特征、边缘方向直方图特征以及梯度方向直方图特征均包含水平方向、垂直方向、旋转45°方向的矩形特征。

Images