CN104778453B - 一种基于红外行人亮度统计特征的夜间行人检测方法 - Google Patents
一种基于红外行人亮度统计特征的夜间行人检测方法 Download PDFInfo
- Publication number
- CN104778453B CN104778453B CN201510154382.8A CN201510154382A CN104778453B CN 104778453 B CN104778453 B CN 104778453B CN 201510154382 A CN201510154382 A CN 201510154382A CN 104778453 B CN104778453 B CN 104778453B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- frame
- mrow
- image
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于红外行人亮度统计特征的夜间行人检测方法。本发明首先对样本库中行人各部件和负样本统计灰度均值信息,利用该信息确定映射区间边界,构造一个区分投票区间划分的亮度直方图特征;然后计算梯度方向直方图特征,并将这两个特征进行联合构成最终的特征描述符;其次利用Adaboost结合决策树的方法进行模型训练,并通过滑窗扫描法进行行人判定及定位,最后当分类器对某个检测框分类判断得到较低置信度时,采用亮度区间模板进行再次判定,从而实现夜间的行人检测。本发明有效地实现了夜晚环境下的行人检测,具有检测率高、适应性强的特点。
Description
技术领域
本发明涉及车载视频图像的行人检测方法,特别一种基于红外行人亮度统计特征的夜间行人检测方法。
背景技术
行人检测技术是计算机视觉的一个重要应用,在日常的生活和生产中有很高的实用价值。基于视觉的行人检测就是根据一定图像处理技术从输入的图片或者视频帧序列判断行人出现的具***置。智能车辆辅助驾驶***可以提高车辆驾驶的安全性,从而减少交通事故的发生,行人检测技术则是智能辅助驾驶***中的核心技术之一。
基于视觉的夜间行人检测技术主要采用的是可见光图像、红外图像等技术。在夜晚情况下,由于光照等条件不理想,可见光摄像机的成像效果较差,影响行人检测的效果。红外摄像机通过被动红外技术捕获红外线信息感知物体,不同温度的物体在图像中呈现出不同亮度。在道路场景红外图像中,行人一般比背景辐射更多的热量,红外图像中的行人一般比背景更为明亮,且不受夜晚光线阴暗、雾天视线不清等影响,具有良好的夜视能力,对不同的光照环境都有较强的适应能力。因此红外图像的行人检测技术是实现夜间行人检测的有效解决方法。
目前多数红外行人检测技术采用基于机器学习的方法,如发明专利《基于特征组合的行人检测方法及装置》(CN103632170A)利用HOG特征与LBP特征构成一个联合特征,利用支持向量机(SVM)作为学习算法进行分类器训练实现行人检测。上述方法涉及的LBP特征对图像纹理有较强描述能力,而红外图像的纹理特征并不明显,因此LBP特征应用于红外行人检测中的效果一般。发明专利《一种基于红外图像的行人检测方法》(CN103902976A)在HOG特征基础上融合与亮度直方图特征描述行人,利用SVM进行分类器训练实现夜间行人检测。该方法除了利用行人的轮廓信息外,也对红外行人的亮度信息进行了提取,因此,有更好的红外行人检测效果。
上述方法并没有考虑红外行人的亮度分布统计特征。本发明在HOG特征基础上,融合红外行人的亮度分布统计特征,构建一种描述能力更强的红外行人特征,利用Adaboost作为学习算法,设计行人检测分类器以及亮度区间模板再判定的行人行人框架。本发明的方法在红外行人检测中有更好的行人特征描述能力和检测效果。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于红外行人亮度统计特征的夜间行人检测方法。本发明利用红外行人的轮廓信息和亮度信息,首先通过对样本库中的行人部件(包括头部、上半身、下半身)和负样本图像统计灰度均值信息,根据灰度均值信息的分布特征确定行人描述特征的各投票映射区间,构造一个区分投票区间划分的亮度直方图特征(DBHOI);然后计算梯度方向直方图(HOG)特征,并将这两个特征进行联合构成最终的行人特征描述符;其次,利用Adaboost结合决策树的方法进行模型训练,通过滑窗扫描法进行行人判定及定位;最后,当分类器对某个行人框分类判断得到较低置信度时,采用亮度区间模板进行再次判定,从而实现夜间红外行人检测。该方法具有检测率高、适应性强的特点。
本发明解决其技术问题采用的技术方案步骤如下:
步骤1、构建红外图像的正负样本数据集;
步骤2、基于亮度统计特征的红外图像DBHOI特征构造;
步骤3、基于轮廓信息的红外图像HOG特征构造;
步骤4、利用Adaboost进行分类器训练;
步骤5、检测窗口判定及定位;
步骤6、行人框重判定。
步骤1所述的构建红外图像的正负样本数据集具体如下:
正样本数据集构建方法如下:采用最小矩形窗口,提取红外图像中的行人样本;假设行人的高为h,宽为w,使得w/h=0.41;共提取行人正样本N1张;
负样本数据集构建方法如下:随机在N0张不包含行人的红外图像中共抽取N0×10张负样本,即在每张红外图像中随机抽取10张负样本;
将所有正负样本缩放至宽为64像素,高为128像素的样本图像。
步骤2所述的基于亮度统计特征的红外图像DBHOI特征构造具体如下:
2-1.设样本图像尺寸为w′×h′,则将样本图像划分成多份大小相同的局部图像;每一个局部图像的大小为8×8,即将样本图像划分成相等的(w′/8)×(h′/8)个局部图像,并将这些局部图像记为cell;
2-2.根据行人部件确定映射规则;
2-2-1.首先根据N1个正样本截取行人各部件,行人各部件包括头部、上半身、下半身;
2-2-2.在负样本中随机截取N1个背景图像;
2-2-3.分别计算头部图像、上半身图像、下半身图像和背景图像的灰度均值;
2-2-4.设四种图像的灰度均值为G1、G2、G3、G4,且大小依次增大;,根据四个灰度均值确定三个映射边界,分别为t1=(G1+G2)/2、t2=(G2+G3)/2、t3=(G3+G4)/2,根据映射边界将灰度值范围划分为四个灰度区间,分别为[0,t1),[t1,t2),[t2,t3),[t3,255];
2-2-5.根据该映射规则并以红外图像中像素的灰度值为权值,在每个cell内构建亮度直方图,得到一个四维的特征向量;
2-3.相邻的2×2个cell进行块内归一化;
以一个cell为步长,将(w′/8)×(h′/8)个cell在样本图像中以从上到下、从左到右的顺序将相邻的四个cell通过L1-Sqrt方法进行块内归一化;
其中L1-Sqrt方法如下:v为亮度直方图向量,ε为一个很小值,取值为0.001;
2-4.将所有块的特征进行串联得到DBHOI特征;
所述的DBHOI为不同区间大小的亮度直方图。
步骤3所述的于轮廓信息的红外图像HOG特征构造具体如下:
利用经典sobel算子计算每个像素水平和垂直方向的梯度分量Gx(i,j)、Gy(i,j),然后计算对应的梯度大小G(i,j)和方向D(i,j)如下:
步骤4所述的利用Adaboost进行分类器训练具体如下:
4-1.将所有正负样本缩放至相同的尺度,然后针对每一个样本图像,提取DBHOI特征向量和HOG特征向量,并且标记正样本的标签为1,负样本的标签为-1;
4-2.将N1个正样本和N0×10个负样本对应的DBHOI-HOG特征向量以及样本标签输入到Adaboost学习算法进行训练,得到一个具有一系列弱分类器构成的分类器。
步骤5所述的检测窗口判定及定位如下:
5-1.根据待检测红外图像的尺度和检测窗口的大小确定缩放因子,确定待检测红外图像的缩放层数;然后用步骤4得到的分类器按步长为4个像素大小进行逐层扫描;设待检测红外图像的原始大小为Wi×Hi,其中Wi表示待检测红外图像的宽度,Hi表示待检测红外图像高度,检测窗口大小为Wd×Hd,其中Wd表示检测窗口的宽度,Hd表示检测窗口高度,用ss表示缩放因子;则初始缩放因子为ss=1,终止缩放因子为ss=min{Wi/Wd,Hi/Hd};对每一个尺度下的待检测红外图像进行滑窗扫描,利用训练得到的行人分类器进行检测窗口判定;如果该检测窗口是行人框,则记录该检测窗口的位置以及置信度,将该记录表示为{posX,posY,width,height,score},其中posX,posY为行人框的左上角点,width,height为行人框的宽度和高度,score为置信度;
所述的置信度为所有二层决策树叶子结点记录的错误率;
5-2.通过对待检测红外图像进行多尺度的滑窗扫描检测后,同一个行人在不同尺度的待检测红外图像中被检测出来,采用非极大值抑制法对多个不同尺度的行人框结果进行融合;
所述的极大值抑制的标准是每个行人框的置信度score;
5-3.将所有行人框按置信度从低到高进行排列成数组A[n],然后从该数组A[n]中取出当前置信度最大的检测窗口信息A[n];
5-4.判断该行人框A[n]与后续行人框A[n-1]的关系,如果两个行人框的重合度α大于0.5,则认为是同一个行人框,否则将行人框A[n-1]作为当前置信度最大的行人框;
所述的重合度其中area(Bn)为第n个行人框的面积,area(Bn∩Bn-1)为第n个行人框面积与第n-1个行人框面积的交集;
5-5.重复步骤5-4,直至判定完所有的行人框。
步骤6所述的行人框重判定如下:
6-1.通过步骤5之后,每一个被判定为行人的检测窗口都会有一个置信度值score;采用了亮度区间模板对行人框进行再判定;当scorei≤τ时,则进行行人框再判定,其中阈值τ的取值由统计方式确定;如果scorei>τ,则仅用分类器进行行人检测,假设得到N个行人框的置信度,那么τ满足式
所述的scorei为步骤5-3定义的数组A[n]中第i个的置信度值;
6-2.根据步骤2以及红外行人成像特点,[0,t1),[t1,t2),[t2,t3),[t3,255]这4个区间分别对应背景、上半身、下半身、头部;设行人宽高为w×h,如果行人框正确判定行人位置,那么将已经被判定为行人的行人框的高度h从上到下划分成4等分,则在第一个1/4等分处必定存在属于[t3,255]范围的亮度信息,并记灰度值在此区间的像素总个数为Σp1,第二个1/4等分处必定存在[t1,t2)范围的亮度信息,并记灰度值在此区间的像素总个数为Σp2,以及后两个1/4等分处必定存在[t2,t3)范围内的亮度信息,并记灰度值在此区间的像素总个数为Σp3;设置如下验证规则:Σp1/(w×h)≥1/16,Σp2/(w×h)≥1/8,Σp3/(w×h)≥1/16;如果Σp1、Σp2、Σp3同时满足这三个条件,那么该行人框再次被判定为行人框,否则该行人框判定为非行人框。本发明的有益效果:
本发明针对红外图像中行人的特点,构建了一个更具表达能力的亮度特征描述符——DBHOI,并将它与HOG特征相结合。DBHOI描述符通过统计训练样本中行人各部件及背景的亮度分布,并在构造特征时对该分布信息进行编码,使得该特征描述符更能够刻画出行人与背景在亮度信息上的区别。该特征描述符的构造方式提高了特征的描述能力,从而使得最终的分类器具有更强的分类能力。
当使用分类器对行人框进行判定后得到较低置信度时,则根据亮度区间模板进行行人框再判定。该方法大大地降低了因分类器误判而引起的错误率,提高了检测精度。
附图说明
图1为本发明的整体流程图。
图2为DBHOI特征描述符提取流程图。
图3为本发明行人检测模型的检测效果展示。
具体实施方式
下面结合附图,对本发明的具体实施方案作进一步详细描述。
如图1、图2和图3所示,一种基于红外行人亮度统计特征的夜间行人检测方法,其具体包括如下步骤:
步骤1、构建红外图像的正负样本数据集。
本发明主要针对车载情况下的行人检测,所以采集图像的场景主要是道路场景下的红外图像。
正样本数据集构建方法如下:采用最小矩形窗口,也就是说用一个能够刚好包围行人的矩形框,提取红外图像中的行人样本;假设行人的高为h,宽为w,使得w/h=0.41;一共提取行人正样本N1张;
负样本数据集构建方法如下:随机在N0张不包含行人的红外图像中共抽取N0×10张负样本,即在每张红外图像中随机抽取10张负样本;
将所有正负样本缩放至宽为64像素,高为128像素的样本图像。
所述的最小矩形窗口的定义如作者P.Dollár在文献《Pedestrian Detection:AnEvaluation of the State of the Art》所述。
步骤2:基于亮度统计特征的红外图像DBHOI特征构造。
所述的DBHOI为不同区间大小的亮度直方图,全称为Different Bins Histogramof Intensity。
如图2所示,本发明通过对红外图像中的亮度信息进行编码,使得亮度信息成为一个具有较强分辨能力的描述符,其具体构造方式如下。
2-1.假设样本图像尺寸为w′×h′,则将样本图像划分成多份大小相同的局部图像;每一个局部图像的大小为8×8,即将样本图像划分成相等的(w′/8)×(h′/8)个局部图像,并将这些局部图像记为cell。
2-2.根据行人部件确定映射规则。首先根据N1个正样本截取行人各部件,行人各部件包括头部、上半身、下半身;再在负样本中随机截取N1个背景图像,然后分别计算头部图像、上半身图像、下半身图像和背景图像的灰度均值。设四种图像的灰度均值为G1、G2、G3、G4,且大小依次增大;,根据四个灰度均值确定三个映射边界,分别为t1=(G1+G2)/2、t2=(G2+G3)/2、t3=(G3+G4)/2,根据映射边界将灰度值范围划分为四个灰度区间,分别为[0,t1),[t1,t2),[t2,t3),[t3,255]。根据该映射规则,并以灰度值为权值,在每个cell内构建亮度直方图,得到一个四维的特征向量。
2-3.相邻的2×2个cell进行块内归一化。
个cell,以一个cell为步长,将(w′/8)×(h′/8)个cell在样本图像中以从上到下、从左到右的顺序将相邻的四个cell进行块内归一化。归一化方法为L1-Sqrt:其中v为亮度直方图向量,ε为一个很小值,本发明中取值为0.001。
2-4.将所有块的特征进行串联得到DBHOI特征。通过这样的方式构建的DBHOI描述符具有较强的描述能力。
步骤3、基于轮廓信息的红外图像HOG特征构造。
利用经典sobel算子计算每个像素水平和垂直方向的梯度分量Gx(i,j)、Gy(i,j),然后计算对应的梯度大小G(i,j)和方向D(i,j)如下:
HOG特征的构造采用金典的构造方法,比如将64×128大小的样本图像划分成若干个cell,每个cell的尺寸大小为8×8。针对每一个cell区域将梯度方向划分成均等的9等分,并将梯度大小作为权值构建梯度方向直方图。将相邻的4个cell组合成块,并L1-sqrt方法进行归一化,最后串联不同块之间的梯度直方图,构成最终的HOG描述符。
步骤4:利用Adaboost进行分类器训练。
将所有正负样本缩放至相同的尺度,如64×128。然后针对每一个样本图像,提取DBHOI特征向量和HOG特征向量,并且标记正样本的标签为1,负样本的标签为-1。
将N1个正样本和N0×10个负样本对应的DBHOI-HOG特征向量以及样本标签输入到Adaboost学习算法进行训练,得到一个具有一系列弱分类器构成的分类器。其中,弱分类器为二层决策树模型。
步骤5:行人框判定及定位。
如图3所示,由于行人分类器的大小是确定的,但是行人在红外图像中的尺寸却不同。比如当行人距离摄像机很近时,它的尺寸将比分类器的尺寸大。因此为了检测不同尺度下的行人,需要对图像进行缩放,然后针对每一个尺度下的图像进行划窗扫描。同一个行人在不同的图像尺度下都有可能被分类器判定为行人,因此需要进行行人框的融合。
5-1.根据待检测红外图像的尺度和检测窗口的大小确定缩放因子,确定待检测红外图像的缩放层数;然后用步骤4得到的分类器按步长为4个像素大小进行逐层扫描。设待检测红外图像的原始大小为Wi×Hi,其中Wi表示待检测红外图像的宽度,Hi表示待检测红外图像高度,检测窗口大小为Wd×Hd,其中Wd表示检测窗口的宽度,Hd表示检测窗口高度,用ss表示缩放因子。则初始缩放因子为ss=1,终止缩放因子为ss=min{Wi/Wd,Hi/Hd}。对每一个尺度下的待检测红外图像进行滑窗扫描,利用训练得到的行人分类器进行窗口判定。如果该检测窗口是行人框,则记录该检测窗口的位置以及置信度,将该记录表示为{posX,posY,width,height,score},其中posX,posY为行人框的左上角点,width,height为行人框的宽度和高度,score为置信度。
所述的置信度为所有二层决策树叶子结点记录的错误率。
5-2.通过对待检测红外图像进行多尺度的滑窗扫描检测后,同一个行人在不同尺度的待检测红外图像中被检测出来,为了使***输出一个最可能对应实际行人位置的行人框,采用非极大值抑制法对多个不同尺度的行人框结果进行融合。所述的极大值抑制的标准是每个行人框的置信度score。
5-3.将所有行人框按置信度从低到高进行排列成数组A[n],然后从该数组A[n]中取出当前置信度最大的检测窗口信息A[n];
5-4.判断该行人框A[n]与后续行人框A[n-1]的关系,如果两个行人框的重合度α大于0.5,则认为是同一个行人框,否则将行人框A[n-1]作为当前置信度最大的行人框。
所述的重合度其中area(Bn)为第n个行人框的面积,area(Bn∩Bn-1)为第n个行人框面积与第n-1个行人框面积的交集。
5-5.重复步骤5-4,直至判定完所有的行人框。
步骤6、行人框重判定。
6-1.通过步骤5之后,每一个被判定为行人的检测窗口都会有一个置信度值score。如果分类器对一个检测窗口的判定越明确,则相应的score值也越大;相反,如果分类器对检测窗口的判定越不明确,则会得到一个很低的score值。因此当一个区域被错误的判定为行人框时,该行人框所得到的置信度score都比较低。为了降低这种因分类器在置信度不够时,做出的错误判定,本发明采用了亮度区间模板再判定技术。当scorei≤τ时,则进行行人框再判定,其中阈值τ的取值由统计方式确定。如果scorei>τ,则仅用分类器进行行人检测,假设得到N个行人框的置信度(默认值N为1000),那么τ满足式
所述的scorei为步骤5-3定义的数组A[n]中第i个的置信度值。
6-2.根据步骤2以及红外行人成像特点,[0,t1),[t1,t2),[t2,t3),[t3,255]这4个区间分别对应背景、上半身、下半身、头部。设行人宽高为w×h,如果行人框正确判定行人位置,那么将已经被判定为行人的行人框的高度h从上到下划分成4等分,则在第一个1/4等分处必定存在属于[t3,255]范围的亮度信息,并记灰度值在此区间的像素总个数为Σp1,第二个1/4等分处必定存在[t1,t2)范围的亮度信息,并记灰度值在此区间的像素总个数为Σp2,以及后两个1/4等分处必定存在[t2,t3)范围内的亮度信息,并记灰度值在此区间的像素总个数为Σp3。设置如下验证规则:Σp1/(w×h)≥1/16,Σp2/(w×h)≥1/8,Σp3/(w×h)≥1/16。如果Σp1、Σp2、Σp3同时满足这三个条件,那么该行人框被判定为行人框,否则该行人框判定为非行人框。
Claims (2)
1.一种基于红外行人亮度统计特征的夜间行人检测方法,其特征在于包括如下步骤:
步骤1、构建红外图像的正负样本数据集;
步骤2、基于亮度统计特征的红外图像DBHOI特征构造;
步骤3、基于轮廓信息的红外图像HOG特征构造;
步骤4、利用Adaboost进行分类器训练;
步骤5、检测窗口判定及定位;
步骤6、行人框重判定;
步骤1所述的构建红外图像的正负样本数据集具体如下:
正样本数据集构建方法如下:采用最小矩形窗口,提取红外图像中的行人样本;假设行人的高为h,宽为w,使得w/h=0.41;共提取行人正样本N1张;
负样本数据集构建方法如下:随机在N0张不包含行人的红外图像中共抽取N0×10张负样本,即在每张红外图像中随机抽取10张负样本;
将所有正负样本缩放至宽为64像素,高为128像素的样本图像;
步骤2所述的基于亮度统计特征的红外图像DBHOI特征构造具体如下:
2-1.设样本图像尺寸为w′×h′,则将样本图像划分成多份大小相同的局部图像;每一个局部图像的大小为8×8,即将样本图像划分成相等的(w′/8)×(h′/8)个局部图像,并将这些局部图像记为cell;
2-2.根据行人部件确定映射规则;
2-2-1.首先根据N1个正样本截取行人各部件,行人各部件包括头部、上半身、下半身;
2-2-2.在负样本中随机截取N1个背景图像;
2-2-3.分别计算头部图像、上半身图像、下半身图像和背景图像的灰度均值;
2-2-4.设四种图像的灰度均值为G1、G2、G3、G4,且大小依次增大;,根据四个灰度均值确定三个映射边界,分别为t1=(G1+G2)/2、t2=(G2+G3)/2、t3=(G3+G4)/2,根据映射边界将灰度值范围划分为四个灰度区间,分别为[0,t1),[t1,t2),[t2,t3),[t3,255];
2-2-5.根据该映射规则并以红外图像中像素的灰度值为权值,在每个cell内构建亮度直方图,得到一个四维的特征向量;
2-3.相邻的2×2个cell进行块内归一化;
以一个cell为步长,将(w′/8)×(h′/8)个cell在样本图像中以从上到下、从左到右的顺序将相邻的四个cell通过L1-Sqrt方法进行块内归一化;
其中L1-Sqrt方法如下:v为亮度直方图向量,ε为一个很小值,取值为0.001;
2-4.将所有块的特征进行串联得到DBHOI特征;
所述的DBHOI为不同区间大小的亮度直方图;
步骤3所述的基于轮廓信息的红外图像HOG特征构造具体如下:
利用经典sobel算子计算每个像素水平和垂直方向的梯度分量Gx(i,j)、Gy(i,j),然后计算对应的梯度大小G(i,j)和方向D(i,j)如下:
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
步骤4所述的利用Adaboost进行分类器训练具体如下:
4-1.将所有正负样本缩放至相同的尺度,然后针对每一个样本图像,提取DBHOI特征向量和HOG特征向量,并且标记正样本的标签为1,负样本的标签为-1;
4-2.将N1个正样本和N0×10个负样本对应的DBHOI-HOG特征向量以及样本标签输入到Adaboost学习算法进行训练,得到一个具有一系列弱分类器构成的分类器;
步骤5所述的检测窗口判定及定位如下:
5-1.根据待检测红外图像的尺度和检测窗口的大小确定缩放因子,确定待检测红外图像的缩放层数;然后用步骤4得到的分类器按步长为4个像素大小进行逐层扫描;设待检测红外图像的原始大小为Wi×Hi,其中Wi表示待检测红外图像的宽度,Hi表示待检测红外图像高度,检测窗口大小为Wd×Hd,其中Wd表示检测窗口的宽度,Hd表示检测窗口高度,用ss表示缩放因子;则初始缩放因子为ss=1,终止缩放因子为ss=min{Wi/Wd,Hi/Hd};对每一个尺度下的待检测红外图像进行滑窗扫描,利用训练得到的行人分类器进行检测窗口判定;如果该检测窗口是行人框,则记录该检测窗口的位置以及置信度,将该记录表示为{posX,posY,width,height,score},其中posX,posY为行人框的左上角点,width,height为行人框的宽度和高度,score为置信度;
所述的置信度为所有二层决策树叶子结点记录的错误率;
5-2.通过对待检测红外图像进行多尺度的滑窗扫描检测后,同一个行人在不同尺度的待检测红外图像中被检测出来,采用非极大值抑制法对多个不同尺度的行人框结果进行融合;
所述的极大值抑制的标准是每个行人框的置信度score;
5-3.将所有行人框按置信度从低到高进行排列成数组A[n],然后从该数组A[n]中取出当前置信度最大的检测窗口信息A[n];
5-4.判断该行人框A[n]与后续行人框A[n-1]的关系,如果两个行人框的重合度α大于0.5,则认为是同一个行人框,否则将行人框A[n-1]作为当前置信度最大的行人框;
所述的重合度其中area(Bn)为第n个行人框的面积,area(Bn∩Bn-1)为第n个行人框面积与第n-1个行人框面积的交集;
5-5.重复步骤5-4,直至判定完所有的行人框。
2.根据权利要求1所述的一种基于红外行人亮度统计特征的夜间行人检测方法,其特征在于步骤6所述的行人框重判定如下:
6-1.通过步骤5之后,每一个被判定为行人的检测窗口都会有一个置信度值score;采用了亮度区间模板对行人框进行再判定;当scorei≤τ时,则进行行人框再判定,其中阈值τ的取值由统计方式确定;如果scorei>τ,则仅用分类器进行行人检测,假设得到N个行人框的置信度,那么τ满足式
所述的scorei为步骤5-3定义的数组A[n]中第i个的置信度值;
6-2.根据步骤2以及红外行人成像特点,[0,t1),[t1,t2),[t2,t3),[t3,255]这4个区间分别对应背景、上半身、下半身、头部;设行人宽高为w×h,如果行人框正确判定行人位置,那么将已经被判定为行人的行人框的高度h从上到下划分成4等分,则在第一个1/4等分处必定存在属于[t3,255]范围的亮度信息,并记灰度值在此区间的像素总个数为∑p1,第二个1/4等分处必定存在[t1,t2)范围的亮度信息,并记灰度值在此区间的像素总个数为∑p2,以及后两个1/4等分处必定存在[t2,t3)范围内的亮度信息,并记灰度值在此区间的像素总个数为∑p3;设置如下验证规则:∑p1/(w×h)≥1/16,∑p2/(w×h)≥1/8,∑p3/(w×h)≥1/16;如果∑p1、∑p2、∑p3同时满足这三个条件,那么该行人框再次被判定为行人框,否则该行人框判定为非行人框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154382.8A CN104778453B (zh) | 2015-04-02 | 2015-04-02 | 一种基于红外行人亮度统计特征的夜间行人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154382.8A CN104778453B (zh) | 2015-04-02 | 2015-04-02 | 一种基于红外行人亮度统计特征的夜间行人检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104778453A CN104778453A (zh) | 2015-07-15 |
CN104778453B true CN104778453B (zh) | 2017-12-22 |
Family
ID=53619906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510154382.8A Active CN104778453B (zh) | 2015-04-02 | 2015-04-02 | 一种基于红外行人亮度统计特征的夜间行人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104778453B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139869B (zh) * | 2015-07-27 | 2018-11-30 | 安徽清新互联信息科技有限公司 | 一种基于区间差分特征的婴儿啼哭检测方法 |
CN105139427B (zh) * | 2015-09-10 | 2018-06-22 | 华南理工大学 | 一种适用于行人视频再识别的部件分割方法 |
CN105279754B (zh) * | 2015-09-10 | 2018-06-22 | 华南理工大学 | 一种适用于自行车视频检测的部件分割方法 |
CN105389546A (zh) * | 2015-10-22 | 2016-03-09 | 四川膨旭科技有限公司 | 车辆行驶过程中对夜间人物进行识别的*** |
CN105426852B (zh) * | 2015-11-23 | 2019-01-08 | 天津津航技术物理研究所 | 车载单目长波红外相机行人识别方法 |
CN105631410B (zh) * | 2015-12-18 | 2019-04-09 | 华南理工大学 | 一种基于智能视频处理技术的课堂检测方法 |
CN105913003B (zh) * | 2016-04-07 | 2019-06-07 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
CN106372624B (zh) * | 2016-10-15 | 2020-04-14 | 杭州艾米机器人有限公司 | 人脸识别方法及*** |
CN106600635A (zh) * | 2016-11-03 | 2017-04-26 | 上海机电工程研究所 | 一种基于小子样的红外目标辐射特性仿真模型校核验证方法 |
CN106919930A (zh) * | 2017-03-10 | 2017-07-04 | 成都智锗科技有限公司 | 一种低分辨率红外图像睡眠异常情况判断方法 |
CN109034174B (zh) * | 2017-06-08 | 2021-07-09 | 北京君正集成电路股份有限公司 | 一种级联分类器训练方法及装置 |
CN108734178A (zh) * | 2018-05-18 | 2018-11-02 | 电子科技大学 | 一种基于规则化模板的hog特征提取方法 |
CN111126444A (zh) * | 2019-11-28 | 2020-05-08 | 天津津航技术物理研究所 | 分类器集成方法 |
CN113095120B (zh) * | 2020-01-09 | 2024-05-07 | 北京君正集成电路股份有限公司 | 一种实现降低人形上半身检测误报的*** |
CN111382718B (zh) * | 2020-03-17 | 2023-08-11 | 电子科技大学中山学院 | 一种夜间行人检测***及基于该***的行人检测方法 |
CN111508003B (zh) * | 2020-04-20 | 2020-12-11 | 北京理工大学 | 一种红外小目标检测跟踪及识别方法 |
CN113313078B (zh) * | 2021-07-02 | 2022-07-08 | 昆明理工大学 | 一种基于模型优化的轻量化夜间红外图像行人检测方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609682A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种针对感兴趣区域的反馈式行人检测方法 |
CN103632170A (zh) * | 2012-08-20 | 2014-03-12 | 深圳市汉华安道科技有限责任公司 | 基于特征组合的行人检测方法及装置 |
CN103886308A (zh) * | 2014-04-15 | 2014-06-25 | 中南大学 | 一种使用聚合通道特征和软级联分类器的行人检测方法 |
CN103902976A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于红外图像的行人检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI419082B (zh) * | 2010-12-20 | 2013-12-11 | Ind Tech Res Inst | 偵測視訊序列中的移動物體影像的方法以及影像處理系統 |
-
2015
- 2015-04-02 CN CN201510154382.8A patent/CN104778453B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609682A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种针对感兴趣区域的反馈式行人检测方法 |
CN103632170A (zh) * | 2012-08-20 | 2014-03-12 | 深圳市汉华安道科技有限责任公司 | 基于特征组合的行人检测方法及装置 |
CN103902976A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于红外图像的行人检测方法 |
CN103886308A (zh) * | 2014-04-15 | 2014-06-25 | 中南大学 | 一种使用聚合通道特征和软级联分类器的行人检测方法 |
Non-Patent Citations (4)
Title |
---|
A modular tracking system for far infrared pedestrian recognition;E. Binelli 等;《2005 proceedings IEEE Intelligent Vehicles Symposium》;20050608;第759-763页 * |
Pedestrian Detection for Driving Assistance Systems: Single-frame Classification and System Level Performance;Amnon Shashua 等;《2004 IEEE Intelligent Vehicles Symposium》;20040617;第1-6页 * |
夜晚环境下的行人检测技术研究;朱聪聪;《中国优秀硕士学位论文全文数据库·信息科技辑》;20140615(第06期);摘要,第1.2.1-1.2节,第2.3-2.7节,图2-1、图2-17、图2-18 * |
红外图像中人体目标检测技术研究;赵君钦 等;《现代电子技术》;20120930;第35卷(第18期);第111-113,118页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104778453A (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104778453B (zh) | 一种基于红外行人亮度统计特征的夜间行人检测方法 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN108053615B (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
CN105447503B (zh) | 基于稀疏表示lbp和hog融合的行人检测方法 | |
CN103902976B (zh) | 一种基于红外图像的行人检测方法 | |
CN107122776A (zh) | 一种基于卷积神经网络的交通标志检测与识别方法 | |
CN107622258A (zh) | 一种结合静态底层特征和运动信息的快速行人检测方法 | |
US11194997B1 (en) | Method and system for thermal infrared facial recognition | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
CN107220624A (zh) | 一种基于Adaboost算法的人脸检测方法 | |
CN109460699A (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
CN107491762A (zh) | 一种行人检测方法 | |
CN104751142A (zh) | 一种基于笔划特征的自然场景文本检测算法 | |
CN106886778B (zh) | 一种监控场景下车牌字符分割与识别方法 | |
CN105913040A (zh) | 暗视觉条件下的双摄像头实时行人检测*** | |
CN106599870A (zh) | 一种基于自适应加权局部特征融合的人脸识别方法 | |
CN105760858A (zh) | 一种基于类Haar中间层滤波特征的行人检测方法及装置 | |
CN106503748A (zh) | 一种基于s‑sift特征和svm训练器的车型识别算法 | |
CN109190475A (zh) | 一种人脸识别网络与行人再识别网络协同训练方法 | |
CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
CN106372658A (zh) | 车辆分类器的训练方法 | |
CN109255326A (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
CN109360179A (zh) | 一种图像融合方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150715 Assignee: HANGZHOU ZHISHU TECHNOLOGY CO.,LTD. Assignor: HANGZHOU DIANZI University Contract record no.: X2022330000062 Denomination of invention: A night pedestrian detection method based on infrared pedestrian brightness statistical characteristics Granted publication date: 20171222 License type: Common License Record date: 20220331 |