CN103177248A - 一种基于视觉的快速行人检测方法 - Google Patents

一种基于视觉的快速行人检测方法 Download PDF

Info

Publication number
CN103177248A
CN103177248A CN2013101329651A CN201310132965A CN103177248A CN 103177248 A CN103177248 A CN 103177248A CN 2013101329651 A CN2013101329651 A CN 2013101329651A CN 201310132965 A CN201310132965 A CN 201310132965A CN 103177248 A CN103177248 A CN 103177248A
Authority
CN
China
Prior art keywords
pedestrian
image
feature
parameter
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101329651A
Other languages
English (en)
Other versions
CN103177248B (zh
Inventor
周泓
陈益如
杨思思
程添
蔡宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201310132965.1A priority Critical patent/CN103177248B/zh
Publication of CN103177248A publication Critical patent/CN103177248A/zh
Application granted granted Critical
Publication of CN103177248B publication Critical patent/CN103177248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的快速行人检测方法，该方法首先通过安装在车辆上的摄像头获取车辆前进道路上的视频图像，然后采用类哈尔特征作为行人描述特征，构建多尺度级联分类器作为行人检测器，采用串联级联策略实现快速的实时行人与非行人的分类识别，最后用非极大值抑制算法确定与行人特征最匹配的滑动窗口，确定行人的位置。若经过上述步骤判断后没有与行人特征相匹配的滑动窗口，则判断输入的图像中无行人。本发明方法将行人检测技术推向实用化，使行人检测技术能够适用于实际的工程应用中，如在安防视频监控领域、汽车主动防御安全领域均有巨大的适用前景。

Description

一种基于视觉的快速行人检测方法
技术领域
本发明涉及计算机视觉技术及汽车先进辅助驾驶领域，尤其涉及一种基于视觉的快速行人检测方法。
技术背景
随着最近十年汽车数量的急速增长，道路交通安全已成为一个全球范围内的重要问题，一份世界卫生组织的报告显示交通事故是造成伤亡的主要原因之一，每年全球因交通事故导致伤亡大约有1000万人，其中200-300万人为严重伤亡。那些易受伤害的道路使用者（如行人，骑自行车者和其他小型交通工具乘坐者）占据了交通事故中受害者的绝大部分。根据2003年美国报道的交通事故数据统计，在美国35,000例道路交通伤亡事故中，有5,000例涉及到行人与车辆碰撞；在欧盟地区，由于车辆与行人的碰撞，导致了150,000人受伤，7,000死亡。因此，面对频发且日趋严重的道路交通事故，国内外的研究机构从车辆自主防御的角度提出了先进驾驶辅助***(Advanced Driver Assistance Systems, ADAS)来避免交通事故的发生或者减小交通事故的严重性，提高道路交通安全。而其中的一个重要组成部分就是行人检测***(Pedestrian Detection Systems, PDS)就是从保护道路行人的角度提出的汽车主动防御***。
行人检测***是指通过安装在车辆的传感器（光学摄像头、红外摄像头、雷达等）获取车辆前进方向的道路信息，然后借助一定的智能检测算法判断车辆行驶环境中出现的行人，并判断行人与车辆的空间关系，对可能发生危险情况向驾驶员发出警报或者对车辆执行自动刹车。基于视觉的车载行人检测***，采用光学摄像头作为主要的传感器，一方面能够辅助扩展驾驶员的视野，减小因车辆结构造成的驾驶员视觉盲区，能够提前预警出现在盲区中的行人，避免车辆与盲区中突现的行人或车辆发生碰撞。尤其对于存在较大视觉盲区的大型工程车，基于视觉的行人检测***具有非常重要的工程意义；另一方面基于视觉的车载行人检测***能够辅助经验不足的驾驶员，判断车辆与行人的距离关系，提高驾驶员行车的安全性，减少道路交通事故的发生。。
目前基于视觉的行人检测***一般对道路的适应能力差，且检测速度比较慢，处理速度一般低于1秒每帧(frame per second, fps)。同时行人检测的准确率普遍不高。因此针对基于视觉的行人检测***计算速率低，道路适应能力差等问题，本发明提出了一种基于视觉方案的快速行人检测方法，该方法能够实现实时速率的行人检测速率，保证一定的行人检测准备率，同时，该方法具备较强的道路、行人多样性的适应能力，具备工程应用的前景。
发明内容
本发明的目的是克服现有的基于视觉的行人检测技术的不足，提供一种基于视觉的快速行人检测方法。
本发明的目的是通过以下技术方案来实现的： 一种基于视觉的快速行人检测方法，该方法包括以下内容：
（1）通过安装在车辆上的摄像头获取车辆前进道路上的视频图像；
（2）将步骤1获取的视频图像进行逐帧处理：对输入图像分别计算色彩不变参数特征通道图像、HOG特征通道图像、梯度幅值特征通道图像，得到                                                
Figure 2013101329651100002DEST_PATH_IMAGE001
、
Figure 579808DEST_PATH_IMAGE002
、
Figure 2013101329651100002DEST_PATH_IMAGE003
和
Figure 250960DEST_PATH_IMAGE004
特征通道图像，其中，
Figure 237502DEST_PATH_IMAGE001
、
Figure 248183DEST_PATH_IMAGE002
、
Figure 2013101329651100002DEST_PATH_IMAGE005
为色彩不变参数特征通道图像，
Figure 592970DEST_PATH_IMAGE006
为HOG特征通道图像，梯度幅值特征通道图像；
（3）分别计算步骤2中的
Figure 751419DEST_PATH_IMAGE001
、、
Figure 141261DEST_PATH_IMAGE003
和特征通道图像对应的整型图像表示方法，得到各特征通道图像对应的整型特征通道图像：、、、；
（4）采用不同尺度的滑动窗口遍历步骤3中得到的各整型特征通道图像，计算每个滑动窗口内的类哈尔特征作为行人描述特征；
（5）使用行人检测器检测步骤4计算得到的行人描述特征，判断输入的特征是否是与行人相关的特征；
（6）采用串联级联策略提高步骤5中行人检测器检测输入特征的速率和效率；
（7）用非极大值抑制算法确定与行人特征最匹配的滑动窗口，确定行人的位置；若经过上述步骤判断后没有与行人特征相匹配的滑动窗口，则判断输入的图像中无行人。
本发明的有益效果是，本发明在保证行人检测准确率的前提下，提高了行人检测方法检测道路中行人的速率，使检测速率达到了实时检测的水平。同时该快速行人检测方法具有较强的道路、行人多样性的适应能力。上述对行人检测方法技术性的提高将行人检测方法进一步推向实用化，是行人检测方法具备了工程应用价值。
附图说明
图1是图像采集示意图；
图2是基于4*4邻域的梯度直方图示意图；
图3是拉普拉斯算子示意图；
图4是类哈尔特征示意图。
具体实施方式
下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。本发明基于色彩不变参数的背景减除方法包括如下步骤：
步骤1：通过安装在车辆上的摄像头获取车辆前进道路上的视频图像。
本发明方法采集图像的具体方法如图1所示，采用的摄像头为PAL制式，每帧图像的分辨率为352*288。
步骤2：对输入图像分别计算色彩不变参数特征通道图像、HOG特征通道图像、梯度幅值特征通道图像，得到
Figure 534754DEST_PATH_IMAGE001
、
Figure 657561DEST_PATH_IMAGE002
、
Figure 728286DEST_PATH_IMAGE003
、
Figure 844009DEST_PATH_IMAGE004
特征通道图像，其中
Figure 683789DEST_PATH_IMAGE001
、
Figure 478963DEST_PATH_IMAGE002
、
Figure 833721DEST_PATH_IMAGE005
为色彩不变参数特征通道图像，
Figure 690819DEST_PATH_IMAGE006
为HOG特征通道图像，梯度幅值特征通道图像。
特征通道图像是指将输入的图像进行特征计算得到的图像，色彩不变参数特征通道图像、HOG特征通道图像、梯度幅值特征通道图像分别是指将输入图像计算色彩不变参数特征、HOG特征、梯度幅值特征得到的特征通道图像。色彩不变参数特征、HOG特征、梯度幅值特征通道图像计算过程如下：
2.1、色彩不变参数特征通道图像
色彩不变参数是通过结合图像中关于色彩的光谱信息和空间结构信息计算得到的特征参数。该参数在图像局部邻域范围内具有平移不变性，尺度不变形及色彩不变性等特点，具有极强的色彩区分能力，对光线变化有很好的适应性。计算色彩不变参数首先需要对图像按如下公式进行物理建模：
Figure 849716DEST_PATH_IMAGE012
；（1）
其中，
Figure 2013101329651100002DEST_PATH_IMAGE013
为图像的物理模型，表示图像中的位置，
Figure 2013101329651100002DEST_PATH_IMAGE015
为光线的波长，
Figure 664143DEST_PATH_IMAGE016
表示光照的光谱，
Figure 2013101329651100002DEST_PATH_IMAGE017
表示在
Figure 275253DEST_PATH_IMAGE014
位置的菲涅尔反射，
Figure 176344DEST_PATH_IMAGE018
表示物质的放射率；
在上述物理模型中，特征参数H、、
Figure 505694DEST_PATH_IMAGE020
具有色彩不变性特性，分别定义如下：
Figure 2013101329651100002DEST_PATH_IMAGE021
    （2）
Figure 815846DEST_PATH_IMAGE022
   （3）
Figure 2013101329651100002DEST_PATH_IMAGE023
   （4）
其中，
Figure 297774DEST_PATH_IMAGE024
为对
Figure 107784DEST_PATH_IMAGE015
的一阶偏导，
Figure DEST_PATH_IMAGE025
为
Figure 421960DEST_PATH_IMAGE013
对
Figure 945345DEST_PATH_IMAGE015
的二阶偏导，
Figure 109610DEST_PATH_IMAGE026
为对公式（1）的x方向的一阶偏导，
Figure DEST_PATH_IMAGE027
为对公式（1）y方向的一阶偏导。
根据公式（1）、（2）、（3）、（4）对输入的图像计算色彩不变参数特征通道图像，得到色彩不变参数
Figure 413552DEST_PATH_IMAGE028
、
Figure 767304DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE029
分别对应的
Figure 207513DEST_PATH_IMAGE001
、
Figure 808259DEST_PATH_IMAGE002
、
Figure 271601DEST_PATH_IMAGE005
特征通道图像。
2.2）HOG特征通道图像
对输入的图像计算其梯度图像，再依次以每个像素为中心8*8邻域内计算以该像素为中心的8*8邻域内各个像素的梯度直方图分布。直方图的统计规则如下：8*8邻域内每个像素的梯度幅值为该像素的权重，直方图以梯度的方向(0-180°)为划分区间，分为6个区间。每个像素根据自身梯度的方向落入对应的区间，再将各个区间内存在的像素的对应的梯度幅值相加，最终得到梯度直方图，如图2所示。
2.3）梯度幅值特征通道图像
采用二阶微分算子——拉普拉斯算子来计算图像的梯度幅值。图像二阶偏微分的定义如下：
（5）
Figure DEST_PATH_IMAGE031
（6）
其中
Figure 502522DEST_PATH_IMAGE032
表示输入图像，
Figure DEST_PATH_IMAGE033
,
Figure 821639DEST_PATH_IMAGE034
表示该像素在图像中的位置。那么2维图像的梯度
Figure DEST_PATH_IMAGE035
得到如下：
即，
 
Figure DEST_PATH_IMAGE037
（8）
那么图像的梯度幅值就为
Figure 982679DEST_PATH_IMAGE038
。
在实际计算中，采用图3所示的拉普拉斯算子与图像的每个像素进行滤波再取膜得到图像的梯度幅值特征通道图像。
步骤3：分别计算步骤2中的色彩不变参数特征通道图像、HOG特征通道图像和梯度幅值特征通道图像对应的整型图像表示方法，获得各特征通道图像对应的整型特征通道图像。
整型图像表示计算法方式如下：
Figure DEST_PATH_IMAGE039
（9）
式中，为图像的整形表示，
Figure DEST_PATH_IMAGE041
为原特征通道图像中的像素值，
Figure 386033DEST_PATH_IMAGE042
表示图像中像素的位置。对步骤3）中得到的特征通道图像依次计算其整形图像，将这些整形图像记作
Figure 637017DEST_PATH_IMAGE008
、
Figure 323213DEST_PATH_IMAGE009
、
Figure 530204DEST_PATH_IMAGE010
、
Figure 705970DEST_PATH_IMAGE011
。
步骤4：采用不同尺度的滑动窗口遍历步骤3中得到的各整型特征通道，计算每个滑动窗口内的类哈尔特征作为行人描述特征。
本发明方法通过采用不同尺度的滑动窗口来检测检测输入图像中不同大小尺寸的行人。实施例中，可以以100*160大小的滑动窗口作为标准尺度窗口，再以
Figure DEST_PATH_IMAGE043
的尺度步长放缩滑动窗口。
在滑动窗口内采用4*4大小的矩阵，主要计算了3种类哈尔特征，分别是基于2个相邻矩形的类哈尔特征、基于3个相邻矩形的类哈尔特征和基于4个相邻矩形的类哈尔特征。如图4所示，A和B所示的基于2个相邻矩形的类哈尔特征，该特征为两个相邻矩形中值的总和的差值，即：
Figure 945715DEST_PATH_IMAGE044
（10）
其中，
Figure DEST_PATH_IMAGE045
一个矩形中像素值的总和，
Figure 232340DEST_PATH_IMAGE046
表示另外一个矩形中像素值的总和。类似的基于3个相邻矩形的类哈尔特征和基于4个相邻矩形的类哈尔特征分别表示如下：
Figure DEST_PATH_IMAGE047
（11）
（12）
步骤5：使用行人检测器检测步骤4计算得到的行人描述特征，判断输入的特征是否是与行人相关的特征。
本步骤中涉及的行人检测器是指预先训练好的行人检测分类器。训练行人检测分类器的具体步骤如下：
       5.1）采用INRIA行人图像数据库作为计算训练分类器样本数据的图像集。
5.2）根据步骤2-4计算INRIA行人图像数据库中图像的行人描述特征集合，下面用集合的形式表示特征集合：
Figure DEST_PATH_IMAGE049
（13）
Figure 656816DEST_PATH_IMAGE050
（14）
Figure DEST_PATH_IMAGE051
（15）
其中，
Figure 866081DEST_PATH_IMAGE052
表示分类器的训练样本，表示行人特征集合，表示非行人特征集合，
Figure DEST_PATH_IMAGE055
表示行人特征集合中的一个元素，表示该元素对应的特征值，1表示该元素的分类属性为行人特征，
Figure DEST_PATH_IMAGE057
表示非行人特征集合中的一个元素，
Figure 717865DEST_PATH_IMAGE058
表示该元素对应的特征值，-1表示该元素的分类属性为非行人特征。
5.3）采用一组由2级判定树构成cascade结构的分类器，cascade分类器表示为：
（16）
其中，表示经过学习的分类器，
Figure DEST_PATH_IMAGE061
表示构成分类器的弱分类器，即2级判定树，i=1,…K，表示判定树的下标，K表示分类器中判定树的数量，本发明方法中取K=12，
Figure 560629DEST_PATH_IMAGE062
表示
Figure 596718DEST_PATH_IMAGE061
所对应的权重。
5.4）用步骤5.2）中计算所得的训练样本数据训练步骤5.3）定义的分类器。采用Adaboost算法训练分类器，确定每个判定树的参数以及其对于的权值。
5.5）用步骤5.4）的方法训练5个标准尺度分类器，分类器尺度取决于用于训练分类器的样本数据对应的滑动窗口的尺寸。本发明方法以25*15、50*30、100*60、200*120、250*150 5个尺寸的窗口作为标准尺寸滑动窗口，将这五个尺寸遍历图像产生的行人描述特征作为训练样本数据，得到5个标准尺度分类器。
5.6）以步骤5.5）中训练得到的5个标准尺度分类器为基础，采用尺度估计的方法构建一组完备尺度的分类器。构建方法如下：
（17）
Figure 285189DEST_PATH_IMAGE064
（18）
Figure DEST_PATH_IMAGE065
，（19）
其中
Figure 219778DEST_PATH_IMAGE066
、
Figure DEST_PATH_IMAGE067
为标准尺度分类器的参数，
Figure 651896DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE069
为待估计尺度的分类器参数，
Figure 119656DEST_PATH_IMAGE070
为特征值在尺度1和尺度
Figure DEST_PATH_IMAGE071
的比值。
Figure 916710DEST_PATH_IMAGE072
为尺度值，
Figure DEST_PATH_IMAGE073
、、
Figure DEST_PATH_IMAGE075
、分别为上采样和下采样参数需要经过大量实验确定其值。本发明方法中对HOG和梯度幅值特征采用
Figure DEST_PATH_IMAGE077
，
Figure 381824DEST_PATH_IMAGE078
，
Figure DEST_PATH_IMAGE079
、
Figure 664294DEST_PATH_IMAGE080
；对色彩不变参数特征采用
Figure 760426DEST_PATH_IMAGE077
，
Figure DEST_PATH_IMAGE081
，
Figure 534347DEST_PATH_IMAGE082
、
Figure DEST_PATH_IMAGE083
。
5.7）以步骤5.5）中训练得到的5个标准尺度分类器为基础，采用步骤5.6）中的方法，构建50个尺度完备分类器集合，即行人检测器。
步骤6：采用Crosstalk Cascade（串联级联）策略提高步骤5）中行人检测器检测输入特征的速率和效率。
Crosstalk Cascade策略是完成快速行人检测的关键，具体执行步骤如下：
6.1）对滑动窗口内的行人描述特征参数按soft cascade（疏松级联） 规则用行人检测分类器进行滤波筛选潜在的属于行人特征的特征参数。soft cascade规则为：
Figure 478163DEST_PATH_IMAGE084
（20）
Figure DEST_PATH_IMAGE085
 (21)
其中，
Figure 679337DEST_PATH_IMAGE033
为输入行人检测进行分类的行人描述特征参数，
Figure 997186DEST_PATH_IMAGE086
表示构成行人检测器的判定树的数量，
Figure DEST_PATH_IMAGE087
=1,…
Figure 824066DEST_PATH_IMAGE088
，
Figure 871656DEST_PATH_IMAGE088
=1,…
Figure 181415DEST_PATH_IMAGE086
，
Figure 861926DEST_PATH_IMAGE087
 、
Figure 915333DEST_PATH_IMAGE088
 均表示判定树的下标，
Figure 755113DEST_PATH_IMAGE061
表示第
Figure DEST_PATH_IMAGE089
个判定树，
Figure 538568DEST_PATH_IMAGE062
为
Figure 158905DEST_PATH_IMAGE061
对应的权值，
Figure 750423DEST_PATH_IMAGE090
表示第1到第i棵判定树输出值的总和，
Figure DEST_PATH_IMAGE091
为判定的阈值。如果公式（20）成立，则判定过程结束，判定
Figure 523338DEST_PATH_IMAGE033
为非行人特征，即判断
Figure 237217DEST_PATH_IMAGE033
所在的滑动窗口中不包含行人。
6.2）若行人描述特征
Figure 16954DEST_PATH_IMAGE033
经过步骤6.1）判断为潜在的行人描述特征，则以滑动窗口为单位，以特征
Figure 723747DEST_PATH_IMAGE033
所在的滑动窗口为中心，选择7*7*3个滑动窗口内的行人描述特征参数输入行人检测器。其中7*7*3对应于w*h*d，w表示水平方向上滑动窗口的个数，h表示垂直方向上滑动窗口的个数，d表示图像中某个位置对于的d个相邻尺度的滑动窗口。将7*7*3个滑动窗口内的特征记作：
Figure 538120DEST_PATH_IMAGE092
 (22)
6.3）采用excitation cascade（激励级联）规则对步骤6.2）中得到的
Figure DEST_PATH_IMAGE093
内的行人描述特征参数进行筛选。excitation cascade规则如下：
 （23）
Figure DEST_PATH_IMAGE095
 (24)
其中，
Figure 502982DEST_PATH_IMAGE096
表示步骤6.2）中得到的行人描述特征，为判定阈值，
Figure 764199DEST_PATH_IMAGE086
表示构成行人检测器的判定树的数量，=1,…
Figure 426441DEST_PATH_IMAGE088
，
Figure 495285DEST_PATH_IMAGE088
=1,…
Figure 497876DEST_PATH_IMAGE086
，
Figure 83578DEST_PATH_IMAGE087
 、
Figure 247843DEST_PATH_IMAGE088
 均表示判定树的下标，
Figure 302518DEST_PATH_IMAGE061
表示第
Figure 843221DEST_PATH_IMAGE089
个判定树，
Figure 283429DEST_PATH_IMAGE062
为
Figure 884175DEST_PATH_IMAGE061
对应的权值，
Figure 347517DEST_PATH_IMAGE090
表示第1到第i棵判定树输出值的总和，为判定的阈值。当公式（23）成立时，判定
Figure 235894DEST_PATH_IMAGE033
为非行人特征，即判断
Figure 69857DEST_PATH_IMAGE033
所在的滑动窗口中不包含行人。
6.4）采用inhibitory cascade（截止级联）规则对步骤6.3）、6.1）中得到的特征参数集进行筛选。inhibitory cascade规则如下：
Figure 20496DEST_PATH_IMAGE098
(25)
其中
Figure DEST_PATH_IMAGE099
、
Figure 716051DEST_PATH_IMAGE100
由公式(21)(24)定义，为判定的阈值。当公式（25）成立时，则判断特征参数
Figure 130851DEST_PATH_IMAGE033
为非行人特征。
6.5）将经过上述步骤判定后未被筛选掉的行人描述特征参数判断为行人特征，即特征
Figure 73400DEST_PATH_IMAGE033
对应的窗口中包含行人。
步骤7：用非极大值抑制算法确定与行人特征最匹配的滑动窗口，确定行人的位置。若经过上述步骤判断后没有与行人特征相匹配的滑动窗口，则判断输入的图像中无行人。
经过行人检测器的检测，可能存在多个都与行人特张相匹配的窗口，因此需要从这些窗口中选择最佳匹配的窗口，采用非极大值抑制算法能够有效快速的选择出该窗口。
本发明方法针对传统的行人检测方法中计算费时的问题，提出了一种基于视觉的快速行人检测方法。该方法在提高检测速率的同时也保证了行人检测的准确率。本发明方法主要从以下三个方面提高行人检测方法的执行速率：1）通过定义有效同时便于计算的行人描述特征通道：色彩不变参数特征通道、梯度直方图特征通道(Histogram of Gradient, HOG)、梯度幅值特征通道；2）通过构建多尺度分类器的方法，将检测过程中费时的环节预先在训练行人检测器阶段完成，同时该方法也提高了检测的准确率；3）采用Crosstalk Cascade策略使训练好的分类器在实施实时检测时快速高效的完成行人特征的检测。本发明方法将行人检测技术推向实用化，使行人检测技术能够适用于实际的工程应用中，如在安防视频监控领域、汽车主动防御安全领域均有巨大的适用前景。

Claims (8)

1.一种基于视觉的快速行人检测方法，其特征在于，该方法包括以下内容：
（1）通过安装在车辆上的摄像头获取车辆前进道路上的视频图像；
（2）将步骤1获取的视频图像进行逐帧处理：对输入图像分别计算色彩不变参数特征通道图像、HOG特征通道图像、梯度幅值特征通道图像，得到                                                
Figure 487264DEST_PATH_IMAGE001
、、
Figure 780022DEST_PATH_IMAGE003
和
Figure 346133DEST_PATH_IMAGE004
特征通道图像，其中，
Figure 382222DEST_PATH_IMAGE001
、
Figure 946058DEST_PATH_IMAGE002
、
Figure 333177DEST_PATH_IMAGE005
为色彩不变参数特征通道图像，
Figure 876548DEST_PATH_IMAGE006
为HOG特征通道图像，
Figure 970406DEST_PATH_IMAGE007
梯度幅值特征通道图像；
（3）分别计算步骤2中的
Figure 767460DEST_PATH_IMAGE001
、
Figure 376296DEST_PATH_IMAGE002
、
Figure 487472DEST_PATH_IMAGE003
和
Figure 498153DEST_PATH_IMAGE004
特征通道图像对应的整型图像表示方法，得到各特征通道图像对应的整型特征通道图像：
Figure 403792DEST_PATH_IMAGE008
、
Figure 499924DEST_PATH_IMAGE009
、
Figure 945949DEST_PATH_IMAGE010
、
Figure 512934DEST_PATH_IMAGE011
；
（4）采用不同尺度的滑动窗口遍历步骤3中得到的各整型特征通道图像，计算每个滑动窗口内的类哈尔特征作为行人描述特征；
（5）使用行人检测器检测步骤4计算得到的行人描述特征，判断输入的特征是否是与行人相关的特征；
（6）采用串联级联策略提高步骤5中行人检测器检测输入特征的速率和效率；
（7）用非极大值抑制算法确定与行人特征最匹配的滑动窗口，确定行人的位置；若经过上述步骤判断后没有与行人特征相匹配的滑动窗口，则判断输入的图像中无行人。
2.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤2中，色彩不变参数特征通道定义如下：
色彩不变参数是通过结合图像中关于色彩的光谱信息和空间结构信息计算得到的特征参数；该参数在图像局部邻域范围内具有平移不变性，尺度不变形及色彩不变性等特点，具有极强的色彩区分能力，对光线变化有很好的适应性；计算色彩不变参数首先需要对图像按如下公式进行物理建模，
（1）
其中，
Figure 172903DEST_PATH_IMAGE013
为图像的物理模型，表示图像中的位置，
Figure 407892DEST_PATH_IMAGE015
为光线的波长，
Figure 655334DEST_PATH_IMAGE016
表示光照的光谱，
Figure 726058DEST_PATH_IMAGE017
表示在
Figure 717148DEST_PATH_IMAGE014
位置的菲涅尔反射，表示物质的放射率；
在上述物理模型中，特征参数H、
Figure 37588DEST_PATH_IMAGE019
、
Figure 769177DEST_PATH_IMAGE020
具有色彩不变性特性，分别定义如下：
    （2）
   （3）
Figure 909805DEST_PATH_IMAGE023
   （4）
其中，
Figure 955121DEST_PATH_IMAGE024
为对
Figure 836807DEST_PATH_IMAGE015
的一阶偏导，
Figure 862532DEST_PATH_IMAGE025
为
Figure 129565DEST_PATH_IMAGE013
对的二阶偏导，
Figure 167983DEST_PATH_IMAGE026
为对公式（1）的x方向的一阶偏导，为对公式（1）y方向的一阶偏导；
根据公式（1）、（2）、（3）、（4）对输入的图像计算色彩不变参数特征通道图像，得到色彩不变参数
Figure 853359DEST_PATH_IMAGE028
、
Figure 855950DEST_PATH_IMAGE019
、
Figure 317018DEST_PATH_IMAGE029
分别对应的
Figure 481284DEST_PATH_IMAGE001
、、
Figure 201295DEST_PATH_IMAGE005
特征通道图像。
3.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤2中，HOG特征通道定义如下：
对输入的图像计算其梯度图像，再依次以每个像素为中心8*8邻域内计算以该像素为中心的8*8邻域内各个像素的梯度直方图分布；直方图的统计规则如下：8*8邻域内每个像素的梯度幅值为该像素的权重，直方图以梯度的方向(0-180°)为划分区间，分为6个区间；每个像素根据自身梯度的方向落入对应的区间，再将各个区间内存在的像素的对应的梯度幅值相加，最终得到梯度直方图。
4.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤2中，梯度幅值特征通道定义如下：
采用二阶微分算子——拉普拉斯算子来计算图像的梯度幅值；图像二阶偏微分的定义如下：
Figure 579187DEST_PATH_IMAGE030
（5）
Figure 619080DEST_PATH_IMAGE031
（6）
其中表示输入图像，,
Figure 862477DEST_PATH_IMAGE034
表示该像素在图像中的位置；那么2维图像的梯度
Figure 368544DEST_PATH_IMAGE035
得到如下：
即，
 
Figure 404951DEST_PATH_IMAGE037
（8）
那么图像的梯度幅值就为。
5. 根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤3中，整型图像表示计算方法如下：
Figure 372087DEST_PATH_IMAGE039
（9）
式中，
Figure 810021DEST_PATH_IMAGE040
为图像的整形表示，
Figure 932436DEST_PATH_IMAGE041
为原特征通道图像中的像素值，
Figure 139426DEST_PATH_IMAGE042
表示图像中像素的位置；对步骤3）中得到的特征通道图像依次计算其整形图像，将这些整形图像记作
Figure 190559DEST_PATH_IMAGE008
、、
Figure 277781DEST_PATH_IMAGE010
、。
6.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤4中类哈尔特征定义如下：
在滑动窗口内采用4*4大小的矩阵，主要计算了3种类哈尔特征，分别是基于2个相邻矩形的类哈尔特征、基于3个相邻矩形的类哈尔特征和基于4个相邻矩形的类哈尔特征；A和B所示的基于2个相邻矩形的类哈尔特征，该特征为两个相邻矩形中值的总和的差值，即：
Figure 826891DEST_PATH_IMAGE043
（10）
其中，一个矩形中像素值的总和，
Figure 1837DEST_PATH_IMAGE045
表示另外一个矩形中像素值的总和；类似的基于3个相邻矩形的类哈尔特征和基于4个相邻矩形的类哈尔特征分别表示如下：
（11）
Figure 66101DEST_PATH_IMAGE047
（12）。
7.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤5中，行人检测器的构建及训练方法如下：
（5.1）采用INRIA行人图像数据库作为计算训练分类器样本数据的图像集；
（5.2）根据步骤2-4计算INRIA行人图像数据库中图像的行人描述特征集合，下面用集合的形式表示特征集合：
Figure 903607DEST_PATH_IMAGE048
（13）
Figure 469718DEST_PATH_IMAGE049
（14）
Figure 505807DEST_PATH_IMAGE050
（15）
其中，
Figure 69643DEST_PATH_IMAGE051
表示分类器的训练样本，表示行人特征集合，
Figure 498667DEST_PATH_IMAGE053
表示非行人特征集合，
Figure 654842DEST_PATH_IMAGE054
表示行人特征集合中的一个元素，
Figure 451897DEST_PATH_IMAGE055
表示该元素对应的特征值，1表示该元素的分类属性为行人特征，
Figure 496951DEST_PATH_IMAGE056
表示非行人特征集合中的一个元素，
Figure 404864DEST_PATH_IMAGE057
表示该元素对应的特征值，-1表示该元素的分类属性为非行人特征；
（5.3）采用一组由2级判定树构成cascade（级联）结构的分类器，cascade分类器表示为：
Figure 353229DEST_PATH_IMAGE058
（16）
其中，表示经过学习的分类器，
Figure 417317DEST_PATH_IMAGE060
表示构成分类器的弱分类器，即2级判定树，i=1,…K，表示判定树的下标，K表示分类器中判定树的数量，取K=12，
Figure 66604DEST_PATH_IMAGE061
表示所对应的权重；
（5.4）用步骤5.2中计算所得的训练样本数据训练步骤5.3）定义的分类器；采用Adaboost算法训练分类器，确定每个判定树的参数以及其对于的权值；
（5.5）用步骤5.4的方法训练5个标准尺度分类器，分类器尺度取决于用于训练分类器的样本数据对应的滑动窗口的尺寸；方法以25*15、50*30、100*60、200*120、250*150 5个尺寸的窗口作为标准尺寸滑动窗口，将这五个尺寸遍历图像产生的行人描述特征作为训练样本数据，得到5个标准尺度分类器；
（5.6）以步骤5.5中训练得到的5个标准尺度分类器为基础，采用尺度估计的方法构建一组完备尺度的分类器；构建方法如下：
Figure 273911DEST_PATH_IMAGE062
（17）
（18）
Figure 107055DEST_PATH_IMAGE064
，（19）
其中
Figure 531477DEST_PATH_IMAGE065
、
Figure 841235DEST_PATH_IMAGE066
为标准尺度分类器的参数，
Figure 584063DEST_PATH_IMAGE067
、
Figure 637470DEST_PATH_IMAGE068
为待估计尺度的分类器参数，
Figure 477250DEST_PATH_IMAGE069
为特征值在尺度1和尺度
Figure 895593DEST_PATH_IMAGE070
的比值；
Figure 453613DEST_PATH_IMAGE071
为尺度值，
Figure 982815DEST_PATH_IMAGE072
、
Figure 942681DEST_PATH_IMAGE073
、、
Figure 810197DEST_PATH_IMAGE075
分别为上采样和下采样参数需要经过大量实验确定其值；对HOG和梯度幅值特征采用
Figure 205406DEST_PATH_IMAGE076
，
Figure 957462DEST_PATH_IMAGE077
，
Figure 779924DEST_PATH_IMAGE078
、
Figure 46958DEST_PATH_IMAGE079
；对色彩不变参数特征采用
Figure 183541DEST_PATH_IMAGE076
，
Figure 852420DEST_PATH_IMAGE080
，
Figure 845783DEST_PATH_IMAGE081
、
Figure 537796DEST_PATH_IMAGE082
；
（5.7）以步骤5.5中训练得到的5个标准尺度分类器为基础，采用步骤5.6中的方法，构建50个尺度完备分类器集合，即行人检测器。
8.根据权利要求1所述的基于视觉的快速行人检测方法，其特征在于，所述步骤6中，串联级联策略定义如下：
（6.1）对滑动窗口内的行人描述特征参数按疏松级联规则用行人检测分类器进行滤波筛选潜在的属于行人特征的特征参数；疏松级联规则为：
Figure 540387DEST_PATH_IMAGE083
（20）
Figure 502920DEST_PATH_IMAGE084
 (21)
其中，
Figure 667185DEST_PATH_IMAGE033
为输入行人检测进行分类的行人描述特征参数，
Figure 846494DEST_PATH_IMAGE085
表示构成行人检测器的判定树的数量，
Figure 387197DEST_PATH_IMAGE086
=1,…
Figure 765088DEST_PATH_IMAGE087
，
Figure 303517DEST_PATH_IMAGE087
=1,…
Figure 766859DEST_PATH_IMAGE085
，
Figure 111253DEST_PATH_IMAGE086
 、 均表示判定树的下标，
Figure 52981DEST_PATH_IMAGE060
表示第个判定树，为
Figure 612510DEST_PATH_IMAGE060
对应的权值，表示第1到第i棵判定树输出值的总和，
Figure 930676DEST_PATH_IMAGE090
为判定的阈值；如果公式（20）成立，则判定过程结束，判定
Figure 554556DEST_PATH_IMAGE033
为非行人特征，即判断所在的滑动窗口中不包含行人；
（6.2）若行人描述特征
Figure 874996DEST_PATH_IMAGE033
经过步骤6.1判断为潜在的行人描述特征，则以滑动窗口为单位，以特征
Figure 239374DEST_PATH_IMAGE033
所在的滑动窗口为中心，选择7*7*3个滑动窗口内的行人描述特征参数输入行人检测器；其中7*7*3对应于w*h*d，w表示水平方向上滑动窗口的个数，h表示垂直方向上滑动窗口的个数，d表示图像中某个位置对于的d个相邻尺度的滑动窗口；将7*7*3个滑动窗口内的特征记作：
Figure 463682DEST_PATH_IMAGE091
 (22)
（6.3）采用激励级联规则对步骤6.2中得到的内的行人描述特征参数进行筛选；激励级联规则如下：
 （23）
Figure 159740DEST_PATH_IMAGE094
 (24)
其中，
Figure 125422DEST_PATH_IMAGE095
表示步骤6.2中得到的行人描述特征，为判定阈值，
Figure 699940DEST_PATH_IMAGE085
表示构成行人检测器的判定树的数量，
Figure 334183DEST_PATH_IMAGE086
=1,…
Figure 900294DEST_PATH_IMAGE087
，
Figure 638180DEST_PATH_IMAGE087
=1,…
Figure 264334DEST_PATH_IMAGE085
， 、
Figure 568724DEST_PATH_IMAGE087
 均表示判定树的下标，
Figure 175766DEST_PATH_IMAGE060
表示第
Figure 972821DEST_PATH_IMAGE088
个判定树，为
Figure 427253DEST_PATH_IMAGE060
对应的权值，
Figure 437934DEST_PATH_IMAGE089
表示第1到第i棵判定树输出值的总和，
Figure 343573DEST_PATH_IMAGE090
为判定的阈值；当公式（23）成立时，判定
Figure 439705DEST_PATH_IMAGE033
为非行人特征，即判断
Figure 88992DEST_PATH_IMAGE033
所在的滑动窗口中不包含行人；
（6.4）采用截止级联规则对步骤6.3、6.1中得到的特征参数集进行筛选；截止级联规则如下：
Figure 954180DEST_PATH_IMAGE097
(25)
其中，
Figure 529256DEST_PATH_IMAGE098
、
Figure 112684DEST_PATH_IMAGE099
由公式(21)(24)定义，为判定的阈值；当公式（25）成立时，则判断特征参数
Figure 285356DEST_PATH_IMAGE033
为非行人特征；
（6.5）将经过上述步骤判定后未被筛选掉的行人描述特征参数判断为行人特征，即特征对应的窗口中包含行人。
CN201310132965.1A 2013-04-16 2013-04-16 一种基于视觉的快速行人检测方法 Active CN103177248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310132965.1A CN103177248B (zh) 2013-04-16 2013-04-16 一种基于视觉的快速行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310132965.1A CN103177248B (zh) 2013-04-16 2013-04-16 一种基于视觉的快速行人检测方法

Publications (2)

Publication Number Publication Date
CN103177248A true CN103177248A (zh) 2013-06-26
CN103177248B CN103177248B (zh) 2016-03-23

Family

ID=48637090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310132965.1A Active CN103177248B (zh) 2013-04-16 2013-04-16 一种基于视觉的快速行人检测方法

Country Status (1)

Country Link
CN (1) CN103177248B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN103942541A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于车载视觉的盲区内电动车自动检测方法
CN105224911A (zh) * 2015-08-27 2016-01-06 湖北文理学院 一种多视角实时行人检测方法及***
CN114463653A (zh) * 2022-04-12 2022-05-10 浙江大学 一种高浓度微群泡形态识别及轨迹追踪测速方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622258B (zh) * 2017-10-16 2020-10-30 中南大学 一种结合静态底层特征和运动信息的快速行人检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356539A (zh) * 2006-04-11 2009-01-28 三菱电机株式会社 在摄像机获取的场景的测试图像中检测人物的方法和***
CN101887524A (zh) * 2010-07-06 2010-11-17 湖南创合制造有限公司 基于视频监控的行人检测方法
CN102081741A (zh) * 2011-01-15 2011-06-01 中国人民解放军军械工程学院 一种基于视觉注意原理的行人检测方法和***
CN102147866A (zh) * 2011-04-20 2011-08-10 上海交通大学 基于训练自适应增强和支持矢量机的目标识别方法
US20110293136A1 (en) * 2010-06-01 2011-12-01 Porikli Fatih M System and Method for Adapting Generic Classifiers for Object Detection in Particular Scenes Using Incremental Training
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356539A (zh) * 2006-04-11 2009-01-28 三菱电机株式会社 在摄像机获取的场景的测试图像中检测人物的方法和***
US20110293136A1 (en) * 2010-06-01 2011-12-01 Porikli Fatih M System and Method for Adapting Generic Classifiers for Object Detection in Particular Scenes Using Incremental Training
CN101887524A (zh) * 2010-07-06 2010-11-17 湖南创合制造有限公司 基于视频监控的行人检测方法
CN102081741A (zh) * 2011-01-15 2011-06-01 中国人民解放军军械工程学院 一种基于视觉注意原理的行人检测方法和***
CN102147866A (zh) * 2011-04-20 2011-08-10 上海交通大学 基于训练自适应增强和支持矢量机的目标识别方法
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN103425967B (zh) * 2013-07-21 2016-06-01 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN103942541A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于车载视觉的盲区内电动车自动检测方法
CN105224911A (zh) * 2015-08-27 2016-01-06 湖北文理学院 一种多视角实时行人检测方法及***
CN114463653A (zh) * 2022-04-12 2022-05-10 浙江大学 一种高浓度微群泡形态识别及轨迹追踪测速方法
US11875515B2 (en) 2022-04-12 2024-01-16 Zhejiang University Method for morphology identification, trajectory tracking and velocity measurement of high-concentration microbubbles

Also Published As

Publication number Publication date
CN103177248B (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及***
Wang et al. Appearance-based brake-lights recognition using deep learning and vehicle detection
CN103902976B (zh) 一种基于红外图像的行人检测方法
Dai et al. Multi-task faster R-CNN for nighttime pedestrian detection and distance estimation
CN103400111B (zh) 基于视频检测技术的高速公路隧道火灾事件检测方法
CN102982313B (zh) 烟雾检测的方法
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN104318206B (zh) 一种障碍物检测方法和装置
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN109948455B (zh) 一种遗留物体检测方法及装置
CN105678803A (zh) 基于w4算法和帧间差分的视频监控目标检测方法
CN102819764A (zh) 一种适用于交通路口复杂场景下的多视角人流量统计方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN103177248B (zh) 一种基于视觉的快速行人检测方法
CN103530640A (zh) 基于AdaBoost与SVM的无牌车辆检测方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN110097571B (zh) 快速高精度的车辆碰撞预测方法
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
CN116153108A (zh) 一种使用随机森林模型评估照明对交叉口安全影响的方法
Shafie et al. Smart video surveillance system for vehicle detection and traffic flow control
Ramchandani et al. A comparative study in pedestrian detection for autonomous driving systems
Dike et al. Unmanned aerial vehicle (UAV) based running person detection from a real-time moving camera
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN105740819A (zh) 一种基于整数规划的人群密度估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant