CN104239852B - 一种基于运动平台的红外行人检测方法 - Google Patents
一种基于运动平台的红外行人检测方法 Download PDFInfo
- Publication number
- CN104239852B CN104239852B CN201410421355.8A CN201410421355A CN104239852B CN 104239852 B CN104239852 B CN 104239852B CN 201410421355 A CN201410421355 A CN 201410421355A CN 104239852 B CN104239852 B CN 104239852B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- image
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于运动平台的红外行人检测方法,属于模式识别和图像处理技术领域。该方法利用连接于运动平台的红外摄像头获取红外图像;对红外图像提取梯度范数特征,利用级联线性支持向量机获取行人候选区域;对行人候选区域进行方向梯度直方图特征提取,利用极限学习机对行人候选区域进行检测,最终得到包含行人的区域。本发明方法中通过候选区域选取大大减少了计算量,同时本发明方法中采用的极限学习机与支持向量机等现有分类算法相比具有更高的实时性和更高的检测精度。
Description
技术领域
本发明涉及一种基于运动平台的红外行人检测方法,属于模式识别和图像处理技术领域。
背景技术
行人检测在视频监控、人机交互、驾驶辅助***等方面获得了越来越广泛的应用。与可见光图像相比,红外图像最大的优势在于可全天候工作。因此,近几年来很多学者致力于红外行人检测问题,并取得了一定的成果。
然而,红外行人检测仍有一些亟待克服的问题:首先,红外摄像头由于技术本身的原因具有信噪比低、高噪声等缺陷;其次,红外图像丢失了可见光图像的纹理细节等信息。
现有的行人检测***大多数是基于可见光图像,经过对现有技术文献检索分析,发现刘琼等人的发明专利“一种实时鲁棒的远红外车载行人检测方法”,申请号为201310104777.8,该专利实现的方法以像素梯度的垂直投影捕捉输入图像中潜在的行人预选区域,以局部阈值化方法和形态学后处理技术搜索感兴趣区域,以多级熵加权梯度方向直方图为特征描述感兴趣区域并输入支持向量机行人分类器进行在线感兴趣区域判断,通过多帧校验筛选行人分类器判断结果实现行人检测。
发明内容
本发明的目的是提出一种基于运动平台的红外行人检测方法,对已有的红外检测方法进行改进,由红外摄像头采集包含行人和背景的红外图像,然后运动平台实时对红外图像进行处理,以提高检测速度和检测精度。
本发明提出的基于运动平台的红外行人检测方法,包括以下步骤:
(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数vi和偏置系数ti,具体过程如下:
(1-1)将包含行人的红外图像作为训练样本,通过插值方法,将训练样本中的图像调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为gtrain;
(1-2)设T为图像中所有包含行人的窗口,S为图像中的任意窗口,则窗口t∈T和窗口s∈S的叠加面积o(t,s)为:
采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样,得到多个8×8滑动窗口,计算与8×8滑动窗口相对应的o(t,s),将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本,与o(t,s)<0.5的8×8滑动窗口相对应的64维梯度范数作为负样本,利用线性支持向量机,计算得到分类器w;
(1-3)利用下述公式,计算训练样本的排序得分scoretrain:
scoretrain=〈w,gtrain〉
其中,〈·,·〉表示内积;
(1-4)利用非极大抑制方法,从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本,将上述scoretrain作为原始图像窗口的一维特征,利用线性支持向量机,计算得到增益系数vi及偏置系数ti;
(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机,具体过程如下:
(2-1)设定权重ci以及阈值ai,通过下式计算得到一个输出隐藏层矩阵Htest:
其中,x1,...,xN为N个训练样本的方向梯度直方图特征,为隐藏节点数量,G为极限学习机的激励函数;
(2-2)通过下式,计算得到一个输出权重矩阵β:
β=H+T
其中,为隐藏层输出矩阵Htest的广义逆矩阵,T为训练样本的标签;
(3)将红外摄像头分别连接到运动平台及直流移动电源上;
(4)对红外摄像头的焦距和显示模式进行初始设置,采集红外图像,实时读取红外摄像头拍摄的原始红外图像;
(5)对上述读取的原始红外图像进行候选区域选取,具体过程如下:
(5-1)将读取的原始红外图像通过插值方法,调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为g;
(5-2)采用8×8图像窗口对步骤(5-1)中调整大小后的原始红外图像进行滑动采样,得到多个8×8滑动窗口;
(5-3)利用下述公式,计算原始红外图像的排序得分score:
score=〈w,g〉
其中,〈·,·〉表示内积,w为步骤(1-2)得到的分类器;
(5-4)通过下式,分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o:
o=vi·score+ti
其中vi为步骤(1-4)得到的增益系数,ti为步骤(1-4)得到的偏置系数;
(5-5)对上述多个得分o从高到低进行排序,得分越高,则原始红外图像窗口中包含行人的可能性越大;
(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域;
(6)对M个行人候选区域进行方向梯度直方图特征提取,具体过程如下:
(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
其中,Gx(x,y)和Gy(x,y)分别为行人候选区域中像素点(x,y)的横坐标方向和纵坐标方向的梯度,H(x,y)为该像素点(x,y)的像素值;
分别计算行人候选区域中每个像素点(x,y)的梯度幅值G(x,y)和梯度方向α(x,y):
(6-2)将行人候选区域分成多个单元格,将每个单元格的梯度方向360度分成9个方向块,分别对每个单元格内的每个像素点(x,y)按照梯度方向在直方图中进行加权投影,得到与多个单元格相对应的多个9维特征向量;
(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块,块与块之间互有重叠区域,将同一个块内的多个单元格的9维特征向量串联,得到该块的方向梯度直方图特征,对多个块的方向梯度直方图特征进行归一化处理,将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征;
(6-4)重复步骤(6-1)~步骤(6-3),得到M个行人候选区域的方向梯度直方图特征;
(7)利用极限学习机,对M个行人候选区域的方向梯度直方图特征进行检测,得到检测结果,具体过程如下:
(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本,利用下式,计算测试样本的输出隐藏层矩阵H及输出权重矩阵β:
β=H+T
其中,x1,...,xM为M个行人候选区域的方向梯度直方图特征,ci和ai为任意设定的权重和阈值,为隐藏节点数量,G为极限学习机的激励函数,H+为隐藏层输出矩阵H的广义逆矩阵;
(7-2)通过判断函数f(x),对原始红外图像的行人候选区域进行判定:
若f(x)=1,则判定原始红外图像中的行人候选区域包含行人,若f(x)=-1,则判定原始红外图像中的行人候选区域不包含行人,其中,
本发明提出的基于运动平台的红外行人检测方法,其优点是,本发明在运动平台上能够对获取到的红外图像快速检测出行人,不需要额外的图像处理硬件;所采用的候选区域生成算法相对于现有算法具有更高的实时性;所采用的极限学习机与支持向量机、AdaBoost等分类器相比,具有更高的检测精度和检测速度。
附图说明
图1是本发明提出的基于运动平台的红外行人检测方法流程图。
图2是本发明方法中使用的极限学习机结构示意图。
图3是本发明方法中涉及的方向梯度直方图特征提取过程中的单元格梯度方向示意图。
图4是本发明方法中涉及的方向梯度直方图特征提取过程中的单元格与块、块与块之间的关系示意图。图4中,1是单元格,2是块,3是块与块之间的重叠区域。
具体实施方式
本发明提出的基于运动平台的红外行人检测方法,其流程框图如图1所示,该方法包括以下步骤:
(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数vi和偏置系数ti,具体过程如下:
(1-1)将包含行人的红外图像作为训练样本,通过插值方法,将训练样本中的图像调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},也即将训练样本中的图像调整为36种大小,计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为gtrain;
(1-2)设T为图像中所有包含行人的窗口,S为图像中的任意窗口,则窗口t∈T和窗口s∈S的叠加面积o(t,s)为:
采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样,得到多个8×8滑动窗口,计算与8×8滑动窗口相对应的o(t,s),将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本,与o(t,s)<0.5的8×8滑动窗口相对应的64维梯度范数作为负样本,利用线性支持向量机,计算得到分类器w;
(1-3)利用下述公式,计算训练样本的排序得分scoretrain:
scoretrain=〈w,gtrain〉
其中,〈·,·〉表示内积;
(1-4)利用非极大抑制方法,从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本,将上述scoretrain作为原始图像窗口的一维特征,利用线性支持向量机,计算得到增益系数vi及偏置系数ti;
(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机,其结构如图2所示,具体过程如下:
(2-1)设定权重ci以及阈值ai,权重ci和阈值ai的取值可以为任意值,通过下式计算得到一个输出隐藏层矩阵Htesi:
其中,x1,...,xN为N个训练样本的方向梯度直方图特征,为隐藏节点数量,G为极限学习机的激励函数;
(2-2)通过下式,计算得到一个输出权重矩阵β:
β=H+T
其中,为隐藏层输出矩阵Htest的广义逆矩阵,T为训练样本的标签;
(3)将红外摄像头Tau336红外机芯通过50针Hirose分别连接到运动平台及直流移动电源上,其中经视频采集棒通过USB与运动平台连接实现红外图像的传输,经RS232与运动平台连接实现运动平台对Tau336红外机芯的设置及控制,与12V直流移动电源连接实现Tau336红外机芯的电源供给;
(4)对红外摄像头的焦距(焦距可以为1倍、2倍或4倍)和显示模式(例如whitehot、blackhot等)进行初始设置,采集红外图像,实时读取红外摄像头拍摄的原始红外图像;
(5)对上述读取的原始红外图像进行候选区域选取,具体过程如下:
(5-1)将读取的原始红外图像通过插值方法,调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},也即将读取的红外图像中的图像调整为36种大小,计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为g;
(5-2)采用8×8图像窗口对步骤(5-1)中调整大小后的原始红外图像进行滑动采样,得到多个8×8滑动窗口;
(5-3)利用下述公式,计算原始红外图像的排序得分score:
score=〈w,g〉
其中,〈·,·〉表示内积,w为步骤(1-2)得到的分类器;
(5-4)通过下式,分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o:
o=vi·score+ti
其中vi为步骤(1-4)得到的增益系数,ti为步骤(1-4)得到的偏置系数;
(5-5)对上述多个得分o从高到低进行排序,得分越高,则原始红外图像窗口中包含行人的可能性越大;
(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域;
(6)对M个行人候选区域进行方向梯度直方图特征提取,具体过程如下:
(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
其中,Gx(x,y)和Gy(x,y)分别为行人候选区域中像素点(x,y)的横坐标方向和纵坐标方向的梯度,H(x,y)为该像素点(x,y)的像素值;
分别计算行人候选区域中每个像素点(x,y)的梯度幅值G(x,y)和梯度方向α(x,y):
(6-2)将行人候选区域分成多个单元格,将每个单元格的梯度方向360度分成9个方向块(如图3所示),分别对每个单元格内的每个像素点(x,y)按照梯度方向在直方图中进行加权投影,得到与多个单元格相对应的多个9维特征向量;
(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块,块与块之间互有重叠区域(如图4所示,图4中,1是单元格,2是块,3是块与块之间的重叠区域),将同一个块内的多个单元格的9维特征向量串联,得到该块的方向梯度直方图特征,对多个块的方向梯度直方图特征进行归一化处理,将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征;
(6-4)重复步骤(6-1)~步骤(6-3),得到M个行人候选区域的方向梯度直方图特征;
(7)利用极限学习机,对M个行人候选区域的方向梯度直方图特征进行检测,得到检测结果,具体过程如下:
(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本,利用下式,计算测试样本的输出隐藏层矩阵H及输出权重矩阵β:
β=H+T
其中,x1,...,xM为M个行人候选区域的方向梯度直方图特征,ci和ai为任意设定的权重和阈值,(权重ci和阈值ai的取值可以为任意值),为隐藏节点数量,G为极限学习机的激励函数,H+为隐藏层输出矩阵H的广义逆矩阵;
(7-2)通过判断函数f(x),对原始红外图像的行人候选区域进行判定:
若f(x)=1,则判定原始红外图像中的行人候选区域包含行人,若f(x)=-1,则判定原始红外图像中的行人候选区域不包含行人,其中,
Claims (1)
1.一种基于运动平台的红外行人检测方法,其特征在于该方法包括以下步骤:
(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数vi和偏置系数ti,具体过程如下:
(1-1)将包含行人的红外图像作为训练样本,通过插值方法,将训练样本中的图像调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为gtrain;
(1-2)设T为图像中所有包含行人的窗口,S为图像中的任意窗口,则窗口t∈T和窗口s∈S的叠加面积o(t,s)为:
<mrow>
<mi>o</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>t</mi>
<mo>&cap;</mo>
<mi>s</mi>
</mrow>
<mrow>
<mi>t</mi>
<mo>&cup;</mo>
<mi>s</mi>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样,得到多个8×8滑动窗口,计算与8×8滑动窗口相对应的o(t,s),将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本,与o(t,s)<0.5的8×8滑动窗口相对应的64维梯度范数作为负样本,利用线性支持向量机,计算得到分类器w;
(1-3)利用下述公式,计算训练样本的排序得分scoretrain:
scoretrain=<w,gtrain>
其中,<·,·>表示内积;
(1-4)利用非极大抑制方法,从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本,将上述scoretrain作为原始图像窗口的一维特征,利用线性支持向量机,计算得到增益系数vi及偏置系数ti;
(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机,具体过程如下:
(2-1)设定权重ci以及阈值ai,通过下式计算得到一个输出隐藏层矩阵Htest:
<mrow>
<msub>
<mi>H</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>s</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mover>
<mi>N</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mover>
<mi>N</mi>
<mo>~</mo>
</mover>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mover>
<mi>N</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mover>
<mi>N</mi>
<mo>~</mo>
</mover>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,x1,...,xN为N个训练样本的方向梯度直方图特征,为隐藏节点数量,G为极限学习机的激励函数;
(2-2)通过下式,计算得到一个输出权重矩阵β:
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<msubsup>
<mi>H</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>s</mi>
<mi>t</mi>
</mrow>
<mo>+</mo>
</msubsup>
<mi>T</mi>
</mrow>
其中,为隐藏层输出矩阵Htest的广义逆矩阵,T为训练样本的标签;
(3)将红外摄像头分别连接到运动平台及直流移动电源上;
(4)对红外摄像头的焦距和显示模式进行初始设置,采集红外图像,实时读取红外摄像头拍摄的原始红外图像;
(5)对上述读取的原始红外图像进行候选区域选取,具体过程如下:
(5-1)将读取的原始红外图像通过插值方法,调整成长宽分别为W和H的图像,其中W,H∈{10,20,40,80,160,320},计算调整后的图像的梯度范数,对长宽为8×8的图像窗口的梯度求范数,得到8×8图像窗口的64维梯度范数特征,记为g;
(5-2)采用8×8图像窗口对步骤(6-1)中调整大小后的原始红外图像进行滑动采样,得到多个8×8滑动窗口;
(5-3)利用下述公式,计算原始红外图像的排序得分score:
score=<w,g>
其中,<·,·>表示内积,w为步骤(1-2)得到的分类器;
(5-4)通过下式,分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o:
o=vi·score+ti
其中vi为步骤(1-4)得到的增益系数,ti为步骤(1-4)得到的偏置系数;
(5-5)对上述多个得分o从高到低进行排序,得分越高,则原始红外图像窗口中包含行人的可能性越大;
(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域;
(6)对M个行人候选区域进行方向梯度直方图特征提取,具体过程如下:
(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
其中,Gx(x,y)和Gy(x,y)分别为行人候选区域中像素点(x,y)的横坐标方向和纵坐标方向的梯度,H(x,y)为该像素点(x,y)的像素值;
分别计算行人候选区域中每个像素点(x,y)的梯度幅值G(x,y)和梯度方向α(x,y):
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mrow>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
(6-2)将行人候选区域分成多个单元格,将每个单元格的梯度方向360度分成9个方向块,分别对每个单元格内的每个像素点(x,y)按照梯度方向在直方图中进行加权投影,得到与多个单元格相对应的多个9维特征向量;
(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块,块与块之间互有重叠区域,将同一个块内的多个单元格的9维特征向量串联,得到该块的方向梯度直方图特征,对多个块的方向梯度直方图特征进行归一化处理,将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征;
(6-4)重复步骤(6-1)~步骤(6-3),得到M个行人候选区域的方向梯度直方图特征;
(7)利用极限学习机,对M个行人候选区域的方向梯度直方图特征进行检测,得到检测结果,具体过程如下:
(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本,利用下式,计算测试样本的输出隐藏层矩阵H及输出权重矩阵β:
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>c</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>a</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>M</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>M</mi>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>M</mi>
</msub>
<mo>;</mo>
<msub>
<mi>c</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>,</mo>
<msub>
<mi>a</mi>
<mover>
<mi>M</mi>
<mo>~</mo>
</mover>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
β=H+T
其中,x1,...,xM为M个行人候选区域的方向梯度直方图特征,ci和ai为任意设定的权重和阈值,为隐藏节点数量,G为极限学习机的激励函数,H+为隐藏层输出矩阵H的广义逆矩阵;
(7-2)通过判断函数f(x),对原始红外图像的行人候选区域进行判定:
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>h</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<msup>
<mi>H</mi>
<mi>T</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mi>I</mi>
<mi>c</mi>
</mfrac>
<mo>+</mo>
<msup>
<mi>HH</mi>
<mi>T</mi>
</msup>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
若f(x)=1,则判定原始红外图像中的行人候选区域包含行人,若f(x)=-1,则判定原始红外图像中的行人候选区域不包含行人,其中,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410421355.8A CN104239852B (zh) | 2014-08-25 | 2014-08-25 | 一种基于运动平台的红外行人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410421355.8A CN104239852B (zh) | 2014-08-25 | 2014-08-25 | 一种基于运动平台的红外行人检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104239852A CN104239852A (zh) | 2014-12-24 |
CN104239852B true CN104239852B (zh) | 2017-08-22 |
Family
ID=52227878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410421355.8A Expired - Fee Related CN104239852B (zh) | 2014-08-25 | 2014-08-25 | 一种基于运动平台的红外行人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104239852B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404857A (zh) * | 2015-11-04 | 2016-03-16 | 北京联合大学 | 一种基于红外的夜间智能车前方行人检测方法 |
CN105574527B (zh) * | 2015-12-14 | 2019-03-29 | 北京工业大学 | 一种基于局部特征学习的快速物体检测方法 |
CN107025458B (zh) * | 2016-01-29 | 2019-08-30 | 深圳力维智联技术有限公司 | 人车分类方法和装置 |
CN106940791B (zh) * | 2017-03-09 | 2019-11-26 | 中南大学 | 一种基于低维方向梯度直方图的行人检测方法 |
CN108875525A (zh) | 2018-01-04 | 2018-11-23 | 北京旷视科技有限公司 | 行为预测方法、装置、***和存储介质 |
CN112513935A (zh) * | 2018-08-10 | 2021-03-16 | 奥林巴斯株式会社 | 图像处理方法及图像处理装置 |
CN109271947A (zh) * | 2018-09-28 | 2019-01-25 | 合肥工业大学 | 一种基于热成像的夜间实时手语识别*** |
CN109657633A (zh) * | 2018-12-26 | 2019-04-19 | 哈工大机器人(山东)智能装备研究院 | 一种基于超限学习机的远红外安防监控方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
CN101558415B (zh) * | 2006-11-09 | 2012-05-30 | 丰田自动车株式会社 | 行人检测装置和行人检测方法 |
CN102722721A (zh) * | 2012-05-25 | 2012-10-10 | 山东大学 | 一种基于机器视觉的人体跌倒检测方法 |
-
2014
- 2014-08-25 CN CN201410421355.8A patent/CN104239852B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
CN101558415B (zh) * | 2006-11-09 | 2012-05-30 | 丰田自动车株式会社 | 行人检测装置和行人检测方法 |
CN102722721A (zh) * | 2012-05-25 | 2012-10-10 | 山东大学 | 一种基于机器视觉的人体跌倒检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104239852A (zh) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104239852B (zh) | 一种基于运动平台的红外行人检测方法 | |
Ding et al. | Semantic segmentation of large-size VHR remote sensing images using a two-stage multiscale training architecture | |
CN109165623B (zh) | 基于深度学习的水稻病斑检测方法及*** | |
Tian et al. | A dual neural network for object detection in UAV images | |
CN107784118B (zh) | 一种针对用户兴趣语义的视频关键信息提取*** | |
CN101976258B (zh) | 基于对象分割和特征加权融合的视频语义提取方法 | |
US20150054824A1 (en) | Object detection method, object detection device, and image pickup device | |
Zhang et al. | Vehicle detection in the aerial infrared images via an improved Yolov3 network | |
CN100589532C (zh) | 字幕区域提取装置和方法 | |
CN104537356B (zh) | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN102915453B (zh) | 一种实时反馈更新的车辆检测方法 | |
CN104156734A (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
CN107680116A (zh) | 一种监测视频图像中运动目标的方法 | |
CN106845458B (zh) | 一种基于核超限学习机的快速交通标识检测方法 | |
CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
CN115620393A (zh) | 一种面向自动驾驶的细粒度行人行为识别方法及*** | |
CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
CN110121723B (zh) | 人工神经网络 | |
CN113505640A (zh) | 一种基于多尺度特征融合的小尺度行人检测方法 | |
CN111144220A (zh) | 适于大数据的人员检测方法、装置、设备和介质 | |
CN111008997B (zh) | 一种车辆检测与跟踪一体化方法 | |
Wang et al. | GAN-STD: small target detection based on generative adversarial network | |
Bhumbla et al. | A Review: Object Detection Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170822 Termination date: 20190825 |
|
CF01 | Termination of patent right due to non-payment of annual fee |