CN104182729B - 基于arm嵌入式平台的行人检测方法 - Google Patents
基于arm嵌入式平台的行人检测方法 Download PDFInfo
- Publication number
- CN104182729B CN104182729B CN201410375190.5A CN201410375190A CN104182729B CN 104182729 B CN104182729 B CN 104182729B CN 201410375190 A CN201410375190 A CN 201410375190A CN 104182729 B CN104182729 B CN 104182729B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- image
- detection
- pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及嵌入式平台技术。本发明解决了现有技术中ARM嵌入式平台中的行人检测局限性很大的问题,提供了一种基于ARM嵌入式平台的行人检测方法,其技术方案可概括为:首先***通过嵌入式平台的输入端获取到输入端输入的每一帧图像,然后***对每一帧图像都进行预处理,然后***进行行人检测,行人检测包括:首先通过帧间运动信息,找到检测区域,再采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取,得到多个符合行人特征的窗口,最后将分类器输出的行人窗口进行合并,在图像上标志出行人区域。本发明的有益效果是,加快了检测速度,适用于ARM嵌入式平台的行人检测。
Description
技术领域
本发明涉及嵌入式平台技术,特别涉及基于ARM嵌入式平台的行人检测技术。
背景技术
行人检测作为计算机视觉领域备受关注的研究热点和前沿方向,它在机器人视觉、高级人机交互以及智能家居等方面得到广泛的应用和推广。近几年,随着ARM技术在各个领域的广泛应用,以及其表现出来的良好性能,使其成为嵌入式环境下的热门器件,但是,由于行人检测算法的运算量和复杂度,在ARM嵌入式平台上表现出来的性能和功耗总是差强人意。
行人检测算法一般包含两个部分:特征提取和分类器。特征提取主要用来在一幅图像中提取出有效的特征值来判断是否存在检测目标,特征值提取算法关系到检测算法的准确度。分类器包含训练和检测,训练部分对包含行人(正样本)和不包含行人(负样本)的图片进行特征提取,正样本包含行人的正面、侧面及背面。检测部分对于待检测图像,提取其特征值,然后用训练好的分类器进行分类,判断是否存在检测目标。
现有的ARM嵌入式平台,由于其处理速度缓慢、内存资源有限导致其对行人检测应用存在很大的局限性。
相比目前运用较成熟的HOG+SVM行人检测方法,2009年由dollar等人提出的积分通道特征+AdaBoost的方法不仅在检测速度上有了显著提高,而且检测质量也更加精准。两者的区别在于:HOG特征是人为设定的特征描述算子,而积分通道特征则是通过样本学习,自动选择那些最具有分类鉴别能力的特征。
发明内容
本发明的目的是克服目前ARM嵌入式平台中的行人检测局限性很大的缺点,提供一种基于ARM嵌入式平台的行人检测方法。
本发明解决其技术问题,采用的技术方案是,基于ARM嵌入式平台的行人检测方法,其特征在于,包括以下步骤:
步骤1、***通过嵌入式平台的输入端获取到输入端输入的每一帧图像;
步骤2、***对每一帧图像都进行预处理,预处理包括以下步骤:
步骤21、对图像进行灰度转换,得到灰度图像;
步骤22、对灰度图像进行高斯图像金字塔下采样,得到下采样图像;
步骤23、对下采样图像进行梯度直方图计算,得到8个特征通道;
步骤24、对8个特征通道进行积分图运算,得到积分通道特征值,预处理完毕;
步骤3、***进行行人检测,包括以下步骤:
步骤31、通过帧间运动信息,找到检测区域;
步骤32、采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取,得到多个符合行人特征的窗口;
步骤33、将分类器输出的行人窗口进行合并,在图像上标志出行人区域。
具体的,步骤22中,所述对灰度图像进行高斯图像金字塔下采样是指:步骤22中,所述对灰度图像进行高斯图像金字塔下采样是指:根据灰度图像的高度和宽度以及检测窗口的大小,计算出输入的灰度图像需要做高斯图像金字塔下采样的层数,每一层图像都由其上一层图像采样得到,所述计算公式为:下采样层数=log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2。
进一步的,步骤23中,所述8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。
具体的,步骤23包括以下具体步骤:
步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向,所述梯度幅值采用sobel算子从横向及纵向分别求梯度值,得到横向梯度值及纵向梯度值,再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值,所述梯度方向根据其横向梯度值及纵向梯度值计算得到;
步骤232、将梯度方向在0-180区间内量化为6个单位,梯度幅值通过HOG映射到这个区间内,占据6个特征通道,再将图像灰度值及梯度幅值分别占用一个特征通道,作为灰度特征通道及梯度幅值特征通道。
再进一步的,步骤23中,所述对下采样图像进行梯度直方图计算中,基于ARM完成其中浮点运算汇编优化。
再进一步的,步骤24中,所述对8个特征通道进行积分图运算时,基于ARM完成并行处理的汇编优化。
具体的,步骤31中,所述帧间运动信息是指:下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移,当连续几帧检测到行人时,对偏移的方向有个优先高低的判断,后续帧的检测区域会按这个优先级高低进行偏移。
再进一步的,步骤31包括以下具体步骤:
步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置,该行人位置包括其运动方向及粗略位置;
步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像,标注行人所在的大致区域;
步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置,作为该层金字塔图像的检测区域,进入步骤314,若未检测出行人所在位置,则进入步骤315;
步骤314、判断高斯图像金字塔是否没有下一层金字塔图像,若是则进入步骤315,若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中,作为其大致区域,回到步骤313;
步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域。
具体的,步骤32包括以下具体步骤:
步骤321、将检测区域分割为多个窗口,通过AdaBoost算法训练出的分类器对每个窗口进行特征提取,所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算,计算通过则证明某窗口符合行人特征;
步骤33包括以下具体步骤:
步骤331、将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理,得到当前图像行人位置。
本发明的有益效果是,通过上述基于ARM嵌入式平台的行人检测方法,由于在行人检测过程中,加入了帧间运动信息,排除了大部分非行人区域,并且在图像与处理阶段,针对梯度直方图和积分图运算进行了汇编优化,进一步加快了检测速度,同时,采用训练了多个不同尺度的分类器,分别对检测区域进行分类检测,有效提高了检测的准确度,使得其在ARM嵌入式平台上能够运行得更加顺畅,且质量有大幅提升。
具体实施方式
下面结合实施例,详细描述本发明的技术方案。
本发明所述基于ARM嵌入式平台的行人检测方法为:首先***通过嵌入式平台的输入端获取到输入端输入的每一帧图像,然后***对每一帧图像都进行预处理,预处理包括:先对图像进行灰度转换,得到灰度图像,然后对灰度图像进行高斯图像金字塔下采样,得到下采样图像,再对下采样图像进行梯度直方图计算,得到8个特征通道,再对8个特征通道进行积分图运算,得到积分通道特征值,预处理完毕,然后***进行行人检测,行人检测包括:首先通过帧间运动信息,找到检测区域,再采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取,得到多个符合行人特征的窗口,最后将分类器输出的行人窗口进行合并,在图像上标志出行人区域。与背景技术中所述“2009年由dollar等人提出的积分通道特征+AdaBoost的方法”的区别在于:1、本发明所述方法中加入了帧间运动信息;2、本发明所述方法中检测时采用多尺度分类器,3、本发明所述方法中采用了一个灰度特征通道取代上诉方法采用的3个LUV特征通道。
实施例
本例的基于ARM嵌入式平台的行人检测方法中,包括以下具体步骤:
步骤1、***通过嵌入式平台的输入端获取到输入端输入的每一帧图像。
步骤2、***对每一帧图像都进行预处理,预处理包括以下步骤:
步骤21、对图像进行灰度转换,得到灰度图像。
步骤22、对灰度图像进行高斯图像金字塔下采样,得到下采样图像。
本步骤中,对灰度图像进行高斯图像金字塔下采样是指:根据灰度图像的高度和宽度以及检测窗口的大小,计算出输入的灰度图像需要做高斯图像金字塔下采样的层数,计算公式为:下采样层数=log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2,比如输入图像分辨率为640*480,检测窗口54*54,那么需要依次做4次高斯金字塔下采样,每一层图像都是由上一层图像下采样得来的,4层图像分辨率分别为:640*480、320*240、160*120、80*60。
步骤23、对下采样图像进行梯度直方图计算,得到8个特征通道。
本步骤中,8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。对下采样图像进行梯度直方图计算中,基于ARM完成其中浮点运算汇编优化。
本步骤可包括以下具体步骤:
步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向,所述梯度幅值采用sobel算子从横向及纵向分别求梯度值,得到横向梯度值及纵向梯度值,再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值,所述梯度方向根据其横向梯度值及纵向梯度值计算得到;
步骤232、将梯度方向在0-180区间内量化为6个单位,梯度幅值通过HOG映射到这个区间内,占据6个特征通道,再将图像灰度值及梯度幅值分别占用一个特征通道,作为灰度特征通道及梯度幅值特征通道。
步骤24、对8个特征通道进行积分图运算,得到积分通道特征值,预处理完毕。
本步骤中,对8个特征通道进行积分图运算时,基于ARM完成并行处理的汇编优化。
步骤3、***进行行人检测,包括以下步骤:
步骤31、通过帧间运动信息,找到检测区域。
本步骤中,帧间运动信息是指:下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移,当连续几帧检测到行人时,对偏移的方向有个优先高低的判断,后续帧的检测区域会按这个优先级高低进行偏移。
本步骤具体可以包括以下步骤:
步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置,该行人位置包括其运动方向及粗略位置;
步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像,标注行人所在的大致区域;
步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置,作为该层金字塔图像的检测区域,进入步骤314,若未检测出行人所在位置,则进入步骤315;
步骤314、判断高斯图像金字塔是否没有下一层金字塔图像,若是则进入步骤315,若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中,作为其大致区域,回到步骤313;
步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域
步骤32、采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取,得到多个符合行人特征的窗口。
本步骤可以具体为:将检测区域分割为多个窗口,通过AdaBoost算法训练出的分类器对每个窗口进行特征提取,所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算,计算通过则证明某窗口符合行人特征。
步骤33、将分类器输出的行人窗口进行合并,在图像上标志出行人区域。
本步骤可以具体为:将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理,得到当前图像行人位置。
现有技术中一般行人检测方法在此时需要对图像进行N次降采样缩放处理,比如相对于640*480分辨率的图片,在完成4次高斯金字塔降采样后,每两层金字塔之间还需要进行降采样处理,总共就需要处理4*N层图像,然后从各个尺度上进行特征提取,在经过分类器分类计算是否存在检测对象。本发明所采用的方法无需对图像进行缩放处理,每一层金字塔图像,只需要进行一次梯度直方图运算和积分图运算,得到积分通道特征,再经过多个分类器进行分类,获取行人位置。
本发明在Arm嵌入式平台上实现了行人检测,经过运动信息和汇编优化,可以快速实现行人检测。实验中,在Arm cortex某嵌入式处理器上实现了算法,实验表明本发明提出的方法可以达到快速检测行人的效果。
Claims (8)
1.基于ARM嵌入式平台的行人检测方法,其特征在于,包括以下步骤:
步骤1、***通过嵌入式平台的输入端获取到输入端输入的每一帧图像;
步骤2、***对每一帧图像都进行预处理,预处理包括以下步骤:
步骤21、对图像进行灰度转换,得到灰度图像;
步骤22、对灰度图像进行高斯图像金字塔下采样,得到下采样图像,所述对灰度图像进行高斯图像金字塔下采样是指:根据灰度图像的高度和宽度以及检测窗口的大小,计算出输入的灰度图像需要做高斯图像金字塔下采样的层数,每一层图像都由其上一层图像采样得到,计算公式为:下采样层数=log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2;
步骤23、对下采样图像进行梯度直方图计算,得到8个特征通道;
步骤24、对8个特征通道进行积分图运算,得到积分通道特征值,预处理完毕;
步骤3、***进行行人检测,包括以下步骤:
步骤31、通过帧间运动信息,找到检测区域;
步骤32、采用基于离散AdaBoost算法训练出的分类器对需要检测区域进行特征提取,得到多个符合行人特征的窗口;
步骤33、将分类器输出的行人窗口进行合并,在图像上标志出行人区域。
2.根据权利要求1所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤23中,所述8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。
3.根据权利要求2所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤23包括以下具体步骤:
步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向,所述梯度幅值采用sobel算子从横向及纵向分别求梯度值,得到横向梯度值及纵向梯度值,再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值,所述梯度方向根据其横向梯度值及纵向梯度值计算得到;
步骤232、将梯度方向在0-180区间内量化为6个单位,梯度幅值通过HOG映射到这个区间内,占据6个特征通道,再将图像灰度值及梯度幅值分别占用一个特征通道,作为灰度特征通道及梯度幅值特征通道。
4.根据权利要求1所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤23中,所述对下采样图像进行梯度直方图计算中,基于ARM完成其中浮点运算汇编优化。
5.根据权利要求1所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤24中,所述对8个特征通道进行积分图运算时,基于ARM完成并行处理的汇编优化。
6.根据权利要求1所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤31中,所述帧间运动信息是指:下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移,当连续几帧检测到行人时,对偏移的方向有个优先高低的判断,后续帧的检测区域会按这个优先级高低进行偏移。
7.根据权利要求1所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤31包括以下具体步骤:
步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置,该行人位置包括其运动方向及粗略位置;
步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像,标注行人所在的大致区域;
步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置,作为该层金字塔图像的检测区域,进入步骤314,若未检测出行人所在位置,则进入步骤315;
步骤314、判断高斯图像金字塔是否没有下一层金字塔图像,若是则进入步骤315,若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中,作为其大致区域,回到步骤313;
步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域。
8.根据权利要求1或2或3或4或5或6或7所述基于ARM嵌入式平台的行人检测方法,其特征在于,步骤32包括以下具体步骤:
步骤321、将检测区域分割为多个窗口,通过AdaBoost算法训练出的分类器对每个窗口进行特征提取,所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算,计算通过则证明某窗口符合行人特征;
步骤33包括以下具体步骤:
步骤331、将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理,得到当前图像行人位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410375190.5A CN104182729B (zh) | 2014-07-31 | 2014-07-31 | 基于arm嵌入式平台的行人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410375190.5A CN104182729B (zh) | 2014-07-31 | 2014-07-31 | 基于arm嵌入式平台的行人检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104182729A CN104182729A (zh) | 2014-12-03 |
CN104182729B true CN104182729B (zh) | 2017-08-29 |
Family
ID=51963756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410375190.5A Active CN104182729B (zh) | 2014-07-31 | 2014-07-31 | 基于arm嵌入式平台的行人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104182729B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407948A (zh) * | 2016-09-30 | 2017-02-15 | 防城港市港口区高创信息技术有限公司 | 基于红外夜视仪的行人检测与识别方法 |
CN106529448A (zh) * | 2016-10-27 | 2017-03-22 | 四川长虹电器股份有限公司 | 利用聚合通道特征进行多视角人脸检测的方法 |
CN106599847A (zh) * | 2016-12-15 | 2017-04-26 | 四川长虹电器股份有限公司 | 基于深度信息的人体检测方法 |
CN107067029A (zh) * | 2017-03-20 | 2017-08-18 | 新智认知数据服务有限公司 | 一种基于多通道特征的elm和de相结合的图像分类方法 |
CN107403192B (zh) * | 2017-07-18 | 2020-09-29 | 四川长虹电器股份有限公司 | 一种基于多分类器的快速目标检测方法及*** |
CN109993035B (zh) * | 2017-12-29 | 2021-06-29 | 深圳市优必选科技有限公司 | 基于嵌入式***的人体检测的方法以及装置 |
CN113102297B (zh) * | 2021-04-09 | 2022-03-08 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种并联机器人快速分拣瑕疵工件的方法 |
CN114565839A (zh) * | 2022-02-17 | 2022-05-31 | 广州市城市规划勘测设计研究院 | 一种遥感影像目标检测方法、装置、设备及计算机介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778430A (zh) * | 2014-02-24 | 2014-05-07 | 东南大学 | 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法 |
CN105404866A (zh) * | 2015-11-17 | 2016-03-16 | 四川长虹电器股份有限公司 | 一种多模式自动实施人体状态感知的实现方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7844085B2 (en) * | 2007-06-07 | 2010-11-30 | Seiko Epson Corporation | Pairwise feature learning with boosting for use in face detection |
-
2014
- 2014-07-31 CN CN201410375190.5A patent/CN104182729B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778430A (zh) * | 2014-02-24 | 2014-05-07 | 东南大学 | 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法 |
CN105404866A (zh) * | 2015-11-17 | 2016-03-16 | 四川长虹电器股份有限公司 | 一种多模式自动实施人体状态感知的实现方法 |
Non-Patent Citations (2)
Title |
---|
基于计算机视觉的车辆前方行人检测算法研究;江源远;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20131215(第S2期);C034-656 * |
车载视觉***中的行人检测技术综述;许腾等;《中国图象图形学报》;20130430;第18卷(第4期);359-367 * |
Also Published As
Publication number | Publication date |
---|---|
CN104182729A (zh) | 2014-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104182729B (zh) | 基于arm嵌入式平台的行人检测方法 | |
CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
CN108492319B (zh) | 基于深度全卷积神经网络的运动目标检测方法 | |
CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
CN109902558B (zh) | 一种基于cnn-lstm的人体健康深度学习预测方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
JP5675229B2 (ja) | 画像処理装置及び画像処理方法 | |
CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
CN106600625A (zh) | 检测小型生物的图像处理方法及装置 | |
CN107679503A (zh) | 一种基于深度学习的人群计数算法 | |
CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
CN107229929A (zh) | 一种基于r‑cnn的车牌定位方法 | |
CN105512720A (zh) | 一种公交车辆客流统计方法和*** | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
CN106529419A (zh) | 视频显著性堆栈式聚合的对象自动检测方法 | |
CN107066916A (zh) | 基于反卷积神经网络的场景语义分割方法 | |
CN108288047A (zh) | 一种行人/车辆检测方法 | |
CN106204594A (zh) | 一种基于视频图像的弥散性运动物体的方向检测方法 | |
Ji et al. | Integrating visual selective attention model with HOG features for traffic light detection and recognition | |
CN110009648A (zh) | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 | |
CN109948433A (zh) | 一种嵌入式人脸跟踪方法及装置 | |
CN105740751A (zh) | 一种目标检测与识别的方法和*** | |
CN104715459B (zh) | 血管图像增强方法 | |
CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |