CN108921056A - 基于神经网络面向汽车辅助驾驶的行人检测方法 - Google Patents

基于神经网络面向汽车辅助驾驶的行人检测方法 Download PDF

Info

Publication number
CN108921056A
CN108921056A CN201810625686.1A CN201810625686A CN108921056A CN 108921056 A CN108921056 A CN 108921056A CN 201810625686 A CN201810625686 A CN 201810625686A CN 108921056 A CN108921056 A CN 108921056A
Authority
CN
China
Prior art keywords
pedestrian
neural network
detection method
training
assistant driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810625686.1A
Other languages
English (en)
Inventor
张姣
周传宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810625686.1A priority Critical patent/CN108921056A/zh
Publication of CN108921056A publication Critical patent/CN108921056A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于神经网络面向汽车辅助驾驶的行人检测方法，包括：A、提出一种基于概率模板匹配的远红外行人检测方法。根据行人的运动朝向建立多尺度概率模板，缓解因外观模式引起的行人类内方差较大的问题；B、从ROIs提取的角度出发，利用图像梯度信息对可能包含行人的竖直带状图像区域进行初定位；C、提出一种Boosting‑style的归纳迁移学习算法，对行人检测方法在场景因素变化较大时表现得也能理想；采用优化对比法获取最优检测结果，能根据实际需要情况而设定不同的检测网络与训练机制，灵活度高且动态性能好。本发明属于检测算法优化方法。

Description

基于神经网络面向汽车辅助驾驶的行人检测方法
技术领域
本发明属于检测算法优化方法，是一种基于神经网络在特殊场景下的行人检测方法。
背景技术
面向 ADAS 的行人检测，需实时准确地检测出车辆前方的行人及其位置，并对可能存在的事故隐患进行判断，从而采取适当的预防措施。而在面向 ADAS 的远红外行人检测***中，测试场景可能会随着气候、动态背景和众多道路交通参与者等因素而产生较大的变化，甚至趋向于复杂化，并且由于行人目标呈现出较强的非刚体特性，其外观模式容易受到运动姿态、衣着多样化（如影响红外热辐射的反射率与透射率）、成像尺度、成像视角、遮挡和复杂背景等因素的影响，通常存在类内和类间变化多样化的特点。
发明内容
为了解决上述技术问题，本发明的目的是：提供一种检测精度高和检测速率好的基于神经网络面向汽车辅助驾驶的行人检测方法。
本发明解决其技术问题所采用的技术方案是：
基于神经网络面向汽车辅助驾驶的行人检测方法，包括：
A、搭建了面向汽车辅助驾驶的行人检测的实验数据采集与测试平台；
B、基于局部区域搜索的 ROIs 提取降低搜索开销；
C、以基于faster rcnn的区域候选网络RPN进行行人初精准定位；
D、在分类器的离线训练环节，确定以迭代进行优化的训练机制，获得更为鲁棒的行人分类器。
进一步，所述基于神经网络面向汽车辅助驾驶的行人检测方法的最优检测结果包括最优检测精度、最优检测速度。
进一步，所述步骤A，其包括：
A1、行人样本及其预处理，将行人样本集划分为多个子类；
A2、提出一种高效准确的 ROIs 提取方法，该方法包含预分割和 ROIs 产生两个环节；
A3、采用基于faster rcnn的区域候选网络RPN直接从卷积步骤图上从大量的位置与大小均不定的窗口中得出最有可能是物体的窗口，以减轻后面窗口分类器的运算负担；
A4、根据迭代训练机制搜索并有效利用表征背景目标的“困难”训练数据，这些数据能够保证比随机选取的训练数据获得具有更好泛化能力的行人分类器。
参照图2，进一步作为A1优选的实施方式，所述步骤A1，其包括：
A1-1、根据数据集中行人最小外接矩形的高度分布规律，将训练样本集划分为三个互不相交的训练子集：高度大于64 个像素的样本被划分为近景目标，并进行尺度调整至 32像素×80 像素；高度小于 32 个像素的样本被划分为远景目标，并进行尺度调整至 12 像素×32 像素；余下的样本则归类到中景目标，并进行尺度调整至 24 像素×64 像素；
A1-2、将所有行人区域通过插值调整至 40 像素×96 像素，并以区域的灰度均值作为对其进行 0-1 二值化时的动态阈值，以凸显行人的高亮像素区域；
A1-3、对大尺度行人概率模板通过降采样的方式重新建立 3 个尺度下（分别是 40 像素×96像素、24 像素×64 像素和 10 像素×24 像素）的概率模板，分别对应位于不同距离范围内的行人模式匹配运算；
进一步，所述设定的高效准确的 ROIs 提取方法，所述步骤A2，其包括：
A2-1、在预分割环节，提出基于像素梯度的垂直投影方法，利用远红外图像中行人目标像素灰度值的分布特点，对输入图像的所有竖直带状图像区域进行评估
A2-2、在 ROIs 产生环节，利用自适应局部双阈值分割算法对所得的竖直带状图像区域执行二值分割。
本发明的有益效果是：提出了一种基于局部区域搜索和深度学习的远红外行人检测方法。针对“稀有事件检测”问题的本质，提出基于RPN方法以减少输入图像的待搜索区域。并且提出一种基于bootstrapping算法和提前终止策略的离线训练机制，以收集并利用具有代表性的“困难”训练数据，从而获得预测准确率更高的行人分类器。最后，在多个测试视频序列上验证了本章方法的有效性和实时性。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明一种基于神经网络面向汽车辅助驾驶的行人检测方法的步骤流程图；
图2为本发明步骤A1的流程图；
图3为本发明步骤A2的流程图；
图4为本发明检测算法的结果图；
图5为本发明实验数据采集与测试平台图。
具体实施方式
参照图1，一种基于神经网络面向汽车辅助驾驶的行人检测方法，包括：
A、搭建了面向汽车辅助驾驶的行人检测的实验数据采集与测试平台；
B、降低在检测过程中获取候选行人区域时需要在大量背景区域上花费较大的搜索开销；
C、在分类器的离线训练环节，确定训练机制，通过迭代等优化方式获得更为鲁棒的行人分类器。
D、将训练好的检测模型在测试数据集上验证检测结果，并以此作为评价标准。
其中，测试数据集是指一个测试视频序列，该序列包含了 10个测试视频片段，即Test_S03、Test_S04、Test_S05、Test_S06、Test_S07、Test_U01、Test_U03、Test_U04、Test_U05 和 Test_U06。并对这些视频片段中出现的行人目标进行人工标注以作为检测算法性能评估的客观标准，其中每隔 3 帧进行一次标注，故每个测试视频片段的有效测试长度约为 250 帧。
本发明的神经网络以faster rcnn网络为基础在其之上改进，其平台为Tensorflow。
进一步作为优选的实施方式，所述基于神经网络面向汽车辅助驾驶的行人检测方法包括基于bootstrapping 和提前终止策略的训练机制。
参照图1，进一步优选的实施方式，所述步骤A，其包括：
A1、行人样本及其预处理，将行人样本集划分为多个子类；
A2、提出一种高效准确的 ROIs 提取方法，该方法包含预分割和 ROIs 产生两个环节；
A3、采用基于faster rcnn的区域候选网络RPN直接从卷积步骤图上从大量的位置与大小均不定的窗口中得出最有可能是物体的窗口，以减轻后面窗口分类器的运算负担；
A4、根据迭代训练机制搜索并有效利用表征背景目标的“困难”训练数据，这些数据能够保证比随机选取的训练数据获得具有更好泛化能力的行人分类器。
基于局部区域搜索和统计学***台）表明该方法具有较好的实时性和检测准确性。。
参照图2，进一步作为A1优选的实施方式，所述步骤A1，其包括：
A1-1、根据数据集中行人最小外接矩形的高度分布规律，将训练样本集划分为三个互不相交的训练子集：高度大于64 个像素的样本被划分为近景目标，并进行尺度调整至 32像素×80 像素；高度小于 32 个像素的样本被划分为远景目标，并进行尺度调整至 12 像素×32 像素；余下的样本则归类到中景目标，并进行尺度调整至 24 像素×64 像素；
A1-2、将所有行人区域通过插值调整至 40 像素×96 像素，并以区域的灰度均值作为对其进行 0-1 二值化时的动态阈值，以凸显行人的高亮像素区域；
A1-3、对大尺度行人概率模板通过降采样的方式重新建立 3 个尺度下（分别是 40 像素×96像素、24 像素×64 像素和 10 像素×24 像素）的概率模板，分别对应位于不同距离范围内的行人模式匹配运算；
进一步，所述设定的高效准确的 ROIs 提取方法，所述步骤A2，其包括：
A2-1、在预分割环节，提出基于像素梯度的垂直投影方法，利用远红外图像中行人目标像素灰度值的分布特点，对输入图像的所有竖直带状图像区域进行评估
A2-2、在 ROIs 产生环节，利用自适应局部双阈值分割算法对所得的竖直带状图像区域执行二值分割。
实施例一
本实施例对本发明用于搭建的实验型轿车过程进行介绍。
本发明采用了基于主频为 600MHz 的 TMS320DM6437 EVM 硬件平台，搭载了单目远红外传感器。安装高度为 24 厘米（以水平路面作为参考面）。该摄像头的空间分辨率为384 像素×288 像素、数据采集速率为 25 帧/秒、焦距为 3 米、视场角为 28°×21°。
本发明用于采集训练与测试数据的过程，包括：
S1、数据采集平台（小轿车）的行驶速度尽量不超过 60 公里/小时；数据采集地点主要包括郊区与半郊区场景；数据采集的时间段均为晚上 7:30～9:30；采集的数据以无损 avi的格式进行存储，该视频格式下获得的图像序列分辨率为352 像素×288 像素。
实施例二
本实施例对采用基于神经网络面向汽车辅助驾驶的行人检测方法的具体过程进行介绍。
本发明先构建适应需求的神经网络，然后根据不同变化变更优化达到优异的检测效果，并进行对比和计算。
进行对比观察和计算时，本发明采用神经网络面向驾驶辅助***的行人检测，通过迭代训练学习行人步骤，以检测精度及检测速度作为效果对比。
本发明根据不同场景训练学习所产生的检测精度及速度效果进行对比包括：
表1 不同场景下行人检测的性能对比
场景 检测率 (%) 误检率 (%) 行人数量 检测个数 误检个数
郊区 94.57 8.57 1033 809 206
市区 75.5 22.02 667 398 413
与现有技术相比，本发明基于神经网络技术，可根据实际要求精确检测各种各样行人；采用优化对比法获取行人检测最优效果，能根据实际所需情况而设定不同的检测网络以及训练策略，灵活度高且动态性能好。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种基于神经网络面向汽车辅助驾驶的行人检测方法，其主要步骤在于：包括：
A、搭建了面向汽车辅助驾驶的行人检测的实验数据采集与测试平台；
B、降低在检测过程中获取候选行人区域时需要在大量背景区域上花费较大的搜索开销；
C、候选网络行人进行初定位；
D、在分类器的离线训练环节，确定训练机制，通过迭代等优化方式获得更为鲁棒的行人分类器。
2.根据权利要求1所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其步骤在于：搭载了单目远红外传感器（即热像仪，下文称为摄像头）的小轿车，提出基于神经网络进行ROIs 提取，训练过程中从数据预处理以及迭代对于检测算子的鲁棒性优化。
3.根据权利要求2所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其步骤在于：所述步骤A，其包括：
A1、行人样本及其预处理，将行人样本集划分为多个子类；
A2、基于局部区域搜索的 ROIs 提取，并尽可能抑制仅包含背景目标的候选区域；
A3、基于faster rcnn的区域候选网络RPN，从卷积步骤图上从大量的位置与大小均不定的窗口中得出最有可能是物体的窗口；
A4、分类器采用基于 bootstrapping 和提前终止策略的训练机制，迭代训练搜索并有效利用表征背景目标的“困难”训练数据。
4.根据权利要求3所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其A1步骤在于：根据不同的运动朝向，这里将行人样本集划分为 3 个子类，分别对应沿着摄像头运动（包括踩单车、跑步和行走等运动方式）、横跨摄像头由右向左运动和横跨摄像头由左向右运动。
5.根据权利要求3所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其A2步骤在于：所述步骤A2，其包括：
A2-1、预分割环节，提出基于像素梯度的垂直投影方法，利用远红外图像中行人目标像素灰度值的分布特点，对输入图像的所有竖直带状图像区域进行评估，从而过滤不具有显著灰度变化的竖直带状图像区域；
A2-2、在 ROIs 产生环节，利用自适应局部双阈值分割算法对所得的竖直带状图像区域执行二值分割，从而产生精确的 ROIs。
6.根据权利要求3所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其A3步骤在于：通过在卷积步骤图上利用卷积核进行滑动窗口，不同的卷积核滑窗产生预先设定的不同尺度的锚点窗口位置与分数，得分最高的锚点窗口即为候选窗口。
7.根据权利要求3所述的基于神经网络面向汽车辅助驾驶的行人检测方法，其A4步骤在于：上一轮迭代训练所得的行人分类器通过自身的预测结果，从仅包含背景模式的视频序列中搜索被错分的训练数据组成表征背景目标的扩展训练集；在新一轮的迭代过程中，扩展训练集将结合初始训练集更新或重新训练行人分类器。
CN201810625686.1A 2018-06-18 2018-06-18 基于神经网络面向汽车辅助驾驶的行人检测方法 Pending CN108921056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810625686.1A CN108921056A (zh) 2018-06-18 2018-06-18 基于神经网络面向汽车辅助驾驶的行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810625686.1A CN108921056A (zh) 2018-06-18 2018-06-18 基于神经网络面向汽车辅助驾驶的行人检测方法

Publications (1)

Publication Number Publication Date
CN108921056A true CN108921056A (zh) 2018-11-30

Family

ID=64420587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810625686.1A Pending CN108921056A (zh) 2018-06-18 2018-06-18 基于神经网络面向汽车辅助驾驶的行人检测方法

Country Status (1)

Country Link
CN (1) CN108921056A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN111768363A (zh) * 2020-05-13 2020-10-13 华南农业大学 基于深度学习的电路板表面缺陷检测方法及检测***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198332A (zh) * 2012-12-14 2013-07-10 华南理工大学 一种实时鲁棒的远红外车载行人检测方法
CN103310194A (zh) * 2013-06-07 2013-09-18 太原理工大学 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN107563290A (zh) * 2017-08-01 2018-01-09 中国农业大学 一种基于图像的行人检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198332A (zh) * 2012-12-14 2013-07-10 华南理工大学 一种实时鲁棒的远红外车载行人检测方法
CN103310194A (zh) * 2013-06-07 2013-09-18 太原理工大学 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN107563290A (zh) * 2017-08-01 2018-01-09 中国农业大学 一种基于图像的行人检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN109740537B (zh) * 2019-01-03 2020-09-15 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN111768363A (zh) * 2020-05-13 2020-10-13 华南农业大学 基于深度学习的电路板表面缺陷检测方法及检测***

Similar Documents

Publication Publication Date Title
CN104700099B (zh) 识别交通标志的方法和装置
US11170232B2 (en) Method for capturing an object in an environmental region of a motor vehicle with prediction of the movement of the object, camera system as well as motor vehicle
Marin et al. Learning appearance in virtual scenarios for pedestrian detection
CN104239867B (zh) 车牌定位方法及***
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN103413120B (zh) 基于物体整体性和局部性识别的跟踪方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN107301369A (zh) 基于航拍图像的道路交通拥堵分析方法
CN106887010B (zh) 基于高层场景信息的地面运动目标检测方法
CN106295583A (zh) 一种提醒用户驾驶方式的方法及装置
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN113343985B (zh) 车牌识别方法和装置
CN105989334A (zh) 基于单目视觉的道路检测方法
Chen et al. Multi-camera Vehicle Tracking and Re-identification on AI City Challenge 2019.
CN105930803A (zh) 一种基于Edge Boxes的前车检测方法及装置
CN110245587B (zh) 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
CN106570886A (zh) 一种基于超分辨率重建的目标跟踪方法
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN104599291B (zh) 基于结构相似度和显著性分析的红外运动目标检测方法
CN108416798A (zh) 一种基于光流的车辆距离估计方法
CN108921056A (zh) 基于神经网络面向汽车辅助驾驶的行人检测方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
Hilario et al. Pedestrian detection for intelligent vehicles based on active contour models and stereo vision
CN112924037A (zh) 基于图像配准的红外体温检测***及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130