CN106650647A - 基于传统算法和深度学习算法级联的车辆检测方法及*** - Google Patents
基于传统算法和深度学习算法级联的车辆检测方法及*** Download PDFInfo
- Publication number
- CN106650647A CN106650647A CN201611129798.5A CN201611129798A CN106650647A CN 106650647 A CN106650647 A CN 106650647A CN 201611129798 A CN201611129798 A CN 201611129798A CN 106650647 A CN106650647 A CN 106650647A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- vehicle
- deep learning
- learning algorithm
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于传统算法和深度学***台下实时运行。
Description
技术领域
本发明涉及车辆检测技术领域,尤其涉及基于传统算法和深度学习算法级联的车辆检测方法及***。
背景技术
随着深度学习算法的兴起,与图像相关的人脸识别、目标检测分类等问题得到了很好的解决,相对传统的机器学习算法,深度学习极大的提升了图像算法的性能,使得之前很多解决起来有挑战的问题看到了解决的希望,拓展了图像在我们生活场景中的应用边界。无人车作为下一个从科幻步入现实的问题,成为了我们需要解决的难题和挑战。ADAS算法在无人车中扮演着关键的角色。
车辆检测作为ADAS主要功能之一,需要对视频图像中的车辆目标进行实时分析,通过定位前方车辆的位置,测算距离本车的安全距离,来及时的给司机提供预警。
车辆检测算法可以分为基于传统机器学习的方法和基于深度学习的方法两大类:
1)传统机器学习算法的车辆检测
基于滑动窗口的,通过固定的窗口来图像上进行遍历扫描,基于手工设计的特征和分类器来判定当前的窗口目标是否包含车辆目标;
2)基于深度学习的车辆检测算法
基于深度学习的检测算法,也细分为两类:
一种是与传统的目标检测算法类似,基于滑动窗口的算法,在图像上按固定的窗口进行扫描,提取窗口目标的CNN特征进行判定该目标是否为车辆,相对传统机器学习来说,仅仅是将特征由手工设计的特征变成了表征能力更为强大的CNN;
另一种是先提取粗糙的备选目标窗口,再对备选的目标进行更为精细的分类,特别是在精细分类上,利用了CNN作为特征。这一脉算法以RCNN[1],fast RCNN[2],fasterRCNN[3]为代表进行演化,在GPU上做到了10fps以上的速度和很高的目标检测性能。在这样的两级架构下,为了进一步提速,出现了更加高级的深度学习架构,通过将前后两级架构进一步融合,得到了端到端的深度学习目标检测框架,以SSD[4]、YOLO[5]等算法为代表。
基于传统机器学习算法进行车辆检测,受限于手工设计的特征不够强大,导致检测性能不够好。并且为了进一步的提升检测性能,需要进行大量的实验,来进行特征的设计。
而基于深度学习的算法,虽然可以做到很高的性能指标,但是需要GPU资源,限制了深度学习在更加广泛的嵌入式、手机等设备上的应用。由于GPU的功耗相对较高,嵌入式或手机上没有或很少有GPU资源可以调用。并且网络的深度也导致模型的大小增加,需要调用更多的内存资源,这对于手持设备来说,资源消耗太大。现阶段专用的低功耗神经网络芯片已经在研制中,但是距离落地还有很长的路。如何在现阶段将深度学习在嵌入式设备上进行落地,是一个很大的挑战。
发明内容
本发明提供了一种基于传统算法和深度学习算法级联的车辆检测方法,包括如下步骤:
第一级处理步骤:通过第一级的机器学习算法进行车辆检测,得到备选目标窗口;
第二级处理步骤:通过第二级的深度学习算法,对提取到的备选目标窗口进行分类。
作为本发明的进一步改进,所述机器学习算法为ACF算法。
作为本发明的进一步改进,在所述第一级处理步骤中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值,然后采用Adaboost算法进行分类,最后输出检测结果。
作为本发明的进一步改进,第二级的深度学习算法包括CNN算法,并且采用CNN网络架构。
作为本发明的进一步改进,所述CNN网络架构包括8层,从第1层至第8层分别为:输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层,FC全连接输出层给出当前的分类目标是否是车辆。
本发明还提供了一种基于传统算法和深度学习算法级联的车辆检测***,包括:
第一级处理模块:用于通过第一级的机器学习算法进行车辆检测,得到备选目标窗口;
第二级处理模块:用于通过第二级的深度学习算法,对提取到的备选目标窗口进行分类。
作为本发明的进一步改进,所述机器学习算法为ACF算法。
作为本发明的进一步改进,在所述第一级处理模块中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值,然后采用Adaboost算法进行分类,最后输出检测结果。
作为本发明的进一步改进,第二级的深度学习算法包括CNN算法,并且采用CNN网络架构。
作为本发明的进一步改进,所述CNN网络架构包括8层,从第1层至第8层分别为:输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层,FC全连接输出层给出当前的分类目标是否是车辆。
本发明的有益效果是:本发明提出的两层级联框架,在实际测试中,能够做到很高的车辆检测召回率和准确率,并能在各种平台下实时运行。
附图说明
图1是本发明的级联框架图;
图2是本发明的检测算法流程图。
具体实施方式
传统的机器学***台上部署。深度学习算法性能好的很大一部分原因,是因为利用了很深的神经网络架构,这也是导致计算速度慢的主要原因。而如果利用较浅层的网络架构,对于车辆检测来说,该网络架构所提取的特征已经足够强大,也会大大节省计算资源和内存开销,保证了实时性和很好的准确率。
为了结合传统算法和深度学习的优势,弥补两者的缺陷,本发明提出了一种基于传统算法和深度学习算法级联的车辆检测方法,不仅能保证检测的实时性,还能保证很高的准确率。
本发明的级联框架如图1所示,本发明的整体思路是,通过第一级的传统机器学***台上运行,特别是在嵌入式上,能够做到实时处理和很高的检测性能。
下面详细介绍整体框架的两级处理流程:
第一级处理步骤,即第一级基于传统机器学习的ACF算法:
基于传统机器学习的检测算法有很多,本发明选用当前速度很快的ACF[6]算法来进行说明,当然不仅仅限于这一种算法。
在第一级处理步骤中,利用聚合通道特征算法(ACF,Aggregated ChannelFeatures)进行车辆检测。该算法具有如下几大优势,1)速度较快,易于并行;2)目标为刚性物体,能得到比较稳定且准确的矩形框;3)抽取的特征易于拓展到路牌,行人等目标检测。该算法在嵌入式上能达到实时而且鲁棒的性能。
ACF算法的检测流程如图2所示。
第二级处理步骤,即第二级基于深度学习的CNN算法:
第二级基于深度学习的CNN算法,是当前使用很广泛的一类DNN架构。为了在计算资源、内存开销和检测性能上进行折中,本发明选用了一个浅层的CNN网络架构,所述CNN网络架构包括8层,从第1层至第8层分别为:输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层,FC全连接输出层给出当前的分类目标是否是车辆。
本发明提出的这种两层级联框架,在实际测试中,能够做到很高的车辆检测召回率和准确率,并能在各种平台下实时运行,特别是嵌入式***。
本发明的框架是第一级利用快速的传统机器学习检测算法,第二级是基于CNN的分类算法。第一级利用ACF算法进行备选车辆窗口的提取,但不仅仅限于该算法,有很多类似的快速传统检测算法都可以利用。第二级设计了模型大小比较适中的CNN网络架构,但不仅仅限于本发明提出的这8层架构,还可以设计各种各样参数的CNN网络架构。
ADAS:Advanced Driving Assistant System高级辅助驾驶***;
ACF:Aggregate Channel Features聚合通道特征;
Adaboost:Adaptive Boosting自适应增强算法;
DNN:Deep Neural Network深度神经元网络;
CNN:Convolutional Neural Network卷积神经网络。
[1]Girshick,Ross,et al."Rich feature hierarchies for accurate objectdetection and semantic segmentation."Proceedings of the IEEE conference oncomputer vision and pattern recognition.2014.
[2]Girshick,Ross."Fast r-cnn."Proceedings of the IEEE InternationalConference on Computer Vision.2015.
[3]Ren,Shaoqing,et al."Faster R-CNN:Towards real-time objectdetection with region proposal networks."Advances in neural informationprocessing systems.2015.
[4]Liu,Wei,et al."SSD:Single Shot MultiBox Detector."arXiv preprintarXiv:1512.02325(2015).
[5]Redmon,Joseph,et al."You only look once:Unified,real-time objectdetection."arXiv preprint arXiv:1506.02640(2015).
[6]Dollar P,Appel R,Belongie S.Fast Feature Pyramids for ObjectDetection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(8):1532-1545.
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于传统算法和深度学习算法级联的车辆检测方法,其特征在于,包括如下步骤:
第一级处理步骤:通过第一级的机器学习算法进行车辆检测,得到备选目标窗口;
第二级处理步骤:通过第二级的深度学习算法,对提取到的备选目标窗口进行分类。
2.根据权利要求1所述的车辆检测方法,其特征在于,所述机器学习算法为ACF算法。
3.根据权利要求2所述的车辆检测方法,其特征在于,在所述第一级处理步骤中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值,然后采用Adaboost算法分类,最后输出检测结果。
4.根据权利要求1至3任一项所述的车辆检测方法,其特征在于,第二级的深度学习算法包括CNN算法,并且采用CNN网络架构。
5.根据权利要求4所述的车辆检测方法,其特征在于,所述CNN网络架构包括8层,从第1层至第8层分别为:输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层,FC全连接输出层给出当前的分类目标是否是车辆。
6.一种基于传统算法和深度学习算法级联的车辆检测***,其特征在于,包括:
第一级处理模块:用于通过第一级的机器学习算法进行车辆检测,得到备选目标窗口;
第二级处理模块:用于通过第二级的深度学习算法,对提取到的备选目标窗口进行分类。
7.根据权利要求6所述的车辆检测***,其特征在于,所述机器学习算法为ACF算法。
8.根据权利要求7所述的车辆检测***,其特征在于,在所述第一级处理模块中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值,然后采用Adaboost算法进行分类,最后输出检测结果。
9.根据权利要求6至8任一项所述的车辆检测***,其特征在于,第二级的深度学习算法包括CNN算法,并且采用CNN网络架构。
10.根据权利要求9所述的车辆检测***,其特征在于,所述CNN网络架构包括8层,从第1层至第8层分别为:输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层,FC全连接输出层给出当前的分类目标是否是车辆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611129798.5A CN106650647A (zh) | 2016-12-09 | 2016-12-09 | 基于传统算法和深度学习算法级联的车辆检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611129798.5A CN106650647A (zh) | 2016-12-09 | 2016-12-09 | 基于传统算法和深度学习算法级联的车辆检测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106650647A true CN106650647A (zh) | 2017-05-10 |
Family
ID=58825424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611129798.5A Pending CN106650647A (zh) | 2016-12-09 | 2016-12-09 | 基于传统算法和深度学习算法级联的车辆检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650647A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633199A (zh) * | 2017-08-07 | 2018-01-26 | 浙江工业大学 | 一种基于深度学习的苹果采摘机器人果实目标检测方法 |
CN108021891A (zh) * | 2017-12-05 | 2018-05-11 | 广州大学 | 基于深度学习与传统算法结合的车辆环境识别方法和*** |
CN109283924A (zh) * | 2017-07-19 | 2019-01-29 | 通用汽车环球科技运作有限责任公司 | 分类方法及*** |
CN109784198A (zh) * | 2018-12-21 | 2019-05-21 | 北方工业大学 | 机场遥感图像飞机辨识方法及装置 |
CN110307982A (zh) * | 2019-06-19 | 2019-10-08 | 电子科技大学 | 基于CNN和Adaboost的轴承故障分类方法 |
CN110853389A (zh) * | 2019-11-21 | 2020-02-28 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控*** |
US11282389B2 (en) | 2018-02-20 | 2022-03-22 | Nortek Security & Control Llc | Pedestrian detection for vehicle driving assistance |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631440A (zh) * | 2016-02-22 | 2016-06-01 | 清华大学 | 一种易受伤害道路使用者的联合检测方法 |
CN105678231A (zh) * | 2015-12-30 | 2016-06-15 | 中通服公众信息产业股份有限公司 | 一种基于稀疏编码和神经网络的行人图片检测方法 |
-
2016
- 2016-12-09 CN CN201611129798.5A patent/CN106650647A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678231A (zh) * | 2015-12-30 | 2016-06-15 | 中通服公众信息产业股份有限公司 | 一种基于稀疏编码和神经网络的行人图片检测方法 |
CN105631440A (zh) * | 2016-02-22 | 2016-06-01 | 清华大学 | 一种易受伤害道路使用者的联合检测方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109283924A (zh) * | 2017-07-19 | 2019-01-29 | 通用汽车环球科技运作有限责任公司 | 分类方法及*** |
CN107633199A (zh) * | 2017-08-07 | 2018-01-26 | 浙江工业大学 | 一种基于深度学习的苹果采摘机器人果实目标检测方法 |
CN108021891A (zh) * | 2017-12-05 | 2018-05-11 | 广州大学 | 基于深度学习与传统算法结合的车辆环境识别方法和*** |
CN108021891B (zh) * | 2017-12-05 | 2020-04-14 | 广州大学 | 基于深度学习与传统算法结合的车辆环境识别方法和*** |
US11282389B2 (en) | 2018-02-20 | 2022-03-22 | Nortek Security & Control Llc | Pedestrian detection for vehicle driving assistance |
CN109784198A (zh) * | 2018-12-21 | 2019-05-21 | 北方工业大学 | 机场遥感图像飞机辨识方法及装置 |
CN110307982A (zh) * | 2019-06-19 | 2019-10-08 | 电子科技大学 | 基于CNN和Adaboost的轴承故障分类方法 |
CN110307982B (zh) * | 2019-06-19 | 2021-01-26 | 电子科技大学 | 基于CNN和Adaboost的轴承故障分类方法 |
CN110853389A (zh) * | 2019-11-21 | 2020-02-28 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控*** |
CN110853389B (zh) * | 2019-11-21 | 2022-03-18 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650647A (zh) | 基于传统算法和深度学习算法级联的车辆检测方法及*** | |
CN108876780B (zh) | 一种复杂背景下桥梁裂缝图像裂缝检测方法 | |
WO2021238019A1 (zh) | 基于Ghost卷积特征融合神经网络实时车流量检测***及方法 | |
CN101271514B (zh) | 一种快速目标检测和目标输出的图像检测方法及装置 | |
CN107844785B (zh) | 一种基于尺度估计的人脸检测方法 | |
US11816881B2 (en) | Multiple object detection method and apparatus | |
Zhang et al. | ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting | |
CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
Wu et al. | UAV imagery based potential safety hazard evaluation for high-speed railroad using Real-time instance segmentation | |
CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
CN105184278A (zh) | 一种人脸检测方法和装置 | |
CN109543617A (zh) | 基于yolo目标检测技术的智能车辆运动路况信息的检测方法 | |
Zhou et al. | A lightweight network for crack detection with split exchange convolution and multi-scale features fusion | |
Putra et al. | Convolutional neural network for person detection using yolo framework | |
Zhu et al. | Crack detection using enhanced hierarchical convolutional neural networks | |
Dou et al. | A fast traffic sign detection algorithm based on modified YOLOv3 | |
Youssef et al. | Real-time egyptian license plate detection and recognition using yolo | |
Zhang et al. | Channel compression optimization oriented bus passenger object detection | |
CN110427920B (zh) | 一种面向监控环境的实时行人解析方法 | |
Wang et al. | Research on Road Object Detection Model Based on YOLOv4 of Autonomous Vehicle | |
Ai et al. | Improve SegNet with feature pyramid for road scene parsing | |
Kinattukara et al. | Clustering based neural network approach for classification of road images | |
Chen et al. | MS-FPN-based pavement defect identification algorithm | |
Wei et al. | Foreign object detection of transmission line based on improved Yolov5 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
RJ01 | Rejection of invention patent application after publication |