CN107392214A - 一种基于全卷积***网络的目标检测方法 - Google Patents

一种基于全卷积***网络的目标检测方法 Download PDF

Info

Publication number
CN107392214A
CN107392214A CN201710616541.0A CN201710616541A CN107392214A CN 107392214 A CN107392214 A CN 107392214A CN 201710616541 A CN201710616541 A CN 201710616541A CN 107392214 A CN107392214 A CN 107392214A
Authority
CN
China
Prior art keywords
picture
network
target
convolutional layer
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710616541.0A
Other languages
English (en)
Other versions
CN107392214B (zh
Inventor
李宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Quick Eye Technology Co Ltd
Original Assignee
Chengdu Quick Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Quick Eye Technology Co Ltd filed Critical Chengdu Quick Eye Technology Co Ltd
Priority to CN201710616541.0A priority Critical patent/CN107392214B/zh
Publication of CN107392214A publication Critical patent/CN107392214A/zh
Application granted granted Critical
Publication of CN107392214B publication Critical patent/CN107392214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于全卷积***网络的目标检测方法，对图片进行预处理：将搜集到的数据集中的图片进行随机抽取裁剪，具体剪裁方法为：取图片长宽的设定大小的预置框，在图片中选取5处裁剪预置框大小的图片，分别为图片的四角和中心位置，将对应目标的目标框映射到处理后的图片，得到训练图片。与现有技术相比，在计算资源损耗方面是当前网络模型（比如VGG网络）的1/100；在运算时间方面提速了300倍，极大提升了运算效率；在检测性能方面，本方法能有效检测到道路上出现的大小目标，达到了速度与精度的平衡。

Description

一种基于全卷积***网络的目标检测方法
技术领域
本发明涉及一种计算机视觉目标检测领域，特别是涉及一种适用于基于全卷积***网络的目标检测方法。
背景技术
视觉是人类获取信息的主要方式，人类获取的信息有70%来自视觉信息。随着社会的发展，智能感知传感器的分布越来越广泛，我们可以从这些传感器中获得大量的信息。人类可以从复杂的环境中准确的定位和检测到物体，这是人类视觉的基本的功能。计算机视觉中的目标检测，旨在利用计算机对自然图片中的目标进行检测和定位，是目标跟踪和大量后续工作的基础。具有极其重要的研究价值。在学术界和工业界，研究目标检测的算法是十分重要的，但是在计算机视觉领域，现有的目标检测算法仍然存在着十分重要的缺陷。比如，无法满足实时性，算法运行时资源消耗巨大。
随着卷积神经网络的发展，基于卷积神经网络的分类方法在图像分类问题上面有着优异的表现，现有19层的VGG网络将1000类的分类挑战的精度突破到了7.3%；22层的GoogleNet网络将分类精度突破到了6.7%.到了2015年，由何凯明发明的152层残差网络将分类误差降低到了3.57%.然而随着网络的不断深入发展，卷积神经网络的深度在不断提升，与此同时网络的大小也在不断的增大。网络越大，所消耗的计算资源越多，计算的时间复杂度也就越大，然而现有的计算资源是十分有限的。于是深度网络的大规模运用就收到了局限。
基于深度学习的目标检测算法主要的框架主要是利用卷积神经网络作为特征提取的模块，然后利用深度特征进行目标的检测。现有主流的基于深度学习的目标检测算法分为两大类，一类是以候选区域(region proposal)算法为主要框架的R-CNN系列，分别包括(R-cnn, fast R-cnn, faster R-cnn)；另一类是以预置框(anchor box)为主要框架的YOLO和SSD两个方法。两类方法都得益于卷积神经网络的优异的特征提取的能力。但是由于特征提取的部件所消耗的计算资源十分巨大。于是现有的基于深度学习的目标检测算法在实时性方面依然差强人意。
随着计算资源的分散化，视觉方面的计算移动化越来越成为趋势，人们更多的希望可以在移动端使用目标检测的功能。这就给基于深度学***台上运行。于是，在保证检测识别的精度的前提下，提高实时性成为了我们这个专利的研究方向。
发明内容
本发明要解决的技术问题是克服现有基于深度学习的目标检测算法技术的复杂度过高的不足，提供一种基于全卷积***网络的目标检测方法，在保证检测识别的精度的前提下，提高目标检测的实时性。
本发明采用的技术方案如下：一种基于全卷积***网络的目标检测方法，具体方法包括：
对图片进行预处理：将搜集到的数据集中的图片进行随机抽取裁剪，具体剪裁方法为：取图片长宽的设定大小的预置框，在图片中选取5处裁剪预置框大小的图片，分别为图片的四角和中心位置，将对应目标的目标框映射到处理后的图片，得到训练图片；
特征提取阶段特征提取部分的特征提取网络结构为：特提取网络的层数为9层卷积层；其中，有n层卷积层后级联一个用于降采样的池化层；两个滤波器的输出大小分别为1x1(单位：像素)和3x3(单位：像素)；其中，n为大于等于1小于等于9的自然数；
在目标检测阶段，在特征提取网络后级联6个的卷积层，构成检测网络，每个卷积层直接输出目标的位置信息和类别信息；在检测网络中，改变其中两个卷积层的卷积核的大小由原来的3x3(单位：像素)改为2x4和4x2(单位：像素)。
所述设定大小的预置框为图片长宽的1/3大小的预置框。
特征提取网络中，所述池化层的类型选择为取最大的池化。
特征提取网络中，每个卷积层的输出特征谱个数分别为30、70、80、200、80、200、256、500和1000。
所述方法还包括，在目标检测阶段，结合所述目标框的大小比例的分布，采用两种以上宽高比的检测模型。
检测网络检测模型为宽高比分别为1:2和2:1的两种矩形卷积核的检测模型。
所述6个卷积层中，前三个卷积层的卷积核大小为3x3（单位：像素），网络再级联两个卷积层，其中的卷积核设计为2x4和4x2(单位：像素)，然后再级联一个卷积层。
与现有技术相比，本发明的有益效果是：经过图片预处理的操作，每一张原始图片变成了5张训练图片，增广了训练数据集，训练样本的数量变成了原来的5倍。由于训练数据的增多，提高了特征提取网络提取特征的能力，目标框的映射操作相当于将小目标的尺度放大，从而提高了对小目标的检测精度。
在计算资源损耗方面是当前网络模型（比如VGG网络）的1/100；在运算时间方面提速了300倍，极大提升了运算效率；在检测性能方面，本方法能有效检测到道路上出现的大小目标，达到了速度与精度的平衡。
附图说明
图1为本发明其中一实施例的特征提取网络配置示意图。
图2为本发明其中一实施例的检测网络框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种基于全卷积***网络的目标检测方法，具体方法包括：
对图片进行预处理：将搜集到的数据集中的图片进行随机抽取裁剪，具体剪裁方法为：取图片长宽的设定大小的预置框，在图片中选取5处裁剪预置框大小的图片，分别为图片的四角和中心位置，将对应目标的目标框映射到处理后的图片，得到训练图片；
特征提取阶段特征提取部分的特征提取网络结构为：特提取网络的层数为9层卷积层；其中，有n层卷积层后级联一个用于降采样的池化层；两个滤波器的输出大小分别为1x1(单位：像素)和3x3(单位：像素)；其中，n为大于等于1小于等于9的自然数；
在目标检测阶段，在特征提取网络后级联6个的卷积层，构成检测网络，每个卷积层直接输出目标的位置信息和类别信息；在检测网络中，改变其中两个卷积层的卷积核的大小由原来的3x3(单位：像素)改为2x4和4x2(单位：像素)。
经过图片预处理的操作，每一张原始图片变成了5张训练图片，增广了训练数据集，训练样本的数量变成了原来的5倍。由于训练数据的增多，提高了特征提取网络提取特征的能力，目标框的映射操作相当于将小目标的尺度放大，从而提高了对小目标的检测精度。
特征提取网络中，减少了网络的层数，并且减小了滤波器的大小。
在本具体实施例中，将特征提取网络在1000类目标的分类数据ImageNet(ImageNet 是一个计算机视觉***识别项目，是目前世界上图像识别最大的数据库)上面进行预训练，迭代100,000次，达到网络收敛。收敛时，网络的分类精度为48%。网络总参数大小约是2百万(单位：个),所以在特征提取速度上有很大的提升，在实验阶段，在英伟达TITANX平台上，每张图片的特征提取时间约为5毫秒。
如图1所示，在本具体实施例中，输入是100x100（单位：像素）的3通道的图片，卷积核的大小通常为1x1和3x3（单位：像素），卷积层下面标注有pooling表示当前层级联了一个池化层，max和avg表示池化的类型。
为了测试网络的有效性，构建了一个日常场景数据库，共30000张图片，该数据库中包含人，汽车，自行车，摩托车四类目标。在精度方面，本发明在构建的日常场景数据库中表现优异，其中人的检测精度有66%，汽车的检测精度有62%，摩托车的检测精度为49.8%，自行车检测精度为49.3%。平均检测精度为56.86%；在速度方面，本发明的算法的在英伟达GPU平台上的运行时间为每张图片7ms，可以达到实时的效果。
具体实施例2
在具体实施例1的基础上，所述设定大小的预置框为图片长宽的1/3大小的预置框。
具体实施例3
在具体实施例1或2的基础上，特征提取网络中，所述池化层的类型选择为取最大的池化。
具体实施例4
在具体实施例1到3之一的基础上，特征提取网络中，每个卷积层的输出特征谱个数分别为30、70、80、200、80、200、256、500和1000。特征提取网络中，减少了卷积层的输出特征谱的个数，在多个特征谱上面进行检测，充分利用全卷积操作直接输出检测目标的坐标和类别信息，这样的操作简化了计算，减少了计算的时间复杂度和空间复杂度。在实验阶段，在英伟达TITANX平台上，每张图片检测时间约为2毫秒。
具体实施例5
在具体实施例1到4之一的基础上，所述方法还包括，在目标检测阶段，结合所述目标框的大小比例的分布，采用两种以上宽高比的检测模型。
具体实施例6
在具体实施例1到5之一的基础上，检测网络检测模型为宽高比分别为1:2和2:1的两种矩形卷积核的检测模型。
在检测端，提出的2x4和4x2(单位:像素)的多宽高比的卷积核模型，能够很好地捕捉目标的姿态变化，提高检测的精度。在实验阶段，人的检测精度有66%，汽车的检测精度有62%，摩托车的检测精度为49.8%，自行车检测精度为49.3%。平均检测精度为56.86%。
具体实施例7
在具体实施例1到6之一的基础上，所述6个卷积层中，前三个卷积层的卷积核大小为3x3（单位：像素），网络再级联两个卷积层，其中的卷积核设计为2x4和4x2(单位：像素)，然后再级联一个卷积层。
如图2所示，在本截图实施例中，检测网络框架中，特征提取层为图1的全卷积网络，其中检测层的前两个卷积核大小为3x3，两个方向的卷积核大小分别为2x4和4x2，最后一个卷积核大小为1x1，卷积层直接输出的结果表示目标的坐标和类别，称为检测输出。

Claims (7)

1.一种基于全卷积***网络的目标检测方法，具体方法包括：
对图片进行预处理：将搜集到的数据集中的图片进行随机抽取裁剪，具体剪裁方法为：取图片长宽的设定大小的预置框，在图片中选取5处裁剪预置框大小的图片，分别为图片的四角和中心位置，将对应目标的目标框映射到处理后的图片，得到训练图片；
特征提取阶段特征提取部分的特征提取网络结构为：特提取网络的层数为9层卷积层；其中，有n层卷积层后级联一个用于降采样的池化层；两个滤波器的输出大小分别为1x1和3x3；其中，n为大于等于1小于等于9的自然数；
在目标检测阶段，在特征提取网络后级联6个的卷积层，构成检测网络，每个卷积层直接输出目标的位置信息和类别信息；在检测网络中，改变其中两个卷积层的卷积核的大小由原来的3x3改为2x4和4x2。
2.根据权利要求1所述的基于全卷积***网络的目标检测方法，所述设定大小的预置框为图片长宽的1/3大小的预置框。
3.根据权利要求1或2所述的基于全卷积***网络的目标检测方法，特征提取网络中，所述池化层的类型选择为取最大的池化。
4.根据权利要求3所述的基于全卷积***网络的目标检测方法，特征提取网络中，每个卷积层的输出特征谱个数分别为30、70、80、200、80、200、256、500和1000。
5.根据权利要求1或2所述的基于全卷积***网络的目标检测方法，所述方法还包括，在目标检测阶段，结合所述目标框的大小比例的分布，采用两种以上宽高比的检测模型。
6.根据权利要求1或2所述的基于全卷积***网络的目标检测方法，检测网络检测模型为宽高比分别为1:2和2:1的两种矩形卷积核的检测模型。
7.根据权利要求1或2所述的基于全卷积***网络的目标检测方法，所述6个卷积层中，前三个卷积层的卷积核大小为3x3网络再级联两个卷积层，其中的卷积核设计为2x4和4x2，然后再级联一个卷积层。
CN201710616541.0A 2017-07-26 2017-07-26 一种基于全卷积***网络的目标检测方法 Active CN107392214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710616541.0A CN107392214B (zh) 2017-07-26 2017-07-26 一种基于全卷积***网络的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710616541.0A CN107392214B (zh) 2017-07-26 2017-07-26 一种基于全卷积***网络的目标检测方法

Publications (2)

Publication Number Publication Date
CN107392214A true CN107392214A (zh) 2017-11-24
CN107392214B CN107392214B (zh) 2020-10-09

Family

ID=60341067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710616541.0A Active CN107392214B (zh) 2017-07-26 2017-07-26 一种基于全卷积***网络的目标检测方法

Country Status (1)

Country Link
CN (1) CN107392214B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197619A (zh) * 2017-12-27 2018-06-22 百度在线网络技术（北京）有限公司 一种基于招牌图像的定位方法、装置、设备和存储介质
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN108898177A (zh) * 2018-06-26 2018-11-27 广东电网有限责任公司 一种输电线路走廊地表分类方法、***、介质及设备
CN108960074A (zh) * 2018-06-07 2018-12-07 西安电子科技大学 基于深度学习的小尺寸行人目标检测方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109446888A (zh) * 2018-09-10 2019-03-08 唯思科技（北京）有限公司 一种基于卷积神经网络的细长类物品检测方法
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
CN110674873A (zh) * 2019-09-24 2020-01-10 Oppo广东移动通信有限公司 图像分类方法、装置、移动终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956608A (zh) * 2016-04-21 2016-09-21 恩泊泰（天津）科技有限公司 一种基于深度学习的目标定位、分类算法
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN105956608A (zh) * 2016-04-21 2016-09-21 恩泊泰（天津）科技有限公司 一种基于深度学习的目标定位、分类算法
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY，ET AL.: "ImageNet Classification with Deep Convolutional Neural Networks", 《COMMUNICATIONS OF THE ACM》 *
SZEGEDY，ET AL.: "Rethinking the Inception Architecture for Computer Vision", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
WEI LIU，ET AL.: "SSD: Single Shot MultiBox Detector", 《ECCV 2016: COMPUTER VISION – ECCV 2016》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197619A (zh) * 2017-12-27 2018-06-22 百度在线网络技术（北京）有限公司 一种基于招牌图像的定位方法、装置、设备和存储介质
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
EP3514735A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
US10832097B2 (en) 2018-01-18 2020-11-10 Aptiv Technologies Limited Device and a method for image classification using a convolutional neural network
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN108960074A (zh) * 2018-06-07 2018-12-07 西安电子科技大学 基于深度学习的小尺寸行人目标检测方法
CN108960074B (zh) * 2018-06-07 2020-09-04 西安电子科技大学 基于深度学习的小尺寸行人目标检测方法
CN108898177A (zh) * 2018-06-26 2018-11-27 广东电网有限责任公司 一种输电线路走廊地表分类方法、***、介质及设备
CN109446888A (zh) * 2018-09-10 2019-03-08 唯思科技（北京）有限公司 一种基于卷积神经网络的细长类物品检测方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110674873A (zh) * 2019-09-24 2020-01-10 Oppo广东移动通信有限公司 图像分类方法、装置、移动终端及存储介质
CN110674873B (zh) * 2019-09-24 2022-05-27 Oppo广东移动通信有限公司 图像分类方法、装置、移动终端及存储介质

Also Published As

Publication number Publication date
CN107392214B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107392214A (zh) 一种基于全卷积***网络的目标检测方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108564097A (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
CN107154043A (zh) 一种基于3dcnn的肺结节假阳性样本抑制方法
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN111310773A (zh) 一种高效的卷积神经网络的车牌定位方法
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN107563405A (zh) 基于多分辨率神经网络的车库自动驾驶语义目标识别方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN113408321B (zh) 一种轻量级图像、视频数据的实时目标检测方法及装置
CN109977997A (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN111860171A (zh) 一种大规模遥感图像中不规则形状目标的检测方法及***
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN105787488A (zh) 由全局向局部传递的图像特征提取方法及装置
CN112990325B (zh) 一种面向嵌入式实时视觉目标检测的轻型网络构建方法
CN114092487A (zh) 目标果实实例分割方法及***
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN106650647A (zh) 基于传统算法和深度学习算法级联的车辆检测方法及***
CN110852330A (zh) 一种基于单阶段的行为识别方法
CN108363962B (zh) 一种基于多层次特征深度学习的人脸检测方法及***
CN110503113A (zh) 一种基于低秩矩阵恢复的图像显著性目标检测方法
CN116542991A (zh) 一种用于裂缝图像分割的网络架构及其训练方法和分割方法
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant