CN111950551B - 一种基于卷积神经网络的目标检测方法 - Google Patents

一种基于卷积神经网络的目标检测方法 Download PDF

Info

Publication number
CN111950551B
CN111950551B CN202010816397.7A CN202010816397A CN111950551B CN 111950551 B CN111950551 B CN 111950551B CN 202010816397 A CN202010816397 A CN 202010816397A CN 111950551 B CN111950551 B CN 111950551B
Authority
CN
China
Prior art keywords
feature map
region
convolution
feature
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010816397.7A
Other languages
English (en)
Other versions
CN111950551A (zh
Inventor
李松江
吴宁
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202010816397.7A priority Critical patent/CN111950551B/zh
Publication of CN111950551A publication Critical patent/CN111950551A/zh
Application granted granted Critical
Publication of CN111950551B publication Critical patent/CN111950551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的目标检测方法，包括：基于残差卷神经网络进行特征提取，得到逐层的基础特征图；将所述基础特征图由浅至深依次融合，得到融合特征图；基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。本发明针对小目标及遮挡目标具有较高检测精度。

Description

一种基于卷积神经网络的目标检测方法
技术领域
本发明涉及图像信息处理技术领域，特别是涉及一种基于卷积神经网络的目标检测方法。
背景技术
随着道路交通压力的日益增大，通过计算机技术对道路车辆的智能化管控已成为研究热门；利用道路监控设备对车辆目标进行检测，掌握路网的车辆数据及行车轨迹是优化交通、缓解交通压力的前提，同时车辆目标检测是无人驾驶、车辆跟踪、车辆特征识别领域的研究基础。
目前，卷积神经网络被广泛应用于车辆目标检测领域，常用的一般分为单阶段检测算法和双阶段检测算法，单阶段检测算法是一种基于回归的目标检测算法，双阶段检测算法首先生成候选区域，然后进行分类和细化。由于算法结构的差异，双阶段检测算法有更高的检测精度，但检测速度低于单阶段检测算法，适用于对检测精度要求较高的场景。
现有的双阶段目标检测算法存在以下问题：由于遮挡目标及小目标的特征较少，现有的算法对于浅层位置信息及上下文信息利用的不充分，使得小目标及遮挡目标的检测精度较低。
发明内容
本发明的目的是提供一种针对小目标及遮挡目标具有较高检测精度的基于卷积神经网络的目标检测方法。
为实现上述目的，本发明提供了如下方案：
一种基于卷积神经网络的目标检测方法，包括：
基于残差卷神经网络进行特征提取，得到逐层的基础特征图；
将所述基础特征图由浅至深依次融合，得到融合特征图；
基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；
根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；
根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。
优选地，所述基础特征图包括第一特征图、第二特征图、第三特征图和第四特征图。
优选地，所述将所述基础特征图由浅至深依次融合，得到融合特征图，包括：
对所述第一特征图进行下采样处理，得到下采样特征图；
对所述第二特征图进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同；
将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图；同理最终得到所述融合特征图。
优选地，所述对所述第一特征图进行下采样处理，得到下采样特征图，包括：
基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整数；
将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下采样特征图。
优选地，所述n为3，3个支路的空洞率分别为1、2和3。
优选地，所述基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图，包括：
基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图；
基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图；
基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图；
将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。
优选地，所述根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归，包括：
根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归；
用所述初始边框回归替换所述设定锚框，并依次执行后续步骤，通过设定m个阈值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。
优选地，所述第一设定卷积核为3×3；所述第二设定卷积核为1×1。
优选地，所述根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图，包括：
基于ROIAlign对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴趣区域特征图；
按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图；
基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行全局上下文提取，得到上下文信息；
基于ROIAlign对初始感兴趣区域特征图与所述上下文信息进行融合得到所述感兴趣区域特征图。
优选地，所述残差卷神经网络为ResNet-101网络。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种基于卷积神经网络的目标检测方法，包括：基于残差卷神经网络进行特征提取，得到逐层的基础特征图；将所述基础特征图由浅至深依次融合，得到融合特征图；基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。本发明针对小目标及遮挡目标具有较高检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于卷积神经网络的目标检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种针对小目标及遮挡目标具有较高检测精度的基于卷积神经网络的目标检测方法。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于卷积神经网络的目标检测方法流程图，如图1所示，本发明提供了一种基于卷积神经网络的目标检测方法，包括：
步骤S1，基于残差卷神经网络ResNet-101进行特征提取，得到逐层的基础特征图；具体包括第一特征图、第二特征图、第三特征图和第四特征图。本实施例中，所述ResNet-101的各卷积层具体情况如表1。
表1、ResNet-101各个卷积层
其中，w为感兴趣区域的宽度，h为感兴趣区域的高度。
步骤S2，将所述基础特征图由浅至深依次融合，得到融合特征图。
以所述第一特征图和所述第二特征图进行融合为例，进行说明，具体过程如下：
基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整数。本实施例中，n取3，卷积核大小为3×3，卷积步长为2；3个支路的空洞率分别为1、2和3。
将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下采样特征图。具体计算公式为：
F＝H3,1(x)+H3,2(x)+H3,3(x)；
式中：F表示融合后的下采样特征图，Hk,r,(x)表示空洞卷积，k表示卷积核大小，r表示空洞率，x为第一特征图。
对所述第二特征图采用1×1的卷积核进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同。
将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图。
根据上述步骤依次进行融合得到所述融合特征图。
步骤S3，基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图。
作为一种可选的实施方式，本发明所述步骤S3包括：
步骤S31，基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图。本实施例中，所述第一设定卷积核大小为3×3。
步骤S32，基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图。本实施例中，所述第二设定卷积核大小为1×1。
步骤S33，基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图。
步骤S34，将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。
步骤S4，根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图。
具体地，所述步骤S4包括：
步骤S41，基于ROI Align对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴趣区域特征图。
步骤S42，按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图。本实施例中，所述设定倍数为1.5。
步骤S43，基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行上下左右四个方向的全局上下文提取，得到上下文信息。
步骤S44，基于ROIAlign将所述初始感兴趣区域特征图与所述上下文信息映射成为相同大小的矩形框，并进行进行融合得到所述感兴趣区域特征图。
步骤S5，根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。
具体地，根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归。
用所述初始边框回归替换所述设定锚框，并依次执行之后的步骤，通过设定m个阈值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。本实施例中，m取3，三个阈值分别为0.5、0.6和0.7。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于卷积神经网络的目标检测方法，其特征在于，包括：
基于残差卷神经网络进行特征提取，得到逐层的基础特征图；所述基础特征图包括第一特征图、第二特征图、第三特征图和第四特征图；
将所述基础特征图由浅至深依次融合，得到融合特征图；
基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；
根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；
根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归；
所述将所述基础特征图由浅至深依次融合，得到融合特征图，包括：
对所述第一特征图进行下采样处理，得到下采样特征图；
对所述第二特征图进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同；
将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图；同理最终得到所述融合特征图；
所述对所述第一特征图进行下采样处理，得到下采样特征图，包括：
基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整数；
将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下采样特征图。
2.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述n为3，3个支路的空洞率分别为1、2和3。
3.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图，包括：
基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图；
基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图；
基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图；
将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。
4.根据权利要求3所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归，包括：
根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归；
用所述初始边框回归替换所述设定锚框，并依次执行后续步骤，通过设定m个阈值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。
5.根据权利要求3所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述第一设定卷积核为3×3；所述第二设定卷积核为1×1。
6.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图，包括：
基于ROIAlign对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴趣区域特征图；
按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图；
基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行全局上下文提取，得到上下文信息；
基于ROIAlign对初始感兴趣区域特征图与所述上下文信息进行融合得到所述感兴趣区域特征图。
7.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述残差卷神经网络为ResNet-101网络。
CN202010816397.7A 2020-08-14 2020-08-14 一种基于卷积神经网络的目标检测方法 Active CN111950551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010816397.7A CN111950551B (zh) 2020-08-14 2020-08-14 一种基于卷积神经网络的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010816397.7A CN111950551B (zh) 2020-08-14 2020-08-14 一种基于卷积神经网络的目标检测方法

Publications (2)

Publication Number Publication Date
CN111950551A CN111950551A (zh) 2020-11-17
CN111950551B true CN111950551B (zh) 2024-03-08

Family

ID=73342163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010816397.7A Active CN111950551B (zh) 2020-08-14 2020-08-14 一种基于卷积神经网络的目标检测方法

Country Status (1)

Country Link
CN (1) CN111950551B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419292B (zh) * 2020-11-30 2024-03-26 深圳云天励飞技术股份有限公司 病理图像的处理方法、装置、电子设备及存储介质
CN114782676B (zh) * 2022-04-02 2023-01-06 北京广播电视台 一种视频感兴趣区域的提取方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN111461145A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354159B2 (en) * 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN111461145A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DeFusionNET: Defocus Blur Detection via Recurrently Fusing and Refining Multi-Scale Deep Features;Chang Tang等;Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);20191231;2700-2709 *
多层卷积特征融合的行人检测;吕俊奇;邱卫根;张立臣;李雪武;;计算机工程与设计(第11期);全文 *
改进的SSD航拍目标检测方法;裴伟;许晏铭;朱永英;王鹏乾;鲁明羽;李飞;软件学报;20191231(003);738-758 *

Also Published As

Publication number Publication date
CN111950551A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111460926B (zh) 一种融合多目标跟踪线索的视频行人检测方法
CN108921875A (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN110348383B (zh) 一种基于卷积神经网络回归的道路中心线和双线提取方法
US10297016B2 (en) Video background removal method
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN103914854B (zh) 一种图像序列目标关联及轨迹生成方法
CN111950551B (zh) 一种基于卷积神经网络的目标检测方法
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
Chang et al. Fast road segmentation via uncertainty-aware symmetric network
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
Han et al. A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection
CN113160283A (zh) 一种基于sift的多摄像头场景下的目标跟踪方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、***及计算机可读介质
CN115063704A (zh) 一种立体特征融合语义分割的无人机监测目标分类方法
CN115115973A (zh) 一种基于多感受野与深度特征的弱小目标检测方法
Wang et al. EBSE-YOLO: high precision recognition algorithm for small target foreign object detection
CN114757977A (zh) 融合改进光流和目标检测网络的移动物体轨迹提取方法
CN111027542A (zh) 一种基于Faster RCNN算法改进的目标检测方法
Zheng et al. YOLOv5s FMG: An improved small target detection algorithm based on YOLOv5 in low visibility
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
Zhang et al. Bus passenger flow statistics algorithm based on deep learning
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN116468968A (zh) 一种融合注意力机制的天文图像小目标检测方法
CN110738113B (zh) 一种基于邻近尺度特征滤除与转移的物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant