CN110378398B - 一种基于多尺度特征图跳跃融合的深度学习网络改进方法 - Google Patents

一种基于多尺度特征图跳跃融合的深度学习网络改进方法 Download PDF

Info

Publication number
CN110378398B
CN110378398B CN201910566224.1A CN201910566224A CN110378398B CN 110378398 B CN110378398 B CN 110378398B CN 201910566224 A CN201910566224 A CN 201910566224A CN 110378398 B CN110378398 B CN 110378398B
Authority
CN
China
Prior art keywords
fusion
convolution layer
layer
convolution
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910566224.1A
Other languages
English (en)
Other versions
CN110378398A (zh
Inventor
张小国
叶绯
郑冰清
张开心
王慧青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910566224.1A priority Critical patent/CN110378398B/zh
Publication of CN110378398A publication Critical patent/CN110378398A/zh
Application granted granted Critical
Publication of CN110378398B publication Critical patent/CN110378398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度特征图跳跃融合的深度学习网络改进方法，通过多尺度特征图层间的跳跃连接进行特征融合，通过融合高层语义和低层位置信息使网络能够充分利用高低层特征，提高模型对小目标的敏感性和感知度，同时提升了模型总体检测性能。其次通过多视角多分类策略，实现了高动态场景下目标类别的精准检测。本发明从速度、实用、鲁棒性等方面考虑，提出了一种基于多尺度特征图跳跃融合的深度学习网络改进方法，提高了SSD算法在高动态场景下的检测性能。

Description

一种基于多尺度特征图跳跃融合的深度学习网络改进方法
技术领域
本发明涉及一种基于多尺度特征图跳跃融合的深度学习网络改进方法，属于目标检测技术领域。
背景技术
深度神经网络结构包含多次特征提取操作，每经过一层卷积操作，网络层次越深，特征图的轮廓和细节信息越少，而语义信息就变得更丰富，模型的感受野也就越大。模型学会了去关注在图像中较大的物体，而对于小目标，模型的辨识能力就比较差。目标检测中的一个技术难点是小目标检测，原SSD算法(单发多框检测器)表现不佳。
同时移动车载平台的快速视角变化导致目标检测容易出现漏检误检。
发明内容
发明目的：本发明提出一种基于多尺度特征图跳跃融合的深度学习网络改进方法，提高SSD算法在小目标检测和高动态场景下的检测性能。
技术方案：本发明采用的技术方案为一种基于多尺度特征图跳跃融合的深度学习网络改进方法，包括以下步骤：
构建基于卷积层的特征融合网络；
设计特征融合连接模块；
选择融合策略及上采样方式，得到基于SSD多尺度特征图层间跳跃融合结构；
融入多视角策略训练上述尺度特征图层间跳跃融合结构。
所述特征融合网络为特征图层间跳跃连接。
所述特征图层间跳跃连接依次包括第四三融合卷积层、第七融合全连接层、第六二融合卷积层、第七二融合卷积层、第八二卷积层和第九二卷积层。
所述特征融合连接模块首先将高层特征图进行上采样，得到上采样后的高层特征图。再经过低层特征图经1×1卷积核降维以及线性整流函数激活后得到降维后的低层特征图。然后进行特征融合操作，即拼接或元素求和，得到拼接/元素求和后的高低层特征图，最后再经过3×3卷积核卷积运算以降低混叠效应，然后线性整流函数激活，得到完全融合后的高低层特征图。
所述融合策略为先元素求和，然后进行批归一化。
所述上采样方式为双线性插值。
有益效果：本发明通过多尺度特征图层间的跳跃连接进行特征融合，通过融合高层语义和低层位置信息使网络能够充分利用高低层特征，提高模型对小目标的敏感性和感知度，同时提升了模型总体检测性能。其次通过多视角多分类策略，实现了高动态场景下目标类别的精准检测。本发明从速度、实用、鲁棒性等方面考虑，提出了一种基于多尺度特征图跳跃融合的深度学习网络改进方法，提高了SSD算法在高动态场景下的检测性能。
附图说明
图1为是本发明的***流程示意图；
图2的(a)为多尺度预测特征图层间跳跃连接形成关系图；
图2的(b)为多尺度预测特征图层间跳跃连接的结构示意图；
图3融合模块a流程图；
图4融合模块b流程图；
图5多视角特征图层间跳跃连接检测模型框架。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本实施例对多尺度网络的改进方法包括以下步骤：
1)构建特征融合网络。
特征金字塔融合到SSD算法中，形成多尺度预测特征金字塔网络FPNSSD。首先将SSD算法中的第八二卷积层Conv8_2和第九二卷积层Conv9_2的特征融合得到第八二融合卷积层Conv8_2_ff，第八二融合卷积层Conv8_2_ff再经过上采样并与第七二卷积层Conv7_2进行特征融合后又得到第七二融合卷积层Conv7_2_ff。第七二融合卷积层Conv7_2_ff经过上采样后与第六二卷积层Conv6_2特征融合得到第六二融合卷积层Conv6_2_ff，而第六二融合卷积层Conv6_2_ff又经过上采样后和第七全连接层fc7特征融合得到第七融合全连接层fc7_ff。第七融合全连接层fc7_ff经过上采样后与第四三卷积层Conv4_3特征融合得到第四三融合卷积层Conv4_3_ff。最后采用第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff、第七二融合卷积层Conv7_2_ff、第八二融合卷积层Conv8_2_ff和第九二卷积层Conv9_2作为多尺度预测特征图。
接着设计多尺度预测特征图相邻连接AdjacentSSD。SSD中的第七全连接层fc7经过上采样后与第四三卷积层Conv4_3特征融合得到第四三融合卷积层Conv4_3_ff，第六二卷积层Conv6_2经过上采样后与第七全连接层fc7特征融合得到第七融合全连接层fc7_ff。第七二卷积层Conv7_2经过上采样后与第六二卷积层Conv6_2特征融合得到第六二融合卷积层Conv6_2_ff，第八二卷积层Conv8_2经过上采样与第七二卷积层Conv7_2特征融合得到第七二融合卷积层Conv7_2_ff。第九二卷积层Conv9_2经过上采样后与第八二卷积层Conv8_2特征融合得到第八二融合卷积层Conv8_2_ff。最后采用第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff、第七二融合卷积层Conv7_2_ff、第八二融合卷积层Conv8_2_ff和第九二卷积层Conv9_2作为多尺度预测特征图。
如图2的(a)和(b)所示，然后设计多尺度预测的特征图层间跳跃连接SKIPSSD。SSD中的第九二卷积层Conv9_2经过上采样后与第七二卷积层Conv7_2融合得到第七二融合卷积层Conv7_2_ff。第八二卷积层Conv8_2经过上采样后与第六二卷积层Conv6_2融合得到第六二融合卷积层Conv6_2_ff。第七二卷积层Conv7_2进行上采样后与第七全连接层fc7融合得到第七融合全连接层fc7_ff。第六二卷积层Conv6_2再进行上采样并与第四三卷积层Conv4_3融合得到第四三融合卷积层Conv4_3_ff。上述融合后形成的第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff和第七二融合卷积层Conv7_2_ff，与原SSD中的第八二卷积层Conv8_2和第九二卷积层Conv9_2一同作为多尺度预测特征图。
继续设计多尺度预测的部分连接Part-SKIPSSD，与前述跳跃连接相比，部分连接减少了层的特征融合，仅采用第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff以及原SSD的第七二卷积层Conv7_2、第八二卷积层Conv8_2、第九二卷积层Conv9_2。
再设计双向跳跃连接Bi-SKIPSSD，与前述跳跃连接相比，双向跳跃连接增加了第八二卷积层Conv8_2和第九二卷积层Conv9_2的特征融合，第六二卷积层Conv6_2经过卷积池化操作后与第八二卷积层Conv8_2特征融合后得到第八二融合卷积层Conv8_2_ff，第七二卷积层Conv7_2也经过卷积池化操作后与第九二卷积层Conv9_2特征融合得到第九二融合卷积层Conv9_2_ff。双向跳跃连接采用第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff、第七二融合卷积层Conv7_2_ff、第八二融合卷积层Conv8_2_ff和第九二融合卷积层Conv9_2_ff作为多尺度预测特征图。
设计融合部分基础网络特征图的跳跃连接Base-SKIPSSD，跳跃连接并不采用原SSD网络的六层预测特征图间进行融合的策略，而是在整个基础网络上进行跳跃连接。例如第四一卷积层Conv4_1经过卷积池化操作后与第四三卷积层Conv4_3特征图进行融合得到第四三融合卷积层Conv4_3_ff，后面的第七全连接层fc7、第六二卷积层Conv6_2、第七二卷积层Conv7_2、第八二卷积层Conv8_2和第九二卷积层Conv9_2均采用类似的方式和它们对应的基础特征层进行特征融合，融合后得到的第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff、第七二融合卷积层Conv7_2_ff、第八二融合卷积层Conv8_2_ff和第九二融合卷积层Conv9_2_ff作为多尺度预测特征图。
在VOC2007数据集上试验以上六种特征融合网络。其中层间的跳跃连接将精确度从77.2％提升至79.0％,具有最好的检测性能，因此本实施例选用图2所示的层间跳跃连接作为特征融合网络结构。
2)设计特征融合连接模块。
首先设计特征融合模块a。如图3所示，融合模块a先对高层特征图(即包含高级特征的图层)进行上采样得到上采样之后的高层特征图，接着经3×3卷积核卷积运算，然后线性整流函数(relu)激活得到待融合高层特征图。然后将低层特征图经3×3卷积核卷积运算和relu激活函数激活得到待融合低层特征图。再进行特征融合操作拼接或元素求和，得到拼接/元素求和后的高低层特征图，最后经过1×1卷积核的降维以及relu激活函数激活，得到完全融合的高低层特征图。
接着设计融合模块b。如图4所示，融合模块b首先将高层特征图进行上采样，得到上采样后的高层特征图。再经过低层特征图经1×1卷积核降维以及线性整流函数激活后得到降维后的低层特征图。然后进行特征融合操作，即拼接或元素求和，得到拼接/元素求和后的高低层特征图，最后再经过3×3卷积核卷积运算以降低混叠效应，然后线性整流函数激活，得到完全融合后的高低层特征图。
在VOC2007测试数据集上试验融合模块a和b。融合模块b作为网络中的特征融合连接模块，其精确度比融合模块a提升了0.3％，使得网络具有更好的性能，因此本实施例选择融合模块b作为特征融合连接模块。
3)选择融合策略，包括如下步骤：
S3.1、特征融合时采用拼接或元素求和的融合方式，在本专利中元素求和可以使网络具有更好的性能；
S3.2、在拼接/元素求和后使用批归一化使特征融合操作更充分。
4)选择上采样方式，包括如下步骤：
S4.1、选择反卷积+空洞卷积或双线性插值作为上采样方式；
S4.2、在VOC2007测试数据集上试验上述两种上采样方式，双线性插值比反卷积+空洞卷积精确度提高0.6％，因此选择双线性插值作为上采样方式使网络具有更好的性能。
5)通过前4个步骤得到基于SSD多尺度特征图层间跳跃融合结构。
6)融入多视角策略训练步骤5)的模型，得到如图5所示的基于多尺度特征图跳跃融合的多视角SSD改进模型结构，包括如下步骤：
S6.1、将目标各个角度样本作为不同的类别，选取三个典型角度，分别为正面，侧面，背面，同时加入背景类别，达到降低误检率增加模型鲁棒性的效果；
S6.2、将多视角多分类训练样本用于SKIPSSD的训练，得到基于多尺度特征图跳跃融合的多视角SSD改进模型。
综上，本发明通过多尺度特征图层间的跳跃连接进行特征融合，通过融合高层语义和低层位置信息使网络能够充分利用高低层特征，提高模型对小目标的敏感性和感知度，同时提升了模型总体检测性能。其次通过多视角多分类策略，实现了高动态场景下目标类别的精准检测。本发明从速度、实用、鲁棒性等方面考虑，提出了一种基于多尺度特征图跳跃融合的深度学习网络改进方法，提高了SSD算法在高动态场景下的检测性能，同样本文的改进方法也适用于其他的深度学习网络例如YOLO，实用价值高，具有广阔的应用前景。

Claims (3)

1.一种基于多尺度特征图跳跃融合的深度学习网络改进方法，应用于目标检测领域，其特征在于，包括以下步骤：
构建基于卷积层的特征融合网络，所述特征融合网络为特征图层间跳跃连接，所述特征图层间跳跃连接依次包括第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff、第七二融合卷积层Conv7_2_ff、第八二卷积层Conv8_2和第九二卷积层Conv9_2；
设计特征融合连接模块，所述特征融合连接模块首先将高层特征图进行上采样，得到上采样后的高层特征图，再经过低层特征图经1×1卷积核降维以及线性整流函数激活后得到降维后的低层特征图，然后进行特征融合操作，即拼接或元素求和，得到拼接/元素求和后的高低层特征图，最后再经过3×3卷积核卷积运算以降低混叠效应，然后线性整流函数激活，得到完全融合后的高低层特征图；
选择融合策略及上采样方式，得到基于SSD的多尺度特征图层间跳跃融合结构SKIPSSD，其中，SSD中的第九二卷积层Conv9_2经过上采样后与第七二卷积层Conv7_2融合得到第七二融合卷积层Conv7_2_ff，第八二卷积层Conv8_2经过上采样后与第六二卷积层Conv6_2融合得到第六二融合卷积层Conv6_2_ff，第七二卷积层Conv7_2进行上采样后与第七全连接层fc7融合得到第七融合全连接层fc7_ff，第六二卷积层Conv6_2再进行上采样并与第四三卷积层Conv4_3融合得到第四三融合卷积层Conv4_3_ff，上述融合后形成的第四三融合卷积层Conv4_3_ff、第七融合全连接层fc7_ff、第六二融合卷积层Conv6_2_ff和第七二融合卷积层Conv7_2_ff，与原SSD中的第八二卷积层Conv8_2和第九二卷积层Conv9_2一同作为多尺度预测特征图；
融入多视角策略训练上述多尺度特征图层间跳跃融合结构，包括如下步骤：
S6.1、将目标各个角度样本作为不同的类别，选取三个典型角度，分别为正面，侧面，背面，同时加入背景类别，达到降低误检率增加模型鲁棒性的效果；
S6.2、将多视角多分类训练样本用于SKIPSSD的训练，得到基于多尺度特征图跳跃融合的多视角SSD改进模型。
2.根据权利要求1所述的基于多尺度特征图跳跃融合的深度学习网络改进方法，其特征在于，所述融合策略为先元素求和，然后进行批归一化。
3.根据权利要求1所述的基于多尺度特征图跳跃融合的深度学习网络改进方法，其特征在于，所述上采样方式为双线性插值。
CN201910566224.1A 2019-06-27 2019-06-27 一种基于多尺度特征图跳跃融合的深度学习网络改进方法 Active CN110378398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910566224.1A CN110378398B (zh) 2019-06-27 2019-06-27 一种基于多尺度特征图跳跃融合的深度学习网络改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910566224.1A CN110378398B (zh) 2019-06-27 2019-06-27 一种基于多尺度特征图跳跃融合的深度学习网络改进方法

Publications (2)

Publication Number Publication Date
CN110378398A CN110378398A (zh) 2019-10-25
CN110378398B true CN110378398B (zh) 2023-08-25

Family

ID=68250974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910566224.1A Active CN110378398B (zh) 2019-06-27 2019-06-27 一种基于多尺度特征图跳跃融合的深度学习网络改进方法

Country Status (1)

Country Link
CN (1) CN110378398B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222534B (zh) * 2019-11-15 2022-10-11 重庆邮电大学 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN110751134B (zh) * 2019-12-23 2020-05-12 长沙智能驾驶研究院有限公司 目标检测方法、装置、存储介质及计算机设备
CN111476249B (zh) * 2020-03-20 2021-02-23 华东师范大学 多尺度大感受野卷积神经网络的构建方法
CN113496158A (zh) * 2020-03-20 2021-10-12 中移(上海)信息通信科技有限公司 对象检测模型的优化方法、装置、设备及存储介质
CN112070070B (zh) * 2020-11-10 2021-02-09 南京信息工程大学 一种用于城市遥感场景识别的lw-cnn方法和***
CN117828407B (zh) * 2024-03-04 2024-05-14 江西师范大学 双向跳跃存储的双阶段门控注意力时序分类方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118539A (zh) * 2018-07-16 2019-01-01 深圳辰视智能科技有限公司 基于多尺度特征的点云与图片融合方法、装置及其设备
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN109118539A (zh) * 2018-07-16 2019-01-01 深圳辰视智能科技有限公司 基于多尺度特征的点云与图片融合方法、装置及其设备
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法

Also Published As

Publication number Publication date
CN110378398A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378398B (zh) 一种基于多尺度特征图跳跃融合的深度学习网络改进方法
CN110188705B (zh) 一种适用于车载***的远距离交通标志检测识别方法
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及***
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN114494829B (zh) 一种sar图像多尺度舰船目标检测方法
CN111523439B (zh) 一种基于深度学习的目标检测的方法、***、设备及介质
CN113436210B (zh) 一种融合上下文逐级采样的道路图像分割方法
CN112949633A (zh) 一种基于改进YOLOv3的红外目标检测方法
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、***及设备
CN113222824B (zh) 一种红外图像超分辨率及小目标检测方法
CN113052057A (zh) 一种基于改进卷积神经网络的交通标志识别方法
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及***
CN111860411A (zh) 一种基于注意力残差学习的道路场景语义分割方法
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
CN114187454A (zh) 一种新的基于轻量级网络的显著性目标检测方法
CN114529462A (zh) 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及***
CN113066089A (zh) 一种基于注意力引导机制的实时图像语义分割网络
Meng et al. A block object detection method based on feature fusion networks for autonomous vehicles
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN115082798A (zh) 一种基于动态感受野的输电线路销钉缺陷检测方法
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant