CN111310831B - 一种基于深度学习的小目标检测网络逐层训练方法 - Google Patents

一种基于深度学习的小目标检测网络逐层训练方法 Download PDF

Info

Publication number
CN111310831B
CN111310831B CN202010100845.3A CN202010100845A CN111310831B CN 111310831 B CN111310831 B CN 111310831B CN 202010100845 A CN202010100845 A CN 202010100845A CN 111310831 B CN111310831 B CN 111310831B
Authority
CN
China
Prior art keywords
network
target detection
training
layer
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010100845.3A
Other languages
English (en)
Other versions
CN111310831A (zh
Inventor
李琪
陈忠碧
张建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN202010100845.3A priority Critical patent/CN111310831B/zh
Publication of CN111310831A publication Critical patent/CN111310831A/zh
Application granted granted Critical
Publication of CN111310831B publication Critical patent/CN111310831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学***衡的损失函数进行训练；用逐层冻结方法使用小目标数据集对检测网络进行微调等步骤。其显著效果是：不仅提高了基于深度学习的目标检测网络对于小目标检测的召回率和精度；并且实现了已训练网络特定性能的稳定逐步提升。

Description

一种基于深度学习的小目标检测网络逐层训练方法
技术领域
本发明涉及图像目标检测的技术领域，具体涉及一种基于深度学习的小目标检测网络逐层训练方法。
背景技术
图像目标检测(也称对象检测)是从图像中定位并识别特定类别的物体的方法，是机器自动化处理中重要的一环，其作用在于定位待查找目标的位置并识别目标类别以辅助机器进行进一步处理，目标检测方法广泛应用于医学、交通、互联网、数据统计、军事等领域，成功实现自动相机聚焦、人脸检测、车辆检测、无人机检测、楼房检测等。由于检测目标尺寸的多样性，小目标检测作为目标检测中的一环有着同样重要的现实需求。不仅如此，小目标检测在远距离目标图像、大视场目标图像、目标密集图像等常见图像中比重大、精度需求高，因此其精度决定了总体目标检测精度，如遥感影像目标检测、无人机航拍目标检测、行人目标检测。除此之外，重要特殊目标检测也多为小目标检测，如交通标志、车牌检测识别等。普通相机拍摄图像中也常常出现小目标，比如风景照中的鸟类、远处的飞机、桌面上的水杯等等。由此可见，小目标检测不仅仅是目标检测研究的一部分，更是目标检测中极为广泛和重要的一部分。
在目标检测需求的推动下，目标检测方法逐步发展，在深度学***均精度(mAP)全面超过传统方法检测精度，深度学***均精度(mAP)，多数据集训练精度已经达到92.3％均值平均精度(mAP)。VOC2012数据集大部分图像较清晰、目标较大、光线较好、识别类别总数少，因此图片质量高、检测难度低。相比之下，MS COCO数据集类别总数更多，图片环境相对复杂，内容较丰富。目前在MS COCO数据集的小目标识别精度上，同样是深度学习方法效果更优，但COCO数据集上小目标检测精度仍有较大提升空间。
小目标由于其分辨率低、图像模糊、携带信息少、在图像中比重小导致特征能力表达弱、检测难度高，因此无论是传统方法还是深度学***衡、深度网络丢失特征等原因导致检测精度较低，因此仍需对网络结构、损失函数、数据增强等方面进行研究以加强小目标检测的效果。由于通用小目标检测方法中深度学***均精度(mAP)，在检测精度超过40均值平均精度(mAP)的情况下检测速度无法达到20帧每秒(FPS)，即无法满足实时要求，因此仍需对小目标检测方法进行进一步的研究改进。
发明内容
针对现有技术的不足，本发明的目的是提供一种基于深度学习的小目标检测网络逐层训练方法，能够实现对目标检测网络进一步的训练优化，提高网络对小目标检测的精度和召回率，实现更高的小目标检测准确率。
为达到上述目的，本发明采用的技术方案如下：
一种基于深度学习的小目标检测网络逐层训练方法，包括如下步骤：
步骤1：搭建深度学习的小目标检测网络；
步骤2：检测网络骨架部分采用图像识别数据集进行预训练；
步骤3：检测网络采用目标检测数据集进行整体训练；
步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；
步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；
步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。
进一步地，步骤1中所述小目标检测网络搭建过程如下：
步骤1.1：根据需求采用残差网络ResNet50或ResNet101搭建网络骨架，其中ResNet50速度更快而使得最终网络检测精度更低，ResNet101速度慢但最终网络检测精度更高；
步骤1.2：搭建区域生成网络，在骨架网络的多层特征图上预设候选框，并作为区域生成网络的输入；
步骤1.3：在骨架与区域生成网络后并行搭建目标定位网络与目标识别网络。
进一步地，步骤2中所述检测网络骨架预训练过程如下：
步骤2.1：提取网络的骨架部分；
步骤2.2：使用图像识别数据集训练网络的骨架部分；
步骤2.3：记录训练过程中网络对验证集图像识别的正确率，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络骨架部分权重。
进一步地，步骤3中所述检测网络整体训练过程如下：
步骤3.1：使用目标检测数据集训练网络，该网络骨架部分权重为预训练的骨架权重，其他部分初始化为随机权重；
步骤3.2：记录训练过程中网络对验证集目标检测的精度，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络的权重。
进一步地，步骤5中所述的用目标检测数据集中的小目标对检测网络进行逐层冻结微调的方法为：
步骤5.1：处理目标检测数据集的标注文件，提取其中的小目标对应的标注信息，去除其他目标的检测信息；
步骤5.2：使用修改后标注文件以及对应的小目标数据集对目标检测网络进行训练；
步骤5.3：冻结已训练的目标检测网络的前四层，使用指定数据集训练其他层权重；
步骤5.4：冻结已训练的目标检测网络的前三层，使用指定数据集训练其他层权重；
步骤5.5：冻结已训练的目标检测网络的前两层，使用指定数据集训练其他层权重；
步骤5.6：保留最后所得权重，作为网络最终的权重。
更进一步地，所述的训练过程中使用的损失函数为Loss＝Wcls·Lcls+Wbox·Lbox，其中Wcls取2，Wbox取1。
进一步地，所述的判断目标检测网络收敛方法为：记录训练过程中网络对验证集目标检测的精度，当其在训练1000个回合中精度浮动变化不超过0.03均值平均精度(mAP)则可认为网络已经收敛。
进一步地，所述的冻结目标检测网络前n层方法为：在训练网络的过程中按随机梯度下降法计算反向传播各层权重所需的变换量；未冻结层的权重根据所求变化量进行调整，冻结层的权重不进行变化。
本发明的显著效果是：首先搭建目标检测网络，利用图像识别数据集进行预训练，然后利用目标检测数据集进行整体的训练，然后利用目标检测数据集中的小目标，采用逐层冻结方法并使用改进的损失函数对网络进行进一步的微调。本发明优化了目标检测网络的训练方法，不仅实现了在已有网络结构上进行进一步稳定调整训练；并且提高了网络对于小目标检测的精度和召回率。本发明在目标检测对象发生变化时能够更稳定、更快地调整网络，能够有效地进行特定目标检测与模型迁移。
附图说明
图1是本发明一种基于深度学习的小目标检测网络逐层训练方法的流程图；
图2是ResNet50与ResNet101的结构图；
图3是小目标检测网络的结构图；
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
如图1所示，一种基于深度学习的小目标检测网络逐层训练方法，具体步骤如下：
步骤1：搭建深度学习的目标检测网络；
所述小目标检测网络的搭建过程如下：
步骤1.1：根据需求采用残差网络ResNet50或ResNet101搭建网络骨架，其中ResNet50速度更快而使得最终网络检测精度更低，ResNet101速度慢但最终网络检测精度更高；
步骤1.2：搭建区域生成网络，在骨架网络的多层特征图上预设候选框，并作为区域生成网络的输入；
步骤1.3：在骨架与区域生成网络后并行搭建目标定位网络与目标识别网络。
所述的残差网络ResNet50或ResNet101如图2所示，搭建的深度学习目标检测网络结构如图3所示。
步骤2：检测网络骨架部分采用图像识别数据集进行预训练；
所述的检测网络骨架预训练过程如下：
步骤2.1：提取网络的骨架部分；
步骤2.2：使用图像识别数据集训练网络的骨架部分；
步骤2.3：记录训练过程中网络对验证集图像识别的正确率，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络骨架部分权重。
步骤3：检测网络采用目标检测数据集进行整体训练；
所述检测网络整体训练过程如下：
步骤3.1：使用目标检测数据集训练网络，该网络骨架部分权重为预训练的骨架权重，其他部分初始化为随机权重；
步骤3.2：记录训练过程中网络对验证集目标检测的精度，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络的权重。
步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；
所述的训练过程中使用的损失函数为Loss＝Wcls·Lcls+Wbox·Lbox，其中Wcls取2，Wbox取1。
步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；
所述的用目标检测数据集中的小目标对检测网络进行逐层冻结微调的方法具体如下：
步骤5.1：处理目标检测数据集的标注文件，提取其中的小目标对应的标注信息，去除其他目标的检测信息；
步骤5.2：使用修改后标注文件以及对应的小目标数据集对目标检测网络进行训练；
步骤5.3：冻结已训练的目标检测网络的前四层，使用指定数据集训练其他层权重；
步骤5.4：冻结已训练的目标检测网络的前三层，使用指定数据集训练其他层权重；
步骤5.5：冻结已训练的目标检测网络的前两层，使用指定数据集训练其他层权重；
步骤5.6：保留最后所得权重，作为网络最终的权重。
所述的冻结目标检测网络前n层方法为：在训练网络的过程中按随机梯度下降法计算反向传播各层权重所需的变换量；未冻结层的权重根据所求变化量进行调整，冻结层的权重不进行变化。
步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。
所述的判断目标检测网络收敛方法为：记录训练过程中网络对验证集目标检测的精度，当其在训练1000个回合中精度浮动变化不超过0.03mAP则可认为网络已经收敛。
在本实施例中，应用训练次数为60000次所得的小目标检测网络，针对MSCOCO数据集表示八十种不同目标的共5000个测试图像进行了目标检测，最终获得小目标识别精度为0.213mAP，小目标召回率达到0.327，不难看出，本发明有效提高了小目标识别的精度和召回率，创新性地成功实现了提高目标检测网络对小目标检测的能力。

Claims (5)

1.一种基于深度学习的小目标检测网络逐层训练方法，其特征在于，包括如下步骤：
步骤1：搭建深度学习的目标检测网络；
步骤2：检测网络骨架部分采用图像识别数据集进行预训练；
步骤3：检测网络采用目标检测数据集进行整体训练；
步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；
步骤4中所述修改损失函数方法为：将常用损失函数Loss＝Lcls+Lbox修改为Loss＝Wcls·Lcls+Wbox·Lbox，其中Wcls取2，Wbox取1；
步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；
步骤5中所属的用目标检测数据集中的小目标对检测网络进行微调的方法为：
步骤5.1：处理目标检测数据集的标注文件，提取其中的小目标对应的标注信息，去除其他目标的检测信息；
步骤5.2：使用修改后标注文件以及对应的小目标数据集对目标检测网络进行训练；
步骤5中所述的逐层冻结方法为：
步骤5.3：冻结已训练的目标检测网络的前四层，使用指定数据集训练其他层权重；
步骤5.4：冻结已训练的目标检测网络的前三层，使用指定数据集训练其他层权重；
步骤5.5：冻结已训练的目标检测网络的前两层，使用指定数据集训练其他层权重；
步骤5.6：保留最后所得权重，作为网络最终的权重；
所述的逐层冻结方法，步骤5.3、步骤5.4、步骤5.5中的冻结目标检测网络前n层方法为：在训练网络的过程中按随机梯度下降法计算反向传播各层权重所需的变换量；未冻结层的权重根据所求变化量进行调整，冻结层的权重不进行变化；
步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。
2.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤1中所述目标检测网络搭建过程如下：
步骤1.1：根据需求采用残差网络ResNet50或ResNet101搭建网络骨架，其中ResNet50速度更快而使得最终网络检测精度更低，ResNet101速度慢但最终网络检测精度更高；
步骤1.2：搭建区域生成网络，在骨架网络的多层特征图上预设候选框，并作为区域生成网络的输入；
步骤1.3：在骨架与区域生成网络后并行搭建目标定位网络与目标识别网络。
3.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤2中所述检测网络骨架预训练过程如下：
步骤2.1：提取网络的骨架部分；
步骤2.2：使用图像识别数据集训练网络的骨架部分；
步骤2.3：记录训练过程中网络对验证集图像识别的正确率，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络骨架部分权重。
4.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤3中所述检测网络整体训练过程如下：
步骤3.1：使用目标检测数据集训练网络，该网络骨架部分权重为预训练的骨架权重，其他部分初始化为随机权重；
步骤3.2：记录训练过程中网络对验证集目标检测的精度，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络的权重。
5.根据权利要求1所述的基于深度学***均精度(mAP)则可认为网络已经收敛。
CN202010100845.3A 2020-02-19 2020-02-19 一种基于深度学习的小目标检测网络逐层训练方法 Active CN111310831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010100845.3A CN111310831B (zh) 2020-02-19 2020-02-19 一种基于深度学习的小目标检测网络逐层训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010100845.3A CN111310831B (zh) 2020-02-19 2020-02-19 一种基于深度学习的小目标检测网络逐层训练方法

Publications (2)

Publication Number Publication Date
CN111310831A CN111310831A (zh) 2020-06-19
CN111310831B true CN111310831B (zh) 2022-10-21

Family

ID=71148400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010100845.3A Active CN111310831B (zh) 2020-02-19 2020-02-19 一种基于深度学习的小目标检测网络逐层训练方法

Country Status (1)

Country Link
CN (1) CN111310831B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902677A (zh) * 2019-01-30 2019-06-18 深圳北斗通信科技有限公司 一种基于深度学习的车辆检测方法
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133616B (zh) * 2017-04-02 2020-08-28 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN107392251B (zh) * 2017-07-26 2020-08-11 成都快眼科技有限公司 一种使用分类图片提升目标检测网络性能的方法
CN107818302A (zh) * 2017-10-20 2018-03-20 中国科学院光电技术研究所 基于卷积神经网络的非刚性多尺度物体检测方法
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
US10990820B2 (en) * 2018-03-06 2021-04-27 Dus Operating Inc. Heterogeneous convolutional neural network for multi-problem solving
CN108647784A (zh) * 2018-05-11 2018-10-12 华南理工大学 一种基于深度信念网络的终身机器学习方法
CN109002807A (zh) * 2018-07-27 2018-12-14 重庆大学 一种基于ssd神经网络的驾驶场景车辆检测方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109359120A (zh) * 2018-11-09 2019-02-19 阿里巴巴集团控股有限公司 一种模型训练中的数据更新方法、装置及设备
CN109800796A (zh) * 2018-12-29 2019-05-24 上海交通大学 基于迁移学习的船舶目标识别方法
CN109886359B (zh) * 2019-03-25 2021-03-16 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测***
CN110738127B (zh) * 2019-09-19 2023-04-18 福建技术师范学院 基于无监督深度学习神经网络算法的安全帽识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902677A (zh) * 2019-01-30 2019-06-18 深圳北斗通信科技有限公司 一种基于深度学习的车辆检测方法
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法

Also Published As

Publication number Publication date
CN111310831A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Magoulianitis et al. Does deep super-resolution enhance uav detection?
CN113129341B (zh) 基于轻量型孪生网络的降落跟踪控制方法和***及无人机
CN110111335A (zh) 一种自适应对抗学习的城市交通场景语义分割方法及***
CN103324677B (zh) 一种可分级的快速图像gps位置估计方法
CN111126278B (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN107944386B (zh) 基于卷积神经网络的视觉场景识别方法
CN112528862B (zh) 基于改进的交叉熵损失函数的遥感图像目标检测方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN112233160B (zh) 一种基于双目摄像头的实时深度及置信度的预测方法
CN109389156B (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN108364305B (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
WO2023040142A1 (zh) 车辆损伤检测方法、装置、设备及存储介质
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114139616A (zh) 一种基于不确定性感知的无监督域适应目标检测方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN107590234A (zh) 一种基于ransac的室内视觉定位数据库冗余信息减少的方法
CN111241943B (zh) 基于背景目标与三元组损失的场景识别与回环检测方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN104915933A (zh) 一种基于apso-bp耦合算法的雾天图像增强方法
CN114529767A (zh) 基于双阶段对比学习框架的小样本sar目标识别方法
CN111310831B (zh) 一种基于深度学习的小目标检测网络逐层训练方法
CN113139615A (zh) 一种基于嵌入式设备的无人驾驶环境目标检测方法
CN113034398A (zh) 基于人工智能的城市测绘果冻效应消除方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant