CN115690568A - 一种基于增量学习的无人艇目标检测方法 - Google Patents
一种基于增量学习的无人艇目标检测方法 Download PDFInfo
- Publication number
- CN115690568A CN115690568A CN202211380792.0A CN202211380792A CN115690568A CN 115690568 A CN115690568 A CN 115690568A CN 202211380792 A CN202211380792 A CN 202211380792A CN 115690568 A CN115690568 A CN 115690568A
- Authority
- CN
- China
- Prior art keywords
- network
- target
- sea surface
- model
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004821 distillation Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 206010037180 Psychiatric symptoms Diseases 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于增量学***台上部署训练好的模型,对目标进行检测;增加新类别的检测目标时,重复执行步骤三至步骤七。本发明构建了一个可以连续学习的目标检测器,可以使无人艇快速具备识别新类别海面目标的能力。
Description
技术领域
本发明属于无人智慧船舶领域,具体涉及一种基于增量学习的无人艇目标检测方法。
背景技术
境感知是无人艇等智能移动平台有效完成各类既定任务的前提,目标检测是环境感知的基础任务,提升目标检测算法的实用性对提升各类无人化设备的工作能力意义重大。同样地,开展海面目标检测研究是提升无人艇任务执行能力的关键。近年来,得益于深度学习理论的不断发展和大规模目标捡测数据集的出现,目标检测相关研究取得了突破性进展。
在研究目标检测算法时,研究人员通常都会假设训练集和测试集是独立同分布的,即所有的图像数据都采集于同一分布并且相互独立。当训练集和测试集来源于同一数据集时,这样的假设通常会成立。然而,无人艇在实际航行中面对的海洋环境具有很强的不确定性。当目标类型发生变化时,对于训练集中未出现的目标无法准确识别。
当目标类型变换时,需要对模型进行重新训练。在没有增量学习的情况下,只用含有新的数据样本进行训练,会使模型对于原有知识产生灾难性遗忘。每次收集新的数据时从头开始重新训练一个模型涉及到巨大的计算开销、不可扩展以及数据效率低下。采用增量学习的方法,可以在原有模型的基础上加入新的数据进行训练,且可以避免模型对于原有知识产生遗忘。这种连续学习的能力,对于无人艇在实际航行中应对海面目标变化至关重要。
发明内容
本发明的目的在于提供一种使无人艇可以适应海面目标类型的变化的基于增量学习的无人艇目标检测方法。
本发明的目的通过如下技术方案来实现:
一种基于增量学习的无人艇目标检测方法,包括以下步骤:
步骤一:构建初始类别数据集,通过水面无人艇拍摄真实海洋环境下海面目标图像,并对初始的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集;
步骤二:构建教师网络模型,并使用初始类别数据集对教师网络模型进行训练,对初始类别海面目标的检测;
步骤三:构建新类别数据集:通过水面无人艇拍摄真实海洋环境下海面目标图像,数据集中只对新类别的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集;
步骤四:构建学生网络模型,学生网络与教师网络的整体结构相同,根据新类别目标数量增加相应的分类子网络;
步骤五:在教师网络和学生网络之间构建蒸馏损失函数;
步骤六:在新类别海面目标数据集上训练增量目标检测网络,是损失函数达到收敛,并保存训练好的模型参数;
步骤七:在无人艇平台上部署训练好的模型,对目标进行检测;
步骤八:增加新类别的检测目标时,重复执行步骤三至步骤七。
进一步地,所述步骤二中教师网络模型:使用任意目标检测网络作为教师网络;读取初始类别海面目标数据集,对模型进行训练和测试;损失函数为:
当损失值收敛后,对模型进行测试,当损失值未收敛时调整模型超参数,直至模型收敛。
进一步地,所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别,即没有输入到目标检测网络模型中的类别。
进一步地,所述步骤四中构建的学生网络,与教师网络模型结构相同,仍使用相同目标检测网络作为学生网络;新增的海面目标类别为n,则需要在学生网络的输出层增加n个神经元来扩展分类子网络;学生网络中的参数使用训练好的教师网络的参数进行初始化,分类子网络中新增加的神经元采用随机初始化。
进一步地,所述步骤五中蒸馏损失函数主要包括两部分;第一部分在整个网络的最后一层之间构建损失函数,公式如下所示:
第二部分在教师网络和学生网络的主干特征提取网络的最后一层之间建立构建损失函数,公式如下所示:
进一步地,所述步骤六中训练过程,需要将蒸馏损失和目标检测网络正常训练时的损失相加,得到新的损失函数,公式如下:
其中,λ1和λ2是用来平衡不同损失之间的超参数;
训练时将图像同时输入教师网络和学生网络,冻结教师网络参数,只对学生网络中的参数进行更新,直至损失值收敛至最小。
进一步地,所述步骤七中的在无人艇平台上部署训练好的模型,只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署,即可完成对新类别海面目标的检测。
本发明的有益效果在于:
本发明使用知识蒸馏的方法,对海面目标进行增量式的学习,应对海面目标的变化。使目标检测模型既获得对于新目标的识别能力,又对初始目标保持记忆。克服传统深度学习算法在新样本上训练之后会产生灾难性遗忘的问题,构建了一个可以连续学习的目标检测器。
附图说明
图1为本发明的一种基于增量学习的无人艇目标检测方法的流程图;
图2为本发明的增量目标检测网络结构示意图;
图3为本发明的模型在无人艇平台上部署的示意图。。
具体实施方式
下面结合附图对本发明做进一步描述。
如图附图1所示:为基于增量学习的无人艇目标检测方法的流程图,包括如下步骤:
(1)构建初始类别数据集,通过水面无人艇拍摄真实海洋环境下海面目标图像,并对初始的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集。
(2)构建教师网络模型,教师网络模型:使用任意目标检测网络作为教师网络。读取初始类别海面目标数据集,对模型进行训练和测试。损失函数如下:
当损失值收敛后,对模型进行测试,当损失值未收敛时调整模型超参数,直至模型收敛。
(3)构建新类别数据集:通过水面无人艇拍摄真实海洋环境下海面目标图像,数据集中只对新类别的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集。
其中,新类别海面目标是指初始类别数据集中未出现的海面目标类别,即没有输入到目标检测网络模型中的类别。
(4)构建学生网络模型,学生网络与教师网络模型结构相同,仍使用相同目标检测网络作为学生网络。假设新增的海面目标类别为n,则需要在学生网络的输出层增加n个神经元来扩展分类子网络。学生网络中的参数使用训练好的教师网络的参数进行初始化,分类子网络中新增加的神经元采用随机初始化。
(5)在教师网络和学生网络之间构建蒸馏损失函数,确保学生网络可以充分学习教师网络的知识。蒸馏损失函数主要包括两部分,一是在整个网络的最后一层之间建立损失函数,公式如下所示:
二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数,公式如下所示:
(6)在新类别海面目标数据集上训练增量目标检测网络,训练过程,需要将蒸馏损失和目标检测网络正常训练时的损失相加,得到新的损失函数,公式如下:
其中,λ1和λ2是用来平衡不同损失之间的超参数。
训练时将图像同时输入教师网络和学生网络,冻结教师网络参数,只对学生网络中的参数进行更新,直至损失值收敛至最小。
(7)在无人艇平台上部署训练好的模型,对目标进行检测。在部署训练好的模型时,只需要将训练好的学生网络模型在无人艇所搭载的嵌入式平台上进行部署,即可完成对新类别海面目标的检测。
(8)增加新类别的检测目标时,重复执行步骤三至步骤七。
如图2所示为增量目标检测网络结构示意图。图中A表示初始类别数据集上训练好的教师网络模型,B表示需要增量学习新目标类别的学生网络模型。在学生网络和教师网络之间建立蒸馏损失函数,用来学习教师网络中的知识。蒸馏损失函数主要包括两部分,一是在整个网络的最后一层之间建立损失函数Ldist_output,二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数Ldist_feature。Lcls+Lbox+Lobj表示学生网络在学习新目标类别时的损失函数。训练时将图像同时输入教师网络和学生网络,冻结教师网络参数,只对学生网络中的参数进行更新,直至损失值收敛至最小。
如图3所示模型在无人艇平台上部署的示意图,在部署目标检测模型时只需要将学良好的学生网络模型移植到无人艇搭载的嵌入式平台上即可完成对海面目标的检测。无人艇航行过程中,利用搭载的相机得到海面图像,将图像输入到目标检测网络中得到检测结果,最后将结果输入到无人艇的控制***,即可为无人艇的避障和导航提供环境信息。
综上关于本发明基于增量学习的无人艇目标检测方法,采用知识蒸馏的方式,解决了在学习新类别目标时的灾难性遗忘问题。在海面目标类型发生变化时,可以对海面目标进行增量式的学习,在获得对于新目标的识别能力,又对最初的目标保持记忆。构建了一个可以连续学习的目标检测器,可以使无人艇快速具备识别新类别海面目标的能力。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于增量学习的无人艇目标检测方法,其特征在于:包括以下步骤:
步骤一:构建初始类别数据集,通过水面无人艇拍摄真实海洋环境下海面目标图像,并对初始的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集;
步骤二:构建教师网络模型,并使用初始类别数据集对教师网络模型进行训练,对初始类别海面目标的检测;
步骤三:构建新类别数据集:通过水面无人艇拍摄真实海洋环境下海面目标图像,数据集中只对新类别的海面目标进行类别和位置信息的标签标注,构建海面目标检测数据集;
步骤四:构建学生网络模型,学生网络与教师网络的整体结构相同,根据新类别目标数量增加相应的分类子网络;
步骤五:在教师网络和学生网络之间构建蒸馏损失函数;
步骤六:在新类别海面目标数据集上训练增量目标检测网络,是损失函数达到收敛,并保存训练好的模型参数;
步骤七:在无人艇平台上部署训练好的模型,对目标进行检测;
步骤八:增加新类别的检测目标时,重复执行步骤三至步骤七。
3.权利要求1所述的一种基于增量学习的无人艇目标检测方法,其特征在于:所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别,即没有输入到目标检测网络模型中的类别。
4.权利要求1所述的一种基于增量学习的无人艇目标检测方法,其特征在于:所述步骤四中构建的学生网络,与教师网络模型结构相同,仍使用相同目标检测网络作为学生网络;新增的海面目标类别为n,则需要在学生网络的输出层增加n个神经元来扩展分类子网络;学生网络中的参数使用训练好的教师网络的参数进行初始化,分类子网络中新增加的神经元采用随机初始化。
7.权利要求1所述的一种基于增量学***台上部署训练好的模型,只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署,即可完成对新类别海面目标的检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211380792.0A CN115690568A (zh) | 2022-11-04 | 2022-11-04 | 一种基于增量学习的无人艇目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211380792.0A CN115690568A (zh) | 2022-11-04 | 2022-11-04 | 一种基于增量学习的无人艇目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115690568A true CN115690568A (zh) | 2023-02-03 |
Family
ID=85049844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211380792.0A Pending CN115690568A (zh) | 2022-11-04 | 2022-11-04 | 一种基于增量学习的无人艇目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690568A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115841335A (zh) * | 2023-02-07 | 2023-03-24 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN116168256A (zh) * | 2023-04-19 | 2023-05-26 | 浙江华是科技股份有限公司 | 一种船舶检测方法、***及计算机存储介质 |
-
2022
- 2022-11-04 CN CN202211380792.0A patent/CN115690568A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115841335A (zh) * | 2023-02-07 | 2023-03-24 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN116168256A (zh) * | 2023-04-19 | 2023-05-26 | 浙江华是科技股份有限公司 | 一种船舶检测方法、***及计算机存储介质 |
CN116168256B (zh) * | 2023-04-19 | 2023-07-14 | 浙江华是科技股份有限公司 | 一种船舶检测方法、***及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909082B (zh) | 基于深度学习技术的声呐图像目标识别方法 | |
CN115690568A (zh) | 一种基于增量学习的无人艇目标检测方法 | |
CN102314614B (zh) | 一种基于类共享多核学习的图像语义分类方法 | |
WO2020046213A1 (en) | A method and apparatus for training a neural network to identify cracks | |
CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
CN110941734A (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
CN111488879A (zh) | 利用双嵌入构成的用于提高分割性能的方法及装置 | |
CN108764122A (zh) | 一种基于深度学习的auv控制***优化与故障监测方法 | |
CN110210493A (zh) | 基于非经典感受野调制神经网络的轮廓检测方法及*** | |
CN116310647A (zh) | 一种基于增量学习的劳保物品目标检测方法及*** | |
CN111626120A (zh) | 工业环境下基于改进的yolo-6d算法的目标检测方法 | |
CN114241226A (zh) | 一种基于混合模型多邻域特征的三维点云语义分割方法 | |
CN115115863A (zh) | 水面多尺度目标检测方法、装置及***和存储介质 | |
Zou et al. | Maritime target detection of intelligent ship based on faster R-CNN | |
CN117372854A (zh) | 一种大坝深水结构隐患病害实时检测方法 | |
CN115705393A (zh) | 一种基于持续学习的雷达辐射源分级识别方法 | |
CN113627356A (zh) | 一种海面舰船智能识别方法 | |
CN117456391A (zh) | 一种无人机对地军事目标及其关键部位的联合检测方法 | |
CN116127846A (zh) | 一种减摇技术的智能评估方法及*** | |
CN114863103A (zh) | 一种无人潜航器识别方法、设备和存储介质 | |
Da et al. | Remote sensing image ship detection based on improved YOLOv3 | |
CN111339836A (zh) | 一种基于迁移学习的sar图像舰船目标检测方法 | |
Yang et al. | Incremental Object Detection for Unmanned Surface Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |