CN111027399B - 一种基于深度学习的遥感图像水面潜艇识别方法 - Google Patents

一种基于深度学习的遥感图像水面潜艇识别方法 Download PDF

Info

Publication number
CN111027399B
CN111027399B CN201911114616.0A CN201911114616A CN111027399B CN 111027399 B CN111027399 B CN 111027399B CN 201911114616 A CN201911114616 A CN 201911114616A CN 111027399 B CN111027399 B CN 111027399B
Authority
CN
China
Prior art keywords
submarine
remote sensing
image
submarines
sample library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114616.0A
Other languages
English (en)
Other versions
CN111027399A (zh
Inventor
程家明
孔繁东
廖剑兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingtu Xinke Electronic Co ltd
Original Assignee
Wuhan Xingtu Xinke Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingtu Xinke Electronic Co ltd filed Critical Wuhan Xingtu Xinke Electronic Co ltd
Priority to CN201911114616.0A priority Critical patent/CN111027399B/zh
Publication of CN111027399A publication Critical patent/CN111027399A/zh
Application granted granted Critical
Publication of CN111027399B publication Critical patent/CN111027399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习的遥感图像水面潜艇识别方法，首先建立潜艇遥感图像样本库；对所述图像样本库中的各潜艇遥感图像分别进行图像增强，得到增强后的图像样本库；其次，对所述增强后的图像样本库中的各潜艇遥感图像中的潜艇分别进行矩形框标注，得到标注数据集；利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征；根据所述标注数据集和所述分割预测融合特征，得到潜艇检测识别模型；利用所述潜艇识别模型进行潜艇识别，并输出潜艇位置信息和置信度。本发明的有益效果：解决背景与目标颜色相近的潜艇水面遥感图像的识别，提升了潜艇目标检测定位和识别的精度。

Description

一种基于深度学习的遥感图像水面潜艇识别方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于深度学习的遥感图像水面潜艇识别方法。
背景技术
深度学习在图像识别领域得到广泛应用，使得识别精度得到了较大提升。以深度学习为基础，将深度学习目标识别算法应用到对遥感图像水面潜艇识别。
近年，对军事目标检测算法的研究，取得许多成果。专利文献1(CN 107844750A)，提出了一种水面全景图像目标检测识别方法，该方法首先利用目标检测识别神经网络获取目标类别和目标位置，然后对局部区域中目标进行精细分割定位，从而在全景图像中将目标位置准确识别出来。专利文献2(CN 108596030 A)，提出了基于Faster R-CNN的声纳目标检测方法，该方法首先采用深度学习技术对不同复杂水下环境中的目标进行特征提取，然后创建基于区域加速卷积神经网络(Fast-RCNN)声纳识别网络对声纳数据进行目标检测。专利文献3(CN 108319949A)，提出了一种高分辨率遥感图像中多朝向舰船目标检测与识别方法，该方法首先对舰船目标标注多角度矩形框，以及对数据增广处理，然后利用深度学习网络模型训练出舰船目标检测和识别模型，实现小样本环境下的高分辨率遥感图像中的多朝向、不同尺度和类型的舰船目标的快速精确检测识别。
但是，专利文献1中公开的水面全景图像目标检测识别方法尚未涉及背景较为复杂的卫星图像的识别；专利文献2中公开的基于Faster R-CNN的声纳目标检测方法也仅仅是利用声纳数据训练深度学习识别模型；专利3中公开的方法能对遥感图像中多朝向舰船目标进行检测与识别，但未涉及背景与目标颜色相近的潜艇水面遥感图像的识别。
发明内容
为了解决上述问题，本发明提供了一种基于深度学习的遥感图像水面潜艇识别方法。通过语义分割网络，与yolov3的特征提取网络同步融合从而快速准确提取潜艇特征，通过深度学习网络训练改进yolov3目标检测算法模型训练检测识别模型实现对潜艇准确检测与识别，减少漏检和误检。种基于深度学习的遥感图像水面潜艇识别方法，具体步骤如下：
S101：建立潜艇遥感图像样本库；
S102：对所述图像样本库中的各潜艇遥感图像分别进行图像增强，得到增强后的图像样本库；
S103：对所述增强后的图像样本库中的各潜艇遥感图像中的潜艇分别进行矩形框标注，进而得到所述增强后的样本图像库中所有的潜艇遥感图像所对应的标注数据集；
S104：利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征；
S105：根据所述标注数据集和所述分割预测融合特征，得到潜艇检测识别模型；
S106：采集潜艇实时图像，并进行图像增强，进而将增强后的潜艇实时图像输入所述潜艇检测识别模型进行潜艇识别；
S107：设置特征阈值α，并判断图像特征值是否超过特征阈值α？若是，则输出潜艇识别预测结果，程序结束；否则，返回至步骤S106。
进一步地，在步骤S101中，建立潜艇遥感图像样本为预先采集的多张多方向和多尺度的潜艇图像集合；所述多方向潜艇图像，具体为水平方向不同角度拍摄、垂直方向不同角度拍摄的潜艇图像；所述多尺度潜艇图像，具体为被拍摄的潜艇，实际尺寸大小不同。
进一步地，在步骤S102中，图像增强采用的具体方法为非线性局部目标增强算法，其公式如式(1)所示：
式(1)中，r表示图像灰度分布直方图的灰度值，m为输入值，其取值为E为潜艇凸显参数，根据E1和E2取值不同，获得不同值的参数E，通过调整E来动态凸显出遥感图像中潜艇特征部分。
进一步地，在步骤S104中，利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征，具体为：
S201：使用COCO-Stuff的标注监督语义分割方法对所述图像样本库中的图像进行精密像素级分类，得到分割后的语义信息；
S202：使用yolov3算法提取所述图像样本库中图像目标特征的box和mask；
S203：将提取的目标特征的box和mask与所述语义信息特征进行融合，即得到分割预测融合特征。
在步骤S105中，所述的预测结果，包括识别出的潜艇的位置和置信度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于深度学习的遥感图像水面潜艇识别方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于深度学习的遥感图像水面潜艇识别方法。
请参考图1，图1是本发明实施例中一种基于深度学习的遥感图像水面潜艇识别方法的流程图。
具体包括以下步骤：
S101：建立潜艇遥感图像样本库；
S102：对所述图像样本库中的各潜艇遥感图像分别进行图像增强，得到增强后的图像样本库；
S103：对所述增强后的图像样本库中的各潜艇遥感图像中的潜艇分别进行矩形框标注，进而得到所述增强后的样本图像库中所有的潜艇遥感图像所对应的标注数据集；
S104：利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征；
S105：根据所述标注数据集和所述分割预测融合特征，得到潜艇检测识别模型；
S106：采集潜艇实时图像，并进行图像增强，进而将增强后的潜艇实时图像输入所述潜艇检测识别模型进行潜艇识别；
S107：设置特征阈值α，并判断图像特征值是否超过特征阈值α，若是，则输出潜艇识别预测结果，程序结束；否则，返回至步骤S106。
在步骤S101中，建立潜艇遥感图像样本为预先采集的多张多方向和多尺度的潜艇图像集合；所述多方向潜艇图像，具体为水平方向不同角度拍摄、垂直方向不同角度拍摄的潜艇图像；所述多尺度潜艇图像，具体为被拍摄的潜艇，实际尺寸大小不同。
在步骤S102中，图像增强采用的具体方法为非线性局部目标增强算法，其公式如式(1)所示：
式(1)中，r表示图像灰度分布直方图的灰度值，m为输入值，其取值为E为潜艇凸显参数，根据E1和E2取值不同，获得不同值的参数E。
在步骤S104中，利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征，具体为：
S201：使用COCO-Stuff的标注监督语义分割方法对所述图像样本库中的图像进行精密像素级分类，得到分割后的语义信息；
S202：使用yolov3算法提取所述图像样本库中图像目标特征的box和mask；
S203：将提取的目标特征的box和mask与所述语义信息特征进行融合，即得到分割预测融合特征。
在步骤S105中，所述的预测结果，包括识别出的潜艇的位置和置信度。
本发明的有益效果是：解决背景与目标颜色相近的潜艇水面遥感图像的识别，提升了潜艇目标检测定位和识别的精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的遥感图像水面潜艇识别方法，其特征在于：具体步骤如下：
S101：建立潜艇遥感图像样本库；
S102：对所述图像样本库中的各潜艇遥感图像分别进行图像增强，得到增强后的图像样本库；
S103：对所述增强后的图像样本库中的各潜艇遥感图像中的潜艇分别进行矩形框标注，进而得到所述增强后的样本图像库中所有的潜艇遥感图像所对应的标注数据集；
S104：利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征；
S105：根据所述标注数据集和所述分割预测融合特征，进行训练，得到潜艇检测识别模型；
S106：采集潜艇实时图像，并进行图像增强，进而将增强后的潜艇实时图像输入所述潜艇检测识别模型进行潜艇识别；
S107：设置特征阈值α，并判断图像特征值是否超过特征阈值α，若是，则输出潜艇识别预测结果，程序结束；否则，返回至步骤S106；
在步骤S102中，图像增强采用的具体方法为非线性局部目标增强算法，其公式如式(1)所示：
式(1)中，r表示图像灰度分布直方图的灰度值，m为输入值，其取值为E为潜艇凸显参数，根据E1和E2取值不同，获得不同值的参数E，通过调整E来动态凸显遥感图像中潜艇特征部分；
在步骤S104中，利用yolov3目标检测网络，融合语义分割与目标检测所得到的特征，得到分割预测融合特征，具体为：
S201：使用COCO-Stuff的标注监督语义分割方法对所述图像样本库中的图像进行精密像素级分类，得到分割后的语义信息；
S202：使用yolov3算法提取所述图像样本库中图像目标特征的box和mask；
S203：将提取的目标特征的box和mask与所述语义信息特征进行融合，即得到分割预测融合特征。
2.如权利要求1所述的一种基于深度学习的遥感图像水面潜艇识别方法，其特征在于：
在步骤S101中，建立潜艇遥感图像样本为预先采集的多张多方向和多尺度的潜艇图像集合；所述多方向潜艇图像，具体为水平方向不同角度拍摄、垂直方向不同角度拍摄的潜艇图像；所述多尺度潜艇图像，具体为被拍摄的潜艇，实际尺寸大小不同。
3.如权利要求1所述的一种基于深度学习的遥感图像水面潜艇识别方法，其特征在于：在步骤S105中，所述的预测结果，包括识别出的潜艇的位置和置信度。
CN201911114616.0A 2019-11-14 2019-11-14 一种基于深度学习的遥感图像水面潜艇识别方法 Active CN111027399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114616.0A CN111027399B (zh) 2019-11-14 2019-11-14 一种基于深度学习的遥感图像水面潜艇识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114616.0A CN111027399B (zh) 2019-11-14 2019-11-14 一种基于深度学习的遥感图像水面潜艇识别方法

Publications (2)

Publication Number Publication Date
CN111027399A CN111027399A (zh) 2020-04-17
CN111027399B true CN111027399B (zh) 2023-08-22

Family

ID=70205687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114616.0A Active CN111027399B (zh) 2019-11-14 2019-11-14 一种基于深度学习的遥感图像水面潜艇识别方法

Country Status (1)

Country Link
CN (1) CN111027399B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307943B (zh) * 2020-10-29 2022-06-03 宁波海棠信息技术有限公司 一种水域人船目标检测方法、***、终端及介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951523A (zh) * 2010-09-21 2011-01-19 北京工业大学 一种自适应彩色图像处理方法及***
WO2014183275A1 (zh) * 2013-05-15 2014-11-20 中国科学院自动化研究所 一种基于在线学习的局部可形变目标检测方法及其***
CN105000156A (zh) * 2015-07-24 2015-10-28 李红军 用于人体检测的潜艇救援平台
CN105069416A (zh) * 2015-07-25 2015-11-18 杨燕 基于数据通信的潜艇水下搜索装置
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
KR20180083080A (ko) * 2017-01-12 2018-07-20 신동명 수중드론을 이용한 미사일 사전탐지 시스템 및 이의 운용방법
CN108508913A (zh) * 2018-03-29 2018-09-07 中国海洋大学 基于数据驱动的自主式水下航行器海底路径规划方法
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN109145713A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种结合目标检测的小目标语义分割方法
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN109543754A (zh) * 2018-11-23 2019-03-29 中山大学 基于端对端深度学习的目标检测与语义分割的并行方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN109934163A (zh) * 2018-12-27 2019-06-25 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US11216954B2 (en) * 2018-04-18 2022-01-04 Tg-17, Inc. Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951523A (zh) * 2010-09-21 2011-01-19 北京工业大学 一种自适应彩色图像处理方法及***
WO2014183275A1 (zh) * 2013-05-15 2014-11-20 中国科学院自动化研究所 一种基于在线学习的局部可形变目标检测方法及其***
CN105000156A (zh) * 2015-07-24 2015-10-28 李红军 用于人体检测的潜艇救援平台
CN105069416A (zh) * 2015-07-25 2015-11-18 杨燕 基于数据通信的潜艇水下搜索装置
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
KR20180083080A (ko) * 2017-01-12 2018-07-20 신동명 수중드론을 이용한 미사일 사전탐지 시스템 및 이의 운용방법
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN108508913A (zh) * 2018-03-29 2018-09-07 中国海洋大学 基于数据驱动的自主式水下航行器海底路径规划方法
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
CN109145713A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种结合目标检测的小目标语义分割方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN109543754A (zh) * 2018-11-23 2019-03-29 中山大学 基于端对端深度学习的目标检测与语义分割的并行方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN109934163A (zh) * 2018-12-27 2019-06-25 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
遥感图像中飞机的改进YOLOv3实时检测算法;戴伟聪等;《光电工程》(第12期);全文 *

Also Published As

Publication number Publication date
CN111027399A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN106022231A (zh) 一种基于多特征融合的行人快速检测的技术方法
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN108960124B (zh) 用于行人再识别的图像处理方法及装置
CN108109163A (zh) 一种航拍视频的运动目标检测方法
CN107301414B (zh) 一种自然场景图像中的中文定位、分割和识别方法
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
JP2015215877A (ja) ステレオ画像の対において物体を検出する方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN111460884A (zh) 基于人体跟踪的多人脸识别方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
Shu et al. Center-point-guided proposal generation for detection of small and dense buildings in aerial imagery
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN107610224B (zh) 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN111027399B (zh) 一种基于深度学习的遥感图像水面潜艇识别方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant