CN108596952A - 基于候选区域筛选的快速深度学习遥感图像目标检测方法 - Google Patents

基于候选区域筛选的快速深度学习遥感图像目标检测方法 Download PDF

Info

Publication number
CN108596952A
CN108596952A CN201810353633.9A CN201810353633A CN108596952A CN 108596952 A CN108596952 A CN 108596952A CN 201810353633 A CN201810353633 A CN 201810353633A CN 108596952 A CN108596952 A CN 108596952A
Authority
CN
China
Prior art keywords
target
pixel
length
remote sensing
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810353633.9A
Other languages
English (en)
Other versions
CN108596952B (zh
Inventor
陈金勇
孙康
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN201810353633.9A priority Critical patent/CN108596952B/zh
Publication of CN108596952A publication Critical patent/CN108596952A/zh
Application granted granted Critical
Publication of CN108596952B publication Critical patent/CN108596952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及了一种基于候选区域筛选的快速深度学习遥感图像目标检测方法，属于遥感图像处理领域，包括以下步骤：1)利用目标训练样本对深度卷积网络模型进行训练；2)输入目标几何特征条件，包括目标长度、宽度、长宽比范围；3)解析图像参数，主要是两个方向的分辨率信息；4)依据分辨率信息，将目标几何特征转换为像素限定条件；5)利用遥感图像目标分割技术实现目标候选区域提取；6)根据步骤4中的目标几何信息尺寸限定条件，对步骤5中的目标候选区域进行筛选；7)对步骤6中得到的筛选后的目标候选区域进行特征识别，确定是否为目标。本发明提出利用目标几何特征信息对候选区域进行筛选，提高了目标检测效率，同时对虚警具有一定抑制作用。

Description

基于候选区域筛选的快速深度学习遥感图像目标检测方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于候选区域筛选的快速深度学习遥感图像目标检测方法。
背景技术
上世纪六十年代，遥感作为一门新兴的综合技术发展起来，从那时起，一个一直存在的遥感科学难题就是如何从遥感数据提取信息，因为越来越多的高空间分辨率遥感数据不断出现，使得人们更加关注如何综合利用各类有用的信息提取技术，如何从各类遥感数据更好地提取定量信息。其中，遥感图像目标检测识别是遥感图像应用中一个重要应用领域及难题，它是指通过对遥感图像的分析和研究，达到辨识目标以及确定目标的各种特性信息的目的。不管是在军事应用当中还是民用方面，基于遥感图像的目标检测识别技术都发挥着十分重要的作用。作为军事应用，军事目标如飞机、舰船、导弹等极具战略价值，想要对在战场上取得主导地位，就必须快速准确地了解到敌方军事目标的分布情况和最新动态，目标信息对于获取战争的胜利起着至关重要的作用。因此，如何高效地在遥感图像中将目标检测出来，成为了军事领域中的研究重点。在民用方面，遥感图像目标解译技术已经在各行各业中被广泛应用，包括地理测绘、城市规划、地质勘探、环境监测、土地资源调查等等。
近年来，随着深度学习方法的研究与发展，以及该方法在自然场景图像解译、大数据分析等一系列应用中取得的成功，使得深度学习逐步引起遥感图像解译研究人员的重视，并开始将深度学习算法引入到图像目标提取与检测识别等应用中来。由于遥感图像，尤其是星载遥感图像的成像角度和距离相对固定，同类目标的尺度和外观与自然场景图像目标相比变化较小，因此如何提取和利用遥感图像目标的这些不变特征具有很高的研究价值。深度学习方法可通过学习一种深层非线性网络结构，实现复杂函数逼近和分布式的特征表示，同时深度学习中非监督特征学习方法展现了强大的从样本数据集中学习从低层到高层本质特征的能力。在遥感图像目标检测识别领域中，深度学习具有很大的应用前景。
深度学习方法一个重要问题是具有较大的计算复杂度，对于遥感图像来说尤其是高分辨率遥感图像，目标检测效率较低，严重限制了深度学习方法在实际***中的应用。因此，研究基于深度学习的快速遥感图像目标检测方法具有重要意义。
发明内容
本发明的目的在于提供一种具有较低计算复杂度，效果良好同时易于实现的的遥感图像深度学习目标检测方法，提出根据目标几何特征进行候选区域筛选的方法提高目标检测效率，同时可以对遥感图像目标检测虚警进行抑制。
本发明采用的技术方案为：
基于候选区域筛选的快速深度学习遥感图像目标检测方法，包括以下步骤：
步骤1利用目标训练样本和样本标记信息对深度卷积网络模型VGG 19进行训练，得到训练好的深度网络模型；
步骤2输入目标的几何特征条件，包括目标的长度范围、宽度范围和长宽比范围；
步骤3对待检测遥感图像进行解析，得到水平方向分辨率和垂直方向分辨率；
步骤4依据水平方向分辨率和垂直方向分辨率，将目标的几何特征条件转换为目标的像素限定条件；其中，目标的像素限定条件包括目标的长度像素限定范围、宽度像素限定范围和长宽比像素限定范围；
步骤5利用遥感图像目标分割技术对待检测遥感图像进行区域分割，生成多个目标候选区域；
步骤6根据步骤4中的目标的像素限定条件，对步骤5中的多个目标候选区域进行筛选，去除不符合限定条件的目标候选区域；
步骤7对步骤6中得到的筛选后的目标候选区域，使用步骤1中训练好的深度网络模型进行特征提取和特征识别，确定是否为目标。
其中，步骤4中的目标像素限定条件具体为：
目标长度像素限定范围中，最大目标长度为像素，目标最小长度为像素；
目标宽度像素限定范围中，最大目标宽度为像素，目标最小宽度为像素；
目标长宽比像素限定范围中，目标最大长宽比目标最小长宽比
其中，θ为候选区域方向与水平方向的夹角，候选区域的方向为候选区域的长度方向；
λx为水平方向分辨率；λy为垂直方向分辨率；lmax为目标的最大长度，lmin为目标的最小长度，wmax为目标的最大宽度，wmin为目标的最小宽度，rmax为目标的最大长宽比，rmin为目标的最小长宽比。
本发明具有如下优点：
(1)本发明提出利用目标几何特征信息对目标候选区域进行筛选，从而去除一定数量的目标候选区域，提高了遥感图像目标检测效率；
(2)本发明通过对目标候选区域的去除，排除了一定数量的虚警，提高了遥感图像目标检测效果。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面结合附图1及实施例对本发明做进一步详细的说明。
本发明的原理为：利用训练样本和样本标记信息，对目标检测网络进行训练，得到检测网络的各级参数；依据目标的几何特征，构建目标几何特征约束模型；利用图像的水平方向和垂直方向的分辨率信息，将目标几何特征约束模型转换为像素约束；对待检测遥感图像进行目标候选区域搜索，并依据几何特征的像素约束对候选区域进行筛选，去除不符合目标像素约束的候选区域；对筛选后的目标候选区域使用训练好的模型进行特征提取和识别，实现目标检测。
基于候选区域筛选的快速深度学习遥感图像目标检测方法，具体包括以下步骤：
步骤1利用目标训练样本和样本标记信息对深度卷积网络模型VGG 19进行训练，得到训练好的深度网络模型；
步骤2输入目标的几何特征条件，包括目标的长度范围、宽度范围和长宽比范围；
步骤3对待检测遥感图像进行解析，得到水平方向分辨率和垂直方向分辨率；
步骤4依据水平方向分辨率和垂直方向分辨率，将目标的几何特征条件转换为目标的像素限定条件；其中，目标的像素限定条件包括目标的长度像素限定范围、宽度像素限定范围和长宽比像素限定范围；
其中，步骤4中的目标像素限定条件具体为：
目标长度像素限定范围中，最大目标长度为像素，目标最小长度为像素；
目标宽度像素限定范围中，最大目标宽度为像素，目标最小宽度为像素；
目标长宽比像素限定范围中，目标最大长宽比目标最小长宽比
其中，θ为候选区域方向与水平方向的夹角，候选区域的方向为候选区域的长度方向；
λx为水平方向分辨率；λy为垂直方向分辨率；lmax为目标的最大长度，lmin为目标的最小长度，wmax为目标的最大宽度，wmin为目标的最小宽度，rmax为目标的最大长宽比，rmin为目标的最小长宽比。
步骤5利用遥感图像目标分割技术对待检测遥感图像进行区域分割，生成多个目标候选区域；
步骤6根据步骤4中的目标的像素限定条件，对步骤5中的多个目标候选区域进行筛选，去除不符合限定条件的目标候选区域；
步骤7对步骤6中得到的筛选后的目标候选区域，使用步骤1中训练好的深度网络模型进行特征提取和特征识别，确定是否为目标。
本发明的具体实施例为：
1.试验条件。
计算机配置为Intel Core i7-3770 CPU 3.4Ghz，32GB内存，Tesla K40显卡，软件环境为TensorFlow框架。
2.试验方法。
使用Fsater RCNN以及本发明方法，对输入遥感图像分别进行目标检测实验。
3.试验内容与结果。
实验选择高分二号全色遥感影像数据进行目标检测，数据长宽分别为29200像素×27620像素，分辨率为1m，单幅影像1.5GB。
首先利用前期积累的10000多个训练样本对模型进行训练。然后分别使用FasterRCNN模型以及本发明方法进行目标检测。本实验检测的目标为舰船，依据经验知识，目标长度尺寸范围设定为30m～300m，宽度范围设定为15m～100m，长宽比范围设定为：2～10。依据高分二号影像的分辨率信息水平方向和垂直方向分辨率均为1m，则将目标几何特征限定转换为像素限定为：目标长度30像素～300像素，宽度范围设定为15像素～100像素，长宽比范围设定为：2～10。需要说明的是，对于大多数图像，尤其是光学遥感图像，一般水平分辨率和垂直方便率是相等的，但一些特殊模式的SAR影像，可能会存在水平和垂直方向分辨率不相等的情况，此时需要计算候选区域与水平方向的夹角θ来进行几何特征限定从米到像素的转换。
利用目标像素限定信息，对目标候选区域进行筛选，排除不符合条件的限定区域，然后利用训练的目标检测模型对目标候选区域进行特征提取和分类。
试验结果表明，初步获取的目标候选区域中(共5147个)有很多不符合目标的几何特征(2013个)，利用本发明方法可以有效去除不符合条件的目标候选区域，去除了39％的不符合条件的候选区域。使用Faster RCNN及本发明方法的计算时间分别为497s和311s，使用本发明方法将计算效率提高37.4％。同时，Faster RCNN方法得到的目标检测结果虚警率为47.7％，使用本发明方法获得的目标检测结果虚警率为12.1％，大幅降低了目标检测的虚警率。
试验结果表明，本发明方法可有效地提高深度学习遥感图像目标检测的效率，同时，本发明方法可以对目标检测虚警率进行抑制。

Claims (2)

1.基于候选区域筛选的快速深度学习遥感图像目标检测方法，其特征在于，包括以下步骤：
步骤1利用目标训练样本和样本标记信息对深度卷积网络模型VGG 19进行训练，得到训练好的深度网络模型；
步骤2输入目标的几何特征条件，包括目标的长度范围、宽度范围和长宽比范围；
步骤3对待检测遥感图像进行解析，得到水平方向分辨率和垂直方向分辨率；
步骤4依据水平方向分辨率和垂直方向分辨率，将目标的几何特征条件转换为目标的像素限定条件；其中，目标的像素限定条件包括目标的长度像素限定范围、宽度像素限定范围和长宽比像素限定范围；
步骤5利用遥感图像目标分割技术对待检测遥感图像进行区域分割，生成多个目标候选区域；
步骤6根据步骤4中的目标的像素限定条件，对步骤5中的多个目标候选区域进行筛选，去除不符合限定条件的目标候选区域；
步骤7对步骤6中得到的筛选后的目标候选区域，使用步骤1中训练好的深度网络模型进行特征提取和特征识别，确定是否为目标。
2.根据权利要求1所述的基于候选区域筛选的快速深度学习遥感图像目标检测方法，其特征在于：步骤4中，
目标长度像素限定范围中，最大目标长度为像素，目标最小长度为像素；
目标宽度像素限定范围中，最大目标宽度为像素，目标最小宽度为像素；
目标长宽比像素限定范围中，目标最大长宽比目标最小长宽比
其中，θ为候选区域方向与水平方向的夹角，候选区域的方向为候选区域的长度方向；
λx为水平方向分辨率；λy为垂直方向分辨率；lmax为目标的最大长度，lmin为目标的最小长度，wmax为目标的最大宽度，wmin为目标的最小宽度，rmax为目标的最大长宽比，rmin为目标的最小长宽比。
CN201810353633.9A 2018-04-19 2018-04-19 基于候选区域筛选的快速深度学习遥感图像目标检测方法 Active CN108596952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353633.9A CN108596952B (zh) 2018-04-19 2018-04-19 基于候选区域筛选的快速深度学习遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353633.9A CN108596952B (zh) 2018-04-19 2018-04-19 基于候选区域筛选的快速深度学习遥感图像目标检测方法

Publications (2)

Publication Number Publication Date
CN108596952A true CN108596952A (zh) 2018-09-28
CN108596952B CN108596952B (zh) 2020-03-10

Family

ID=63613965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353633.9A Active CN108596952B (zh) 2018-04-19 2018-04-19 基于候选区域筛选的快速深度学习遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN108596952B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN111767914A (zh) * 2019-04-01 2020-10-13 佳能株式会社 目标物体检测装置和方法、图像处理***及存储介质
CN111833329A (zh) * 2020-07-14 2020-10-27 中国电子科技集团公司第五十四研究所 一种大型遥感影像的人工判证辅助方法
CN115033154A (zh) * 2021-02-23 2022-09-09 北京小米移动软件有限公司 缩略图生成方法、缩略图生成装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156722A (zh) * 2014-08-14 2014-11-19 西北工业大学 一种基于高分辨遥感图像的机场目标检测方法
CN106127228A (zh) * 2016-06-16 2016-11-16 北方工业大学 一种基于决策模板分类器融合的遥感图像船舶检测候选区鉴别方法
CN107871124A (zh) * 2017-11-15 2018-04-03 陕西师范大学 一种基于深度神经网络的遥感图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156722A (zh) * 2014-08-14 2014-11-19 西北工业大学 一种基于高分辨遥感图像的机场目标检测方法
CN106127228A (zh) * 2016-06-16 2016-11-16 北方工业大学 一种基于决策模板分类器融合的遥感图像船舶检测候选区鉴别方法
CN107871124A (zh) * 2017-11-15 2018-04-03 陕西师范大学 一种基于深度神经网络的遥感图像目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TONG SHUAI 等: "《A Ship Target Automatic Recognition Method for Sub-meter Remote Sensing Images》", 《2016 FOURTH INTERNATIONAL WORKSHOP ON EARTH OBSERVATION AND REMOTE SENSING APPLICATIONS》 *
樊庆聚等: "《基于分块预判断的SAR图像舰船目标检测方法》", 《太赫兹科学与电子信息学报》 *
王港等: "《基于深度学习的遥感影像基础设施目标检测研究》", 《测控遥感与导航定位》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN111767914A (zh) * 2019-04-01 2020-10-13 佳能株式会社 目标物体检测装置和方法、图像处理***及存储介质
CN111833329A (zh) * 2020-07-14 2020-10-27 中国电子科技集团公司第五十四研究所 一种大型遥感影像的人工判证辅助方法
CN115033154A (zh) * 2021-02-23 2022-09-09 北京小米移动软件有限公司 缩略图生成方法、缩略图生成装置及存储介质

Also Published As

Publication number Publication date
CN108596952B (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN108596952A (zh) 基于候选区域筛选的快速深度学习遥感图像目标检测方法
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN109766830A (zh) 一种基于人工智能图像处理的舰船目标识别***及方法
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
CN106780582B (zh) 基于纹理特征和颜色特征融合的图像显著性检测方法
CN112183432A (zh) 一种基于中分辨率sar图像的建筑区提取方法以及***
Lu et al. P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images
CN108898065A (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
Wan et al. AFSar: An anchor-free SAR target detection algorithm based on multiscale enhancement representation learning
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
Xiu et al. 3D semantic segmentation for high-resolution aerial survey derived point clouds using deep learning
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Zhang et al. Adaptive anchor networks for multi-scale object detection in remote sensing images
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN108230313A (zh) 基于部件自适应选择与判别模型的sar图像目标检测方法
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN113902978A (zh) 基于深度学习的可解释性sar图像目标检测方法及***
CN109284752A (zh) 一种车辆的快速检测方法
CN105528791B (zh) 一种面向触摸屏手绘图像的质量评价装置及其评价方法
Huang et al. A deep learning approach to detecting ships from high-resolution aerial remote sensing images
CN109785318B (zh) 基于面线基元关联约束的遥感图像变化检测方法
CN117079097A (zh) 一种基于视觉显著性的海面目标识别方法
CN116503750A (zh) 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant