CN116416136A - 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 - Google Patents
可见光遥感图像舰船目标检测的数据扩增方法、电子设备 Download PDFInfo
- Publication number
- CN116416136A CN116416136A CN202310408459.4A CN202310408459A CN116416136A CN 116416136 A CN116416136 A CN 116416136A CN 202310408459 A CN202310408459 A CN 202310408459A CN 116416136 A CN116416136 A CN 116416136A
- Authority
- CN
- China
- Prior art keywords
- ship
- image
- remote sensing
- visible light
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003321 amplification Effects 0.000 title claims abstract description 46
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 46
- 230000023004 detection of visible light Effects 0.000 title description 2
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 7
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 7
- 238000013441 quality evaluation Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 235000019820 disodium diphosphate Nutrition 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，获取原始可见光遥感图像数据集及其标注文件；确定需要进行扩增的舰船类别；引入语义评估模块，得到能够扩增的合理区域；依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；对扩增后的图像进行质量评估，筛选替换原始图像。本发明，实现了舰船少数类的自动扩增，解决因训练集类间不平衡导致训练出来模型偏向于多数类，而对少数类识别精度下降的问题。
Description
技术领域
本发明涉及可见光遥感图像目标检测与识别技术领域，尤其涉及一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质。
背景技术
目标检测是计算机视觉中四大关键任务之一，其不仅在资源勘测、环境监测、城市规划等民用领域有重要作用，而且在目标信息获取、目标捕捉、等其他领域也扮演着重要角色。随着深度学习的蓬勃发展和卷积神经网络的提出，基于深度学习的目标检测方法已全面超越传统手工提取特征的方法，引领了目标检测领域的发展。
可见光遥感图像作为重要的对地观测手段之一，其具有很高的分辨率和丰富的信息，相比于其他遥感图像而言，更符合人眼视觉特性。在以可见光遥感图像为数据的遥感图像目标检测及识别领域已经取得了不错的效果。但由于功能用途的不同，不同种类的舰船数量有很大差异，客观导致了可见光遥感数据集中的舰船数量呈现长尾分布特征。采用具有长尾分布特征的可见光遥感数据集作为训练集来训练模型时，会导致模型偏向多数类，而使得对于少数类识别精度较低。在实际应用场景中，少数类的种类数量往往比多数类的种类数量多，其中也不乏重要的目标类，因此需要采取合理策略提高模型训练中的少数类样本的比重，进而使得模型更加均衡。
数据扩增的方法能够很好地弥补样本数量不足的问题，但传统的样本扩增方法面向的是图像，通过对整张图像进行旋转、颜色抖动、模糊处理和缩放等方式，其重点更多是增加整个数据集的数据量和进行一些数据增强基于深度学***衡，但是现有的深度学***衡问题，但由于遥感图像下的目标特征与自然图像下有所不同，且遥感图像下的目标具有明显的语义信息，因此需要做进一步的工作。
发明内容
为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，实现舰船少数类的自动扩增，解决因训练集类间不平衡导致训练出来模型偏向于多数类，而对少数类识别精度下降的问题。
为实现上述发明目的，本发明提供一种可见光遥感图像舰船目标检测的数据扩增方法，包括以下步骤：
步骤S1、获取原始可见光遥感图像数据集及其标注文件；
步骤S2、确定需要进行扩增的舰船类别；
步骤S3、引入语义评估模块，得到能够扩增的合理区域；
步骤S4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；
步骤S5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；
步骤S6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；
步骤S7、对扩增后的图像进行质量评估，筛选替换原始图像。
根据本发明的一个方面，所述步骤S1中的原始可见光遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签。
根据本发明的一个方面，在所述步骤S2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：
步骤S21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量numberi，其中，i代表第i类舰船；
步骤S22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素areai；
步骤S23、利用各类舰船所占区域像素areai，计算各类舰船的像素平均占比，公式如下：
其中，N为总的舰船类别数量，i代表第i类舰船；
步骤S24、计算每一类舰船目标数量与平均像素的乘积numberi×SAPPi，并将其中的最大值规定为标准值BalanceStandard，对于未达到标准值的种类，通过
得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。
根据本发明的一个方面，在所述步骤S3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：
步骤S31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；
步骤S32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；
步骤S33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。
根据本发明的一个方面，在所述步骤S5中，具体包括：
步骤S51、引入超分辨率重建网络，对所述步骤S4中得到的所有的原始各类舰船切片样本进行特征增强，增加细节信息，突出不同种类的舰船特征；
步骤S52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。
根据本发明的一个方面，所述步骤S51中，所述超分辨率重建网络基于LGCNet超分网络模型，引入注意力模块，对网络进行引导，进而实现舰船切片的特征增强；
所述步骤S52中，所述目标识别算法为Oriented R-CNN算法。
根据本发明的一个方面，在所述步骤S6中，具体包括：
步骤S61、依据步骤S31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；
步骤S62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像；
步骤S63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。
根据本发明的一个方面，在所述步骤S7中，具体包括：
选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种可见光遥感图像舰船目标检测的数据扩增方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种可见光遥感图像舰船目标检测的数据扩增方法。
本发明与现有技术相比，具有如下有益效果：
本发明提出了一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为***的可见光遥感图像目标识别任务的数据集的数据增强流程。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示根据本发明一个实施例中提供的可见光遥感图像舰船目标检测的数据扩增方法流程图；
图2示意性表示根据本发明一种实施方式的超分辨率重建网络的实现流程图；
图3示意性表示根据本发明一种实施方式的注意力模块结构示意图；
图4示意性表示根据本发明一种实施方式的空间注意力模块结构示意图；
图5示意性表示根据本发明一种实施方式的通道注意力模块结构示意图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
如图1所示，本发明的一种可见光遥感图像舰船目标检测的数据扩增方法，包括以下步骤：
步骤S1、获取原始可见光遥感图像数据集及其标注文件；
步骤S2、确定需要进行扩增的舰船类别；
步骤S3、引入语义评估模块，得到能够扩增的合理区域；
步骤S4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；
步骤S5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；
步骤S6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；
步骤S7、对扩增后的图像进行质量评估，筛选替换原始图像。
在该实施例中，通过获取原始可见光遥感图像数据集及其标注文件，并对原始可见光遥感图像数据集进行类间平衡状态进行评估，确定需要进行扩增的舰船类别，能够减少无效的数据扩增，利用语义评估模块，采用海陆分割和先验标签信息结合的方式，实现扩增区域的合理选择，有利于快速进行合理嵌入位置确定，提高少数类扩增效率，再根据原始可见光遥感图像数据集的标注文件对可见光遥感图像进行切割，得到原始各类舰船切片样本，并利用超分辨率重建网络对舰船切片进行信息增强，构建舰船扩增样例库，有利于提升扩增样本质量，利用图像合成模块完成原始可见光遥感图像和舰船扩增样例库的图像合成处理，得到扩增后的图像，对扩增后图像和原始图像进行对比，剔除差异极大的图像，最终得到高质量图像，将其替换原来图像。
通过上述技术方案，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为***的可见光遥感图像目标识别任务的数据集的数据增强流程。
在本发明的一个实施例中，优选地，所述步骤S1中的原始可见光遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签，即在原始可见光遥感图像数据集中，舰船目标已经被一个旋转框划定了目标范围，并且将其进行了类别的标注。
在本发明的一个实施例中，优选地，在所述步骤S2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：
步骤S21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量numberi，其中，i代表第i类舰船；
步骤S22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素areai；
步骤S23、利用各类舰船所占区域像素areai，计算各类舰船的像素平均占比(ShipAverage Pixel Percentage,SAPP)，公式如下：
其中，N为总的舰船类别数量，i代表第i类舰船；
步骤S24、计算每一类舰船目标数量与平均像素的乘积numberi×SAPPi，并将其中的最大值规定为标准值BalanceStandard，对于未达到标准值的种类，通过
得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。
在本发明的一个实施例中，优选地，在所述步骤S3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：
步骤S31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；
步骤S32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；
步骤S33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。
在该实施例中，海陆分割方法采用Deeplabv3语义分割算法，在使用专门的海陆分割数据集来对模型进行训练之后，迁移应用至需要使用的可见光遥感图像数据集中，实现下游应用，从而得到了整个数据集的海陆分割掩膜文件。
利用原始标注文件中的舰船区域信息，将其叠加到生成的掩膜文件中，生成新的掩膜文件。新的掩膜文件将海洋、陆地以及舰船进行了不同分割，因此可以避免后续的舰船样本嵌入过程出现不合理位置选择，如舰船嵌入到陆地上或者舰船与原有舰船出现了重叠等，保证遥感图像的基本语义信息正确。
在步骤S4中，依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本，具体包括：
依据原始舰船旋转框标注信息，首先对遥感图像以舰船为中心进行舰船旋转角度的反方向旋转，使得图像中的舰船方向变为水平。然后依据原始标注信息，进行新的四点坐标计算，依据结果进行图像切割，从而得到舰船切片样本。
在本发明的一个实施例中，优选地，在所述步骤S5中，具体包括：
步骤S51、引入超分辨率重建网络，对所述步骤S4中得到的所有的原始各类舰船切片样本进行特征增强，增加细节信息，突出不同种类的舰船特征；
具体地，如图2所示，首先对舰船切片图像进行特征提取，在进行卷积的同时引入了注意力模块来对其进行引导。在特征提取后，进行全局-局部特征联合，从而实现多尺度特征融合。全局-局部特征联合主要是将不同层的卷积结果相连接，最后进行合并，得到联合特征。在联合特征的基础上，利用一个卷积层来进行重建。
如图3所示，注意力模块由通道注意力和空间注意力两部分组成，通道注意力的网络结构如图4所示，空间注意力的网络结构如图5所示。在计算过程中，先进行通道注意力计算，再进行空间注意力计算。
通道注意力计算：将获得的原始特征图A和其转置特征图进行矩阵乘法，然后应用一个softmax层来获得通道注意力图。通道注意力图的计算公式为：
其中，xji表示第i个通道对于第j个通道的影响。此外，将原始特征图与通道特征图相乘，从而得到新的特征图B，其计算公式为：
其中，α是一个尺度参数。
将此时新的特征图B再进行空间注意力：将B做卷积得到新的特征图C、D和E。然后B与C做矩阵乘法运算，经过一个Softmax层得到空间注意力特征图，计算公式为:
其中，Sji代表第i个位置对于第j个位置的影响。然后用特征图E与空间注意力特征图做矩阵乘法，从而得到最终的特征图F，计算公式为：
步骤S52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。
在本发明的一个实施例中，优选地，所述步骤S52中，所述目标识别算法为Oriented R-CNN算法。
在本发明的一个实施例中，优选地，在所述步骤S6中，具体包括：
步骤S61、依据步骤S31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；
步骤S62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像，其中，数据增强操作可以包括任意旋转、颜色抖动、高斯模糊等基础图像增强方法；
步骤S63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。
在本发明的一个实施例中，优选地，在所述步骤S7中，具体包括：
选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。
在该实施例中，对扩增后的图像做的质量评估为选取结构相似度作为评估指标，对扩增后图像和原始图像进行对比，剔除差异极大的图像。最终得到高质量图像，将其替换原来图像。具体的，结构相似度计算的计算公式为：
其中，ux、uy分别代表图像x和图像y的均值，σx、σy分别代表图像x和图像y的标准差，σxy代表图像x和图像y的协方差，c1和c2是避免分母为0而维持稳定的常数。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项的一种可见光遥感图像舰船目标检测的数据扩增方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，计算机指令被处理器执行时，实现如上述技术方案中任一项一种可见光遥感图像舰船目标检测的数据扩增方法。
本发明的一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，可见光遥感图像舰船目标检测的数据扩增方法包括：步骤S1、获取原始可见光遥感图像数据集及其标注文件；步骤S2、确定需要进行扩增的舰船类别；步骤S3、引入语义评估模块，得到能够扩增的合理区域；步骤S4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；步骤S5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；步骤S6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；步骤S7、对扩增后的图像进行质量评估，筛选替换原始图像，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为***的可见光遥感图像目标识别任务的数据集的数据增强流程。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (10)
1.一种可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，包括以下步骤：
步骤S1、获取原始可见光遥感图像数据集及其标注文件；
步骤S2、确定需要进行扩增的舰船类别；
步骤S3、引入语义评估模块，得到能够扩增的合理区域；
步骤S4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；
步骤S5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；
步骤S6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；
步骤S7、对扩增后的图像进行质量评估，筛选替换原始图像。
2.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，所述步骤S1中的原始遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签。
3.根据权利要求2所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤S2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：
步骤S21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量numberi，其中，i代表第i类舰船；
步骤S22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素areai；
步骤S23、利用各类舰船所占区域像素areai，计算各类舰船的像素平均占比，公式如下：
其中，N为总的舰船类别数量，i代表第i类舰船；
步骤S24、计算每一类舰船目标数量与平均像素的乘积numberi×SAPPi，并将其中的最大值规定为标准值BalanceStandard，对于未达到标准值的种类，通过
得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。
4.根据权利要求3所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤S3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：
步骤S31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；
步骤S32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；
步骤S33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。
5.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤S5中，具体包括：
步骤S51、引入超分辨率重建网络，对所述步骤S4中得到的所有的原始各类舰船切片样本进行特征增强，增加细节信息，突出不同种类的舰船特征；
步骤S52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。
6.根据权利要求5所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，所述步骤S51中，所述超分辨率重建网络基于LGCNet超分网络模型，引入注意力模块，对网络进行引导，进而实现舰船切片的特征增强；
所述步骤S52中，所述目标识别算法为Oriented R-CNN算法。
7.根据权利要求4所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤S6中，具体包括：
步骤S61、依据步骤S31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；
步骤S62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像；
步骤S63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。
8.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤S7中，具体包括：
选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。
9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至8中任一项所述的可见光遥感图像舰船目标检测的数据扩增方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至8中任一项所述的可见光遥感图像舰船目标检测的数据扩增方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310408459.4A CN116416136B (zh) | 2023-04-17 | 2023-04-17 | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310408459.4A CN116416136B (zh) | 2023-04-17 | 2023-04-17 | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116416136A true CN116416136A (zh) | 2023-07-11 |
| CN116416136B CN116416136B (zh) | 2023-12-19 |
Family
ID=87059392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310408459.4A Active CN116416136B (zh) | 2023-04-17 | 2023-04-17 | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416136B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523345A (zh) * | 2024-01-08 | 2024-02-06 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN112102330A (zh) * | 2020-08-12 | 2020-12-18 | 浙江工业大学 | 基于类别均衡小样本学习的新冠肺炎感染区域分割方法 |
| CN113393497A (zh) * | 2021-07-07 | 2021-09-14 | 中国人民解放军海军航空大学 | 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备 |
| CN114037637A (zh) * | 2022-01-10 | 2022-02-11 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
| CN115239590A (zh) * | 2022-07-27 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 样本图像的生成方法、装置、设备、介质及程序产品 |
| CN115908908A (zh) * | 2022-11-14 | 2023-04-04 | 北京卫星信息工程研究所 | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 |
| WO2023050746A1 (zh) * | 2021-09-30 | 2023-04-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 增强舰船目标检测sar图像数据的方法 |
-
2023
- 2023-04-17 CN CN202310408459.4A patent/CN116416136B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN112102330A (zh) * | 2020-08-12 | 2020-12-18 | 浙江工业大学 | 基于类别均衡小样本学习的新冠肺炎感染区域分割方法 |
| CN113393497A (zh) * | 2021-07-07 | 2021-09-14 | 中国人民解放军海军航空大学 | 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备 |
| WO2023050746A1 (zh) * | 2021-09-30 | 2023-04-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 增强舰船目标检测sar图像数据的方法 |
| CN114037637A (zh) * | 2022-01-10 | 2022-02-11 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
| CN115239590A (zh) * | 2022-07-27 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 样本图像的生成方法、装置、设备、介质及程序产品 |
| CN115908908A (zh) * | 2022-11-14 | 2023-04-04 | 北京卫星信息工程研究所 | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| NAN MO ET AL: "Improved Faster RCNN Based on Feature Amplification and Oversampling Data Augmentation for Oriented Vehicle Detection in Aerial Images", REMOTE SENSING, pages 1 - 7 * |
| YUZHU JI ET AL: "LGCNet: A local-to-global context-aware feature augmentation network for salient object detection", ELSEVIER: INFORMATION SCIENCES, pages 439 - 440 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523345A (zh) * | 2024-01-08 | 2024-02-06 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
| CN117523345B (zh) * | 2024-01-08 | 2024-04-23 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116416136B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287960A (zh) | 自然场景图像中曲线文字的检测识别方法 | |
| CN111582104B (zh) | 基于自注意特征聚合网络的遥感图像语义分割方法及装置 | |
| CN111028255A (zh) | 基于先验信息与深度学习的农田区域预筛选方法及装置 | |
| CN113989662A (zh) | 一种基于自监督机制的遥感图像细粒度目标识别方法 | |
| CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
| CN110163294B (zh) | 基于降维操作和卷积网络的遥感图像变化区域检测方法 | |
| CN116416136B (zh) | 可见光遥感图像舰船目标检测的数据扩增方法、电子设备 | |
| CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及*** | |
| CN113516116B (zh) | 一种适用于复杂自然场景的文本检测方法、***和介质 | |
| Marochov et al. | Image classification of marine-terminating outlet glaciers in Greenland using deep learning methods | |
| CN115578602A (zh) | 一种基于改进YOLOv7的自然树种识别方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| CN117036948A (zh) | 一种基于注意力机制的致敏植物识别方法 | |
| CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及***和存储介质 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN113628180A (zh) | 一种基于语义分割网络的遥感建筑物检测方法及*** | |
| KR101821770B1 (ko) | 특징 추출을 위한 기법들 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
| CN113361530A (zh) | 使用交互手段的图像语义精准分割及优化方法 | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN115205624A (zh) | 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质 | |
| Wang et al. | A New Remote Sensing Change Detection Data Augmentation Method based on Mosaic Simulation and Haze Image Simulation | |
| CN114782322A (zh) | YOLOv5模型的电弧增材制造熔池缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |