CN114821229B - 基于条件生成对抗网络的水下声学数据集增广方法及*** - Google Patents
基于条件生成对抗网络的水下声学数据集增广方法及*** Download PDFInfo
- Publication number
- CN114821229B CN114821229B CN202210393383.8A CN202210393383A CN114821229B CN 114821229 B CN114821229 B CN 114821229B CN 202210393383 A CN202210393383 A CN 202210393383A CN 114821229 B CN114821229 B CN 114821229B
- Authority
- CN
- China
- Prior art keywords
- image
- picture
- slice
- data set
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000003416 augmentation Effects 0.000 title claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 36
- 238000002372 labelling Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000005315 distribution function Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 3
- 230000018109 developmental process Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 36
- 239000013598 vector Substances 0.000 description 26
- 238000013434 data augmentation Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络的水下声学数据集增广方法和***，其包括：步骤1，获取声纳数据集和遥感数据集中目标物的切片，对切片中的目标物图像进行轮廓增强和像素填充，保留合格的切片中的目标物类别信息，并分类存储为样本；步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广；步骤3，将步骤1中达到预设数量的样本以及由步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。本发明有利于丰富水下声学图像数据集，并在此基础上推动深度学习方法水下目标检测和分割任务中的发展及应用，以提高环境感知目标检测的准确性。
Description
技术领域
本发明涉及水下机器人环境感知技术领域，特别是关于一种基于条件生成对抗网络的水下声学数据集增广方法和***。
背景技术
水下目标检测是近年来非常活跃的研究领域之一，其应用非常广泛，涉及鱼群定位、海底建模与绘图、打捞与救援、海底目标定位与识别等方面。现阶段水下声学目标检测方法大多是基于手工特征(比如SIFI和HOG)的传统图像处理方法，其泛化能力差且无法应对复杂环境下的检测任务，为了提高水下声学目标检测的鲁棒性和精确度等性能，引入深度学习是水下目标检测领域发展的必然趋势。深度学习是一种依赖于大规模数据的特征学习方法，训练高精度的深度学习模型需要以大量有标签数据为支撑。
可是，深度学习在水下声学应用中存在着以下两种不可忽视的问题：
1)水下声学图像数据不仅难以获取且其标签注释还需要高昂的人工成本，这对深度学习算法在水下目标检测领域中的应用产生了严重的限制。
2)在自然条件下，海底目标物比较少，在声纳图像中目标只占有小部分区域，同时受自然因素的影响和数据记录条件的限制数据数据采集难度大，现有声学图像中可用样本数远小于特征数。受限于以上问题，现在一些主流的深度学习算法无法直接应用于声学图像处理中。
为解决深度学习样本少的问题，目前常用的方法为对已有数据进行增广，然而，目前水下声学数据集增广方法需要解决的问题主要有：1)在原始声纳图像数据匮乏的条件下增加水下目标物类别数量。2)改善现有数据集中各类别数量的不均衡，导致的声纳数据集质量不高。
发明内容
本发明的目的在于提供一种依赖于遥感图像对声纳图像进行补充、且基于条件生成对抗网络的水下声学数据集增强方法及***。
为实现上述目的，本发明提供一种基于条件生成对抗网络的水下声学数据集增广方法，其包括：
步骤1，获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；
步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；
步骤3，将所述步骤1中达到预设数量的样本以及由所述步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。
进一步地，所述步骤1中获取所述切片的方法具体包括：
步骤11，以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成所述每张切片对应的标注文件，获得所述切片；
步骤12，将所述切片中目标物的轮廓进行增强；
步骤13，在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。
进一步地，所述步骤2具体包括：
步骤21，以随机噪声和表示条件的目标物的类别标签作为输入，首先在所述生成器中进行编码，并通过所述生成器中相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过所述生成器中相应层级的Batch normalization层归一化处理，通过所述生成器中相应层级的Leaky ReLu激活函数向生成器网络中引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果；
步骤22，利用所述判别器对所有输入图片进行判别，将类别标签信息与图片编码后，经由判别器中相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格；其中，所述判断器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果。
进一步地，所述步骤2通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
进一步地，所述步骤3中的优化处理方法具体包括：
步骤31，先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；
步骤32，先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：
式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。
本发明还提供一种基于条件生成对抗网络的水下声学数据集增广***，其包括：
切片获取单元，其用于获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；
虚拟数据增广单元，其用于通过条件生成对抗网络，将所述切片获取单元中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；
声纳数据获取单元，其用于将所述切片获取单元中达到预设数量的样本以及由所述虚拟数据增广单元增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。
进一步地，所述切片获取单元具体包括：
切片生成子单元，其用于以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成所述每张切片对应的标注文件，获得所述切片；
轮廓增强子单元，其用于将所述切片中目标物的轮廓进行增强；
填充子单元，其用于在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。
进一步地，所述虚拟数据增广单元具体包括：
生成器，其用于以随机噪声和表示条件的目标物的类别标签作为输入，首先进行编码，并通过相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过相应层级的Batch normalization层归一化处理，通过相应层级的Leaky ReLu激活函数引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果；
判别器，其用于对所有输入图片进行判别，将类别标签信息与图片编码后，经由相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格；其中，所述判断器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果。
进一步地，所述虚拟数据增广单元通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
进一步地，所述声纳数据获取单元具体包括：
图像预处理子单元，其用于先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；
步骤32，其用于先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：
式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。
本发明有利于丰富水下声学图像数据集，并在此基础上推动深度学习方法水下目标检测和分割任务中的发展及应用，以提高环境感知目标检测的准确性。
附图说明
图1为本发明实施例提供的生成水下声学数据增广的流程示意图。
图2为本发明实施例提供的CGAN网络的流程示意图。
图3为本发明实施例提供的CGAN网络的生成器的流程示意图。
图4为本发明实施例提供的CGAN网络的判别器的流程示意图。
图5为本发明实施例提供的数据增强的流程示意图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
针对现有水下声学数据集匮乏的问题，本发明提出一种基于条件生成对抗网络的水下声学数据集增强方法，具体思想为：声纳图像是基于目标物对入射声波的反向散射原理探测水下目标形态，将声纳回波数据逐行排列，能够直观地提供水下目标物形态的声成像。这与大部分遥感技术成像原理相似，因此可以从遥感数据集中裁剪出合适的目标物，并将之粘贴至海底混响背景图中，以此来增加声纳数据集的样本丰富度。而对于在遥感图像以及声纳图像中都匮乏的类别，可以使用条件生成对抗网络(Conditional GenerativeAdversarial Network，CGAN)来对匮乏样本进行数据增广。
如图1和图5所示，本发明实施例提供的基于条件生成对抗网络的水下声学数据集增广方法包括：
步骤1，获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本。其中，存在轮廓模糊或断裂严重的目标物，特征不明显的目标物的切片视为不合格的切片，通常由人为自行判断即可。其中，声纳数据集可以通过实验获取数据制作得到，还可以通过网络上公开的相关数据集。目标物切片可以理解为目标物在预设二维坐标系中的平面。保存方式比如可以是以.png的格式保存在文件夹中。
步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广。其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率。
步骤3，将所述步骤1中达到预设数量的样本以及由所述步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。
在一个实施例中，上述步骤1中，主要目的为获取目标清晰的目标物切片，方便后续利用这些切片进行数据增强。步骤1中获取所述切片的方法具体包括：
步骤11，以目标物为基本单位，选取目标物落在切片中心位置的切片，避免图像中存在多个目标相隔太近或者重叠的可能性，同时生成所述每张切片对应的标注文件，获得所述切片。其中，标注文件通常可以包括目标物的类别、标注框宽和高。也可以在此基础上增加其他信息。通过标注文件可以得到目标物信息，进而方便切片分类整理，也可提供对抗生成网络需要的条件标签信息。
步骤12，将所述切片中目标物的轮廓进行增强，即先把切片转化为二值图像，然后对二值图像进行形态学运算，以在总的位置和形状不变的条件下，填平小孔，弥合小裂缝，获得目标物的完整边缘。
步骤13，在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。对轮廓内部进行像素填充，即使用非参数化采样算法对图像进行像素填充，将声纳图像中选取的包含目标像素信息的图像块作为种子图像，以此对目标物边缘轮廓内部进行填充，进而生成新图像，完成轮廓填充。
在一个实施例中，上述步骤2主要对样本数量少于500的切片文件进行尺度缩放，然后将缩放后的样本文件输入CGAN网络进行数据增广。如图2所示，步骤2具体包括：
步骤21，以随机噪声和表示条件的目标物的类别标签作为输入，首先在所述生成器中进行编码，并通过所述生成器中相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过所述生成器中相应层级的Batch normalization层归一化处理，通过所述生成器中相应层级的Leaky ReLu激活函数向生成器网络中引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片。
其中，“在所述生成器中进行编码”通过举例说明：比如说生成器输入的噪声是62维向量，条件是10维的向量，然后将两个向量以concat的方式首尾拼接在一起成一个72维的向量，在处理成128维的向量，其中使用到的嵌入链接部分的作用便是编码。
例如：如图3所示，全连接层1的输入为一个128维向量，用于将128维向量映射到样本标记空间中，输出一个256维向量。全连接层2的输入为一个256维向量，用于将256维向量映射到样本标记空间中，输出一个512的张量。全连接层3的输入为一个512维向量，用于将512维向量映射到样本标记空间中，输出一个1024的张量。对于图中的三Leaky ReLu而言，输入均为前一Batch normalization层的输出数据，然后对数据中大于0的数据乘上一个系数，对小于0的部分不做处理，然后将结果输出。最后层级的全连接层为图中的全连接层4，输入的是1024的向量，输出的是由一个张量，而该张量由虚拟图片的尺寸决定。
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果。
步骤22，利用所述判别器对所有输入图片进行判别，将类别标签信息与图片编码后，经由判别器中相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格。优选地，其中的概率可以设置为0.8或0.9，或者小于1的其他正数。也就是说，大于该概率设置值的，视为合格；反之视为不合格。
其中，“利用所述判别器对所有输入图片进行判别”主要是用于识别步骤21中生成的虚假图片的特征，该特征取决于神经网络能学习抓取到的特征，可能是凸起、凹陷等等，与声纳数据集中的水下声学图像是否相似。
“将类别标签信息与图片编码”通过举例说明：比如：如果选取图片是尺寸是10*10，通道数为3，条件是10维的向量，那么会编码成310的向量。作为判别器的输入。嵌入连接将该编码后的向量转化为512维的向量输出。
例如：如图4所示，全连接层1的输入为一个512维向量，输出为一个512维向量。全连接层2的输入为一个512维向量，输出为一个512的向量。全连接层3的输入为一个512维向量，输出为一个512的向量。全连接层4的输入为一个512维向量，输出为一个1的向量，即该图片是来自真实数据而非虚假数据的概率。通过Dropout，可以使一部分神经元失活，可以理解为丢去一部分数据，输入的是上一层全连接层的输出，输出是随机丢弃掉一部分内容的数据。
其中，所述判断器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果，为判别器的损失函数。
在一个实施例中，步骤2通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
上述实施例中，例如：样本数量低于500的类别，通过设计好的CGAN生成对抗网络进行数据增广。CGAN通过输入随机噪声和标签信息来引导数据的生成过程，CGAN由生成器(generator)和判别器(discriminator)组成。生成器用于生成具有标签特征的样本，判别器用于估计样本来自训练数据而不是生成器的概率。使用Conditional GAN论文中的原始网络，下方有自绘流程图表示。网络的输入为声纳图像；条件是图像对应的目标物类别名称，如沉船、巨石等。
在一个实施例中，步骤3中的优化处理方法具体包括：
步骤31，先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息。根据原始的切片类别信息以及切片的宽高数值确定新标注信息。最后获得新的标注信息。也可以直接粘贴上去，这一步是为了增加样本量。
步骤32，为了获得更接近于真实海底声纳数据的图片，先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，其增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：
式中，x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，使用的高斯滤波器是根据情况设置的，所以σ可以取1，可以取2等，g(x)为高斯函数。
本发明实施例提供的基于条件生成对抗网络的水下声学数据集增广***包括切片获取单元、虚拟数据增广单元和声纳数据获取单元，其中：
切片获取单元用于获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本。
虚拟数据增广单元用于通过条件生成对抗网络，将所述切片获取单元中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率。
声纳数据获取单元用于将所述切片获取单元中达到预设数量的样本以及由所述虚拟数据增广单元增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。
在一个实施例中，所述切片获取单元具体包括切片生成子单元、轮廓增强子单元和填充子单元，其中：
切片生成子单元用于以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成所述每张切片对应的标注文件，获得所述切片。
轮廓增强子单元用于将所述切片中目标物的轮廓进行增强。
填充子单元用于在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。
在一个实施例中，所述虚拟数据增广单元具体包括：
步骤21，以随机噪声和表示条件的目标物的类别标签作为输入，首先在所述生成器中进行编码，并通过所述生成器中相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过所述生成器中相应层级的Batch normalization层归一化处理，通过所述生成器中相应层级的Leaky ReLu激活函数向生成器网络中引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片。
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果；
步骤22，利用所述判别器对所有输入图片进行判别，将类别标签信息与图片编码后，经由判别器中相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格。其中，所述判断器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果，为判别器的损失函数。
在一个实施例中，所述虚拟数据增广单元通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
在一个实施例中，所述声纳数据获取单元中的优化处理方法具体包括：
步骤31，先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；
步骤32，先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，其增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：
式中，x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，使用的高斯滤波器是根据情况设置的，所以σ可以取1，可以取2等，g(x)为高斯函数。
除了采用上述方法实现水下声纳数据增广，也可以采用声纳模拟器来合成声纳图像，还可以使用两种不同声纳传感器的模拟器来开发基于声纳融合的映射算法，模拟不同形状物体的声纳图像。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，包括：
步骤1，获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；
步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；
步骤3，将所述步骤1中达到预设数量的样本以及由所述步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集；
所述步骤1中获取所述切片的方法具体包括：
步骤11，以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成每张切片对应的标注文件，获得所述切片；
步骤12，将所述切片中目标物的轮廓进行增强；
步骤13，在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充；
所述步骤2具体包括：
步骤21，以随机噪声和表示条件的目标物的类别标签作为输入，首先在所述生成器中进行编码，并通过所述生成器中相应层级的全连接层将编码后的图片中的分布式特征映射到样本标记空间中，再通过所述生成器中相应层级的Batch normalization层归一化处理，通过所述生成器中相应层级的Leaky ReLu激活函数向生成器网络中引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果；
步骤22，利用所述判别器对所有输入图片进行判别，将类别标签信息与图片编码后，经由判别器中相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚假图片是否合格；其中，所述判别器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果；
所述步骤2通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk分别表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
2.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，所述步骤3中的优化处理方法具体包括：
步骤31，先对图像进行旋转、镜像、缩放操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；
步骤32，先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数表示为式(4)：
式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。
3.一种基于条件生成对抗网络的水下声学数据集增广***，其特征在于，包括：
切片获取单元，其用于获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；
虚拟数据增广单元，其用于通过条件生成对抗网络，将所述切片获取单元中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；
声纳数据获取单元，其用于将所述切片获取单元中达到预设数量的样本以及由所述虚拟数据增广单元增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集；
所述切片获取单元具体包括：
切片生成子单元，其用于以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成每张切片对应的标注文件，获得所述切片；
轮廓增强子单元，其用于将所述切片中目标物的轮廓进行增强；
填充子单元，其用于在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充；
所述虚拟数据增广单元具体包括：
生成器，其用于以随机噪声和表示条件的目标物的类别标签作为输入，首先进行编码，并通过相应层级的全连接层将编码后的图片中的分布式特征映射到样本标记空间中，再通过相应层级的Batch normalization层归一化处理，通过相应层级的Leaky ReLu激活函数引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；
其中，所述生成器的网络损失函数LG如下式(1)所示：
式中，n表示生成的所述虚假图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；D(·)表示判别器的判别结果；
判别器，其用于对所有输入图片进行判别，将类别标签信息与图片编码后，经由相应层级的全连接层、Leaky ReLu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚假图片是否合格；其中，所述判别器的网络损失函数LD如下式(2)所示：
式中，m表示真实图片的数量；Zi表示第i张噪声；表示标签为k的第i张所述虚假图片；Rj,k表示标签为k的第j张真实图片，D(·)表示判别器的判别结果；所述虚拟数据增广单元通过条件生成对抗网络的总体目标函数(3)生成对抗网络：
式中，PR、PG分别表示真实图片形成的集合和虚假图片的集合；D表示判别器的判别结果，R、Z、Rk、Gk分别表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，/>表示判别器判别出虚假图片的概率，/>表示对于生成器V(D,G)的值越小越好，而对于判别器V(D,G)的值越大越好。
4.如权利要求3所述的基于条件生成对抗网络的水下声学数据集增广***，其特征在于，所述声纳数据获取单元具体包括：
图像预处理子单元，其用于先对图像进行旋转、镜像、缩放操作，然后随机生成一个贴图点(xnew,ynew)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；
步骤32，其用于先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数表示为式(4)：
式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210393383.8A CN114821229B (zh) | 2022-04-14 | 2022-04-14 | 基于条件生成对抗网络的水下声学数据集增广方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210393383.8A CN114821229B (zh) | 2022-04-14 | 2022-04-14 | 基于条件生成对抗网络的水下声学数据集增广方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821229A CN114821229A (zh) | 2022-07-29 |
| CN114821229B true CN114821229B (zh) | 2023-07-28 |
Family
ID=82536353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210393383.8A Active CN114821229B (zh) | 2022-04-14 | 2022-04-14 | 基于条件生成对抗网络的水下声学数据集增广方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821229B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393242A (zh) * | 2022-09-30 | 2022-11-25 | 国网电力空间技术有限公司 | 一种基于gan的电网异物图像数据增强的方法和装置 |
| CN117250970B (zh) * | 2023-11-13 | 2024-02-02 | 青岛澎湃海洋探索技术有限公司 | 基于模型嵌入生成对抗网络实现auv故障检测的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020172838A1 (zh) * | 2019-02-26 | 2020-09-03 | 长沙理工大学 | 一种改进辅助分类器gan的图像分类方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490230A (zh) * | 2019-07-16 | 2019-11-22 | 西北工业大学 | 基于深度卷积生成对抗网络的水声目标识别方法 |
| CN111652149A (zh) * | 2020-06-04 | 2020-09-11 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
| CN111860640B (zh) * | 2020-07-17 | 2024-06-28 | 大连海事大学 | 一种基于gan的特定海域数据集增广方法 |
| CN112149755B (zh) * | 2020-10-12 | 2022-07-05 | 自然资源部第二海洋研究所 | 基于深度学习的小样本海底水声图像底质分类方法 |
| CN112466320B (zh) * | 2020-12-12 | 2023-11-10 | 中国人民解放军战略支援部队信息工程大学 | 一种基于生成对抗网络的水声信号降噪方法 |
| CN113139916A (zh) * | 2021-04-15 | 2021-07-20 | 哈尔滨工程大学 | 基于生成式对抗网络的水下声呐仿真图像生成和数据扩充方法 |
| CN113541835B (zh) * | 2021-06-17 | 2022-05-20 | 江苏科技大学 | 一种基于条件生成对抗网络的时变水声信道模拟方法 |
| CN113688941B (zh) * | 2021-09-09 | 2024-06-14 | 西北工业大学 | 基于生成对抗网络的小样本声呐图像分类识别优化方法 |
-
2022
- 2022-04-14 CN CN202210393383.8A patent/CN114821229B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020172838A1 (zh) * | 2019-02-26 | 2020-09-03 | 长沙理工大学 | 一种改进辅助分类器gan的图像分类方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821229A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN114821229B (zh) | 基于条件生成对抗网络的水下声学数据集增广方法及*** | |
| CN113436169B (zh) | 一种基于半监督语义分割的工业设备表面裂纹检测方法及*** | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN111310622A (zh) | 一种面向水下机器人智能作业的鱼群目标识别方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及*** | |
| CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
| CN111507227B (zh) | 基于深度学习的多学生个体分割及状态自主识别方法 | |
| CN112561876A (zh) | 基于图像的池塘和水库的水质检测方法及*** | |
| CN112991280B (zh) | 视觉检测方法、***及电子设备 | |
| CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
| CN113052215A (zh) | 基于神经网络可视化的声呐图像自动目标识别方法 | |
| CN114092793A (zh) | 适用于复杂水下环境的端到端生物目标检测方法 | |
| CN115223032A (zh) | 一种基于图像处理和神经网络融合的水生物识别与匹配方法 | |
| Yulin et al. | Wreckage target recognition in side-scan sonar images based on an improved faster r-cnn model | |
| CN115240240A (zh) | 基于yolo网络的红外人脸识别方法及*** | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN116704526B (zh) | 工尺谱扫描机器人及其方法 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN111723688A (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN116735463A (zh) | 一种基于有向目标检测的硅藻尺寸自动测量方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及*** | |
| CN113792785A (zh) | 一种基于wgan-gp和yolo的船体附着物快速识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |