CN110334693A - 一种面向深度学习的遥感图像目标样本生成方法 - Google Patents

Abstract

本发明公开了一种面向深度学习的遥感图像目标样本生成方法，属于遥感技术领域。该方法包括样本切片提取、在实测遥感影像切片中标注目标的位置和类别、生成遥感图像目标样本集、基于信息熵对遥感图像目标样本集进行评价、根据评价结果对遥感图像目标样本集进行取舍等步骤。本发明具有效率高、样本描述性强、鲁棒性好等特点，适合用于可见光遥感影像的目标检测、目标定位、目标识别的样本准备预处理等应用领域。

Description

一种面向深度学习的遥感图像目标样本生成方法

技术领域

本发明涉及遥感、深度学习以及目标识别等技术领域，特别是指一种面向深度学习的遥感图像目标样本生成方法。

背景技术

在遥感领域中可以进行训练样本增广的方法主要有如下几种，但它们在性能和效率上均存在某些缺陷：

（1）直接进行滑窗提取的方法，根据滑窗的大小和幅度获得相应的目标图像数据。该方法最简单，但是目标形态并未变化，对于后续特征学习的帮助较少，且背景信息缺失。

（2）直接对图像进行镜像变换。该方法保留了目标和背景的所有信息，但是目标变化较小，对后续特征学习帮助较少。

（3）对图像进行重采样。该方法可以获得目标更加抽象的特征，但是其部分细节特征丧失，不利于提高检测识别准确率。

发明内容

本发明的目的在于避免上述背景技术中的不足之处而提供一种面向深度学习的遥感图像目标样本生成方法，其具有高效率、高准确率、较好的鲁棒性等特点，适合用于可见光遥感图像目标检测识别等领域。

为了实现上述目的，本发明采用的技术方案为：

一种面向深度学习的遥感图像目标样本生成方法，其包括以下步骤：

（1）通过宽幅遥感影像进行样本切片提取，获得包含目标的实测遥感影像切片；

（2）在实测遥感影像切片中标注目标的位置和类别；

（3）根据标注后的实测遥感影像切片，生成遥感图像目标样本集；

（4）基于信息熵对步骤（3）生成的遥感图像目标样本集进行评价；

（5）根据步骤（4）的评价结果对遥感图像目标样本集进行取舍，若遥感图像目标样本集不符合要求，则删除该遥感图像目标样本集，并返回步骤（3）中重新生成新的遥感图像目标样本集。

具体的，所述步骤（3）包括：

（301）根据角度旋转参数，对实测遥感影像切片进行等角度逆时针旋转，制作同一目标不同角度的样本集；

（302）根据噪声密度参数，对实测遥感影像切片添加不同密度的噪声，制作同一目标不同成像条件下的样本集；

（303）根据灰度变换幅度，对实测遥感影像切片进行不同亮度变换和成像对比度变换，制作同一目标不同亮度、不同对比度的样本集；

（304）根据剪切变换幅度，对实测遥感影像切片进行随机剪切，使其展示的是目标的随机部位成像，制作同一目标部位随机剪切的样本集；

（305）根据云层遮挡密度和云大小参数，对实测遥感影像切片进行不同大小和透明度的云层的随机遮挡，制作同一目标随机遮挡的样本集；

（306）将步骤（301）～（305）中各样本集中的样本进行排列组合，形成体现对同一目标拍摄过程的遥感图像目标样本集。

具体的，所述步骤（4）包括：

（401）计算包含同一目标的各实测遥感影像切片的信息熵；

（402）计算对应于步骤（401）所述目标的遥感图像目标样本集的信息熵；

（403）计算遥感图像目标样本集的信息熵与实测遥感影像切片的信息熵的差距，以该差距作为遥感图像目标样本集的评价值。

具体的，所述步骤（5）包括：

（501）若评价值小于预设阈值，则保留遥感图像目标样本集；否则，删除遥感图像目标样本集，并转入步骤（502）；

（502）调整步骤（301）～（305）中的角度旋转参数、噪声密度参数、灰度变换幅度、剪切变换幅度、云层遮挡密度和云大小参数，重新执行步骤（301）～（306）。

本发明与背景技术相比具有如下有益效果：

1、本发明遥感图像目标样本生成方法克服了现有方法中缺乏多样性和无法充分表达目标特征的缺点，改善了遥感图像目标检测识别的性能。

2、本发明方法应用信息熵的概念，通过信息熵的差异，合理地选择生成的样本集，淘汰对训练有消极作用的样本集。

3、本发明方法具有较好的实际应用和遥感影像目标检测识别的性能，能够满足样本较少的遥感影像目标检测识别学习训练应用要求。

总之，本发明能够增加样本多样性、解决小样本问题、构建训练样本库，适用于可见光遥感影像的目标检测识别。

附图说明

图1是本发明实施例中的方法流程示意图。

图2是本发明实施例中目标图像旋转后的效果示意图；从左到右依次为旋转90°、旋转180°、旋转270°和旋转45°的效果图。

图3是本发明实施例中目标图像加噪声后的效果示意图。

图4是本发明实施例中目标图像灰度变换后的效果示意图；从左到右依次为亮度增强、亮度降低、对比度降低和对比度增强的效果图。

图5是本发明实施例中目标图像剪切变换后的效果示意图。

图6是本发明实施例中目标图像加云遮挡后的效果示意图；从左到右依次为随机多处遮挡、随机一处遮挡、薄云遮挡和背景遮挡的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步描述。

一种面向深度学习的遥感图像目标样本生成方法，其包括以下步骤：

（1）通过宽幅遥感影像进行样本切片提取，获得包含目标的实测遥感影像切片；

（2）在实测遥感影像切片中标注目标的位置和类别；

（3）根据标注后的实测遥感影像切片，生成遥感图像目标样本集；

（4）基于信息熵对步骤（3）生成的遥感图像目标样本集进行评价；

（5）根据步骤（4）的评价结果对遥感图像目标样本集进行取舍，若遥感图像目标样本集不符合要求，则删除该遥感图像目标样本集，并返回步骤（3）中重新生成新的遥感图像目标样本集。

具体的，所述步骤（3）包括：

（301）根据角度旋转参数，对实测遥感影像切片进行等角度逆时针旋转，制作同一目标不同角度的样本集；

（302）根据噪声密度参数，对实测遥感影像切片添加不同密度的噪声，制作同一目标不同成像条件下的样本集；

（303）根据灰度变换幅度，对实测遥感影像切片进行不同亮度变换和成像对比度变换，制作同一目标不同亮度、不同对比度的样本集；

（304）根据剪切变换幅度，对实测遥感影像切片进行随机剪切，使其展示的是目标的随机部位成像，制作同一目标部位随机剪切的样本集；

（305）根据云层遮挡密度和云大小参数，对实测遥感影像切片进行不同大小和透明度的云层的随机遮挡，制作同一目标随机遮挡的样本集；

（306）将步骤（301）～（305）中各样本集中的样本进行排列组合，形成体现对同一目标拍摄过程的遥感图像目标样本集。

具体的，所述步骤（4）包括：

（401）计算包含同一目标的各实测遥感影像切片的信息熵；

（402）计算对应于步骤（401）所述目标的遥感图像目标样本集的信息熵；

（403）计算遥感图像目标样本集的信息熵与实测遥感影像切片的信息熵的差距，以该差距作为遥感图像目标样本集的评价值。

具体的，所述步骤（5）包括：

（501）若评价值小于预设阈值，则保留遥感图像目标样本集；否则，删除遥感图像目标样本集，并转入步骤（502）；

（502）调整步骤（301）～（305）中的角度旋转参数、噪声密度参数、灰度变换幅度、剪切变换幅度、云层遮挡密度和云大小参数，重新执行步骤（301）～（306）。

如图1所示，一种面向深度学习的遥感图像目标样本生成方法，其包括以下步骤：

1、遥感图像样本获取与标注

(1) 通过宽幅遥感影像进行样本切片提取，主要获得包含目标的遥感影像切片；

在进行样本切片提取的过程中，选取的切片大小以左右为准，可以适当调整，长宽比不受限制。

(2) 对影像切片进行目标标注，标注目标的位置和类别；

在包含目标的影响切片上进行目标标注，框选目标，获得目标的位置和类别，以XML文件形式记录标注信息，其中位置信息以目标位置框的最大最小坐标形式记录，即xmin、ymin、xmax、ymax。

2、遥感图像样本生成

(1) 角度旋转

制作同一目标不同角度拍摄结果样本集，对样本进行等角度逆时针旋转，使其具有多个角度形态。

设置旋转角度，最好以360的约数为主，以45°为例，则需要旋转360/45=8，减去最后旋转恢复原来角度的样本，则可以生成7个新的样本。

进行图像旋转，以图像中心作为旋转中心点，每旋转一个设置角度，存储相应的旋转后图像，同时计算旋转框的位置变化，重新记录xmin、ymin、xmax、ymax，写入XML文件，形成新的遥感图像目标标注样本。图2为旋转后的效果图。

(2) 添加噪声

制作同一目标不同成像条件下的拍摄结果样本集，对样本进行添加不同密度的噪声，使其具有不同成像清晰度形态，增加样本的成像多样性。

设置噪声类型和噪声密度，其中噪声类型有椒盐噪声和高斯噪声；

以设置的噪声类型和噪声密度进行遥感图像噪声的添加，如设置噪声类型2种，密度4种，则共获得种遥感图像样本。同时，由于目标位置信息没有变化，在修改标注图像文件名基础上，直接复制标注位置和类别内容，形成新的遥感图像目标标注样本。图3为加噪声后的效果图。

(3) 灰度变化

制作同一目标不同亮度、对比度结果样本集，对样本进行不同亮度变换和成像对比度变换，使其具有多种亮度、对比度成像形态，体现其在不同光照条件，不同时间下的成像，增加样本多样性。

设置灰度变化类型和变化参数，主要以亮度和对比度模式为主，变化参数为强度值。

以设置的灰度变化类型和变化参数进行遥感图像灰度的变化，如设置灰度变化类型为亮度变化和对比度变化，设置灰度参数为0.2和0.5，则共获得种遥感图像样本。同时，由于目标位置信息没有变化，在修改标注图像文件名基础上，直接复制标注位置和类别内容，形成新的遥感图像目标标注样本。图4为灰度变化后的效果图。

(4) 剪切变换

制作同一目标不同背景和目标部位随机剪切的结果样本集，对样本进行随机剪切，使其展示的是目标的随机部位成像，来增加样本的成像多样性。

设置剪切变化的剪切方向和剪切百分比，主要以上、下、左、右4个剪切方向为主，剪切百分比可以随机生成，但不得超过整个遥感图像样本的50%。

以设置的剪切变化类型和变化参数进行遥感图像剪切，如设置剪切方向数为4，剪切百分比为10%和30%，则共获得种遥感图像样本。同时，根据剪切方向和剪切百分比，计算获得目标新的标注位置，重新记录xmin、ymin、xmax、ymax，写入XML文件，形成新的遥感图像目标标注样本。图5为图像剪切后的效果图。

(5) 不同云层遮挡

制作同一目标不同位置和背景随机大小和位置遮挡的结果样本集，对样本进行不同大小和透明度的云层和位置的随机遮挡，来增加样本的成像多样性。

设置云层透明度、大小和云层类型，云层类型主要是从遥感影像中包含云的地方进行截取和保存。

以设置的云层遮挡类型和参数进行遥感图像云层遮挡变化，如设置透明度3种，设置云大小2种，云层类型6种，则共获得种遥感图像样本。同时，由于目标位置信息没有变化，在修改标注图像文件名基础上，直接复制标注位置和类别内容，形成新的遥感图像目标标注样本。图6为云遮挡后的效果图。

(5) 对不同变化进行排列组合

对上述5种变化进行排列组合，形成遥感图像变化样本。

3、基于信息熵的生成样本评价

（1）建立原始样本的信息熵判断基准

通过，计算原始样本信息熵，作为后续生成样本的信息熵基准。

其中，，记为(i, j)，其中i表示像素的灰度值(0<=i<=255)，j表示邻域灰度(0<=j<=255)，分别表示三通道的像素值差异值，N为图像大小。

（2）计算生成样本的信息熵

通过，计算生成样本信息熵。

其中，其中i表示像素的灰度值(0<=i<=255)，j表示邻域灰度(0<=j<=255)，分别表示三通道的像素值差异值，N为图像大小。

（3）计算生成样本与原始样本的特征差异

通过计算生成样本与原始样本的信息差异。

4、生成样本优选与反馈

（1）根据信息差异决定生成样本的去留

设置阈值，若大于阈值，则生成样本删除；若小于阈值，则生成样本保留。

（2）根据生成样本去留情况调整

若大于阈值，生成样本删除，则调整本次样本生成策略的参数（角度旋转的调度、添加噪声的密度、灰度变换的幅度、剪切变换的幅度、云层遮挡密度和云大小）。完成后继续返回生成样本评价阶段。

以遥感图像舰船目标样本为例，对各类变换后的样本进行基于深度学习的目标检测实验，表1为实验结果统计。可以看到，经过变换后，进行训练学习，其召回率显著提高，虚警率显著降低。

表1：

可以看出，针对遥感影像目标检测识别，经过变换后，目标特征得到更加充分的学习，检测识别性能提高，排除了大量的虚警干扰。因此，本方法对样本较少的深度学习检测识别应用具有显著的提高作用。

Claims (4)

1.一种面向深度学习的遥感图像目标样本生成方法，其特征在于，包括以下步骤：

（1）通过宽幅遥感影像进行样本切片提取，获得包含目标的实测遥感影像切片；

（2）在实测遥感影像切片中标注目标的位置和类别；

（3）根据标注后的实测遥感影像切片，生成遥感图像目标样本集；

（4）基于信息熵对步骤（3）生成的遥感图像目标样本集进行评价；

（5）根据步骤（4）的评价结果对遥感图像目标样本集进行取舍，若遥感图像目标样本集不符合要求，则删除该遥感图像目标样本集，并返回步骤（3）中重新生成新的遥感图像目标样本集。

2.根据权利要求1所述的一种面向深度学习的遥感图像目标样本生成方法，其特征在于，所述步骤（3）包括：

（301）根据角度旋转参数，对实测遥感影像切片进行等角度逆时针旋转，制作同一目标不同角度的样本集；

（302）根据噪声密度参数，对实测遥感影像切片添加不同密度的噪声，制作同一目标不同成像条件下的样本集；

（303）根据灰度变换幅度，对实测遥感影像切片进行不同亮度变换和成像对比度变换，制作同一目标不同亮度、不同对比度的样本集；

（304）根据剪切变换幅度，对实测遥感影像切片进行随机剪切，使其展示的是目标的随机部位成像，制作同一目标部位随机剪切的样本集；

（305）根据云层遮挡密度和云大小参数，对实测遥感影像切片进行不同大小和透明度的云层的随机遮挡，制作同一目标随机遮挡的样本集；

（306）将步骤（301）～（305）中各样本集中的样本进行排列组合，形成体现对同一目标拍摄过程的遥感图像目标样本集。

3.根据权利要求2所述的一种面向深度学习的遥感图像目标样本生成方法，其特征在于，所述步骤（4）包括：

（401）计算包含同一目标的各实测遥感影像切片的信息熵；

（402）计算对应于步骤（401）所述目标的遥感图像目标样本集的信息熵；

（403）计算遥感图像目标样本集的信息熵与实测遥感影像切片的信息熵的差距，以该差距作为遥感图像目标样本集的评价值。

4.根据权利要求3所述的一种面向深度学习的遥感图像目标样本生成方法，其特征在于，所述步骤（5）包括：

（501）若评价值小于预设阈值，则保留遥感图像目标样本集；否则，删除遥感图像目标样本集，并转入步骤（502）；

（502）调整步骤（301）～（305）中的角度旋转参数、噪声密度参数、灰度变换幅度、剪切变换幅度、云层遮挡密度和云大小参数，重新执行步骤（301）～（306）。