CN109583425A - 一种基于深度学习的遥感图像船只集成识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的遥感图像船只集成识别方法，包括图像分类、目标检测、图像分割。与现有技术相比，本发明利用现代人工智能深度学习模型结合传统的图像处理方法实现对目遥感图船只的检测和分割；基于深度学习的遥感图像分割方法可以准确识别海域中的船只，适应多种处理环境，对复杂的环境具备较好的抗干扰能力，并且可以准确地分割检测识别后的船只。

Description

一种基于深度学习的遥感图像船只集成识别方法

技术领域

本发明属于计算机视觉技术领域，涉及到的具体领域为目标检测和图像分割，特别是一种基于深度学习的遥感图像船只集成识别方法。

背景技术

随着遥感信息的发展，遥感图像的处理在图像领域中逐渐占据有重要位置，以遥感图像为平台的检测算法也层出不穷。而针对遥感图像船只目标检测与识别这个任务来说，目前大多数的检测算法是利用传统的提取特征的思路，通过对图像采用预处理和增强技术后，从而去检测目标船只。

由于遥感图像的特殊性，遥感图与普通图像相比，很容易受到光照、天气、海况或成像时间等条件因素的影响，云层和海浪信息也会对图像的质量造成干扰。另外，由于卫星波段的不同，图像的分辨率多样，其中高分辨率的船只目标形状、纹理等特征丰富，而低分辨率的船只图像则细节特征模糊。因此遥感图像独特的多样性特征对传统的方法来说是一项巨大的挑战。

一般来说，传统的方法，如支持向量机、动态阈值、自适应聚类等，是通过对图片的特征信息进行分类从而实现判断并检测出实际目标。但是传统的特征处理对数据样本的要求较高，对训练样本的敏感度较强，在遥感图像特征较为复杂多样的情况下使用传统方法检测的效果并不理想。

针对目标检测任务，传统的方法是基于特征描述和机器学习结合的一大类检测算法，通常包括目标候选区域和候选区域鉴别两个任务。传统的算法利用船只目标和背景海域之前的差异实现对候选区域的提取，再利用分类器对鉴别出的船只进行分类，方法直接简单。但是这种方法一般适合于海面较为简单且船只特征明显的情况，在海面复杂的时候，使用传统的检测方法实现的效果会变得很差。

针对图像分割任务，传统的方式有金字塔阈值法、均值漂移法和基于能量场的分割方法等。但传统的分割方法处理的对象一般为普通图像，对于环境极其复杂的遥感图像来说，这些分割算法很容易造成分割混乱的现象，从而无法正确分割前景和背景，更无法识别出分割的船只属于哪一类，也就自然无法很好地将船只目标分割出来。

综上，传统的目标检测和图像分割方法对于信息量丰富、条件复杂的遥感图像来说，检测和分割的效果无法令人满意，缺乏对处理环境的自适应性。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种基于深度学习的遥感图像船只集成识别方法，利用现代人工智能深度学习模型结合传统的图像处理方法实现对目遥感图船只的检测和分割；基于深度学习的遥感图像分割方法可以准确识别海域中的船只，适应多种处理环境，对复杂的环境具备较好的抗干扰能力，并且可以准确地分割检测识别后的船只。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于深度学习的遥感图像船只集成识别方法，包括以下步骤：

S1、图像分类：收集遥感图像数据集，采用ResNet-34结构的神经网络进行训练，并对所处理的遥感视野区域进行判断是否有船只存在；

S2、目标检测：利用ResNet-101神经网络构架作为特征提取网络，输入S1筛选出来的存在船只的遥感图像到设计好的神经网络中，提取存在船只的遥感图像的特征层，进而获取遥感图像位置信息；

S3、图像分割：通过U-Net构架的神经网络对S1筛选出来的存在船只的遥感图像进行训练，得到存在船只的遥感图像的特征图；并对不同尺度的特征信息图进行转置卷积运算，逐步提升特征信息的分辨率，使存在特征图中的位置信息得以具体地显现，最终得到船只的分割信息。

进一步，所述S1具体步骤如下：

S11、收集包含全球常见的海域信息的遥感图像组成遥感图像数据集，遥感图像数据集包含30万幅遥感图像，每幅遥感图像的分辨率大小为768pxX768px，格式为RGB三通道彩色图像；标记出所有遥感图像中存在船只的位置、轮廓和在遥感图像中所占像素点位置信息，制作出遥感图像的船只标签集，标签图像为分辨率768pxX768px，单通道灰度图，文件格式为jpg格式图像；

S12、图像增强：对存在船只的遥感图像采用图像水平/垂直翻转、图像随机旋转0-30度、图像亮度随机变化、图像对比度随机变化、图像扭曲中的一种或多种方式的组合进行图像增强；

S13、交叉验证法训练：将图像增强后的存在船只的遥感图像作为输入图像，采用ResNet-34结构的神经网络对上述遥感图像数据进行训练，在输入过程中采取5折交叉验证的方式进行训练；

S14、TTA图像分类推理：对输入图像进行TTA图像分类推理，并将输入图像分别进行水平翻转和垂直翻转后分别进行TTA图像分类推理，将以上推理结果和原始输入图像的推理结果进行融合，然后在训练好的ResNet-34结构的神经网络中进行测试，判断出遥感图视野中是否有船只存在。

进一步，所述S2具体步骤如下：

S21、卷积特征提取：利用ResNet-101网络结构提取存在船只的遥感图像的特征，分别在ResNet-101的五个不同阶段输出的特征层导出存在船只的遥感图像的特征信息；通过特征金字塔网络实现将存在船只的遥感图像不同尺度的特征信息进行融合提取，对提取的特征信息进行细化整合，得到最终的特征层；

S22、特征区域建议：利用S21提取的特征层，在所有的不同维度不同层数的特征层中进行anchor生成，对所有anchor进行方框框定，设定好框定像素长度和比例确定好之后，在特征图上生成一系列的建议区域；

S23、特征区域调整：对S22生成一系列的建议区域进行挑选调整从而最终得到大小合适、恰好包含测量船只的方框，设定损失函数，算法执行过程中不断地对损失函数进行优化以动态调整方框的位置，以及确实方框包含船只所属的分类，从而确定船只最终的位置；

S24、获取分类信息：在S23的基础上，通过降低分类损失从而得到该船只的分类信息，在程序中分类信息是one-hot独热码信息，进行转换成实际的船只分类信息，因此将遥感图像分类为船只目标和背景；

S25、边界框调整：边界框调整为检测误差在梯度更新时需要自动执行的部分，在进行梯度更新时，调整包含船只边界框的坐标位置，使边界框精确地对检测船只实现框定；

S26、优化检测损失：采用带动量的梯度下降法对S23的神经网络的损失函数进行优化，得到了最终最适合该船只的矩形标定框；

S27、获取分割掩码和边界框：构建掩码分支网络，输入S21-S26中提取到的分类框定区域以及特征信息，生成对应的掩码，得到目标检测后的图像。

进一步，所述S3具体步骤如下：

S31、多尺度特征提取：采用了U-Net结构的网络对S1筛选出的存在船只的遥感图像进行分割操作，其中U-Net的编码器为ResNet-34结构的神经网络，S1筛选出的存在船只的遥感图像输入编码器端输出不同尺度的特征信息；

S32、反卷积操作特征图：在ResNet-34结构的神经网络解码阶段则通过转置卷积操作对低分辨率的特征图进行升维操作，使其与解码段的特征信息进行结合得到分割后的图像；

S33、集成融合特征信息：将S27得到的目标检测后的图像与S32得到的分割后的图像进行融合得到更为准确的分割信息；

S34、马尔科夫随机场扩散分割点：利用马尔科夫随机场算法对S33得到的分割信息进行修正，选取分割信息种子点进行扩散，使分割信息更加完整和准确；

S35、开运算消除边缘重叠效应：根据形态学原理，对S34得到的结果图依次进行腐蚀和膨胀操作，对图像进行开运算，有效缓解船只分割信息的重叠效应，并提升分割效果；

S36、输出最终结果图。

与现有技术相比，本发明具有以下优点：

1)本发明采用先进的人工智能思想中的深度学习技术，构建神经网络对目标进行分类、检测和分割；设计的网络在进行适当的训练后具有较好的鲁棒性，可以准确判断遥感图像中是否存在目标并对目标进行定位和分割，这是传统技术所不具有的；

2)本发明对环境的抗干扰能力相比于其他传统的检测技术提高了一个层次，在深度神经网络对训练数据进行充分的学习后，即使所要检测的遥感图像条件复杂恶劣，该算法依然可以从复杂的背景中提取出所要检测目标的位置并进行对其进行分割；

3)本发明算法相比于其他采用传统算法的现有技术可以同时对图中多个目标物进行测量，采用了机器学习中的集成技术，提升了整体方法的鲁棒性。在算法处理的后续阶段采用与传统方法相结合的方式对结果图进行进一步的处理，达到准确的分割效果。

附图说明

图1为本发明实施例的总体流程图。

图2为本发明实施例的遥感图像训练数据以及采取的图像增强技术。

图3为本发明实施例的不同阶段采取的神经网络结构。

图4为本发明实施例的第二部分和第三部分的结果图像信息。

图5为本发明实施例的第四部分图像分割的结果图像信息。

图6为本发明实施例的图像后处理步骤以及最终的结果图像信息。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

参照图1，第一部分介绍本方法进行训练和测试所需要的数据集信息，本方法所采用的数据集为公共的遥感图像数据集，图像数据集的总数为300,000幅，分辨率皆为768pxX768px，其中图像的通道数量为三通道彩色RGB，文件格式为jpg格式。算法训练过程中还需要包含分割信息的标签集，其中标签集数量与数据集相同，并且一一对应。如图2(a)，展示了本发明所使用的部分遥感图像信息，其中船只的标签集利用半透明掩膜与原始图像进行融合，从图中可以看出亮条状的遮罩范围就是船只的实际分割区域。

在实际训练中，需要将图像数据集划分为三个部分，分别是训练集、验证集和测试集。其中训练集在训练过程中输入神经网络，验证集则在训练过程中周期性地验证方法的合理性，而测试集则在方法完成时对方法的性能进行评估。

其中，在总共的300,000的数据中，挑选200,000幅图像作为训练集的数据，挑选30,000幅图像作为验证集的数据。其中剩下的70,000幅图像作为测试集数据，整个数据分配比例为20:3:7，符合深度学习训练标准。标签集与数据集的分配比例相同，其中标签图像为分辨率768pxX768px，单通道灰度图，文件格式为jpg格式图像。标签图包含了对应数据集图像的分割信息，其中背景的像素值为0，船只分割实体的像素值为1。

第二部分介绍采用Resnet-34经典结构的神经网络对遥感图像进行分类的具体过程。结合图1中的总体流程，第二部分的主要执行步骤为：图像输入与图像增强、交叉验证法训练、TTA图像分类推理。

(1)、图像输入与图像增强

在这一步中，本发明将要对所处理的遥感图像进行训练。在利用神经网络进行训练之前，我们需要对将要训练的图像通过图像增强技术的处理，这样可以增加神经网络学习图像特征的难度，使算法可以更加深入地挖掘遥感图像的特征信息，达到准确的分类效果。

针对遥感船只图像数据集的特点，本发明采取了以下几种图像增强方式：图像水平/垂直翻转、图像随机旋转0-30度、图像亮度随机变化、图像对比度随机变化、图像扭曲。如图2(b)，展示了针对图2(a)遥感数据集中一副包含船只图像例子的不同增强方式的效果。

(2)、采用的神经网络构架

神经网络中主要的运算方式为卷积运算，与传统滤波器的运算方式相似，在对输入图像进行分析训练的过程中，神经网络由浅到深逐渐提取遥感图像的特征来进行分析。基本的卷积操作如下：

其中x为卷积输入的图像，h为卷积核，y为卷积后的结果，卷积操作是基于深度学习的图像处理中基本的计算方法，通过对卷积核进行参数更新，实现对输入图像特征提取的效果。

选择合适的神经网络构架对第一阶段的分类性能有着很重要的关系。本发明中，选择了残差网络ResNet-34作为分类网络的骨干网络，ResNet-34残差结构的设计可以有效地提取图像的特征。本发明通过对网络尾部层数进行修改，使该网络构架拥有对遥感图像分类的能力，如图3(a)，展示了使用的残差网络ResNet-34结构。

另外，为了增加训练精度以及训练时的速度，针对第一阶段的图像分类任务，本发明在正式训练前首先对ImageNet图像分类数据集进行预训练。这样采用了迁移学习的方法，使设计好的网络权重提前对图像分类具有高度敏感性。预训练后，得到符合要求且高精度的权重信息，之后在正式训练阶段则使用上一步得到的预训练权重，可以有效提升网络的泛化能力。

上文中描述的ResNet-34骨干网络所采用的损失函数为交叉熵(CrossEntropyLoss)损失，交叉熵损失用于对结果分布和标签分布进行差异计算，两者分布差异越大则损失值越大。交叉熵损失公式如下：

其中x为网络计算出经过sigmoid函数零一化的结果，class则为标签集，在此阶段标签集值分别为1和0，其中1代表对应图像中存在船只，而0则代表对应图像中无船只存在。

(3)、交叉验证法训练

准备好数据和设计好神经网络之后，将训练集的数据输入网络进行训练。在输入过程中采取5折交叉验证的方式，首先对训练集中的图像集数据进行划分，将其划分为5个互不交集的集合，每个集合中有40,000幅图像，5个集合中一共有200,000幅图像。

从上述5个集合中挑选出一个集合作为训练时的验证集，其余四个集合作为训练集进行训练。一共训练5个批次，每个批次训练20回合，每个批次中挑选的验证集不同。通过交叉验证的方式可以充分地利用数据集中的信息，从而使神经网络学习到遥感图像更多的特征，并且有效地避免了过拟合的现象。

训练过程中采取的批次为32，优化函数为adam优化器，其中动量参数为0.9、0.99，初始学习率为0.01。在每个回合中有目的地对学习率进行衰减，至最后一个回合学习率衰减为0.00001。

(4)、TTA图像分类推理

在对船只数据集进行训练后，本发明设计的网络可以很好地对遥感图像进行分类，划分出包含船只和不含船只的图像信息。在推理阶段，采用了TTA推理增强的方法，对输入图像分别进行水平翻转和垂直翻转后分别进行推理，将以上的推理结果和原始输入图像的推理结果进行融合，在测试集上测试的准确率可以达到98.6％，如图4(a)所示为对测试集进行分类的混淆矩阵。训练好的算法网络可以准确地判断遥感图视野中是否有船只存在。并将输出信息作为后续的分类信息。

第三部分介绍利用ResNet-101结构的神经网络进行目标检测的具体过程，结合图1中的总体流程，这一部分的执行步骤主要为：卷积特征提取、特征区域建议、特征区域调整、获取分类信息、边界框调整、优化检测损失、获取分割掩码以及边界框。

(1)、特征提取网络

在目标检测阶段中，本发明利用卷积操作在图像中进行滑动操作来提取图像的内容信息和边缘信息，ResNet-101是一个极深的神经网络，如图3(b)展示了ResNet-101的基本结构，其网络构架包含有101个网络层。ResNet-101是目前最深的神经网络结构，通过构建残差层来实现极深网络，因为该神经网络拥有很深的深度，故神经网络可以更有效地提取图像的深度特征信息，从而达到目标检测的目的。

(2)、利用神经网络进行特征提取

本发明首先利用ResNet-101神经网络对本发明输入的图像进行特征提取，本发明抽取ResNet-101的5个stage的输出层来表示当前的图像特征，这5个stage的输出特征层数分别为128、256、512、512、512，特征提取越深，特征层数越多。

在提取出这5个特征层后，针对这个5个特征层，本发明通过特征金字塔网络将这些特征信息层进一步抽取其中的特征，特征金字塔网络可以更加细化地抽取图像中的特征，通过将之前的5个stage输出的特征层依次进行上采样操作以及合并特征层操作，本发明可以得到4个包含精细化特征的网络层，然后对这4个网络层再利用核大小为3的卷积层再次卷积操作得到全部为256层的最终的特征层。

这些特征层将作为之后步骤中的区域建议以及掩膜覆盖等操作的特征输入。

(3)、特征区域建议

特征区域建议是整个目标检测环节比较重要的一步，输入一张包含本发明要测量船只的图像，如何去定位这些船只的位置是算法中首先要考虑到的。首先，本发明利用之前提取的特征层，在所有的不同维度不同层数的特征层中进行anchor生成。

anchor是本发明在特征图像中生成的一个个采集通道，间隔一般设置为2，每层特征图当中生成的数量为2000个，生成数量为超参数，根据需求可以进行调整，提高生成量会提高检测的准确度，但相应地会降低算法的执行速度。anchor生成的过程和卷积过程是类似的，提取的特征层中按照设定好的间隔逐层扫描，最终本发明得到一个个拥有anchor的特征图。

当所有上一步中提取出的特征图都进行了anchor生成之后，本发明需要对anchor进行方框框定，设定好每层特征层的anchor比例，为了保证不同大小的船只都能够被由anchor形成的方框框定，一般设置由anchor生成的框定区域的长度pixel为：32、64、128、256、512。另外因为船只的形状有可能为长方形或者正方形等，因此设定框定区域的比例为0.5、1、2。当框定像素长度和比例确定好之后就可以在特征图上生成一系列的建议区域。

经过上一步之后，在特征图中形成了许多的框定信息。特征图中的建议区域代表此时以该像素点为中心的方框有可能将所含的目标包含，之后的步骤中需要调整区域建议区域，使其框定的方框更加准确并且恰好地包含本发明需要测量的船只。

另外除了生成带有4个坐标点的框定方框之后，还需要生成该方框所属的分类，从而确定方框包含的船只是哪一种船只，对其船只的信息进行分类。

(4)、特征区域调整

在上一步得到特征图中的区域建议集合后，需要对其进行挑选调整从而最终得到大小合适，恰好包含测量船只的方框，为此需要创建根据不同目的设定的损失函数。算法执行过程中不断地对损失函数进行优化就可以动态调整方框的位置，以及确实方框包含船只所属的分类，从而确定某类船只最终的位置。

这里损失函数一共分为三个部分，分别是分类误差Lcls、检测误差Lbox以及掩码分割误差Lmask，分类误差表示此事船只是否属于特定类船只的信念值的负数，在神经网络进行训练的过程中，通过对比由算法得出的分类结果和标签(人工标注，即groundtruth)对比的结果导出损失函数值，随后通过特定的优化函数对此进行优化，经过神经网络的反向反馈操作，主动减少该损失，更新神经网络的权重信息，使其拥有检测船只分类的能力。

同样，检测误差和掩码分割误差也是通过对比算法计算出的结果和实际的标签结果来进行优化，不同的是，检测误差的参数为该船只的4个坐标值，通过MSE均方差来比较4个坐标值与实际船只的4个坐标值同样得出损失值。

下面的公式为MSE均方误差表达形式，本发明通过对比相应的坐标值就可以得到两者之间的损失值：

掩码分割误差l_mask则是根据损失IoU(IntersectionoverUnion)标准来计算，IoU是评价图像分割是否达到指定标准的计算公式，target代表目标掩码覆盖区域，prediction代表预测掩码覆盖区域：

当预测掩码覆盖区域和目标掩码覆盖区域完全重叠时，IoU的值为1，此时代表预测完全达到了本发明需要的标准，当预测掩码覆盖区域完全脱离目标掩码覆盖区域，IoU的值为0，代表预测完全错误。

最后所有的损失L可以概括为下面的公式：

L＝Lcls+Lbox+Lmask

总体的损失函数分为三个部分，分别为船只分类损失Lcls、方框框定损失Lbox以及掩码损失Lmask，通过前向操作和后向反馈操作，本发明可以训练神经网络，从而减少总体损失，进而可以得到最终训练好的神经网络权重。

(5)、获取分类信息

在上一步中已经对分类损失进行了描述，算法中本发明通过降低分类损失从而得到该船只的分类信息，在程序中分类信息是one-hot独热码信息，需要进行转换成实际的船只分类信息，遥感图像中有两种船只分类，分别是船只目标和背景。

(6)、边界框调整

边界框调整为检测误差在梯度更新时需要自动执行的部分，在进行梯度更新时，不仅仅是计算坐标是否正确的损失，另外还设定了坐标四个点的偏移值，在梯度更新过程中同时也对偏移值进行更新，从而达到调整包含船只边界框的坐标位置，使边界框可以精确地对检测船只实现框定。

(7)、优化检测损失

优化损失即之前提到的损失优化的过程，本发明采用的神经网络优化损失的优化方法为带动量的梯度下降法，学习率随着迭代次数会逐步衰减。学习率为超参数，面对不同的图像集需要设置不同的初始学习率，默认的学习率L_r为0.001，其中动量参数为0.9，衰减率为0.0001。

在训练过程中，对训练集进行训练而对验证集单独进行验证。观察训练总体损失loss以及验证集的损失曲线，设定截断回数n，即当前损失函数在n个循环后无明显变动的情况下对训练进行提前终止操作。这样可以有效避免过渡训练而造成的过拟合，损失函数曲线不升反降。

在得到最终的提议区域(Proposals)之后，在实际船只的周围会存在很多的提议区域，这时需要找到一个合适的提议区域以确定目标的最终位置，此刻本发明根据非极大值抑制(Non-Maximum Suppression)算法来挑选最合适的目标提议区域。

非极大值抑制算法抑制不是极大值的元素，与局部最大搜索功能相似，在某一个船只周围形成提议区域的方框集中，需要使用非极大值抑制算法挑选出最适合船只框定的提议区域，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分类及分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最高(是某类对象的概率最大)，并且抑制那些分数低的窗口。

简单来说，非极大值抑制的目的是消除多余的方框，找到最佳的船只检测物质，分为以下几个步骤：

1、假设有6个候选框，根据分类器类别分类概率做排序，从小到大分别属于车辆的概率分别为A、B、C、D、E、F。

2、从最大概率矩形框F开始，分别判断A～E与F的重叠度IOU是否大于某个设定的阈值。

3、假设B、D与F的重叠度超过阈值，那么就扔掉B、D；并标记第一个矩形框F，是本发明保留下来的。

4、从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与A、C的重叠度，重叠度大于一定的阈值，那么就扔掉；并标记E是本发明保留下来的第二个矩形框。

5、一直重复这个过程，找到所有曾经被保留下来的矩形框。

执行上述这几个步骤之后，本发明得到了最终最适合该船只的矩形标定框。

(8)、获取掩码分割和边界框

之前的步骤中本发明得到了检测船只周围的位置信息，即包含该船只的矩形框，这一步中需要最目标中的船只进行掩码覆盖，使掩码像素尽可能覆盖整个船只的表面，从而获取船只的轮廓信息。

回顾第一部分提到的网络层的构架中，本发明将输入图像通过ResNet-101网络进行特征提取从而得到了输入图像的不同维度不同尺寸的特征信息。由于卷积操作和池化操作的不变性，这些特征信息中包含了船只在图像中的位置。

本发明通过构建掩码分支网络，输入上一步中提取到的分类框定区域以及特征信息，生成对应的掩码，具体步骤如下：

1、提取不同特征图中的船只信息；

2、调整特征图的尺寸，将不同的特征图的特征信息通过比例缩放融合；

3、根据实际尺寸与特征图的缩放比例，将特征掩码按比例放大；

4、将放大后的掩码与实际掩码进行比较，计算损失值；

第三个步骤中，因为掩码像素是浮点型数值，因此软掩码在放大的过程中会保证精度保留更多的细节，最终得到的掩码可以比较好的覆盖所需要测量的船只，每一个检测目标都会对应一个掩码信息。如图4(b)中展示了第三部分输出的分割结果，通过对比左侧实际的掩码，可以发现右侧的检测信息已经比较准确可靠。

第四部分主要执行的步骤为图像分割，在上一步中本发明通过目标检测方法利用方框位置信息得到了船只目标的掩码信息。但其掩码信息并不能完全代表船只的分割信息，因此在第四部分采用了U-Net结构的网络对遥感船只图像进行分割操作，其中U-Net的编码器为ResNet-34结构的网络，解码器则根据编码器的特征重新设计，最终输出图像的分割信息。

第四部分的总体步骤为：多尺度特征提取、反卷积操作特征图、集成融合特征信息。其中集成融合特征信息与第三部分中的输出信息进行融合，最终得到更为精确的分割信息。

(1)、多尺度特征提取

U-Net网络的结构如图3(c)所示，其中编码器和解码器相应的部位进行了合并。利用U-Net结构的多尺度特征提取方式目的在于在编码器端，不同尺度的特征与解码器相应部分的特征进行融合。因此在解码器阶段，神经网络不仅自底向上对特征图进行了升维操作，并且结合了编码器阶段的特征向量。使得网络特征信息更加丰富和精确。

在训练阶段采用的图像数据维度为(3，768，768)，其中图像的通道数为3，分辨率大小为768。而网络的输出阶段的维度则是(1，768，768)，和标签数据集相同，在网络中采取的损失函数为混合损失函数，分别为Dice损失和Focal损失。通过优化算法降低损失值从而使网络精确地对图像进行分割，混合损失的公式如下：

M_loss＝D_loss+t*F_loss

其中M_loss为混合损失函数，D_loss为Dice损失函数，F_loss为Focal损失函数，t为Focal损失的权重系数，经过验证，该系数取10实验效果最好。

D_loss损失通常应用为图像分割任务，通过比较输出的分割信息和实际的标签信息指导优化器对网络进行调整。公式如下：

其中A和B分别代表输出的分割信息和实际的分割信息，当两者像素信息完全重合时，该损失函数为0，完全不重合时，损失函数为1。

Focal损失为交叉熵损失的变体，通过对交叉熵损失进行修改，对分割数据像素不平衡的任务有很好的适应性，其公式如下：

其中y和y’分别表示实际的像素值和网络输出的像素值，两者范围都为0-1。当两者完全相同值，损失函数值为0。γ参数使得减少易分类样本的损失，而平衡因子α则用来平衡正负样本本身的比例不均。

(2)、反卷积操作特征图

网络训练的过程中，遥感图像输入编码器端输出不同尺度的特征信息，在解码阶段则通过转置卷积操作对低分辨率的特征图进行升维操作，使其可以和解码段的特征信息进行结合。升维操作的方式为转置卷积，转置卷积可以在训练过程中学习升维的像素信息，保证升维后的信息准确度。图5(a)中展示了图像分割的热点图，图5(b)则展示了分割结果图，其中左侧为原始图像，中间为分割后的图像，而最右侧则为实际的标签集。

(3)、集成融合特征信息

将第四部分和第三部分中得到的图像分割信息进行集成，将两者的分割信息进行简单的加权操作，第四部分的系数为0.7，第三部分的系数为0.3，进行加权操作后可以得到更为准确的分割信息，如图6(c)展示了最终的分割结果。

第五部分主要为针对前几部分中的输出图像进行处理，从而对遥感分割图作进一步的修正，达到更好的效果。这一阶段的主要步骤为：马尔科夫随机场扩散分割点、开运算消除边缘重叠，输出最终结果图。下面对这一阶段的实现步骤进行具体的介绍：

(1)、马尔科夫随机场扩散分割点

在之前的几个步骤中，已经完成了遥感图像船只的分类以及目标的检测分割，并最终输出了遥感图像的分割信息。但是这些分割信息在精度上仍然有提升的空间：1、船只图像在边缘处的分割存在缺失的现象；2、在船只分布比较密集的区域船只的边缘信息很容易重叠。

因此在最后一步中第一进行的任务即完善在边缘处的分割信息，使掩码尽可能地覆盖整个要检测的船只目标，图像分割的精度。为此采用马尔科夫随机场的方法对掩码信息进行完善。

检测目标的像素点分布相当于一个马尔科夫随机场，实际在检测的过程中，本发明处理的对象是图像中的一个个像素点。本发明要检测目标的像素点分布一般都是有联系的，满足基本的正态分布，因此，相邻的像素点之间的关系可以通过概率的方式来表示。

调整覆盖掩码的过程可以理解为根据种子像素点寻找其他同类像素点的过程，根据像素点之间的相互连接关系对种子节点进行扩展从而覆盖整个目标区域，图像的像素点之间的关系可以用以下的公式来描述：

其中S为输入图像，W为当前像素点的所属分类，P(S|W)为条件概率分布，P(W)为分类结果的先验概率分布，P(S)为图像的概率分布，P(W|S)为最后的分类结果，根据图像信息判断各个像素点是否属于该目标区域。

在这个过程中，当前像素点的分类有两种：属于该检测目标；不属于该检测目标。属于该检测目标的像素点，将其归并进掩码区域，不属于的像素点则忽略排除。目标船只中的像素点提前知道了分类信息：w₁、利用先验概率P(W)以及条件概率P(S|W)就可以计算合并属于同一船只的像素点。

通过吉布斯分布可以得到目标物的像素点分布，吉布斯分布式根据各个船只之间的关系来构建分布信息，之前提到过属于某一船只的图像中的像素点之间是有关系的，同样，这个船只周围的像素点和这个船只表面覆盖的像素点也是有关系的，利用这些关系去构建吉布斯分布就可以计算像素点之间的条件概率从而得到整个图像中的联合分布。

根据Hammersley Clifford理论，马尔科夫随机场和Gibbs分布是一致的，也就是说，P(W)像素是否属于该船只的的分布满足Gibbs分布：

其中Z为配分函数，即一个归一化常数，T越大这个P(W)的窗口越平滑，另外U₂(w)代表势能团之间的关系。而：

上述公式中V_c代表为势能团的势能。其中β为耦合系数，s，t分别为相邻的两个像素点。

吉布斯采样(Gibbs sampling)是利用条件分布进行一系列运算最终近似得到联合分布的一种采样方法，相应的，吉布斯分布就表示这些满足吉布斯分布的分布信息可以通过求像素点之间相应的条件概率来近似地求这些分布信息的联合分布。而在目标船只图像中，可以知道P(w₁|w₂)相邻两个像素点这种的局部作用关系，假如这个像素点标记属于该船只，那么接下来需要计算这个像素点周围的标记信息分别是多少，计算其周围分布标记信息的概率，从而确定这个像素点的分类标记是否正确需不需要更新。

上述公式中P(S|W)*P(W)＝P(S，W)，因此，计算

相当于计算：

即图像和像素点分类的联合概率分布，因此这里使用吉布斯分布来表示P(W)，而P(S)表示图像的分布信息，通常为常数。

在吉布斯分布的前提下，马尔科夫随机场就可以转化为势能的问题，通过能量函数确定MRF的条件概率，从而使其在全局上具有一致性。即通过单个像素及其邻域的简单的局部交互，MRF可以获得复杂的全局行为，即利用局部的Gibbs分布得到全局的统计结果。

在实际中，本发明求得是P(S|W)*P(W)，P(W)可以通过上述说明的势能函数计算出来，而求P(S|W)即利用标记信息去估计这个像素点的值，假设某个标记分类中的像素点分布满足高斯分布，本发明就可以根据某一个像素点的值判断它在哪个分类中，即该像素点是否属于该船只区域。

像素点的分布相当于一个高斯分布：

其中分类信息w＝1，2代表当前的像素是否属于当前船只。求出其中的以及其中N_w为某种分类下像素的个数，N为整幅图的像素个数，y为像素值。

这样，通过P(S|w₁)，P(S|w₂)就可以估计每个像素点的归属分类，最后本发明将后验概率转化为先验概率和似然函数的乘积(P(W)*P(S|W))，逐步更新标号使得上面的概率越大得到最佳的分割效果。

图6(b)左侧图像为迭代过程中的初始图，船只分割信息虽然明确地表示出来但是依然不够完整，图6(b)右侧图像为最终的迭代结果，可以看到要检测的船只基本可以被掩码覆盖，边缘信息也覆盖完整，覆盖精度相比之前有了很大的提高。

(2)、开运算消除边缘重叠效应

边缘重叠效应在船只密集的地方很容易发生，为此在此步骤中，采用传统方法中的形态学对原始分割后的图像进行优化。采用的基本运算方式为开运算，具体步骤划分为先腐蚀后膨胀，通过实验验证，在经过适当的操作后可以有效消除边缘重叠效应。

开运算步骤中，第一步的腐蚀效应公式如下：

其中A为输入的分割原始图像，而B则为提前设定好的核函数，即利用B去腐蚀图像A。具体步骤类似于卷积操作，核函数B在原始分割图像的像素点区域中依次移动，核函数与该像素点范围区域乘积结果为1的区域置为1，其余区域则为0，经过迭代后可以消除分割图像重叠的边缘信息。

开运算步骤中，第二步的膨胀效应公式如下：

其中A为输入的原始分割图像，而B则为提前设定好的核函数，膨胀操作与腐蚀操作相反。核函数B在原始分割图像的基础上，对图像的像素点依次进行卷积操作，核函数与该像素点范围内的交集区域只要不为空，那么该区域就置为1，经过数次迭代后可以将边缘处的信息重新填充。

在经过上述的开运算之后，可以较为准确地将重叠船只的边缘信息进行消除，从而保证每个独立的船只被完好地分割出来。如图6(a)，最左侧为原始输入的遥感图，中间图为原始的分割图像，可以观察到上方的船只边缘有重叠现象，通过开运算后船只边缘的重叠现象得到了良好的缓解。

(3)、输出最终结果图

通过第一部分到第五部分的所有步骤之后，结合了深度学习和传统方法的优点，本方法可以对复杂环境的遥感图像进行检测，精确地将图像中的船只目标分割，并且可以有效避免边缘重叠和边缘缺失的现象，最终的结果如图6(c)，可以发现图中存在的船只被精准地分割出来。

本发明的成果可以通过下述实验加以说明：

1.实验条件：

本发明在英特尔酷睿i7-7800x，32GB内存、图形计算器为GTX 1080ti的Ubuntu-16.04***上运行。采用软件平台为PyCharm和OpenCV，对分辨率为768px×768px的遥感图像数据集进行测试。

2.实验结果：

如图6(a)是最终结果进行开运算的过程，左侧第一幅图为原图，中间为原始结果图，最右侧为经过开运算后的结果图。可以发现经过开运算处理，图像分割中多船只边缘重合的现象略有改善。而图6(b)则显示了马尔科夫随机场对船只分割效果的提升，左图为马尔科夫随机场填充前的分割信息，右图为处理后的分割信息，可以看到处理后的分割信息更加完善，对边缘也有更好的检测精度。而在图6(c)中则显示了经过以上所有步骤的最终结果，图中结果所示为在原始图像的基础上添加半透明分割信息的图像，可以看到对遥感图像具有良好的分割效果。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的遥感图像船只集成识别方法，其特征在于，包括以下步骤：

S1、图像分类：收集遥感图像数据集，采用ResNet-34结构的神经网络进行训练，并对所处理的遥感视野区域进行判断是否有船只存在；

S2、目标检测：利用ResNet-101神经网络构架作为特征提取网络，输入S1筛选出来的存在船只的遥感图像到设计好的神经网络中，提取存在船只的遥感图像的特征层，进而获取遥感图像位置信息；

S3、图像分割：通过U-Net构架的神经网络对S1筛选出来的存在船只的遥感图像进行训练，得到存在船只的遥感图像的特征图；并对不同尺度的特征信息图进行转置卷积运算，逐步提升特征信息的分辨率，使存在特征图中的位置信息得以具体地显现，最终得到船只的分割信息。

2.根据权利要求1所述的基于深度学习的遥感图像船只集成识别方法，其特征在于：所述S1具体步骤如下：

S11、收集包含全球常见的海域信息的遥感图像组成遥感图像数据集，遥感图像数据集包含30万幅遥感图像，每幅遥感图像的分辨率大小为768pxX768px，格式为RGB三通道彩色图像；标记出所有遥感图像中存在船只的位置、轮廓和在遥感图像中所占像素点位置信息，制作出遥感图像的船只标签集，标签图像为分辨率768pxX768px，单通道灰度图，文件格式为jpg格式图像；

S12、图像增强：对存在船只的遥感图像采用图像水平/垂直翻转、图像随机旋转0-30度、图像亮度随机变化、图像对比度随机变化、图像扭曲中的一种或多种方式的组合进行图像增强；

S13、交叉验证法训练：将图像增强后的存在船只的遥感图像作为输入图像，采用ResNet-34结构的神经网络对上述遥感图像数据进行训练，在输入过程中采取5折交叉验证的方式进行训练；

S14、TTA图像分类推理：对输入图像进行TTA图像分类推理，并将输入图像分别进行水平翻转和垂直翻转后分别进行TTA图像分类推理，将以上推理结果和原始输入图像的推理结果进行融合，然后在训练好的ResNet-34结构的神经网络中进行测试，判断出遥感图视野中是否有船只存在。

3.根据权利要求2所述的基于深度学习的遥感图像船只集成识别方法，其特征在于：所述S2具体步骤如下：

S21、卷积特征提取：利用ResNet-101网络结构提取存在船只的遥感图像的特征，分别在ResNet-101的五个不同阶段输出的特征层导出存在船只的遥感图像的特征信息；通过特征金字塔网络实现将存在船只的遥感图像不同尺度的特征信息进行融合提取，对提取的特征信息进行细化整合，得到最终的特征层；

S22、特征区域建议：利用S21提取的特征层，在所有的不同维度不同层数的特征层中进行anchor生成，对所有anchor进行方框框定，设定好框定像素长度和比例确定好之后，在特征图上生成一系列的建议区域；

S23、特征区域调整：对S22生成一系列的建议区域进行挑选调整从而最终得到大小合适、恰好包含船只的方框，设定损失函数，算法执行过程中不断地对损失函数进行优化以动态调整方框的位置，以及确实方框包含船只所属的分类，从而确定船只最终的位置；

S24、获取分类信息：在S23的基础上，通过降低分类损失从而得到该船只的分类信息，在程序中分类信息是one-hot独热码信息，进行转换成实际的船只分类信息，因此将遥感图像分类为船只目标和背景；

S25、边界框调整：边界框调整为检测误差在梯度更新时需要自动执行的部分，在进行梯度更新时，调整包含船只边界框的坐标位置，使边界框精确地对检测船只实现框定；

S26、优化检测损失：采用带动量的梯度下降法对S23的神经网络的损失函数进行优化，得到了最终最适合该船只的矩形标定框；

S27、获取分割掩码和边界框：构建掩码分支网络，输入S21-S26中提取到的分类框定区域以及特征信息，生成对应的掩码，得到目标检测后的图像。

4.根据权利要求3所述的基于深度学习的遥感图像船只集成识别方法，其特征在于：所述S3具体步骤如下：

S31、多尺度特征提取：采用了U-Net结构的网络对S1筛选出的存在船只的遥感图像进行分割操作，其中U-Net的编码器为ResNet-34结构的神经网络，S1筛选出的存在船只的遥感图像输入编码器端输出不同尺度的特征信息；

S32、反卷积操作特征图：在ResNet-34结构的神经网络解码阶段则通过转置卷积操作对低分辨率的特征图进行升维操作，使其与解码段的特征信息进行结合得到分割后的图像；

S33、集成融合特征信息：将S27得到的目标检测后的图像与S32得到的分割后的图像进行融合得到更为准确的分割信息；

S34、马尔科夫随机场扩散分割点：利用马尔科夫随机场算法对S33得到的分割信息进行修正，选取分割信息种子点进行扩散，使分割信息更加完整和准确；

S35、开运算消除边缘重叠效应：根据形态学原理，对S34得到的结果图依次进行腐蚀和膨胀操作，对图像进行开运算，有效缓解船只分割信息的重叠效应，并提升分割效果；

S36、输出最终结果图。