CN116152678A - 小样本条件下基于孪生神经网络的海洋承灾体识别方法 - Google Patents

Abstract

一种小样本条件下基于孪生神经网络的海洋承灾体识别方法，建立影像样本库；通过数据增强方法对样本库进行扩充；对样本进行标注；引入注意力机制SKNet网络，结合ResNet101网络构建主干特征提取网络；基于主干特征提取网络，构建双路结构相同、权值共享的孪生神经网络；对输入数据用孪生神经网络进行特征提取；通过损失函数计算双路特征向量的距离；输出所属的海洋承灾体类别信息。本发明针对海洋承灾体多尺度、多样性、样本少等特点，通过将卷积网络与改进的三通道SKNet网络相结合，增强了算法的特征提取能力与特征有效性，提升了算法对小样本、多尺度目标的自适应能力，更适用于对小样本条件下海洋承灾体的识别分类。

Description

小样本条件下基于孪生神经网络的海洋承灾体识别方法

技术领域

本发明属于海洋应急防灾技术领域，涉及海洋承灾体识别方法。

背景技术

台风灾害是世界上最具破坏力的自然灾害之一。随着我国综合国力不断增强，海洋灾害预警预报水平也在不断提升，各省、区建设有海洋观测预报综合业务平台，来应对海洋环境与灾害数值预报，该平台通过岸站、浮标、卫星、雷达等观测手段，开展对风暴潮、海浪、风场等海洋灾害前期预警提供服务，平台提供的海洋灾害预警预报服务主要以大区域、警示性作用为主，对小区域、精细化预警信息服务存在不足，特别是在重大海洋灾害过程中未能实现对不同区域的差异化预警服务，防灾减灾部署依据定性多、定量少。因此，进行精细化脆弱承灾体灾变机理研究，构建精确的灾损评估模型，实现脆弱承灾体评价及灾变评估，为强台风来临时防灾减灾精细化管理提供依据，辅助政府对海洋防灾减灾工作进行指挥与决策，最大限度的减少灾害损失，具有重大意义。

由于台风灾害的复杂性(包括强风灾害、强浪灾害、海水倒灌等不用类型的灾害)及海洋承灾体脆弱性评价的不确定性(刚性、非刚性及点状、线状、面状不同类型的承灾体，及灾变、灾损的不确定性)，常规的气象模拟手段仅能大致预测气象灾害形成的时间、路径等，而不能预估灾害可能带来的损失和社会影响，难以满足当前社会发展对精准化、智能化应对需求。因此，如何科学评价海洋承灾体的脆弱性、摸清海洋承灾体灾变机理及建立灾损评价模型，实现台风风暴潮灾害的灾前、灾中、灾后全过程灾损评估与预警，提高海洋防灾减灾应急管理水平，是事关公众安全和国民经济稳定、快速发展的重要课题。

传统的承灾体脆弱性评价方法，大多是基于承灾体脆弱性的实体与关系共性要素，构建承灾体脆弱性的评价指标体系与权重计算物理模型,实现对承灾体脆弱性知识的表示、集成及存储。这种方法很大程度上依赖于研究人员的经验与权重参数的选取，而灾害的致灾因子和灾变响应是一种复杂的非线性关系，具有很强的不确定性和难掌控性，因此仅仅依赖于传统的物理模型较难准确实现对承灾体的脆弱性评价及灾损评估。

发明内容

本发明以典型脆弱海洋承灾体为研究对象，提出了一种小样本条件下基于孪生神经网络的海洋承灾体识别方法。针对点、线、面的各种典型海洋承灾体，构建小样本库；设计孪生神经网络结构对样本库进行训练，得到小样本条件下的海洋承灾体识别模型，用于承灾体评价及灾变预警，从而构建出脆弱承灾体灾变响应模型。

为达到上述目的，本发明采用以下技术方案。

本发明所述的一种小样本条件下基于孪生神经网络的海洋承灾体识别方法，主要包括3部分：(1)数据增强：通过旋转角度、随机裁剪、调整图片亮度等方法对小样本数据集进行数据增强；(2)设计主干特征提取网络：其功能是进行特征提取，各种神经网络都可以适用；(3)构建孪生神经网络：该网络有两个结构相同且共享权值的子网络，通过一个有监督的度量学习来训练，然后重用那个网络所提取的特征进行小样本学习。具体包括下述步骤：

步骤S1、利用无人机对典型海洋承灾体进行精细化数据采集，结合卫星遥感图像，建立其图像数据集，包括目标图像和标注信息等。

步骤S2、通过随机角度旋转、随机裁剪、对比度调整、灰度均衡等方法对样本库进行数据增强。

步骤S3、引入注意力机制，基于卷积神经网络设计主干特征提取网络，实现图像特征的提取。通过SKNet和卷积神经网络的多重组合，进行图像特征提取，得到特征图，其中卷积神经网络算法如ResNet101、VGG16、ResNet、IncRes V2等，本发明采用ResNet101网络。

进一步地，所述的引入注意力机制的主干特征提取网络，其实现步骤为：

(1)构建改进的三通道SKNet注意力机制的特征提取网络，对输入图像进行特征提取，生成初步特征图；

(2)将(1)生成的特征图作为输入图像，用ResNet101网络进行卷积处理，进一步提取特征，最后通过连接层输出结果。

进一步地，所述的改进的三通道SKNet注意力机制的特征提取网络，具体实现步骤如下：

1)对输入数据分别用3*3、5*5、7*7的卷积核进行卷积操作，得到输出U1、U2、U3；

2)用element-wise summation来融合3个分支的结果：U＝U1+U2+U3，U是一个C*H*W(C表示通道，H表示高度，W表示宽度)大小且融合了多个感受野信息的特征图。然后通过对H、W维度方向求平均，得到一个C*1*1大小的向量，表示的是每个通道的重要程度。

设F_gp表示全局平均池化操作，channel-wise的统计信息用s(s∈R^C)来表示，s_c表示s的第c个元素，它的计算公式如公式1：

3)对C*1*1的向量再用一个全连接层进行一个线性变换，得到一个Z*1*1的信息z(如式(2))，然后分别使用三个线性变换，又从Z维恢复到C维向量，提取每个通道维度的信息。

z＝F_fc(s)＝δ(B(W_s)) (2)

其中：z∈R^d×1；δ为ReLU函数；B为批量标准化，W∈R^d×C，其中d＝max(C/r,L)，r表示reduction ratio，L为d的最小值。

4)使用softmax进行归一化处理，得到表示每个通道重要程度的对应分数，然后再分别乘以对应的U1、U2、U3，得到A1、A2、A3。再将3个模块相加进行融合，得到Y，Y相对于U经过了信息提炼，融合了多个感受野信息。

设a、b、c为Select的3个权重矩阵，A,B∈R^C×d，A_i表示A的第i行，a_i是a的第i个元素，B_i、b_i和A_i同理，且a_i+b_i+c_i＝1，最终的特征映射Y如式(3)、(4)(其中e为自然数)。

Yi＝a_i×A1+b_i×A2+c_i×A3 (3)

/>

步骤S4、基于主干特征提取网络，构建孪生神经网络结构，该网络有两个输入，利用神经网络将输入映射到新的空间，形成输入在新的空间中的表示。

进一步地，所述的孪生神经网络的具体实现步骤为：

(1)以步骤S3中构建的主干特征网络为基础，构建两个结构相同、权值共享的网络；

(2)两个输入在经过主干特征提取网络之后，获取到一个多维特征，将其平铺到一维上，获得两个输入的一维向量；

(3)训练时通过组合的方式构造不同的成对样本，输入网络进行训练，在最上层通过一个距离的交叉熵进行损失计算，根据样本对的距离判断他们是否属于同一个类，并产生对应的概率分布；在预测阶段，孪生网络处理测试样本和支撑集之间每一个样本对，最终预测结果为支撑集上概率最高的类别。这个方法对输入的结构进行限制并自动发现可以从新样本上泛化的特征。通过一个有监督的基于孪生网络的度量学习来训练，然后重用那个网络所提取的特征进行单/小样本学习。

进一步地，所述的损失计算原理如图2所示：

1)拥有两个相同的子神经网络，且权值W共享；

2)属于弱监督学习，样本为样本对：((X₁，X₂)，Y)。其中，X₁，X₂为相似样本，Y＝1，否则Y＝0；

3)子网络接受两个输入，并由神经网络转化为向量，再计算两个向量的距离(根据需求选择距离度量)。计算公式如下：

其中，N表示样本数量，即样本对数量；Y表示标签，即Y＝0或者Y＝1；E_ω表示欧式距离，即E_ω＝|X₁-X₂|₂；m表示不相似样本的距离阈值，即两个不相似样本的距离在[0,m]，超过m时，两个不相似样本的损失可以看作0。

4)对这个距离再进行两次全连接，第二次全连接到一个神经元上，对这个神经元的结果取sigmoid，使其值在0-1之间，代表两个输入图片的相似程度。

步骤S5、使用样本库对网络参数进行训练，得到海洋承灾体识别模型。

步骤S6、用模型对待识别数据与已知类别数据成对输入，计算相似度，从而得出相似度最高的分类结果。

本发明以海洋承灾体的脆弱性评价、风险评估、灾变响应一系列相关科学问题作为研究主线，旨在建立一套传统物理模型+人工智能模型相结合的分析与评价模型。在权重计算物理模型中，将模糊理论与层次分析方法结合，根据专家意见完成指标权重从定性到定量的确定过程。在深度学习评价模型方面，建立海洋承灾体灾变灾损样本库，通过深度学习方法自动分析各致灾因子对灾变灾损情况的影响权重，并自动判别出承灾体的受损程度及灾害的风险级别，提供了普适性的脆弱性分析及灾损评估框架，降低不同类型间承灾体脆弱性知识的局限性，提高评估结果的科学性与可靠性。最后通过对比实验来验证两种模型的准确率，建立一套两种模型相结合的更可靠的海洋承灾体灾变灾损评估方法，实现更精准、更科学、更智能的海洋灾害应急管理。该方法在理论方面对完善应急管理学科具有重要意义；在实践方面脆弱性研究能为应急措施的制定提供科学依据，即有利于指导应急管理的实践，最大程度上减少灾害事件的危害，提高应急管理的有效性和科学性。

本发明相比现有技术，具有以下有益的技术效果：

1)本发明通过引入SKNet网络模型，改进了原卷积神经网络的网络结构，改进的网络与原ResNet101网络相比，增强了网络针对复杂场景图像特征的提取能力，更适用于复杂海洋目标的提取与识别。

2)本发明在网络中使用多尺寸的卷积核，具有尺度自适应能力，可以更好地适应多尺度海洋目标的检测，可以实现一个模型对多个不同尺度(尺度跨度大)目标的准确检测。

3)本发明通过使用双路的孪生神经网络结构，增强了网络对小样本的学习能力，与单路的特征提取网络相比，在小样本条件下，本发明具有更高的识别准确率及稳定性，可用于对典型海洋承灾体的快速建模与识别。

附图说明

图1为本发明的网络结构图。

图2为引入注意力机制的主干特征提取网络结构图。

图3为双路孪生神经网络结构图。

图4为本发明基于交叉熵的损失计算原理图。

图5为本发明的测试效果图。

具体实施方式

下面结合附图，通过具体实施例对本发明作更进一步的说明。

小样本条件下基于孪生神经网络的海洋承灾体识别方法，包括步骤如下：

S1、收集高分辨率卫星、无人机遥感影像数据，针对典型的海洋承灾体(房屋、岸堤、蚝排、船舶等)建立图像样本库。

S2、利用卫星遥感影像、无人机高清影像，进行截图获取海洋目标样本，每张图像分辨率为600*600像素。通过任意角度旋转、随意裁剪、加噪声等方法，扩充样本库，共建立训练样本库160张，其中各类目标(房屋、岸堤、蚝排、船舶)40张，测试样本库80张。数据分布如表1所示。

表1不同类别海洋承灾体数据统计

S3、使用LabelImg工具对样本进行标注，建立样本类型对应的数据标签，标签文件内容包括：样本路径、标注的目标坐标范围、目标类别。

S4、孪生网络第一路图像特征提取：

(1)对样本对中第一路输入的图像数据，首先进行归一化为256*256大小，然后利用注意力模块三通道SKNet对图像预处理。

a.对输入数据分别用3*3、5*5、7*7的卷积核进行卷积操作，得到三幅特征图；

b.用element-wise summation对三幅特征图进行融合，得到一个C*H*W(C表示通道，H表示高度，W表示宽度)大小的特征图；然后通过对H、W维度方向求平均，得到一个C*1*1大小的向量，表示的是每个通道的重要程度。如式1。

c.对C*1*1的向量再用一个全连接层进行一个线性变换，得到一个Z*1*1的信息z(如式2)，然后分别使用三个线性变换，又从Z维恢复到C维向量，提取每个通道维度的信息。

d.使用softmax进行归一化处理，得到表示每个通道重要程度的对应分数，然后再分别乘以a中得到的三幅特征图，得到3个新的模块；再将3个模块相加进行融合，得到融合了多个感受野信息的特征图，作为三通道SKNet对图像进行预处理后的输出。

(2)利用ResNet101网络，对(1)中输出的带注意力信息的特征图进一步进行特征提取，ResNet101网络计算过程如下：

a.首先经过7×7×64的卷积层。

b.然后经过3+4+23+3＝33个残差块；每个残差块包含3个卷积层，分别为：1×1、3×3、1×1，其中两个1×1的卷积层分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取。因此，此部分共进行33×3＝99层卷积运算。

其中，残差块的计算原理如下：

原先的网络输入x，可以拟合输出为F(x)，希望输出H(x)。现在我们令H(x)＝F(x)+x，那么我们的网络就只需要学习输出一个残差F(x)＝H(x)-x。两层全连接层学习到的映射为H(x)，也就是说这两层可以渐进拟合H(x)。假设H(x)与x维度相同，那么拟合H(x)与拟合残差函数H(x)-x等价，令残差函数F(x)＝H(x)-x，则原函数变为F(x)+x，于是直接在原网络的基础上加上一个跨层连接，这里的跨层连接也很简单，就是将x的恒等映射传递过去。与其让F(x)直接学习潜在的映射，不如去学习残差H(x)-x，即F(x):＝H(x)-x，这样原本的前向路径上就变成了F(x)+x，用F(x)+x来拟合H(x)。

c.最后一层全连接层用于分类。

共经过1+99+1＝101层的卷积与全连接计算(如表1)，最终得到第一路输入图像的特征向量v1。

表1ResNet101网络结构

S5、孪生网络第二路图像特征提取：对样本对中第二路输入的数据，使用S4中相同的步骤进行特征提取处理，得到第二路输入图像的特征向量v2。其中，第二路网络与第一路网络结构相同、权值共享。

S6、损失计算：将两个得到的多维向量平铺成两个一维向量，计算两个向量的欧氏距离E_w(如式7)，根据样本对的距离判断他们是否属于同一个类，并产生对应的概率分布。

待一批样本训练完之后，按照公式(5)、(6)计算整体的损失。

S7、用未参与训练的样本随机对识别模型进行测试。

由训练效果初步可以看出，在小样本条件下该算法的整体稳定性较好，由于样本数据较少，如果仅用传统的卷积神经网络进行训练，如Faster R-CNN、YOLOv5等，则模型难以收敛，对测试样本的识别准确率较低。总体测试结果如表2、表3所示。

表2对比测试结果

表3本发明算法分类测试结果

由测试结果可知，在同样的训练及测试条件下，本发明改进的算法针对小样本目标的识别准确率有明显提升。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (1)

1.一种小样本条件下基于孪生神经网络的海洋承灾体识别方法，其特征包括下述步骤：

步骤S1、利用无人机对典型海洋承灾体进行精细化数据采集，结合卫星遥感图像，建立其图像数据集，包括目标图像和标注信息；

步骤S2、通过随机角度旋转、随机裁剪、对比度调整、灰度均衡方法对样本库进行数据增强；

步骤S3、引入注意力机制，基于卷积神经网络设计主干特征提取网络，实现图像特征的提取；通过SKNet和卷积神经网络的多重组合，进行图像特征提取，得到特征图，所述的卷积神经网络算法包括ResNet101、VGG16、ResNet、IncRes V2；

步骤S4、基于主干特征提取网络，构建孪生神经网络结构，该网络有两个输入，利用神经网络将输入映射到新的空间，形成输入在新的空间中的表示；

步骤S5、使用样本库对网络参数进行训练，得到海洋承灾体识别模型；

步骤S6、用模型对待识别数据与已知类别数据成对输入，计算相似度，从而得出相似度最高的分类结果；

步骤S3所述的引入注意力机制的主干特征提取网络，其步骤如下：

(1)构建改进的三通道SKNet注意力机制的特征提取网络，对输入图像进行特征提取，生成初步特征图，其步骤如下：

1)对输入数据分别用3*3、5*5、7*7的卷积核进行卷积操作，得到输出U1、U2、U3；

2)用element-wise summation来融合3个分支的结果：U＝U1+U2+U3，U是一个C*H*W大小且融合了多个感受野信息的特征图，其中C表示通道，H表示高度，W表示宽度；然后通过对H、W维度方向求平均，得到一个C*1*1大小的向量，表示每个通道的重要程度；

设F_gp表示全局平均池化操作，channel-wise的统计信息用s(s∈R^C)表示，s_c表示s的第c个元素，计算公式如式(1)：

3)对C*1*1的向量再用一个全连接层进行一个线性变换，得到一个Z*1*1的信息z，如式(2)；然后分别使用三个线性变换，又从Z维恢复到C维向量，提取每个通道维度的信息；

z＝F_fc(s)＝δ(B(W_s)) (2)

其中：z∈R^d×1；δ为ReLU函数；B为批量标准化，W∈R^d×C，其中d＝max(C/r,L)，r表示reduction ratio，L为d的最小值；

4)使用softmax进行归一化处理，得到表示每个通道重要程度的对应分数，然后再分别乘以对应的U1、U2、U3，得到A1、A2、A3；再将3个模块相加进行融合，得到Y，Y相对于U经过了信息提炼，融合了多个感受野信息；

设a、b、c为Select的3个权重矩阵，A,B∈R^C×d，A_i表示A的第i行，a_i是a的第i个元素，B_i、b_i和A_i同理，且a_i+b_i+c_i＝1，最终的特征映射Y如式(3)、(4)；其中e为自然数；

Yi＝a_i×A1+b_i×A2+c_i×A3(3)

/>

(2)将(1)生成的特征图作为输入图像，用ResNet101网络进行卷积处理，进一步提取特征，最后通过连接层输出结果；

步骤S4所述的孪生神经网络的步骤如下：

(1)以步骤S3中构建的主干特征网络为基础，构建两个结构相同、权值共享的网络；

(2)两个输入在经过主干特征提取网络之后，获取到一个多维特征，将其平铺到一维上，获得两个输入的一维向量；

(3)训练时通过组合的方式构造不同的成对样本，输入网络进行训练，在最上层通过一个距离的交叉熵进行损失计算，根据样本对的距离判断他们是否属于同一个类，并产生对应的概率分布；在预测阶段，孪生网络处理测试样本和支撑集之间每一个样本对，最终预测结果为支撑集上概率最高的类别；本方法对输入的结构进行限制并自动发现可以从新样本上泛化的特征，通过一个有监督的基于孪生网络的度量学习来训练，然后重用该网络所提取的特征进行单/小样本学习；

所述的损失计算，其步骤如下：

1)拥有两个相同的子神经网络，且权值W共享；

2)属于弱监督学习，样本为样本对：((X₁，X₂)，Y)；其中，X₁，X₂为相似样本，Y＝1，否则Y＝0；

3)子网络接受两个输入，并由神经网络转化为向量，再计算两个向量的距离(根据需求选择距离度量)；计算公式如下：

其中，N表示样本数量，即样本对数量；Y表示标签，即Y＝0或者Y＝1；E_ω表示欧式距离，即E_ω＝|X₁-X₂|₂；m表示不相似样本的距离阈值，即两个不相似样本的距离在[0,m]，超过m时，两个不相似样本的损失可以看作0；

4)对这个距离再进行两次全连接，第二次全连接到一个神经元上，对这个神经元的结果取sigmoid，使其值在0-1之间，代表两个输入图片的相似程度。

Images