CN114676773A - 基于sar数据的北极海冰分类方法 - Google Patents

Abstract

本发明涉及基于SAR数据的北极海冰分类方法，包括以下步骤：获取SAR数据经预处理后得到RGB假彩色图像；利用RGB假彩色图像和冰图构建海冰数据集；建立神经网络模型，利用海冰数据集进行训练，得到北极海冰分类器；将待识别的SAR数据经预处理后得到待识别的RGB假彩色图像，将待识别的RGB假彩色图像通过北极海冰分类器进行北极海冰分类。本发明降低了热噪声和入射角对图像质量的影响，增强了地物特征和图像可读性。制作海冰数据集时，使用开运算完成了无效像元值的自动去除，减少人工干预。使用transformer作为主干神经网络，配合合适的优化器、损失函数和超参数，不仅可以实现多种海冰类型的识别，而且可以提高北极海冰分类精度。

Description

基于SAR数据的北极海冰分类方法

技术领域

本发明属于海冰遥感监测技术领域，具体说是一种基于SAR数据的北极海冰分类方法。

背景技术

北极地区的海冰变化是气候变化最重要的因素之一，其变化会影响到海冰类型的改变、船只的通航、石油探测等一系列人类在北极地区的活动。在过去的40年中，北极的海冰范围减少了约15-20％。近些年来，北极海域的商业航次呈现逐年增多的趋势。现场海冰观测不足以满足商业船只的航行安全保障。合成孔径雷达(SAR)的出现，使得对北极海冰长时间、大范围的连续观测成为可能。哨兵1号(Sentinel-1)作为北极地区最主要的C波段合成孔径雷达之一，每天可获取100余景北极地区的SAR影像。但是，海冰分析人员对SAR影像进行传统解译，不仅对人力资源造成巨大消耗，而且解译结果容易受分析人员的主观经验影响。因此，需要针对哨兵1号数据开发海冰分类器，全自动、客观地完成SAR图像的解译过程。

现有的基于SAR数据的北极海冰分类算法多利用机器学习模型，比如支持向量机、随机森林、贝叶斯、神经网络等。现有的北极海冰分类器存在的主要缺点包括：(1)使用单一极化数据或简单叠加HH和HV极化图像无法增强地物特征及可视化，导致海冰分类精度降低；(2)由于缺少通用的HH极化数据入射角校正方法，入射角的变化会降低海冰数据集的质量和分类精度；(3)现有SAR影像中的无效像元去除方法使用人工掩膜去除，该方法更多地依赖人工经验，主观性较强，不利于客观、大量数据集的制作；(4)训练北极海冰分类器时使用的主干神经网络多为浅层卷积神经网络(CNN)，受CNN网络结构的特点，浅层CNN神经网络无法学习到海冰数据集的全部特征，导致海冰分类器泛化能力较差，分类精度较低。

发明内容

本发明提供了一种基于哨兵1号双极化数据的北极地区多海冰分类方法。该方法使用经过数据预处理后的哨兵1号超宽幅(Extra Wide swath，EW)模式获取的地距数据(Ground Range Detected，GRD)合成为RGB假彩色图像，降低了热噪声和入射角对图像质量的影响，增强了地物特征和图像可读性。制作海冰数据集时，使用开运算完成了无效像元值的自动去除，减少人工干预。使用transformer作为主干神经网络，配合合适的损失函数，不仅可以实现多种海冰类型的识别，而且可以提高北极海冰分类精度。

本发明为实现上述目的所采用的技术方案是：基于SAR数据的北极海冰分类方法，包括以下步骤：

获取SAR数据经预处理后得到RGB假彩色图像；

利用RGB假彩色图像和冰图构建海冰数据集；

建立神经网络模型，利用海冰数据集进行训练，得到北极海冰分类器；

将待识别的SAR数据经预处理后得到待识别的RGB假彩色图像，将待识别的RGB假彩色图像通过北极海冰分类器进行北极海冰分类。

所述预处理包括以下步骤：

对HH极化数据进行入射角校正、对HV极化数据进行热噪声去除，分别得到预处理后的HH极化数据和HV极化数据；

利用预处理后的HH极化数据和HV极化数据制作混合通道数据，对HH极化数据、HV极化数据和混合通道数据进行数据增强，并分别转化成灰度图像；

对于HH极化灰度图像、HV极化灰度图像和混合通道灰度图像中的每一种灰度图像，依次进行全局直方图均衡化和限制对比度直方图均衡化，将得到的结果分别作为蓝色、红色和绿色通道图层，合成RGB假彩色图像。

所述对HH极化数据进行入射角校正，具体为：利用SAR数据中记录的入射角信息，使用线性回归模型完成HH极化数据入射角校正；

所述线性回归模型如下：

σ_new＝σ⁰+0.049·(θ-min(θ))

其中，σ⁰和σ_new分别为校正前和校正后的HH极化数据的后向散射系数，θ为入射角。

所述对HV极化数据进行热噪声去除，包括以下步骤：

1)通过下式得到HV极化数据的原始噪声场P：

P＝G·P_N

其中，G是总噪声增益系数，P_N是基于原始噪声矢量利用双线性插值得到的噪声场；

2)通过下式得到去除热噪声后的HV极化数据：

其中，s0是去除热噪声后的σ⁰值，

是未经校正的原始σ⁰值，K_ns,ssw是条带间噪声缩放系数，

是条带间噪声差异补偿常量，ssw是子条带号；

3)对步骤2)得到的HV极化数据s0通过下式进行功率补偿，得到最终去除热噪声后的HV极化数据s0o：

其中，s0g是经过高斯滤波器后的HV极化数据σ⁰值，SNR是s0g与原始噪声场P的比值，s0offset是噪声场补偿值。

所述利用预处理后的HH极化数据和HV极化数据制作混合通道数据，包括以下步骤：

将经过数据预处理后的HH极化数据和HV极化数据分别进行偏移量处理：

混合通道数据G通过下式得到：

G＝HV_m×(2×HH_m+HV_m×(1-2×HH_m))

其中，HH和HH_m分别为预处理后的HH极化数据和偏移量处理后的HH极化数据，HV和HV_m分别为预处理后的HV极化数据和偏移量处理后的HV极化数据。

所述利用RGB假彩色图像和冰图构建海冰数据集，包括以下步骤：

对于每幅RGB假彩色图像，根据冰图中不同类型海冰对应的不同区域，切割冰图，制作只包含单一海冰类型的蒙版然后覆盖在对应的RGB假彩色图像上提取只有单一海冰类型的RGB子图；

对于每个单一海冰类型的RGB子图，根据不同类型海冰在不同颜色图层中灰度值的特征不同，选取不同的灰度值对RGB子图进行二值化处理，制作蒙版，初步获取RGB子图中的不确定像元位置；然后对该蒙版进行开运算，将经过开运算之后的蒙版覆盖在RGB子图上去除不确定像元；再使用滑动窗口裁剪为相同大小的图像块，得到海冰数据集。

所述神经网络模型为transformer模型。

所述利用海冰数据集进行训练，包括以下步骤：

a)将海冰数据集中训练集的图像块输入至神经网络模型，输出模型的训练精度；

b)将海冰数据集中验证集的图像块输入至神经网络模型，输出模型的验证精度；

c)保存模型；重复步骤a)～b)，直到模型输出的验证精度达到或超过阈值，保存该模型，即为北极海冰分类器。

基于SAR数据的北极海冰分类装置，包括：

预处理模块，用于获取SAR数据经预处理后得到RGB假彩色图像；

数据集构建模块，用于利用RGB假彩色图像和冰图构建海冰数据集；

分类器构建模块，用于建立神经网络模型，利用海冰数据集进行训练，得到北极海冰分类器；

海冰识别模块，用于将待识别的SAR数据经预处理后得到待识别的RGB假彩色图像，将待识别的RGB假彩色图像通过北极海冰分类器进行北极海冰分类。

一种基于SAR数据的北极海冰分类装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述的基于SAR数据的北极海冰分类方法。

本发明具有以下有益效果及优点：

(1)本发明优化了数据集制作过程，可以有效地将HH极化和HV极化数据结合在一起，合成海冰信息特征被增强的RGB假彩色图像，并可实现自动运行，减少数据集制作过程的人工干预，提高数据集的客观性，减少人工误差引入的不确定性；

(2)本发明利用两次直方图均衡化，合成RGB假彩色图像，有效结合HH极化和HV极化数据，增强了地物特征，减小了入射角对图像质量的影响。

(3)制作海冰数据集时，利用开运算去除不确定像元。滑动裁剪时，滑动窗口的前进步长设置为小于1，随机抛弃一部分图像块，增强数据集中不同图像块之间的空间相关性，获得更加合理的海冰数据集。

(4)本发明增加了可识别的海冰类型，提高了海冰分类精度，可基于哨兵1号数据，实现快速、准确的海冰分类；整个流程可以自动化运行，降低人工成本。

(5)本发明可以基于哨兵1号数据，快速获取北极多种类型海冰的分布情况，由于海冰生长阶段可以表征海冰厚度，因此，及时、准确的海冰分类结果可以为北极地区的科研活动和商业航行等提供安全保障。

附图说明

图1本发明的方法流程图；

图2本发明的原始哨兵1号HV极化灰度图像示意图；

图3本发明的原始哨兵1号HH极化灰度图像示意图；

图4本发明的RGB假彩色图像示意图；

图5本发明的海冰分类结果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明中提出的基于哨兵1号双极化数据的北极海冰分类方法实施方案可以概括为：(1)获取哨兵1号EW模式的GRD数据和冰图；(2)对哨兵1号数据进行预处理；(3)使用预处理后的哨兵1号数据制作RGB假彩色图像；(4)利用RGB假彩色图像和冰图制作海冰数据集；(5)建立transformer模型，利用海冰数据集训练、保存transformer模型，获得北极海冰分类器；(6)使用北极海冰分类器进行北极海冰分类。

如图1所示，本发明具体步骤如下：

(1)下载多景北极某区域、某时间的哨兵1号EW模式的GRD数据，以及相同区域和时间的冰图。

(2)对所有哨兵1号数据进行预处理，包括对HH极化数据进行入射角校正和对HV极化数据进行热噪声去除。

(3)使用预处理后的哨兵1号数据制作RGB假彩色图像包括以下两步：(a)利用预处理后的哨兵1号HH和HV极化数据制作混合通道数据，对HH、HV极化数据和混合通道数据进行数据增强，剔除一部分极值点，然后转化成灰度图像；(b)对所有HH、HV极化灰度图像和混合数据的灰度图像先后进行全局直方图均衡化和限制对比度直方图均衡化，将得到的结果分别作为蓝色、红色和绿色通道图层，合成RGB假彩色图像。

(4)使用开阔水域蒙版，提取出RGB假彩色图像中只包含开阔水域的子图，对该子图进行开运算，去除不确定像元，然后使用m×m像元大小的窗口滑动裁剪该子图。在滑动裁剪时设置前进步长设置小于1，滑动时抛弃一部分图像块。之后，得到最终的开阔水域数据集。

(5)用新冰、一年冰和老冰替换开阔水域，重复步骤(4)，得到新冰、一年冰和老冰的数据集。该海冰数据集中，70％作为训练集，30％作为验证集。

(6)建立transformer模型，选取合适的优化器、损失函数和超参数，将训练集、验证集送入模型完成北极海冰分类器训练，保存模型，即为最终获得的北极海冰分类器。

(7)利用北极海冰分类器，对需要进行海冰分类的哨兵1号影像，重复步骤(2)-(3)，获取对应的RGB假彩色图像，使用m×m像元大小的窗口在该RGB假彩色图像滑动分类，叠加陆地掩膜，得到最终的北极海冰分类结果。

实施例：

(1)下载2017-2018年冬季北极西北航道的182景哨兵1号EW模式的GRD数据(图2和图3)，以及相同区域和时间的美国冰中心(National Ice Center，NIC)发布的冰图。

(2)(a)利用哨兵1号数据附带的XML文档中记录的入射角信息，使用线性回归模型完成HH极化数据入射角校正，如公式(1)所示。

σ_new＝σ⁰+0.049·(θ-min(θ)) (1)

其中，σ⁰和σ_new分别为校正前和校正后HH极化数据的后向散射系数，单位是dB，θ为入射角，单位是度。经过对HH极化数据的入射角校正，可以有效减小入射角变化给HH极化数据带来的误差，使校正后的HH极化数据更接近正态分布，有利于接下来的数据增强和极值点去除。

(b)HV极化数据热噪声去除过程由三步完成：

①：根据方程(2)计算得到HV极化数据的原始噪声场P：

P＝G·P_N (2)

其中，G是总噪声增益系数，P_N是基于原始噪声矢量利用双线性插值得到的噪声场。

②：去除热噪声后的HV极化数据可由公式(3)计算得到：

其中，s0是去除热噪声后的σ⁰值，

是未经校正的原始σ⁰值，K_ns,ssw是最优化条带间噪声缩放系数，即求解时通过加权最小二乘法得到的条带间噪声缩放系数，

是条带间噪声差异补偿常量，ssw是子条带号，ssw＝{1，...，5}。本实施例中，K_ns,ssw和

的取值见表1：

表1

③：对②中得到的HV极化数据s0按公式(4)进行功率补偿得到最终去除热噪声后的HV极化数据s0o：

其中，s0g是经过高斯滤波器后的HV极化数据σ⁰值，SNR是s0g与原始噪声场P的比值，s0offset是噪声场补偿值，本实施例中取原始噪声场P的平均值。

经过对HV极化数据的热噪声去除，可以有效减弱距离向的由条带间功率不平衡造成的噪声阶跃和方位向的扇贝效应，尤其在后向散射系数较低的区域。

(3)使用预处理后的哨兵1号数据合成RGB假彩色图像。

(a)数据增强

将经过数据预处理后的HH、HV极化数据按照公式(5)、(6)进行偏移量处理：

混合数据G可以按照公式(7)得到：

G＝HV_m×(2×HH_m+HV_m×(1-2×HH_m)) (7)

其中，HH和HH_m分别为预处理后的HH极化数据和偏移量处理后的HH极化数据，HV和HV_m分别为预处理后的HV极化数据和偏移量处理后的HV极化数据。

然后，对HH、HV极化数据和混合数据进行标准化处理。标准化处理时，HH极化数据的最小值和最大值分别选取为0和0.32，HV极化数据为0.02和0.10，混合数据为0和0.6。数据标准化后再对三者进行gamma值为1.1的gamma校正。将HH、HV极化数据和混合数据转化为dB值，剔除2.5％的极小值和2.5％的极大值后转化为灰度图像。

(b)两次直方图均衡化

对HH、HV极化灰度图像和混合数据对应的灰度图像先后进行全局直方图均衡化和限制对比度直方图均衡化，以降低离散数据点、入射角变化对图像对比度和色调的影响。将HH灰度图像填充至蓝色图层，HV灰度图像填充至红色图层，混合数据对应的灰度图像填充至绿色图层，得到RGB假彩色图像(图4)。该RGB假彩色图像增强了海冰信息特征，提高了SAR图像的可读性，为接下来获得高精度的海冰分类结果奠定了良好的基础。

(4)使用预处理后的哨兵1号数据和NIC冰图构建海冰数据集。

(a)根据NIC冰图多边形中海冰生长阶段(stage of development，SoD)代码确定区域内的海冰类型，并以此提取出只有单一海冰类型的TIFF文件，将TIFF文件二值化后制作蒙版并覆盖在对应的RGB假彩色图像上提取只有单一海冰类型的RGB子图。其中，开阔水域、新冰、一年冰和老冰对应的SoD代码分别为01，83-85，87-94和95-97。

(b)针对所有RGB假彩色图像，重复步骤(a)，获取开阔水域、新冰、一年冰和老冰等4种类型对应的全部RGB子图。

(c)根据不同类型海冰在不同颜色图层中灰度值的特征不同，选取不同的灰度值对RGB子图进行二值化处理并制作蒙版，初步获取RGB子图中的不确定像元。然后对该蒙版进行开运算，去除蒙版中的孤立点。将经过开运算之后的蒙版覆盖在原RGB子图上，精确去除不确定像元，其中，不确定像元用于表示混杂在RGB子图中的可能是其他海冰类型的像元。之后，使用尺寸为50×50像元的滑动窗口裁剪为相同大小的图像块。滑动裁剪时，滑动窗口的前进步长设置为0.8，并随机抛弃一定比例的图像块。自动、客观地去除不确定像元可以有效避免人工干预引入的随机误差，使海冰数据集更加合理、准确，有利于提高神经网络的学习准确度，进而提高海冰分类结果的精度。

(d)针对所有RGB子图，重复步骤(c)，得到最终的海冰数据集。其中，训练集和验证集按照7:3划分。

(5)海冰数据集具有底层特征较少、语义信息较多的特点，而堆叠卷积层完成图像信息提取的方式会造成语义信息在深层网络丢失，所以本发明选取vision transformersmall patch 16 224作为主干神经网络。不同于卷积神经网络主要由卷积层组成，该网络包括一层patch embedding层、八层自注意力机制层和一层全连接层。本实施例中，优化器选取为动量随机梯度下降优化器(stochastic gradient descent(SGD)with momentum)引入动量机制加速模型训练速度；将Bootstrapping Loss中Criterion Loss替换为FocalLoss构建混合损失函数，可以有效降低噪音标签带来的“坏动量”对模型精度的影响；标签编码时，使用label smoothing将独热编码转化成“soft label”以增强模型的泛化能力。最后，保存训练好的transformer模型，即为最终得到的北极海冰分类器。

训练北极海冰分类器包括3个步骤：a)训练模型。从训练集中随机加载m个50×50像元大小的图像块。然后，通过双线性插值，将每个图像块插值为224×224像元大小后读入主干神经网络。主干神经网络的patch embedding层会将图像分割成196个16×16像元大小的子图像块并添加位置编码。之后，自注意力机制层实现对196个图像块全局信息的捕捉，关注到图像块中物体与物体间的空间位置关系，实现对语义信息的把握。经过自注意力机制层后的子图像块由全连接层和损失函数连接，实现反向传播更新参数并得到预测值。直至训练集中的所有图像块都被加载到主干神经网络，输出并保存模型的训练精度。b)验证模型。重复步骤a)，用验证集代替训练集，得到模型的验证精度。c)保存模型。重复步骤a)和b)，直到模型输出的验证精度达到或超过阈值X，即达到北极海冰分类的精度要求，保存该模型，即为最终得到的北极海冰分类器。本实施例的总体验证精度可以达到96.75％，远高于现有技术的分类精度。

表2给出了本发明提出的transformer模型海冰分类结果的混淆矩阵，分类准确率可以达到93％(新冰)～98％(一年冰和多年冰)，说明本发明可以非常准确地识别各种类型的北极海冰。

表2

	开阔水域	新冰	一年冰	多年冰
					开阔水域	95％	2％	5％	0
新冰	1％	93％	1％	0
					一年冰	2％	3％	98％	0
多年冰	1％	1％	1％	98％

(6)针对需要进行海冰分类的哨兵1号数据，按照步骤(2)-(3)制作RGB假彩色图像，利用北极海冰分类器，使用50×50像元大小的滑动窗口在RGB假彩色图像上滑动分类，遍历整幅RGB假彩色图像，得到哨兵1号整幅图像的海冰分类标签，叠加陆地掩膜，得到最终的海冰分类结果(图5)。

Claims (10)

1.基于SAR数据的北极海冰分类方法，其特征在于，包括以下步骤：

获取SAR数据经预处理后得到RGB假彩色图像；

利用RGB假彩色图像和冰图构建海冰数据集；

建立神经网络模型，利用海冰数据集进行训练，得到北极海冰分类器；

将待识别的SAR数据经预处理后得到待识别的RGB假彩色图像，将待识别的RGB假彩色图像通过北极海冰分类器进行北极海冰分类。

2.根据权利要求1所述的基于SAR数据的北极海冰分类方法，其特征在于，所述预处理包括以下步骤：

对HH极化数据进行入射角校正、对HV极化数据进行热噪声去除，分别得到预处理后的HH极化数据和HV极化数据；

利用预处理后的HH极化数据和HV极化数据制作混合通道数据，对HH极化数据、HV极化数据和混合通道数据进行数据增强，并分别转化成灰度图像；

对于HH极化灰度图像、HV极化灰度图像和混合通道灰度图像中的每一种灰度图像，依次进行全局直方图均衡化和限制对比度直方图均衡化，将得到的结果分别作为蓝色、红色和绿色通道图层，合成RGB假彩色图像。

3.根据权利要求2所述的基于SAR数据的北极海冰分类方法，其特征在于，所述对HH极化数据进行入射角校正，具体为：利用SAR数据中记录的入射角信息，使用线性回归模型完成HH极化数据入射角校正；

所述线性回归模型如下：

σ_new＝σ⁰+0.049·(θ-min(θ))

其中，σ⁰和σ_new分别为校正前和校正后的HH极化数据的后向散射系数，θ为入射角。

4.根据权利要求2所述的基于SAR数据的北极海冰分类方法，其特征在于，所述对HV极化数据进行热噪声去除，包括以下步骤：

1)通过下式得到HV极化数据的原始噪声场P：

P＝G·P_N

其中，G是总噪声增益系数，P_N是基于原始噪声矢量利用双线性插值得到的噪声场；

2)通过下式得到去除热噪声后的HV极化数据：

其中，s0是去除热噪声后的σ⁰值，

是未经校正的原始σ⁰值，K_ns,ssw是条带间噪声缩放系数，

是条带间噪声差异补偿常量，ssw是子条带号；

3)对步骤2)得到的HV极化数据s0通过下式进行功率补偿，得到最终去除热噪声后的HV极化数据s0o：

其中，s0g是经过高斯滤波器后的HV极化数据σ⁰值，SNR是s0g与原始噪声场P的比值，s0offset是噪声场补偿值。

5.根据权利要求1所述的基于SAR数据的北极海冰分类方法，其特征在于，所述利用预处理后的HH极化数据和HV极化数据制作混合通道数据，包括以下步骤：

将经过数据预处理后的HH极化数据和HV极化数据分别进行偏移量处理：

混合通道数据G通过下式得到：

G＝HV_m×(2×HH_m+HV_m×(1-2×HH_m))

其中，HH和HH_m分别为预处理后的HH极化数据和偏移量处理后的HH极化数据，HV和HV_m分别为预处理后的HV极化数据和偏移量处理后的HV极化数据。

6.根据权利要求1所述的基于SAR数据的北极海冰分类方法，其特征在于，所述利用RGB假彩色图像和冰图构建海冰数据集，包括以下步骤：

对于每幅RGB假彩色图像，根据冰图中不同类型海冰对应的不同区域，切割冰图，制作只包含单一海冰类型的蒙版然后覆盖在对应的RGB假彩色图像上提取只有单一海冰类型的RGB子图；

对于每个单一海冰类型的RGB子图，根据不同类型海冰在不同颜色图层中灰度值的特征不同，选取不同的灰度值对RGB子图进行二值化处理，制作蒙版，初步获取RGB子图中的不确定像元位置；然后对该蒙版进行开运算，将经过开运算之后的蒙版覆盖在RGB子图上去除不确定像元；再使用滑动窗口裁剪为相同大小的图像块，得到海冰数据集。

7.根据权利要求1所述的基于SAR数据的北极海冰分类方法，其特征在于，所述神经网络模型为transformer模型。

8.根据权利要求1所述的基于SAR数据的北极海冰分类方法，其特征在于，所述利用海冰数据集进行训练，包括以下步骤：

a)将海冰数据集中训练集的图像块输入至神经网络模型，输出模型的训练精度；

b)将海冰数据集中验证集的图像块输入至神经网络模型，输出模型的验证精度；

c)保存模型；重复步骤a)～b)，直到模型输出的验证精度达到或超过阈值，保存该模型，即为北极海冰分类器。

9.基于SAR数据的北极海冰分类装置，其特征在于，包括：

预处理模块，用于获取SAR数据经预处理后得到RGB假彩色图像；

数据集构建模块，用于利用RGB假彩色图像和冰图构建海冰数据集；

分类器构建模块，用于建立神经网络模型，利用海冰数据集进行训练，得到北极海冰分类器；

海冰识别模块，用于将待识别的SAR数据经预处理后得到待识别的RGB假彩色图像，将待识别的RGB假彩色图像通过北极海冰分类器进行北极海冰分类。

10.一种基于SAR数据的北极海冰分类装置，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-8任一项所述的基于SAR数据的北极海冰分类方法。

Images