CN109117883A - 基于长短时记忆网络的sar影像海冰分类方法及*** - Google Patents
基于长短时记忆网络的sar影像海冰分类方法及*** Download PDFInfo
- Publication number
- CN109117883A CN109117883A CN201810918499.2A CN201810918499A CN109117883A CN 109117883 A CN109117883 A CN 109117883A CN 201810918499 A CN201810918499 A CN 201810918499A CN 109117883 A CN109117883 A CN 109117883A
- Authority
- CN
- China
- Prior art keywords
- network
- lstm
- sea ice
- ice
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于海冰监测技术领域,公开了一种基于长短时记忆网络的SAR影像海冰分类方法及***,以多幅连续观测的海冰SAR影像数据直接作为长短时记忆网络训练输入提取特征,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练,得到兼顾空间和时间维度的海冰分类网络;考虑未知海冰密集度数据的情况下,先训练基于长短时记忆网络的海冰密集度预测模型,然后将预测的密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络进行分类。本发明在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征,对于相近海冰类别的识别率具有很大的提升。
Description
技术领域
本发明属于海冰监测技术领域,尤其涉及一种基于长短时记忆网络的SAR影像海冰分类方法及***。
背景技术
目前,业内常用的现有技术是这样的:
根据世界气象组织的海冰分类标准,海冰按照发展状态可以分为新冰,灰冰,灰白冰,一年冰,老冰,多年冰。合成孔径雷达(SAR)具有全天时,全天候,多视角,穿透性强的特点,是海冰监测的主要工具。也是基于图像特征的海冰分类的图像数据来源。
目前基于SAR影像海冰分类方法可以分为两类:1,基于特征的海冰分类,如提取SAR影像海冰的极化特征,灰度共生矩阵特征;2,基于图像分割的海冰分类,如EM算法,K-均值,马尔科夫随机场模型等。这些方法都是根据某一时刻海冰在SAR影像上的呈现特征进行分类识别。然而海冰类型在时间上具有不稳定性,根据海冰类型的定义,不同的海冰类别随着时间的变化互相演替,而且顺序几乎不可逆转,具有时间维度的特征。在单时间维度SAR影像海冰分类中,相近的海冰类别很容易被错分,如果能将海冰的时间维度特征融入分类中,根据前面海冰的SAR影像信息将会减小样本被错分到前一阶段海冰类别的几率。
递归神经网络(RNN)是目前常用的一种神经网络结构,可以将时间的先后顺序加入到神经网络中,对过去时间的输入对当前时间输出的影响进行建模。在对时序信息建模的过程中,为了防止时间步长过大引起的梯度***问题,在RNN的结构基础上引入了长短时记忆网络。LSTM网络的常见应用是在自然语言处理,场景描述,时间序列预测等,在图像分类上的应用并不常见。Junhwa Chi等人在2017年的论文中将LSTM预测北极海冰密集度,但是网络的训练数据是基于被动微波传感器数据,而本发明的LSTM数据是基于SAR影像的海冰分类研究。被动遥感通常不能形成影像;主动遥感SAR则一般形成遥感数字图像,所以两者具有很大不同。
考虑到海冰类型随时间变化过程中,图像中不同海冰类型的密集度也在对应变化,所以基于图像块的SAR海冰分类中海冰密集度是海冰类型的一个重要影响因素。
综上所述,现有技术存在的问题是:
现有技术中,海冰分类主要是以有监督方法为主,然而有监督海冰分类依赖大量的标记样本,然而大面积标记样本不易获取,而且成本巨大。现有方法多是依赖小面积、短时间的监测,训练样本标签或者相机实测或者专家标记,这样则给海冰分类方法的性能评价带来不一致性。
现有的SAR影像海冰分类使用传统的机器学习方法,如神经网络、SVM方法等,然而这些方法是基于提前设计特征工程的方法,依赖于专家知识。不同的数据源或者不同的海冰条件将会直接导致分类方法失效。
根据世界气象组织关于海冰分类的定义,不同海冰类别随着时间变化而呈现规律演变,如一个区域内新冰、灰冰、灰白冰、薄一年半、中厚一年冰、厚一年冰、老冰等是随着时间而变化。然而目前的海冰分类方法只是考虑了不同海冰类型在数字图像表现的空间、纹理特征,忽略了时间维度的特征。
解决上述技术问题的难度和意义:
基于有监督方法的海冰分类是现在的主流方法,然而SAR影像海冰分类的标签很难获取,这也是目前研究的一个客观事实。
本发明根据加拿大海冰服务中心(CIS)专家标注的冰蛋图海冰类别信息,构建了以图像块粒度的海冰分类数据集,为以后海冰分类研究者提供了一个海冰标签的思路。使用这种方法会使对比标准一致,能够更好的看出不同方法性能的优劣性;本发明使用深度学习模型,依赖大量样本的自我学习,自动提取特征,训练的模型在不同的SAR影像和多变的海冰条件下也能够取得很好的分类效果,具有普适性;本发明使用LSTM网络既考虑到不同海冰类别的图像维度特征,也能兼顾学习到不同海冰类别之间时间维度的特征,并将海冰密集度作为一维特征输入网络,对比其它方法可以很好的提高现有海冰分类准确率,为船舶航行,科考研究,全球气候监测等提供重要参考。
发明内容
针对现有技术存在的问题,本发明提供了一种基于长短时记忆网络(LSTM)的SAR影像海冰分类方法及***。
本发明提出的基于LSTM的SAR影像海冰分类方法,训练样本中包含SAR影像分类样本的密集度数据。考虑到海冰的密集度数据和海冰类别一样是不可知的,本发明同时基于LSTM网络进行海冰密集度预测。
本发明是这样实现的,一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,包括:
以SAR数据直接作为网络训练对象,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练;
在未知海冰密集度数据的情况下,采用基于长短时记忆网络先得到分类SAR影像的海冰密集度数据,然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络。
进一步,所述基于长短时记忆网络的SAR影像海冰分类方法具体包括:
第一阶段,数据集构建:
搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m(例如32×32)像素大小的训练样本,将训练样本做归一化处理,便于训练网络收敛;接下来,根据海冰分析专家提供的真值,制作对应的海冰类型和海冰密集度标签;最后,将数据集按分7:3成训练集和测试集。
第二阶段,海冰密集度预测LSTM网络和海冰分类LSTM网络的训练:
根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;
然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别作为网络训练标签数据,训练网络得到能够进行海冰分类的LSTM网络;
以32×32像素分辨率的SAR样本数据为例,预测海冰密集度LSTM的一个样本有1024个原始特征,海冰分类LSTM的一个训练样本有原始特征1025个;
最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求。
第三阶段,海冰分类应用:
当获得一幅海冰SAR影像时,以网络所需样本大小为窗口对影像进行滑动分块处理,并进行归一化处理;然后逐个将这些影像块输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图,以此提供给相关海上作业人员作为参考。
进一步,LSTM网络的的RNN神经元个数为2048,LSTM设置为1层,学习率0.00001,选择Adam优化器;
使用LSTM对SAR影像海冰密集度进行预测中,两个LSTM网络的超参数设置相同;在网络输出时候,分类的LSTM网络经过一个softmax分类器;训练的损失函数不同,海冰密集度网络预测使用平方差函数
海冰分类网络由于标签数据采用one-hot编码方式,选择使用交叉熵损失函数
其中y是期望输出,a为神经元输出,n为样本个数。
本发明另一目的在于提供一种计算机程序,所述计算机程序运行所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。
本发明另一目的在于提供一种实现所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的信息处理终端。
本发明另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。
本发明另一目的在于提供一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***,包括:
数据集构建模块,用于搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本,将训练样本做归一化处理,便于训练网络收敛;
海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块,用于根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别作为网络训练标签数据,训练网络得到能够进行海冰分类的LSTM网络;最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求;
海冰分类应用模块,用于对获取的SAR影像,以网络所需样本大小为窗口对影像进行滑动分块处理;然后逐个将这些影像块进行归一化,输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图。
本发明另一目的在于提供一种终端,所述终端至少搭载所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***。
综上所述,本发明的优点及积极效果为:
本发明提出一种基于长短时记忆网络的SAR影像海冰分类方法。在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征,对于海冰分类整体准确率和相近海冰类别的识别率具有很大的提升。
本发明在海冰分类中,以SAR数据直接作为网络训练对象,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练。针对实际海冰分类应用中,海冰密集度数据和海冰类别一样是未知的,而海冰密集度数据又是基于时间维度海冰分类的一个重要影响因素,本发明基于长短时记忆网络的SAR影响海冰分类的技术路线中,包含了基于长短时记忆网络的SAR影像海冰密集度数据预测。由此,在未知海冰密集度数据的情况下,可以用这个网络先得到分类SAR影像的海冰密集度数据,然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络,提高海冰分类的准确率。
本发明实现以下技术效果:通过基于长短时记忆网络的海冰分类模型,可以减少相近海冰类别错分比例,提高海冰分类准确率。同时本发明同时包含了基于LSTM网络的SAR影像海冰密集度预测,所以最终能够得到同时包含海冰密集度信息和海冰类别信息的海冰解译图。在以北极哈德逊湾2017年5月到2018年5月的实验数据为例,将本发明方法和CNN以及传统的支持向量机(SVM)和多层感知机(MLP)方法对比,本发明提出的方法不仅总提准确率有大的优势,而且大大减小了相近海冰类型的错分率,该发明比较适合海冰的长期监测需求。
附图说明
图1是本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法流程图。
图2是本发明实施例提供的一个LSTM的记忆单元结构图。
图3是本发明实施例提供的LSTM网络的框架示例图。
图4是本发明实施例提供的利用LSTM网络进行海冰分类的基本技术路线图。
图5是本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***示意图。
图中:1、数据集构建模块;2、训练预测海冰密集度的LSTM网络和海冰分类的LSTM网络模块;3、海冰分类测试模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术中,没有利用基于长短时记忆网络的SAR影像海冰分类方法,训练样本中包含SAR影像分类样本的密集度数据,没有考虑海冰的密集度数据和海冰类别一样是不可知的因素,导致不能进行海冰密集度预测。
本发明提出一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征,对于相近海冰类别的识别率具有很大的提升。
本发明针对SAR影像的海冰长短时记忆网络(以下记为:LSTM)的构建中,提出基于长短时记忆网络的SAR影像海冰分类方法
在海冰分类中,以SAR数据直接作为网络训练对象,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练。针对实际海冰分类应用中,海冰密集度数据和海冰类别一样是未知的,然而海冰密集度数据又是基于时间维度海冰分类的一个重要影响因素,本发明基于长短时记忆网络的SAR影响海冰分类的技术路线中,包含了基于长短时记忆网络的SAR影像海冰密集度数据预测。由此,在未知海冰密集度数据的情况下,可以用这个网络先得到分类SAR影像的海冰密集度数据,然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络,提高海冰分类的准确率。
本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,包括:
以SAR数据直接作为网络训练对象,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练;
在未知海冰密集度数据的情况下,采用基于长短时记忆网络先得到分类SAR影像的海冰密集度数据,然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络。
如图1,本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法包括:
S101:第一阶段,数据集构建:搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本,将训练样本做归一化处理,便于网络收敛;
S102:第二阶段,训练海冰密集度预测LSTM网络和海冰分类LSTM网络:
根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;然后把训练样本SAR数据和对应的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别为网络训练标签数据,训练网络得到最终海冰分类的LSTM网络;最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求;
S103:第三阶段,海冰分类应用:对获取的SAR影像,以网络所需样本大小为窗口对影像进行滑动分块处理;然后逐个将这些影像块进行归一化,输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图。
步骤S103中,在第三个阶段中,首先将要测试的数据如同第一阶段,将SAR影像裁剪成网络分类样本尺寸,进行归一化处理;然后,将分类样本输入第一个LSTM网络得到海冰密集度数据;接着样本数据和预测得到的海冰密集度数据串联合并,输入第二个海冰分类的LSTM网络,得到海冰的分类结果。
下面结合具体分析对本发明作进一步描述。
本发明将对LSTM网络的主要构件和整体框架进行详细说明。
一、LSTM的记忆单元
LSTM的核心是细胞状态,与传统的RNN相比,其独特的门控机制控制信息的选择性(即与前面时刻状态的联系),一个LSTM的记忆单元结构如附图2,包含三个门控单元,即遗忘门,输入门和输出门。
遗忘门用来控制从以前的状态丢弃什么信息;输入门用来决定细胞状态将存放什么新的信息;输出门,用来决定输出的值。关于LSTM的三个门控单元公式描述如下(1)。其中,W,b表示对应门控的权重和偏置,σ表示sigmod函数,ft:遗忘门控制信号,it:输入门控制信号,新的细胞信息,Ct:当前细胞信息,ot:输出门控制信号,ht:当前单元输出值。
ft=σ(Wf·[ht-1,xt]+bf)
it=σ(Wi·[ht-1,xt]+bi)
ot=σ(Wo[ht-1,xt]+bo)
ht=ot*tanh(Ct)
二LSTM的框架
LSTM网络的框架示例如图3所示。本发明LSTM的RNN神经元个数为2048,LSTM设置为1层,学习率0.00001,选择Adam优化器。
利用LSTM网络进行海冰分类的基本框架如图4所示。基于LSTM的SAR影像海冰分类中,首先将SAR影像裁剪成固定尺寸的小样本,而由于SAR影像一个像素代表的实际海冰范围从几十到几百公里不等,而且海冰类型随时间变化,不存在一个时间序列中可以找到一个合适的样本尺寸,使其只包含一种冰型的情况,所以本发明规定以样本中海冰密集度大的类型为此样本标签,在这种情况下,海冰密集度数据对海冰分类性能的影响至关重要。所以海冰密集度数据将和SAR影像样本数据一起输入分类的LSTM网络参与到对海冰类别的判别。考虑到存在海冰密集度数据和海冰类别一样是未知的时候,本发明中同时包含了使用LSTM对SAR影像海冰密集度进行预测。两个LSTM网络的超参数设置相同,但是在网络输出时候,分类的LSTM网络经过了一个softmax分类器。而且训练的损失函数不同,海冰密集度网络预测使用平方差函数(公式2);而海冰分类网络由于标签数据采用one-hot编码方式,所以选择使用交叉熵损失函数(公式3)。分别定义如下。其中y是期望输出,a为神经元输出,n为样本个数。
下面结合具体分析对本发明作进一步描述。
本发明实施例提供的基于长短时记忆网络的SAR影像海冰分类方法分为三个阶段。
第一阶段,数据集构建。
搜集同一区域相同时间间隔的SAR影像(如:以7天为间隔,下载加拿大哈德逊湾西部从2017年1月到2018年1月的SAR影像),因为海冰基于实测的像素级标签往往不可得,本发明可以借助于加拿大海冰服务中心(Canadian Ice Service,CIS)发布的海冰分析员手动绘制的每周冰蛋图信息作为参考。冰蛋图上包含哈德逊湾海冰的类型和区域密集度信息。然后将此时间序列的SAR影像裁剪成训练样本的尺寸大小(如32×32像素为一个样本),制作对应的海冰类型和海冰密集度标签,因为SAR影像几乎都是uint16编码机制,所以将训练样本都除以65535用于数据归一化,使网络能够快速收敛。
第二阶段,训练预测海冰密集度的LSTM网络和海冰分类的LSTM网络。
根据设计好的LSTM网络超参数(包括,时间步长,RNN神经元个数,学习率),首先把训练样本SAR数据和对应的密集度数据输入到第一个LSTM网络,此时,密集度数据为网络的标签数据。训练得到能预测海冰密集度的LSTM网络。然后把训练样本SAR数据和对应的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别为网络训练标签数据,训练网络得到最终海冰分类的LSTM网络。以32×32分辨率的SAR样本数据为例,预测海冰密集度的LSTM的一个样本是1024(即:32×32)个原始特征,而海冰分类的LSTM一个训练样本的原始特征是1025个(即:1024+1)。
第三阶段,海冰分类应用:
在海冰分类实际应用中,本发明只有时间序列的SAR影像数据,海冰密集度数据是不知道的,而基于时间维度的海冰类型特征中海冰密集度数据对正确的海冰分类至关重要,所以本发明基于长短时记忆网络的SAR影像海冰分类技术路线中训练了两个LSTM网络,一个先用于海冰密集度预测,另外一个是将SAR图像数据和预测得到的密集度数据一起作为训练数据的海冰分类网络,用于最终海冰分类识别,基于此本发明可以得到即包含海冰密集度又有海冰类别的详细的海冰解译图。
在第三个阶段中,首先将要分类的SAR影像如第一阶段一样,将SAR影像以滑动窗口的方式裁剪成网络分类样本尺寸,进行归一化处理;然后,将影像块输入第一个LSTM网络得到海冰密集度数据;接着影像块和预测得到的海冰密集度数据串联合并,输入第二个海冰分类的LSTM网络,得到海冰的分类结果。
如图5,本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***,包括:
数据集构建模块1,用于搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本,将训练样本做归一化处理,便于网络收敛;
海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块2,用于根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;然后把训练样本SAR数据和对应的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别为网络训练标签数据,训练网络得到最终海冰分类的LSTM网络;最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求;
海冰分类应用模块3,对获取的SAR影像,以网络所需样本大小为窗口对影像进行滑动分块处理;然后逐个将这些影像块进行归一化,输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图。
下面结合具体实施例/实验分析对本发明作进一步描述。
选取北极哈德逊湾在2017年5月到2018年5月的SAR影像数据,以6天为一个时间间隔,32*32样本尺寸为例,使用了常见的支持向量机(MLP)和多层感知机(MLP)分类方法,以及深度学习经典的卷积神经网络(CNN)和本发明提取的方法作为对比,分类整体准确率如下表格,从表格1数据本发明可以发现,本发明在多类相近的海冰分类中取得了较高的准确率。
表1与传统方法相比的实验结果
方法 | 本发明 | CNN | MLP | SVM |
总体准确率 | 86.98% | 64.70% | 47.99% | 48.79 |
其中,在该时期一共有7种海冰类型(包含开阔的水),即水(OW)、灰冰(GI)、灰白冰(GWI)、薄一年冰(ThinFI)、中等一年半(MFI)、厚一年冰(ThickFI),与CNN网路相比,本发明提出的包含海冰密集度信息的LSTM海冰分类网络不仅整体准确率有很大提高,相近类别的海冰误分率也大大降低,如表2,表3所示的实验结果。
表2 CNN分类结果的混淆矩阵
CNN | OW | NI | GI | GWI | ThinFI | MFI | ThickFI |
OW | 91.67% | 3.03% | 0 | 3.03% | 1.52% | 0.76% | 0 |
NI | 2.80% | 66.43% | 6.99% | 8.39% | 2.80% | 6.29% | 6.29% |
GI | 0 | 3.97% | 68.21% | 7.95% | 8.61% | 3.97% | 7.28% |
GWI | 1.47% | 2.21% | 6.62% | 38.24% | 19.12% | 30.15% | 2.21% |
ThinFI | 0.65% | 1.94% | 0.65% | 16.13% | 47.74% | 30.32% | 2.58% |
MFI | 0.87% | 1.74% | 0 | 6.09% | 8.70% | 82.61% | 0 |
ThickFI | 0.60% | 11.90% | 4.17% | 7.14% | 10.12% | 2.38% | 63.69% |
表3本发明提出的LSTM网络分类结果的混淆矩阵
。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,其特征在于,所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法包括:
以SAR影像时间序列数据作为网络训练对象,并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练;
在未知海冰密集度数据的情况下,采用基于LSTM先得到分类SAR影像的海冰密集度数据,然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络。
2.如权利要求1所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,其特征在于,所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法具体包括:
第一阶段,数据集构建:
搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m(例如32×32)像素大小的训练样本,将训练样本做归一化处理,便于训练网络收敛;接下来,根据海冰分析专家提供的真值,制作对应的海冰类型和海冰密集度标签;最后,将数据集按分7:3成训练集和测试集。
第二阶段,海冰密集度预测LSTM网络和海冰分类LSTM网络的训练:
根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;
然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别作为网络训练标签数据,训练网络得到能够进行海冰分类的LSTM网络;
以32×32像素分辨率的SAR样本数据为例,预测海冰密集度LSTM的一个样本有1024个原始特征,海冰分类LSTM的一个训练样本有原始特征1025个;
最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求。
第三阶段,海冰分类应用:
当获得一幅海冰SAR影像时,以网络所需样本大小为窗口对影像进行滑动分块处理,并进行归一化处理;然后逐个将这些影像块输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图,以此提供给相关海上作业人员作为参考。
3.如权利要求2所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,其特征在于,在第三个阶段中,首先将要测试的数据如同第一阶段,将SAR影像裁剪成网络分类样本尺寸,进行归一化处理;然后,将分类样本输入第一个LSTM网络得到海冰密集度数据;接着样本数据和预测得到的海冰密集度数据串联合并,输入第二个海冰分类的LSTM网络,得到海冰的分类结果。
4.如权利要求2所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法,其特征在于,LSTM网络的的RNN神经元个数为2048,LSTM设置为1层,学习率0.00001,选择Adam优化器;
使用LSTM对SAR影像海冰密集度进行预测中,两个LSTM网络的超参数设置相同;在网络输出时候,分类的LSTM网络经过一个softmax分类器;训练的损失函数不同,海冰密集度网络预测使用平方差函数
海冰分类网络由于标签数据采用one-hot编码方式,选择使用交叉熵损失函数
其中y是期望输出,a为神经元输出,n为样本个数。
5.一种计算机程序,其特征在于,所述计算机程序运行权利要求1~4任意一项所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。
6.一种实现权利要求1~4任意一项所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的信息处理终端。
7.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-4任意一项所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。
8.一种实现权利要求1所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***,其特征在于,所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***包括:
数据集构建模块,用于搜集同一区域按一定时间间隔观测的SAR影像集;然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本,将训练样本做归一化处理,便于训练网络收敛;
海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块,用于根据设计好的LSTM网络,首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络,训练得到能预测海冰密集度的LSTM网络;然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并,作为第二个LSTM网络的训练数据,对应的海冰类别作为网络训练标签数据,训练网络得到能够进行海冰分类的LSTM网络;最后,将测试集样本依次分别输入训练好的两个LSTM网络,得到每个海冰样本的分类结果,与原标签进行比较,计算网络的测试误差。根据误差大小判断是否需要进一步训练网络,直到误差达到要求;
海冰分类应用模块,用于对获取的SAR影像,以网络所需样本大小为窗口对影像进行滑动分块处理;然后逐个将这些影像块进行归一化,输入前面训练好的两个LSTM网络,得到该块的海冰分类标签;最后,采用世界气象组织WMO颜色编码,将根据模型预测得到的不同海冰分类标签用不同的颜色标记,还原到SAR影像上,制作成较详细的具有地理分布信息的海冰解译图。
9.一种终端,其特征在于,所述终端至少搭载权利要求8所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810918499.2A CN109117883B (zh) | 2018-08-13 | 2018-08-13 | 基于长短时记忆网络的sar影像海冰分类方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810918499.2A CN109117883B (zh) | 2018-08-13 | 2018-08-13 | 基于长短时记忆网络的sar影像海冰分类方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109117883A true CN109117883A (zh) | 2019-01-01 |
CN109117883B CN109117883B (zh) | 2022-01-11 |
Family
ID=64852324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810918499.2A Active CN109117883B (zh) | 2018-08-13 | 2018-08-13 | 基于长短时记忆网络的sar影像海冰分类方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109117883B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492839A (zh) * | 2019-01-17 | 2019-03-19 | 东华大学 | 一种基于rnn-lstm网络的矿热炉工况预测方法 |
CN110084159A (zh) * | 2019-04-15 | 2019-08-02 | 西安电子科技大学 | 基于联合多级空谱信息cnn的高光谱图像分类方法 |
CN110232319A (zh) * | 2019-05-07 | 2019-09-13 | 杭州电子科技大学 | 一种基于深度学习的船舶行为识别方法 |
CN110956221A (zh) * | 2019-12-17 | 2020-04-03 | 北京化工大学 | 基于深度递归网络下小样本极化合成孔径雷达图像分类方法 |
CN111626363A (zh) * | 2020-05-28 | 2020-09-04 | 电子科技大学 | 一种基于期望最大化算法的多视角sar目标识别方法 |
CN112307679A (zh) * | 2020-11-23 | 2021-02-02 | 内蒙古工业大学 | 一种构建河冰厚度反演微波散射模型的方法及装置 |
CN112836800A (zh) * | 2021-02-03 | 2021-05-25 | 自然资源部第一海洋研究所 | 基于长短期记忆网络模型的多变量北极海冰面积预测方法 |
CN112966656A (zh) * | 2021-03-29 | 2021-06-15 | 国家卫星海洋应用中心 | 数据处理方法及装置 |
CN113011502A (zh) * | 2021-03-22 | 2021-06-22 | 广东海启星海洋科技有限公司 | 基于人工智能的海冰等级预测方法及装置 |
CN113065695A (zh) * | 2021-03-22 | 2021-07-02 | 广东海启星海洋科技有限公司 | 基于多网络融合的海冰等级预测方法及装置 |
CN114170139A (zh) * | 2021-11-09 | 2022-03-11 | 深圳市衡兴安全检测技术有限公司 | 近岸海域生态灾害预警方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010052530A1 (en) * | 2008-11-05 | 2010-05-14 | Ecoserv Remote Observation Centre Co. Ltd. | Multi-polarization combined radar-radiometer system |
CN107092933A (zh) * | 2017-04-24 | 2017-08-25 | 中国科学院遥感与数字地球研究所 | 一种合成孔径雷达扫描模式图像海冰分类方法 |
CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
CN107657271A (zh) * | 2017-09-02 | 2018-02-02 | 西安电子科技大学 | 基于长短时记忆网络的高光谱图像分类方法 |
-
2018
- 2018-08-13 CN CN201810918499.2A patent/CN109117883B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010052530A1 (en) * | 2008-11-05 | 2010-05-14 | Ecoserv Remote Observation Centre Co. Ltd. | Multi-polarization combined radar-radiometer system |
CN107092933A (zh) * | 2017-04-24 | 2017-08-25 | 中国科学院遥感与数字地球研究所 | 一种合成孔径雷达扫描模式图像海冰分类方法 |
CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
CN107657271A (zh) * | 2017-09-02 | 2018-02-02 | 西安电子科技大学 | 基于长短时记忆网络的高光谱图像分类方法 |
Non-Patent Citations (4)
Title |
---|
JUNHWA CHI ET AL: "Prediction of Arctic Sea Ice Concentration Using a Fully Data Driven Deep Neural Network", 《REMOTE SENSING》 * |
TAN WANG ET AL: "A multi-level SAR sea ice image classification method by incorporating egg-code-based expert knowledge", 《2012 5TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
ZISIS I. PETROU ET AL: "Prediction of sea ice motion with recurrent neural networks", 《2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 * |
刘惠颖等: "基于HJ-1C SAR数据的辽东湾海冰分类", 《国土资源遥感》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492839A (zh) * | 2019-01-17 | 2019-03-19 | 东华大学 | 一种基于rnn-lstm网络的矿热炉工况预测方法 |
CN110084159B (zh) * | 2019-04-15 | 2021-11-02 | 西安电子科技大学 | 基于联合多级空谱信息cnn的高光谱图像分类方法 |
CN110084159A (zh) * | 2019-04-15 | 2019-08-02 | 西安电子科技大学 | 基于联合多级空谱信息cnn的高光谱图像分类方法 |
CN110232319A (zh) * | 2019-05-07 | 2019-09-13 | 杭州电子科技大学 | 一种基于深度学习的船舶行为识别方法 |
CN110956221A (zh) * | 2019-12-17 | 2020-04-03 | 北京化工大学 | 基于深度递归网络下小样本极化合成孔径雷达图像分类方法 |
CN111626363A (zh) * | 2020-05-28 | 2020-09-04 | 电子科技大学 | 一种基于期望最大化算法的多视角sar目标识别方法 |
CN111626363B (zh) * | 2020-05-28 | 2022-06-07 | 电子科技大学 | 一种基于期望最大化算法的多视角sar目标识别方法 |
CN112307679A (zh) * | 2020-11-23 | 2021-02-02 | 内蒙古工业大学 | 一种构建河冰厚度反演微波散射模型的方法及装置 |
CN112836800A (zh) * | 2021-02-03 | 2021-05-25 | 自然资源部第一海洋研究所 | 基于长短期记忆网络模型的多变量北极海冰面积预测方法 |
CN113065695A (zh) * | 2021-03-22 | 2021-07-02 | 广东海启星海洋科技有限公司 | 基于多网络融合的海冰等级预测方法及装置 |
CN113011502A (zh) * | 2021-03-22 | 2021-06-22 | 广东海启星海洋科技有限公司 | 基于人工智能的海冰等级预测方法及装置 |
CN112966656A (zh) * | 2021-03-29 | 2021-06-15 | 国家卫星海洋应用中心 | 数据处理方法及装置 |
CN114170139A (zh) * | 2021-11-09 | 2022-03-11 | 深圳市衡兴安全检测技术有限公司 | 近岸海域生态灾害预警方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109117883B (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109117883A (zh) | 基于长短时记忆网络的sar影像海冰分类方法及*** | |
CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
Ulmas et al. | Segmentation of satellite imagery using u-net models for land cover classification | |
Kaselimi et al. | A vision transformer model for convolution-free multilabel classification of satellite imagery in deforestation monitoring | |
CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
McIver et al. | Estimating pixel-scale land cover classification confidence using nonparametric machine learning methods | |
CN109800631A (zh) | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 | |
CN109493119B (zh) | 一种基于poi数据的城市商业中心识别方法及*** | |
Li et al. | Integrating ensemble-urban cellular automata model with an uncertainty map to improve the performance of a single model | |
CN105354595A (zh) | 一种鲁棒视觉图像分类方法及*** | |
CN110674858B (zh) | 一种基于时空关联与大数据挖掘的交通舆情检测方法 | |
Li et al. | Aggregative model-based classifier ensemble for improving land-use/cover classification of Landsat TM Images | |
CN107491734A (zh) | 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法 | |
CN109033944A (zh) | 一种全天空极光图像分类与关键局部结构定位方法及*** | |
Yang et al. | Detecting interchanges in road networks using a graph convolutional network approach | |
CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及*** | |
CN108537790A (zh) | 基于耦合翻译网络的异源图像变化检测方法 | |
Ayhan et al. | Analysis of image classification methods for remote sensing | |
Ahmed et al. | Recognizing a spatial extreme dependence structure: A deep learning approach | |
CN117789038B (zh) | 一种基于机器学习的数据处理与识别模型的训练方法 | |
CN111414878A (zh) | 一种关于地块的社会属性分析、图像处理方法及装置 | |
Apeagyei et al. | Evaluation of deep learning models for classification of asphalt pavement distresses | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN113158084B (zh) | 移动轨迹数据处理的方法、装置、计算机设备及存储介质 | |
Xiong et al. | Pixel-Level patch detection from full-scale asphalt pavement images based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |