CN115455801A - 基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 - Google Patents
基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 Download PDFInfo
- Publication number
- CN115455801A CN115455801A CN202210840085.9A CN202210840085A CN115455801A CN 115455801 A CN115455801 A CN 115455801A CN 202210840085 A CN202210840085 A CN 202210840085A CN 115455801 A CN115455801 A CN 115455801A
- Authority
- CN
- China
- Prior art keywords
- data
- wind speed
- dnn
- pso
- sea surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于PSO‑DNN的HY‑2B扫描微波辐射计海面风速反演方法和装置,包括:收集数据集,所述数据集包括中国海洋卫星HY‑2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;对数据集预处理,基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;用训练集对预先构建的神经模型进行训练,得到训练好的PSO‑DNN反演模型;使用测试集对训练好的PSO‑DNN反演模型进行性能评估;将NDBC数据作为风速参考真值,对PSO‑DNN反演模型获得的海面风速进行评估。利用粒子群算法结构简单、运算高效的特点,对深度神经网络输出结果进行优化,能够快速且准确地优化出组合反演模型,提高海面风速反演精度。
Description
技术领域
本发明涉及海面风场微波遥感技术领域,特别涉及一种基于 PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法和装置。
背景技术
海面风场作为海洋动力学的重要因素,决定了海洋环流的强度和流向,影响着海洋与大气之间的交换,与全球水循环息息相关,从而间接影响着地球气候,对海面风场进行精确探测与深入研究具有重要意义。目前搭载在遥感卫星上用于探测海面风场的传感器可分为主动式和被动式两种:主动式有微波散射计、微波高度计和合成孔径雷达;被动式传感器有微波辐射计。微波辐射计可以穿透云层,能够实现对海面风速、海面盐度、海面温度等海洋物理状态信息的全天候监测。海面风场对于区域和全球气候变化的研究,以及气候预报有不可替代的重要作用。因此,研究微波辐射计的海面风速遥感对全球环境的深入研究有重要意义。
目前,进行海面风速反演的方法有:物理反演方法和神经网络反演方法。物理反演方法是目前使用最为广泛的方法,该方法从物理角度出发,首先基于微波辐射传输方程建立HY-2B辐射计观测亮温与海面风速的函数关系(正演模型),然后反演时,利用最小二乘优化方法,通过迭代反演出海面风速,最后通过与现场观测数据进行对比分析验证算法的有效性。采用物理反演方法的问题在于:由于海面风速并不仅仅只是一两个因素决定的,且物理模型建模复杂,会导致建立的模型函数容易忽略其他物理因素的影响,且函数关系复杂导致模型精度不高,影响风速反演精度。随着人工智能技术的快速发展,深度学习已逐步被应用于海面参数遥感领域。相比物理反演方法,深度学习反演方法主要形式是借助神经网络的不断学习学习能力,找到多个自变量与因变量复杂的抽象的函数关系,解决了物理反演方法由于正演模型建模复杂而导致的模型精度不高的问题。相比于浅层神经网络,深度神经网络可以从原始输入数据集中挖掘到更深层次的特征,从而实现对目标函数的准确拟合,提高精度。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此,本发明的第一个目的在于提出基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,为基于HY-2B扫描微波辐射计数据,且采用粒子群算法结合深度神经网络的海面风速优化反演方法,采用深度神经网络分析多个因素对海面风速的影响,解决物理反演算法因函数关系复杂无法充分考虑全部海面风速的影响因素,进而导致反演精度不高的问题。同时,采用粒子群算法对反演结果进行优化,粒子群算法结构简单、运算效率高,能够快速且准确地优化深度神经网络的输出结果,进一步提高风速反演精度。
本发明的第二个目的在于提出基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演装置。
为达到上述目的,本发明第一方面实施例提出了一种基于 PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,包括:
S1、收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
S2、对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计 L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
S3、基于训练集对预先构建的神经模型进行训练,得到训练好的 PSO-DNN反演模型;
S4、使用测试集对训练好的PSO-DNN反演模型进行性能评估;
S5、将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
根据本发明的一些实施例,步骤S2具体包括:
S21、对获取的数据集进行质量控制:去除数据中负值、陆地污染数据、无效样本点;
S22、将中国海洋卫星HY-2B扫描微波辐射计L2A_TC亮温数据与 ECMWF数据、NDBC数据进行时间和空间匹配;
S23:将匹配数据按照7:3比例随机划分为训练集和测试集。
根据本发明的一些实施例,步骤S3具体包括:
S31、采用训练集训练预先构建的DNN模型,在DNN模型训练完成后,分别使用原始分辨率重采样到6.925GHz分辨率下的 10.7GHz-H、10.7GHz-V极化亮温数据和18.7GHz-H、18.7GHzV极化亮温数据进行海面风速反演,得到海面风速反演结果;
S32、基于粒子群算法,对所述海面风速反演结果进行组合,寻找到最优的组合系数,进而建立PSO-DNN反演模型。
根据本发明的一些实施例,步骤S31具体包括:
S311、设置1个输入层,所述输入层包含9个输入参数:原始分辨率重采样到6.925GHz分辨率下的6.925GHz-H、6.925GHz-V极化亮温、10.7GHz-H、10.7GHz-V极化亮温、23.8GHz-V极化亮温、 37.0GHz-H、37.0GHz-V极化亮温、入射角和方位角;设置1个输出层,用于输出ECMWF数据的风速;设置2-6个隐藏层;基于所述输入层、输出层和隐藏层构建DNN模型;
S312、设置激活函数及损失函数,所述激活函数选择Tanh函数,所述损失函数选择均方误差函数;
S313、初始化DNN模型每一层权重和偏置,采用自适应矩估计算法,训练DNN模型,当达到预设精度时停止训练,得到训练好的 DNN模型;
S314、使用原始分辨率重采样到6.925GHz分辨率下10.7GHz-H、 10.7GHz-V极化亮温数据进行海面风速反演得到风速W1,使用原始分辨率重采样到6.925GHz分辨率下18.7GHz-H、18.7GHzV极化亮温数据进行海面风速反演得到风速W2。
根据本发明的一些实施例,步骤S32具体包括:
S321、基于粒子群算法,对所述海面风速反演结果进行线性组合,得到W=(W1,W2)T,设置PSO算法需要优化的组合系数是m=(m1,m2),其中m1和m2分别表示海面风速反演得到风速W1及风速W2组合系数;
S322、初始化PSO算法中的参数,随机生成m个粒子X=(X1,… Xi,…,Xm),每个粒子均为2维;第i个粒子组合系数为mi=(m1,m2),组合系数修正为Δmi;个体最优组合系数为Pbest=(Pbest1,Pbest2), 全局最优系数组合为Gbest=(Gbest1,Gbest2);适应度函数形式如下:
S323、每次迭代中,当粒子找到个体和全局最优组合系数后,就可以更新粒子组合系数信息:
其中,w为惯性权重;wmax为初始惯性权重,一般取值为0.9;wmin为结束惯性权重,一般取值为0.1;maxiter为最大迭代次数;t为当前迭代次数;c1、c2为学习因子;rand1、rand2为0到1之间的随机数;表示第i个粒子第d维在第t次迭代中的组合系数修正;表示第i个粒子第d维在第t次迭代中的组合系数;和分别表示第i个粒子第d维在第t次迭代中的个体最优和全局最优组合系数;
S324、根据全局最优组合系数,得到PSO-DNN模型。
根据本发明的一些实施例,步骤S323,具体包括:
S3231、0到1之间随机设置粒子的初始组合系数值,设置粒子群数目;
S3232、按照适应度公式计算每个粒子的适应度;
S3233、对比每个粒子当前组合系数的适应度与个体最优组合系数的适应度,若更小则更新个体最优组合系数,否则保持不变;
S3234、对比每个粒子当前组合系数的适应度与全局最优组合系数的适应度,若更小则更新全局最优组合系数,否则保持不变;
S3235、按照公式更新惯性权重,按照公式更新每个粒子的组合系数修正和组合系数;
S3236、若不满足设置的终止条件,则返回S3232;若满足终止条件,结束循环并输出全局最优组合系数。
根据本发明的一些实施例,步骤S4,具体包括:在测试集上使用PSO-DNN模型,得到海面风速反演结果,根据均方根误差(RMSE) 函数评估模型性能;
其中,N为测试集样本数量,Si和Strue分别表示PSO-DNN模型反演风速和风速参考真值。
根据本发明的一些实施例,步骤S5包括:由于PSO-DNN模型的训练和测试所使用的风速参考真值都是ECMWF数据,有必要使用独立的风速测量数据来评估模型性能;为此,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据和NDBC数据根据时间和空间进行匹配,将NDBC数据作为风速参考真值,得到独立的验证集数据;使用RMSE函数对比模型的输出风速和NDBC风速,评估模型的实际性能。
为达到上述目的,本发明第二方面实施例提出了一种基于 PSO-DNN的HY-2B扫描微波辐射计海面风速反演装置,包括:
收集模块,用于收集数据集,所述数据集包括中国海洋卫星HY-2B 扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
预处理模块,用于对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
训练模块,用于基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;
第一评估模块,用于使用测试集对训练好的PSO-DNN反演模型进行性能评估;
第二评估模块,用于将NDBC数据作为风速参考真值,对PSO-DNN 反演模型获得的海面风速进行评估。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据本发明一个实施例的一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法的流程图;
图2是根据本发明又一个实施例的一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法的流程图;
图3是根据本发明一个实施例的PSO-DNN模型训练流程图;
图4是根据本发明一个实施例的一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明第一方面实施例提出了一种基于PSO-DNN的 HY-2B扫描微波辐射计海面风速反演方法,包括步骤S1-S5:
S1、收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
S2、对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计 L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
S3、基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;
S4、使用测试集对训练好的PSO-DNN反演模型进行性能评估;
S5、将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
上述技术方案的工作原理:PSO为粒子群优化算法。收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;使用测试集对训练好的PSO-DNN反演模型进行性能评估;将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
上述技术方案的有益效果:采用深度神经网络改进地物模式函数方法因函数关系简单导致的模型精度不高的问题,改进简单神经网络容易陷入局部最优的问题,分析多个因素对海面风速的影响,提升海面风速反演精度。粒子群算法在迭代过程中自适应调整惯性因子,利用大量的粒子在一定的搜索空间内快速、准确地找到满足条件的一组最优的组合参数即全局最优解,使得目标函数即组合反演值相对风速真值的均方差最小,从而得到更好的总体反演性能。采用粒子群算法对深度神经网络输出结果进行优化,使风速反演精度得到提高。
根据本发明的一些实施例,步骤S2具体包括:
S21、对获取的数据集进行质量控制:去除数据中负值、陆地污染数据、无效样本点;
S22、将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据包括的亮温数据的经纬度与ECMWF数据的经纬度、NDBC数据的经纬度进行空间匹配,将亮温数据的时间与ECMWF数据的时间、NDBC数据的时间进行时间匹配;
S23:将匹配数据按照7:3比例随机划分为训练集和测试集。
上述技术方案的有益效果:实现对数据集的数据质控,提高数据集的准确性,进而提高匹配数据的准确性。保证确定样本的准确性。
根据本发明的一些实施例,步骤S3具体包括:
S31、采用训练集训练预先构建的DNN模型,在DNN模型训练完成后,分别使用原始分辨率重采样到6.925GHz分辨率下的 10.7GHz-H、10.7GHz-V极化亮温数据和18.7GHz-H、18.7GHzV极化亮温数据进行海面风速反演,得到海面风速反演结果;
S32、基于粒子群算法,对所述海面风速反演结果进行组合,寻找到最优的组合系数,得到PSO-DNN反演模型。
上述技术方案的有益效果:提高确定PSO-DNN反演模型的准确性。
根据本发明的一些实施例,步骤S31具体包括:
S311、设置1个输入层,所述输入层包含9个输入参数:原始分辨率重采样到6.925GHz分辨率下的6.925GHz-H、6.925GHz-V极化亮温、10.7GHz-H、10.7GHz-V极化亮温、23.8GHz-V极化亮温、 37.0GHz-H、37.0GHz-V极化亮温、入射角和方位角;设置1个输出层,用于输出ECMWF数据的风速;设置2-6个隐藏层;基于所述输入层、输出层和隐藏层构建DNN模型;
S312、设置激活函数及损失函数,所述激活函数选择Tanh函数,所述损失函数选择均方误差函数;
S313、初始化DNN模型每一层权重和偏置,采用自适应矩估计算法,训练DNN模型,当达到预设精度时停止训练,得到训练好的DNN 模型;
S314、使用原始分辨率重采样到6.925GHz分辨率下10.7GHz-H、 10.7GHz-V极化亮温数据进行海面风速反演得到风速W1,使用原始分辨率重采样到6.925GHz分辨率下18.7GHz-H、18.7GHzV极化亮温数据进行海面风速反演得到风速W2。
上述技术方案的工作原理:Tanh函数为其中, z表示DNN模型中隐藏层神经元的输出结果,e表示指数函数;Tanh 函数的输出落在[-1,1]上,使输出可以进行标准化。均方误差函数为其中,N表示迭代次数,yi和yture分别表示模型预测风速和真实参考风速。PSO算法的目的是在搜索空间中找到一组最优的粒子,使目标函数达到最小值。
上述技术方案的有益效果:提高得到海面风速反演结果的准确性。
根据本发明的一些实施例,步骤S32具体包括:
S321、基于粒子群算法,对所述海面风速反演结果进行线性组合,得到W=(W1,W2)T,设置PSO算法需要优化的组合系数是m=(m1,m2),其中m1和m2分别表示海面风速反演得到风速W1及风速W2组合系数;
S322、初始化PSO算法中的参数,随机生成m个粒子X=(X1,… Xi,…,Xm),每个粒子均为2维;第i个粒子组合系数为mi=(m1,m2),组合系数修正为Δmi;个体最优组合系数为Pbest=(Pbest1,Pbest2), 全局最优系数组合为Gbest=(Gbest1,Gbest2);适应度函数形式如下:
S323、每次迭代中,当粒子找到个体和全局最优组合系数后,就可以更新粒子组合系数信息:
其中,w为惯性权重;wmax为初始惯性权重,一般取值为0.9;wmin为结束惯性权重,一般取值为0.1;maxiter为最大迭代次数;t为当前迭代次数;c1、c2为学习因子;rand1、rand2为0到1之间的随机数;表示第i个粒子第d维在第t次迭代中的组合系数修正;表示第i个粒子第d维在第t次迭代中的组合系数;和分别表示第i个粒子第d维在第t次迭代中的个体最优和全局最优组合系数;
S324、根据全局最优组合系数,得到训练好的PSO-DNN模型。
上述技术方案的有益效果:便于快速且准确的得到全局最优组合系数,进而得到准确的PSO-DNN模型。
根据本发明的一些实施例,步骤S323,具体包括:
S3231、0到1之间随机设置粒子的初始组合系数值,设置粒子群数目;
S3232、按照适应度公式计算每个粒子的适应度;
S3233、对比每个粒子当前组合系数的适应度与个体最优组合系数的适应度,若更小则更新个体最优组合系数,否则保持不变;
S3234、对比每个粒子当前组合系数的适应度与全局最优组合系数的适应度,若更小则更新全局最优组合系数,否则保持不变;
S3235、按照公式更新惯性权重,按照公式更新每个粒子的组合系数修正和组合系数;
S3236、若不满足设置的终止条件,则返回S3232;若满足终止条件,结束循环并输出全局最优组合系数。
上述技术方案的有益效果:基于对比每个粒子当前组合系数的适应度与个体最优组合系数的适应度,及对比每个粒子当前组合系数的适应度与全局最优组合系数的适应度,提高个体最优组合系数及全局最优组合系数的准确性。
根据本发明的一些实施例,步骤S4,具体包括:在测试集上使用PSO-DNN模型,得到海面风速反演结果,根据均方根误差(RMSE) 函数评估模型性能;
其中,N为测试集样本数量,Si和Strue分别表示PSO-DNN模型反演风速和风速参考真值。
上述技术方案的有益效果:在测试集上使用PSO-DNN模型,得到海面风速反演结果,根据均方根误差(RMSE)函数评估模型性能,在评估模型性能较差时,继续更新,提高模型性能。
根据本发明的一些实施例,步骤S5包括:由于PSO-DNN模型的训练和测试所使用的风速参考真值都是ECMWF数据,有必要使用独立的风速测量数据来评估模型性能;为此,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据和NDBC数据根据时间和空间进行匹配,将NDBC数据作为风速参考真值,得到验证集数据;使用RMSE函数对比模型的输出风速和NDBC风速,评估模型的实际性能。
上述技术方案的工作原理:为此,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据和NDBC数据根据时间和空间进行匹配,将NDBC 数据作为风速参考真值,得到验证集数据;使用RMSE函数对比模型的输出风速和NDBC风速,评估模型的实际性能。
上述技术方案的有益效果:基于另一NDBC数据作为风速参考真值,进行评估,使得评估结果更加可靠,更加准确的体现模型的实际性能。
如图2所示,在一实施例中,一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,包括:
收集数据集;
对数据集预处理;
数据集时空匹配,按比例分为训练集和测试集;
使用训练集训练PSO-DNN模型;
使用测试集评估模型性能;
数据集时空匹配,得到验证集数据;
使用验证集数据评估模型性能。
如图3所示,在一实施例中,输出全局最优组合参数。
在一实施例中,对数据集预处理,包括:
确定数据集中各类数据的空间复杂度及各类数据之间的相关度;
根据数据集中各类数据的空间复杂度及各类数据之间的相关度,将数据集中的各类数据建立排队队列;
基于完整性、合规性规则、正确性规则对排队队列进行质检,确定低质量队列区域;
对低质量队列区域进行特征提取,得到特征参数,根据所述特征参数构建回归方程,得到第一预估数据;
将所述第一预估数据进行分割,得到若干个子第一预估数据;
获取子第一预估数据的哈希值并进行分析,确定异常的子第一预估数据并剔除,得到第二预估数据;
根据第二预估数据对低质量队列区域进行优化,得到优化序列区域;
设置评估指标,确定各个评估指标之间的关联关系,建立评估指标体系;
对评估指标体系中的各个评估指标设置权重系数;
基于评估指标体系对目标序列区域进行评估,在确定评估通过时,用目标序列区域替换低质量队列区域。
上述技术方案的工作原理:确定数据集中各类数据的空间复杂度及各类数据之间的相关度;根据数据集中各类数据的空间复杂度及各类数据之间的相关度,将数据集中的各类数据建立排队队列;基于完整性、合规性规则、正确性规则对排队队列进行质检,确定低质量队列区域;对低质量队列区域进行特征提取,得到特征参数,根据所述特征参数构建回归方程,得到第一预估数据;将所述第一预估数据进行分割,得到若干个子第一预估数据;获取子第一预估数据的哈希值并进行分析,确定异常的子第一预估数据并剔除,得到第二预估数据;哈希值为把消息或数据压缩成摘要,使得数据量变小,将数据的格式固定下来。便于提高数据的分析效率。根据第二预估数据对低质量队列区域进行优化,得到优化序列区域;设置评估指标,确定各个评估指标之间的关联关系,建立评估指标体系;对评估指标体系中的各个评估指标设置权重系数;基于评估指标体系对目标序列区域进行评估,在确定评估通过时,用目标序列区域替换低质量队列区域。
上述技术方案的有益效果:实现对数据集中的数据进行预处理,保证数据集的准确性。
如图4所示,本发明第二方面实施例提出了一种基于PSO-DNN的 HY-2B扫描微波辐射计海面风速反演装置,包括:
收集模块,用于收集数据集,所述数据集包括中国海洋卫星HY-2B 扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
预处理模块,用于对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
训练模块,用于基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;
第一评估模块,用于使用测试集对训练好的PSO-DNN反演模型进行性能评估;
第二评估模块,用于将NDBC数据作为风速参考真值,对PSO-DNN 反演模型获得的海面风速进行评估。
上述技术方案的工作原理:收集模块,用于收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;预处理模块,用于对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;训练模块,用于基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;第一评估模块,用于使用测试集对训练好的 PSO-DNN反演模型进行性能评估;第二评估模块,用于将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
上述技术方案的有益效果:采用深度神经网络改进地物模式函数方法因函数关系简单导致的模型精度不高的问题,改进简单神经网络容易陷入局部最优的问题,分析多个因素对海面风速的影响,提升海面风速反演精度。粒子群算法在迭代过程中自适应调整惯性因子,利用大量的粒子在一定的搜索空间内快速、准确地找到满足条件的一组最优的组合参数即全局最优解,使得目标函数即组合反演值相对风速真值的均方差最小,从而得到更好的总体反演性能。采用粒子群算法,通过深度神经网络输出结果进行优化,使风速反演精度得到提高。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,包括:
S1、收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
S2、对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
S3、基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;
S4、使用测试集对训练好的PSO-DNN反演模型进行性能评估;
S5、将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
2.如权利要求1所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S2具体包括:
S21、对获取的数据集进行质量控制:去除数据中负值、陆地污染数据、无效样本点;
S22、将中国海洋卫星HY-2B扫描微波辐射计L2A_TC亮温数据与ECMWF数据、NDBC数据进行时间和空间匹配;
S23:将匹配数据按照7:3比例随机划分为训练集和测试集。
3.如权利要求1所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S3具体包括:
S31、采用训练集训练预先构建的DNN模型,在DNN模型训练完成后,分别使用原始分辨率重采样到6.925GHz分辨率下的10.7GHz-H、10.7GHz-V极化亮温数据和18.7GHz-H、18.7GHz-V极化亮温数据进行海面风速反演,得到海面风速反演结果;
S32、基于粒子群算法,对所述海面风速反演结果进行组合,寻找到最优的组合系数,进而建立PSO-DNN反演模型。
4.如权利要求3所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S31具体包括:
S311、设置1个输入层,所述输入层包含9个输入参数:原始分辨率重采样到6.925GHz分辨率下的6.925GHz-H、6.925GHz-V极化亮温、10.7GHz-H、10.7GHz-V极化亮温、23.8GHz-V极化亮温、37.0GHz-H、37.0GHz-V极化亮温、入射角和方位角;设置1个输出层,用于输出ECMWF数据的风速;设置2-6个隐藏层;基于所述输入层、输出层和隐藏层构建DNN模型;
S312、设置激活函数及损失函数,所述激活函数选择Tanh函数,所述损失函数选择均方误差函数;
S313、初始化DNN模型每一层权重和偏置,采用自适应矩估计算法,训练DNN模型,当达到预设精度时停止训练,得到训练好的的DNN模型;
S314、使用原始分辨率重采样到6.925GHz分辨率下10.7GHz-H、10.7GHz-V极化亮温数据进行海面风速反演得到风速W1,使用原始分辨率重采样到6.925GHz分辨率下18.7GHz-H、18.7GHzV极化亮温数据进行海面风速反演得到风速W2。
5.如权利要求4所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S32具体包括:
S321、基于粒子群算法,对所述海面风速反演结果进行线性组合,得到W=(W1,W2)T,设置PSO算法需要优化的组合系数是m=(m1,m2),其中m1和m2分别表示海面风速反演得到风速W1及风速W2组合系数;
S322、初始化PSO算法中的参数,随机生成m个粒子X=(X1,…Xi,…,Xm),每个粒子均为2维;第i个粒子组合系数为mi=(m1,m2),组合系数修正为Δmi;个体最优组合系数为Pbest=(Pbest1,Pbest2),全局最优系数组合为Gbest=(Gbest1,Gbest2);适应度函数形式如下:
S323、每次迭代中,当粒子找到个体和全局最优组合系数后,就可以更新粒子组合系数信息:
其中,w为惯性权重;wmax为初始惯性权重,一般取值为0.9;wmin为结束惯性权重,一般取值为0.1;maxiter为最大迭代次数;t为当前迭代次数;c1、c2为学习因子;rand1、rand2为0到1之间的随机数;表示第i个粒子第d维在第t次迭代中的组合系数修正;表示第i个粒子第d维在第t次迭代中的组合系数;和分别表示第i个粒子第d维在第t次迭代中的个体最优和全局最优组合系数;
S324、根据全局最优组合系数,得到PSO-DNN模型。
6.如权利要求5所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S323,具体包括:
S3231、0到1之间随机设置粒子的初始组合系数值,设置粒子群数目;
S3232、按照适应度公式计算每个粒子的适应度;
S3233、对比每个粒子当前组合系数的适应度与个体最优组合系数的适应度,若更小则更新个体最优组合系数,否则保持不变;
S3234、对比每个粒子当前组合系数的适应度与全局最优组合系数的适应度,若更小则更新全局最优组合系数,否则保持不变;
S3235、按照公式更新惯性权重,按照公式更新每个粒子的组合系数修正和组合系数;
S3236、若不满足设置的终止条件,则返回S3232;若满足终止条件,结束循环并输出全局最优组合系数。
8.如权利要求1所述的基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演方法,其特征在于,步骤S5包括:由于PSO-DNN模型的训练和测试所使用的风速参考真值都是ECMWF数据,有必要使用独立的风速测量数据来评估模型性能;为此,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据和NDBC数据根据时间和空间进行匹配,将NDBC数据作为风速参考真值,得到独立的验证集数据,使用RMSE函数对比模型的输出风速和NDBC风速,评估模型的实际性能。
9.一种基于PSO-DNN的HY-2B扫描微波辐射计海面风速反演装置,其特征在于,包括:
收集模块,用于收集数据集,所述数据集包括中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据;
预处理模块,用于对数据集预处理,将中国海洋卫星HY-2B扫描微波辐射计L2A_TC数据、欧洲中期天气预报中心ECMWF数据和美国数据浮标中心NDBC数据基于时空匹配原则进行匹配,将ECMWF数据作为风速参考真值,得到匹配数据集,将匹配数据集分为训练集和测试集;
训练模块,用于基于训练集对预先构建的神经模型进行训练,得到训练好的PSO-DNN反演模型;
第一评估模块,用于使用测试集对训练好的PSO-DNN反演模型进行性能评估;
第二评估模块,用于将NDBC数据作为风速参考真值,对PSO-DNN反演模型获得的海面风速进行评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210840085.9A CN115455801A (zh) | 2022-07-18 | 2022-07-18 | 基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210840085.9A CN115455801A (zh) | 2022-07-18 | 2022-07-18 | 基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115455801A true CN115455801A (zh) | 2022-12-09 |
Family
ID=84297466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210840085.9A Pending CN115455801A (zh) | 2022-07-18 | 2022-07-18 | 基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115455801A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115906667A (zh) * | 2022-12-29 | 2023-04-04 | 西安电子科技大学 | 一种海洋环境参数反演模型构建方法及装置 |
CN117272843A (zh) * | 2023-11-22 | 2023-12-22 | 中国石油大学(华东) | 基于随机森林的gnss-r海面风速反演方法及*** |
CN117390593A (zh) * | 2023-12-12 | 2024-01-12 | 国家卫星海洋应用中心 | 一种基于辐射计数据的海表参量确定方法以及设备 |
CN117969881A (zh) * | 2024-03-29 | 2024-05-03 | 中国石油大学(华东) | 基于遥感数据反演台风海况海面风速的方法、装置及介质 |
-
2022
- 2022-07-18 CN CN202210840085.9A patent/CN115455801A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115906667A (zh) * | 2022-12-29 | 2023-04-04 | 西安电子科技大学 | 一种海洋环境参数反演模型构建方法及装置 |
CN115906667B (zh) * | 2022-12-29 | 2023-12-22 | 西安电子科技大学 | 一种海洋环境参数反演模型构建方法及装置 |
CN117272843A (zh) * | 2023-11-22 | 2023-12-22 | 中国石油大学(华东) | 基于随机森林的gnss-r海面风速反演方法及*** |
CN117272843B (zh) * | 2023-11-22 | 2024-02-02 | 中国石油大学(华东) | 基于随机森林的gnss-r海面风速反演方法及*** |
CN117390593A (zh) * | 2023-12-12 | 2024-01-12 | 国家卫星海洋应用中心 | 一种基于辐射计数据的海表参量确定方法以及设备 |
CN117390593B (zh) * | 2023-12-12 | 2024-03-22 | 国家卫星海洋应用中心 | 一种基于辐射计数据的海表参量确定方法以及设备 |
CN117969881A (zh) * | 2024-03-29 | 2024-05-03 | 中国石油大学(华东) | 基于遥感数据反演台风海况海面风速的方法、装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115455801A (zh) | 基于pso-dnn的hy-2b扫描微波辐射计海面风速反演方法和装置 | |
CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
CN112487900B (zh) | 一种基于特征融合的sar图像舰船目标检测方法 | |
CN107703496B (zh) | 一种交互式多模伯努利滤波的机动弱目标检测前跟踪方法 | |
CN113189014B (zh) | 一种融合卫星遥感和地面监测数据的臭氧浓度估算方法 | |
CN106897998B (zh) | 太阳能直射辐射强度信息预测方法和*** | |
CN112861666A (zh) | 一种基于深度学习的鸡群计数方法及应用 | |
CN113076876B (zh) | 一种基于三维结构监督和置信度加权的人脸欺骗检测方法和*** | |
CN117689995A (zh) | 一种基于单目图像的未知航天器层级检测方法 | |
CN109187898B (zh) | 水产养殖环境中水质氨氮含量的软测量方法及装置 | |
CN116664545A (zh) | 一种基于深度学习的近海底栖生物定量检测方法及*** | |
CN115616579A (zh) | 一种基于awpso-cnn和hy-2c微波散射计海面风场反演方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN113553708B (zh) | 一种溯源仿真模型关键影响因素的方法和装置 | |
CN116310780A (zh) | 基于轮廓建模的光学遥感图像任意方向船只目标检测方法 | |
CN114821322A (zh) | 基于注意力机制的小样本遥感影像分类方法及*** | |
CN114529815A (zh) | 一种基于深度学习的流量检测方法、装置、介质及终端 | |
CN117390967B (zh) | 海上风电短期功率预测方法、装置、设备及存储介质 | |
CN112446440B (zh) | 基于msr-cnn的机器人多传感器目标跟踪方法 | |
CN114996624B (zh) | 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法 | |
CN117522950B (zh) | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 | |
CN116452820B (zh) | 环境污染等级确定方法及装置 | |
CN117197095B (zh) | 基于半监督生成对抗分割模型的表面缺陷检测方法和*** | |
CN114018773B (zh) | Pm2.5浓度空间分布数据的获取方法、装置、设备及存储介质 | |
CN109521176B (zh) | 一种基于改进深度极限学习机的虚拟水质监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |