CN113762467B - 基于紫外和可见高光谱获得近地面臭氧浓度的方法 - Google Patents

基于紫外和可见高光谱获得近地面臭氧浓度的方法 Download PDF

Info

Publication number
CN113762467B
CN113762467B CN202110925614.0A CN202110925614A CN113762467B CN 113762467 B CN113762467 B CN 113762467B CN 202110925614 A CN202110925614 A CN 202110925614A CN 113762467 B CN113762467 B CN 113762467B
Authority
CN
China
Prior art keywords
ozone
neural network
profile
layer
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110925614.0A
Other languages
English (en)
Other versions
CN113762467A (zh
Inventor
马鹏飞
陈翠红
张玉环
王玉
周春艳
张连华
杨晓钰
赵少华
王中挺
朱海涛
游代安
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Satellite Application Center for Ecology and Environment of MEE
Original Assignee
Satellite Application Center for Ecology and Environment of MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Satellite Application Center for Ecology and Environment of MEE filed Critical Satellite Application Center for Ecology and Environment of MEE
Priority to CN202110925614.0A priority Critical patent/CN113762467B/zh
Publication of CN113762467A publication Critical patent/CN113762467A/zh
Application granted granted Critical
Publication of CN113762467B publication Critical patent/CN113762467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/33Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明公开了一种基于紫外和可见高光谱获得近地面臭氧浓度的方法,该方法克服了单一高光谱反演臭氧廓线的弱敏感性以及不同传感器之间的异质性,在最优估计框架下,利用先验误差协方差矩阵和观测噪声协方差矩阵进行限定,以迭代的形式逐步逼近真值,进一步获得高精度的对流层中低层臭氧廓线,在此基础上,构建训练Wide& Deep的组合模型,使得训练得到的模型能够同时获得记忆和泛化的能力,提高反演精度。

Description

基于紫外和可见高光谱获得近地面臭氧浓度的方法
技术领域
本发明涉及臭氧廓线及近地面臭氧浓度反演的技术领域,具体涉及一种基于紫外和可见高光谱获得近地面臭氧浓度的方法。
背景技术
我国近地面臭氧污染浓度呈现逐年加重的趋势。在区域和全球范围内监测臭氧是一个至关重要的社会问题,由于地面监测站点稀少,尤其在农村和偏远地区,空间覆盖范围不够,无法精确评估区域整体污染状况。卫星遥感相对地面监测站点,可以提供大区域尺度的臭氧浓度信息,目前,在环境评估方面开展的大部分遥感监测应用,都是直接利用臭氧柱浓度来评估城市臭氧污染状况,无法精准定位受人为排放导致的臭氧重污染区域,另外,传统方式获得的臭氧柱浓度的精度也不够高,这就使得最终获得的近地面臭氧浓度的不确定性进一步提高。
利用卫星遥感反演对流层臭氧廓线主要有紫外(UV)高光谱和热红外(TIR)高光谱两类,单独利用其中一个高光谱区域,如在热红外波段,受地面热辐射影响,缺少较高热比,而在紫外波段,由于入射的太阳辐射会随着对流层底层空气密度的增加而减弱,这使得两个光谱区域对大气底层臭氧的吸收敏感性相对较差,从地面到900hpa的DFS接近0.1,反演误差较大,这也是目前卫星遥感反演对流层中低层臭氧廓线面临的主要问题。
多光谱联合反演在国内研究中比较少见,国外研究者大部分采用同一卫星的不同载荷,如利用MetOp卫星携带的IASI和GOME-2,AURA卫星携带的TES和OMI等。但这样的处理方式难以避免同一卫星不同载荷之间的异质性,也难以处理臭氧可见光吸(VIS)Chappuis波段对近地面臭氧吸收的高敏感性,因此,现有的针对对流层中低层臭氧廓线反演的方法仍显不足,急需调整和改善。
高分五号卫星EMI载荷同时覆盖了紫外和可见高光谱波段,因此针对目前卫星反演底层臭氧精度不高的问题,本发明人对多光谱融合方法及机器学习反演近地面臭氧浓度方法进行融合,以期待设计出一种能够解决上述问题的基于紫外和可见高光谱获得近地面臭氧浓度的方法。
发明内容
为了克服上述问题,本发明人进行了锐意研究,设计出一种基于紫外和可见高光谱获得近地面臭氧浓度的方法,该方法基于贝叶斯理论提出的最优估计法,其核心思想是通过构建目标函数和选择寻优策略,在先验误差协方差矩阵和观测噪声协方差矩阵的限定下,以迭代的形式逐步逼近真值,从而获得准确的对流层中低层臭氧廓线,在此基础上,构建训练Wide&Deep的组合模型,使得训练得到的模型能够同时获得记忆和泛化的能力,提高反演精度,从而完成本发明。
具体来说,本发明的目的在于提供一种基于紫外和可见高光谱获得近地面臭氧浓度的方法,该方法包括:
S1:利用紫外和可见高光谱获得对流层中低层臭氧廓线,
S2:调取包括对流层中低层臭氧廓线的训练样本来训练反演模型;
S3:调取监测地区的包括对流层中低层臭氧廓线的卫星遥感信息,输入到所述反演模型中,获得监测地区的近地面臭氧浓度信息。
其中,S1包括如下步骤:
步骤1,光谱校正,
步骤2,分别对紫外和可见高光谱载荷EMI获得的数据做敏感性和误差约束,
步骤3,通过最优估计法迭代反演臭氧廓线,
步骤4,对步骤3中得到的反演结果进行误差分析,从而进一步优化反演算法,
步骤5,利用调整后的参数,重复步骤4和步骤5,直至获得最优的反演结果,即获得最优的臭氧廓线时停止。
其中,步骤2包括如下子步骤:
子步骤a:加入吸收性气溶胶指数,去除气溶胶影响;
子步骤b:用380nm处反射率估算每个像素点处的有效云量;
子步骤c:计算获取到N2和O2的转动拉曼散射截面后,与地球大气顶层的太阳光谱进行卷积运算,得到Ring光谱;
子步骤d:利用VLIDORT矢量辐射传输模型,建立偏振校正查找表来校正偏振效应。
其中,步骤3包括如下子步骤:
子步骤1,将从步骤2的光谱图中直接得到的YYUV和YVIS代入到式(一)中,获得初始的辐射量Y,再将得到的辐射量Y代入到式(二)中,得到YYUV和YVIS对应的目标函数J值;
子步骤2,子步骤1中的X作为初始值代入到式(三)中,即n=1时的Xn;再结合该初始值X对应的辐射量Y,得到Xn+1
子步骤3,将子步骤2得到的Xn+1代入到式(一)中,获得对应的辐射量Y,再将得到的辐射量Y和该Xn+1代入到式(二)中,得到该Xn+1对应的目标函数J值;
子步骤4,重复迭代上述子步骤2和子步骤3,得到多个目标函数J值,并比较各个目标函数J值的大小,当该目标函数J值达到最小值时,停止迭代,并将该最小值对应的X作为反演值,即对流层中低层臭氧廓线;
所述式(一)、(二)、(三)分别为:
Y=YUV+YVIS (一)
Figure BDA0003209058080000041
Xn+1=Xa+(Kn TSe -1Kn+Sa -1)-1Kn Tse -1[(Y-F(Xn))-Kn(Xa-Xn)] (三)
其中,Y表示晴空条件下,卫星观测到的紫外和可见高光谱观测辐射值,YUV表示紫外高光谱观测辐射值,YVIS表示可见高光谱观测辐射值;
J表示目标函数,X表示反演得到的臭氧廓线,Xa为臭氧先验廓线,Sa为先验协方差矩阵,Se为观测协方差矩阵,F(X)为模拟辐射值,F为辐射传输模型;
Kn表示权重函数,Xn+1表示当前迭代的廓线状态,Xn表示上一次迭代的廓线状态,n是正整数。
其中,S2包括如下子步骤:
S21、建立Wide&Deep神经网络;
S22、将训练样本代入到Wide&Deep神经网络中对其进行训练,得到反演模型。
其中,其特征在于,
所述Wide&Deep神经网络包括浅层或单层的Wide神经网络部分和深层的Deep多层神经网络部分;
在步骤S22中,Wide神经网络部分的输入数据包括基础特征数据和组合特征;
在步骤S22中,Deep多层神经网络部分的输入数据包括基础特征数据;
所述基础特征数据包括aod055数据,ERA5特征数据、TROPOMI Level2特征数据和时间特征数据。
其中,其特征在于,
所述基础特征数据包括aod055数据,ERA5特征数据、TROPOMI Level2特征数据和时间特征数据;
优选地,所述TROPOMI Level2特征数据包括通过S1得到的对流层中低层臭氧廓线。
其中,通过下式(五)对所述基础特征数据做特征转化,得到组合基础特征:
Figure BDA0003209058080000051
其中,φk(X)表示组合基础特征,d表示特征空间,xi表示第i个基础特征,cki表示基础特征选择项;
优选地,通过gbdt模型根据组合基础特征获得作为wide神经网络部分输入的组合特征。
其中,在S22中,训练样本目标值为地面基站探测获得的臭氧浓度值;
所述Wide&Deep神经网络的输出数据为:
Figure BDA0003209058080000052
其中,所述
Figure BDA0003209058080000053
表示Wide神经网络部分的输出,
Figure BDA0003209058080000054
表示Deep多层神经网络部分最后一层激活函数的输出;
σ表示Wide&Deep神经网络最终的sigmoid激活函数;
b表示常量。
本发明所具有的有益效果包括:
(1)根据本发明提供的基于紫外和可见高光谱获得近地面臭氧浓度的方法,能够克服紫外高光谱和热红外高光谱单独区域对底层臭氧吸收的弱敏感性,在可见光波段的大气透明度以及对臭氧吸收的高敏感性的情况下,最大化的减少不同载荷的异质性所带来的反演误差,在气溶胶、水汽和地表参数的强约束下,通过同时覆盖紫外和可见光高光谱区域的同一卫星载荷观测数据,最大化的提取近地面臭氧吸收信号。
(2)根据本发明提供的基于紫外和可见高光谱获得近地面臭氧浓度的方法,采用Wide&Deep的组合机器学习模型,既具备传统机器学习便于拟合人工经验的优势,同时具备了神经网络的自学习和超高维特征数据处理的能力,进而获取大区域尺度的近地面臭氧浓度产品,为近地面臭氧污染成因分析提供数据支撑;进一步地,还通过Wide&Deep组合模型,分析处理影响近地面臭氧浓度的多个参数,反演获取精度更高的近地面臭氧浓度。
附图说明
图1示出根据本发明一种优选实施方式的基于紫外和可见高光谱获得近地面臭氧浓度的方法整体逻流程辑图;
图2示出实施例1中的紫外波段、可见波段光谱图;
图3示出实施例1中臭氧廓线反演结果图;
图4示出实施例2中获得的臭氧浓度信息散点图;
图5示出通过XGBoost方法获得的臭氧浓度信息散点图。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
根据本发明提供的基于紫外和可见高光谱获得近地面臭氧浓度的方法,如图1中所示,该方法包括:
S1:利用紫外和可见高光谱获得对流层中低层臭氧廓线,具体包括如下步骤:
步骤1,光谱校正,具体来说,
通过校正系数Cλi分别对紫外和可见高光谱进行校正,所述校正系数Cλi通过下式获得:
Figure BDA0003209058080000071
其中,Mλi是波长λi处的观测辐射值,Sλi是波长λi处相应的模拟辐射值。
步骤2,分别对紫外和可见高光谱载荷EMI获得的数据做敏感性和误差约束,具体处理过程中包括如下子步骤:
子步骤a:加入吸收性气溶胶指数(Absorbing Aerosol Index,AAI),去除气溶胶影响;即对每个像素点的气溶胶指数值进行过滤性判断,并滤除吸收性气溶胶指数过大的像素点;
所述紫外高光谱和可见高光谱都优选为国产的高分五号卫星获得的数据。
优选地,在所述在子步骤a中,
AAI=-100{Log10[(Iλ1/Iλ2)meas]-Log10[(Iλ1/Iλ2)calc]}
其中,(Iλ1/Iλ2)meas表示观测到的Iλ1和Iλ2的比值,
1是波长340nm处的反射率,Iλ2是波长380nm处的反射率,(Iλ1/Iλ2)calc为模拟到的两个波段反射率比值。
当AAI>1时,跳过该像素点,即不再考虑该像素点。
子步骤b:用380nm处反射率估算每个像素点处的有效云量(ecf,effective cloudfraction),当ecf>0.6时,辐射传输模型F中用云反射率来替换地表反射率进行模拟,从而去除云参数带来的不确定性。
优选地,
Figure BDA0003209058080000081
Figure BDA0003209058080000082
表示晴空天气下380nm波段的反射率,
Figure BDA0003209058080000083
表示多云天气下380nm波段的反射率,
Figure BDA0003209058080000084
表示380nm波段卫星观测值。
子步骤c:计算获取到N2和O2的转动拉曼散射截面后,与地球大气顶层的太阳光谱进行卷积运算,得到Ring光谱。辐射传输模型模拟得到的是表观反射率,再乘以太阳光谱得到绝对辐射值。利用Ring光谱来修正卫星观测到的绝对辐射值。
子步骤d:利用VLIDORT矢量辐射传输模型,建立偏振校正查找表来校正偏振效应,从而提高计算速度。即通过偏振校正查找表来调整利用辐射传输模型模拟得到的辐射值。
步骤3,通过最优估计法迭代反演臭氧廓线,
其中,最优估计法通过构建目标函数J,在先验误差协方差矩阵和观测噪声协方差矩阵的限定下,以迭代的形式逐步逼近真值。
在晴空条件下,卫星观测到的紫外和可见高光谱观测辐射值为Y,具体如下述式(一)所示:
Y=YUV+YVIS (一)
其中,YUV表示紫外高光谱观测辐射值,YVIS表示可见高光谱观测辐射值。
所述目标函数J通过下式(二)获得:
Figure BDA0003209058080000091
其中,X表示反演得到的臭氧廓线,Xa为臭氧先验廓线,Sa为先验协方差矩阵,Se为观测协方差矩阵,F(X)为模拟辐射值,F为辐射传输模型,选用VLIDORT和lblrtm相结合的方式,模拟计算辐射值和臭氧廓线的雅各比值。
YYUV表示高分五号紫外高光谱载荷EMI(EMI表示大气痕量气体差分吸收光谱仪)对紫外波段中305-330nm波长的261个通道的观测辐射值;YVIS表示540-620nm的583个通道的观测辐射值
所述迭代形式如下述式(三)所示:
Xn+1=Xa+(Kn TSe -1Kn+Sa -1)-1Kn TSe -1[Y-F(Xn))-Kn(Xa-Xn)] (三)
其中,Kn为权重函数,Xn+1为当前迭代的廓线状态,Xn为上一次迭代的廓线状态,n是正整数。
优选地,通过下式(四)构建先验协方差矩阵:
Figure BDA0003209058080000092
其中,[cov(ω)]ij表示先验协方差矩阵,i和j分别表示33层廓线中第i层和第j层,且i和j都是大于等于1,小于等于33的正整数;ωi表示第i层的O3先验廓线;ωj表示第j层的O3先验廓线;
C=Var(lnω),是O3在所有层的均方根误差;k表示平滑参数,其取值为0.5。
本申请中所述的反演过程,即为通过不断迭代(迭代形式如上述式三)来逐步修改X的值,该X值包括33层O3的浓度值,在先验协方差矩阵Sa和观测协方差矩阵Se的限定下,使得目标函数J的值最小,此时,认为得到的值X为真值,也就是我们要反演得到的值。
具体来说,步骤3包括如下子步骤:
子步骤1,将从步骤2的光谱图中直接得到的YYUV和YVIS代入到式(一)中,获得初始的辐射量Y,再将得到的辐射量Y代入到式(二)中,得到YYUV和YVIS对应的目标函数J值;
子步骤2,子步骤1中的X作为初始值代入到式(三)中,即n=1时的Xn;再结合该初始值X对应的辐射量Y,得到Xn+1
子步骤3,将子步骤2得到的Xn+1代入到式(一)中,获得对应的辐射量Y,再将得到的辐射量Y和该Xn+1代入到式(二)中,得到该Xn+1对应的目标函数J值;
子步骤4,重复迭代上述子步骤2和子步骤3,得到多个目标函数J值,并比较各个目标函数J值的大小,当该目标函数J值达到最小值时,停止迭代,并将该最小值对应的X作为反演值,即对流层中低层臭氧廓线。
步骤4,对步骤3中得到的反演结果进行误差分析,从而进一步优化反演算法。
在步骤4中,根据反演结果分别求出平滑误差SS,模型参数误差SP,前向模型误差Sf和反演误差Sm;再从中选取出误差值最大的误差,并调整对应的辐射传输模型参数。
步骤5,利用调整后的参数,重复步骤3和步骤4,直至获得最优的反演结果,即获得最优的臭氧廓线时停止。
优选地,当所述反演结果满足下述条件时,即认为得到最优的反演结果:
当步骤3中的迭代次数小于10次即可获得反演结果时认为得到了最优的反演结果,或者目标函数J小于特定阈值时认为得到了最优的反演结果。
S2:调取包括通过S1得到的对流层中低层臭氧廓线的训练样本来训练反演模型;
具体来说,S2包括以下子步骤:
S21、建立Wide&Deep神经网络;
S22、将训练样本代入到Wide&Deep神经网络中对其进行训练,得到反演模型。
所述训练样本包括TROPOMI Level2特征数据,ERA5特征数据,用于估算PM2.5的aod055数据;另外,还包括作为训练样本目标值的通过地面基站获得的近地面臭氧浓度数据。
在一个优选的实施方式中,所述Wide&Deep神经网络包括浅层或单层的Wide神经网络部分和深层的Deep多层神经网络部分;
所述浅层或单层的Wide神经网络部分优选为单层神经网络,其传递函数为单层激活函数,具体如下:
Figure BDA0003209058080000111
在步骤S22中,Wide神经网络部分的输入数据包括基础特征数据和组合特征;
在步骤S22中,Deep多层神经网络部分的输入数据包括基础特征数据;即所述基础特征数据需要分别输送给Wide神经网络部分和Deep多层神经网络部分。
所述基础特征数据包括aod055数据,ERA5特征数据、TROPOMI Level2特征数据和时间特征数据,其中所述aod055数据为PM2.5特征数据,即用于估算PM2.5的数据;
其中,所述ERA5特征数据包括'd2m','t2m','pev','str','skt','sp','bld','blh','tcc','r','t','u','v','tp';所述d2m表示2m露点温度,t2m表示2m温度,pev表示潜在蒸散量,str表示地表热辐射,skt表示气温,sp表示地面气压,bld表示边界层消能,blh表示边界层高度,tcc表示总云量,r表示相对湿度,t表示温度,u表示经度方向上的风,v表示纬度方向上的风,tp表示总降水量。
所述TROPOMI Level2特征数据包括'Ozone(O3)total column','Ozone(O3)tropospheric column','Ozone(O3)profile','Ozone(O3)tropospheric profile';所述Ozone(O3)total column表示臭氧柱总量,所述Ozone(O3)tropospheric column表示对流层中低层臭氧柱浓度,所述Ozone(O3)profile表示臭氧廓线,所述Ozone(O3)troposphericprofile表示通过S1得到的对流层中低层臭氧廓线。
所述时间特征数据包括'day_sin','day_cos','month_sin','month_cos',所述day_sin表示时间“天”的正弦向量化特征,day_cos表示时间“天”的余弦向量化特征,month_sin表示时间“月”的正弦向量化特征,month_cos表示时间“月”的余弦向量化特征。
所述基础特征数据都通过调取卫星数据获得,其中对流层中低层臭氧廓线在卫星数据的基础上,通过上述S1获得。
优选地,在向Wide&Deep神经网络中输入数据前,对基础特征数据做特征转化,得到组合基础特征,再通过gbdt模型筛选出组合特征,将得到的组合特征和基础特征一同输入到Wide神经网络部分;
其中通过下式(五)进行特征转化:
Figure BDA0003209058080000131
其中,φk(X)表示第k个组合基础特征,d表示特征空间,xi表示第i个基础特征,cki表示基础特征选择项,其取值为0或1,仅当k等于i时候取值1,其余时候取值为0;
本申请中,组合基础特征通过多项式组合方法枚举二阶、三阶的全部组合特征,并输入gbdt模型选取权重比较大的前16维作为wide神经网络部分输入的组合特征。
优选地,本申请中的所述组合特征包括:'aod055_d2m_str','aod055_d2m','aod055_str_sp','aod055_sp','d2m_t2m','d2m_pev_r_t','t2m_v','pev_blh','pev_r_t','str_skt','skt_blh','sp_t','bld_t','bld_blh_t','blh_r','blh_t'。所述组合特征中都包含两组或者三组基础特征数据,如组合特征'aod055_d2m_str',其中包含aod055数据、2m露点温度数据和地表热辐射数据。
Wide神经网络部分通过输入这种特征交叉函数获得的组合特征,可得到学习特征之间浅层交叉的能力,这种浅层特征交叉能力进一步保证了由Wide神经网络组成的Wide&Deep组合模型能够学习到人工先验知识。
在一个优选的实施方式中,所述Deep多层神经网络部分,在深层DNN前馈神经网络的基础上,通过增加多层的全连接网络构建而成;
所述多层全连接网络定义为:
a(l+1)=f(W(l)a(l)+h(l))
其中,a(l+1)表示L+1层输出;
a(l)表示第L层的输出,
h(l)表示偏置项,属于模型训练学习的目标,
W(l)表示参数项,属于模型训练学习的目标,
f()表示激活函数,属于模型训练学习的目标。
本申请中,每一层全连接网络的输出会作为下一层全连接网络的输入,从而得到学习特征之间深层交叉的能力,这种深层特征交叉保证了由Deep神经网络组成的Wide&Deep组合模型具备了自主探索和学习超高维特征空间的能力。
在一个优选的实施方式中,在S22中,训练样本目标值为地面基站探测获得的臭氧浓度值;
所述Wide&Deep神经网络的输出数据为:
Figure BDA0003209058080000141
通过上述算式拟合臭氧,该输出数据即为拟合臭氧浓度,该输出数据与实际臭氧的误差即为模型迭代学习需要降低的目标;
其中,所述
Figure BDA0003209058080000142
表示Wide神经网络部分的输出,其中,X表示基础特征,φ(X)表示组合特征;即,
Figure BDA0003209058080000143
表示通过基础特征X和组合特征φ(X)共同获得的Wide神经网络部分的输出;
Figure BDA0003209058080000144
表示Deep多层神经网络部分最后一层激活函数的输出;其中的a(lf)表示多层全连接网络的最后一层输出。
σ表示Wide&Deep神经网络最终的sigmoid激活函数;
b表示常量,是模型训练需要学习的参数,根据训练数据选择设置。
进一步地,优选地,Wide神经网络部分和Deep多层神经网络部分在训练时是彼此独立的,即分别输入数据,经过处理后分别得到输出值,将两个输出值做拟合处理的结果作为模型的输出结果,进而与实际臭氧相比较,利用比较结果反馈调整模型参数。
优选地,所述训练完成的判断条件是训练迭代次数超过1万次或者训练迭代得到的拟合臭氧信息满足下式:
拟合臭氧-实际臭氧/实际臭氧≤0.05;
所述实际臭氧为通过地面基站获得的近地面臭氧浓度数据。
S3:调取监测地区的包括通过S1得到的对流层中低层臭氧廓线的卫星遥感信息,输入到所述反演模型中,获得监测地区的近地面臭氧浓度信息。
实施例1
对杭州市所在的区域做对流层中低层臭氧廓线反演,该区域对应的紫外波段光谱图、可见波段光谱图如图2中所示,该反演方法包括如下步骤:
步骤1,建立光谱校正的校正系数解算式,即
Figure BDA0003209058080000151
步骤2,调取该区域的高分五号紫外高光谱数据和高分五号可见高光谱数据,对该光谱数据做敏感性和误差约束,具体来说包括如下子步骤:
子步骤a,滤除吸收性气溶胶指数过大的像素点,即滤除AAI值大于1的像素点;其中AAI通过下式解算:
AAI=-100{Log10[(Iλ1/Iλ2)meas]-Log10[(Iλ1/Iλ2)calc]}。
子步骤b:用380nm处反射率估算每个像素点处的有效云量,用380nm处反射率估算每个像素点处的有效云量;其中有效云量ecf通过下式解算:
Figure BDA0003209058080000152
子步骤c:获取N2和O2的转动拉曼散射截面,得到Ring光谱,利用Ring光谱来修正卫星观测到的绝对辐射值;
子步骤d:通过偏振校正查找表来调整利用辐射传输模型模拟得到的辐射值。
步骤3,通过最优估计法同步迭代反演臭氧廓线,具体来说,包括如下子步骤:
子步骤1,将从步骤2的光谱图中直接得到的YYUV和YVIS代入到式(一)中,获得初始的辐射量Y,再将得到的辐射量Y代入到式(二)中,得到该YYUV和YVIS对应的目标函数J值;
子步骤2,子步骤1中的X作为初始值代入到式(三)中,即n=1时的Xn;再结合该初始值X对应的辐射量Y,得到Xn+1
子步骤3,将子步骤2得到的Xn+1代入到式(一)中,获得对应的辐射量Y,再将得到的辐射量Y和该Xn+1代入到式(二)中,得到该Xn+1对应的目标函数J值;
子步骤4,重复迭代上述子步骤2和子步骤3,得到多个目标函数J值,并比较各个目标函数J值的大小,当该目标函数J值达到最小值时,停止迭代,并将该最小值对应的X作为反演值,即对流层中低层臭氧廓线。
其中,式(一)、式(二)和式(三)如下所示,
Y=YYUV+YVIS (一)
Figure BDA0003209058080000161
Xn+1=Xa+(Kn TSe -1Kn+Sa -1)-1Kn TSe -1[(Y-F(Xn))-Kn(Xa-Xn)] (三)
步骤4,根据反演结果分别求出平滑误差SS,模型参数误差SP,前向模型误差Sf和反演误差Sm;再从中选取出误差值最大的误差,并调整对应的辐射传输模型参数。
步骤5,利用调整后的参数,重复步骤3和步骤4,直至获得最优的反演结果,即获得最优的臭氧廓线时停止。最优的臭氧廓线反演结果如图3中所示。
图3中还示出了采用单一光谱反演臭氧廓线的反演结果,如图3所示,在对流层中低层,利用多光谱联合反演的结果,与单一光谱反演的结果相比,其精度提高明显,相对误差从50%提高到10%。
实施例2
训练反演模型:
步骤1,从卫星数据中调取训练样本,该训练样本具体包括aod055数据,ERA5特征数据、TROPOMI Level2特征数据、时间特征数据和地面基站获得的近地面臭氧浓度数据。其中,TROPOMI Level2特征数据中的对流层中低层臭氧廓线利用实施例1中的方法获得;
步骤2,建立Wide&Deep神经网络,所述Wide&Deep神经网络中Wide神经网络部分的输入数据包括基础特征数据和组合特征
所述Wide&Deep神经网络中Deep多层神经网络部分的输入数据包括基础特征数据;
其中,通过下式(五)对基础特征数据进行特征转化,再通过gbdt模型筛选出组合特征;
Figure BDA0003209058080000171
Wide神经网络部分中的传递函数为:
Figure BDA0003209058080000181
Deep多层神经网络部分中的多层全连接网络定义为:
a(l+1)=f(W(l)a(l)+h(l))
其中,a(l+1)表示L+1层输出;
a(l)表示第L层的输出,
h(l)表示偏置项,
W(l)表示参数项,
f()表示激活函数。
该Wide&Deep神经网络的输出数据为:
Figure BDA0003209058080000182
其中,所述
Figure BDA0003209058080000183
表示通过基础特征X和组合特征φ(X)共同获得的Wide神经网络部分的输出,
Figure BDA0003209058080000184
表示Deep多层神经网络部分最后一层激活函数的输出;
σ表示Wide&Deep神经网络最终的sigmoid激活函数,该激活函数的解算式为
Figure BDA0003209058080000185
b表示常量。
在经过1万次反演训练后,完成反演模型的训练,调取京津冀地区的卫星数据,通过实施例1中的方法获得京津冀地区的对流层中低层臭氧廓线,并输入到所述反演模型中,得到对应的该地区的近地面臭氧浓度信息。
再调取位于该地区的地面观测站点获得的臭氧浓度数据,比较两组臭氧浓度数据可知,本申请提供的基于机器学习和深度学习结合的近地面臭氧浓度反演方法的臭氧浓度情况如图1中所示,图4为散点图,其中每个点为一组臭氧浓度信息,横坐标为反演得到的臭氧浓度,纵坐标为观测站点观测到的臭氧浓度,该图中的R2达到0.92。
利用与上述实施例相同的数据,根据传统方法即XGBoost获得的臭氧浓度情况如图5中所示,可知其R2为0.77。
以上表明,本发明的基于机器学习和深度学习结合的近地面臭氧浓度反演方法具有显著提高的准确率。
以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。

Claims (4)

1.一种基于紫外和可见高光谱获得近地面臭氧浓度的方法,其特征在于,该方法包括:
S1:利用紫外和可见高光谱获得对流层中低层臭氧廓线,
S2:调取包括对流层中低层臭氧廓线的训练样本来训练反演模型;
S3:调取监测地区的包括对流层中低层臭氧廓线的卫星遥感信息,输入到所述反演模型中,获得监测地区的近地面臭氧浓度信息;
S1包括如下步骤:
步骤1,光谱校正,
步骤2,分别对紫外和可见高光谱载荷EMI获得的数据做敏感性和误差约束,
步骤3,通过最优估计法迭代反演臭氧廓线,
步骤4,对步骤3中得到的反演结果进行误差分析,从而进一步优化反演算法,
步骤5,利用调整后的参数,重复步骤4和步骤5,直至获得最优的反演结果,即获得最优的臭氧廓线时停止;
在步骤1中,通过校正系数Cλi分别对紫外和可见高光谱进行校正,所述校正系数Cλi通过下式获得:
Figure FDA0003785093540000011
其中,Mλi是波长λi处的观测辐射值,Sλi是波长λi处相应的模拟辐射值;
S2包括如下子步骤:
S21、建立Wide&Deep神经网络;
S22、将训练样本代入到Wide&Deep神经网络中对其进行训练,得到反演模型;
所述Wide&Deep神经网络包括浅层或单层的Wide神经网络部分和深层的Deep多层神经网络部分;
在步骤S22中,Wide神经网络部分的输入数据包括基础特征数据和组合特征;
在步骤S22中,Deep多层神经网络部分的输入数据包括基础特征数据;
所述基础特征数据包括aod055数据,ERA5特征数据、TROPOMI Level2特征数据和时间特征数据;
所述ERA5特征数据包括'd2m','t2m','pev','str','skt','sp','bld','blh','tcc','r','t','u','v','tp';所述d2m表示2m露点温度,t2m表示2m温度,pev表示潜在蒸散量,str表示地表热辐射,skt表示气温,sp表示地面气压,bld表示边界层消能,blh表示边界层高度,tcc表示总云量,r表示相对湿度,t表示温度,u表示经度方向上的风,v表示纬度方向上的风,tp表示总降水量;
所述TROPOMI Level2特征数据包括'Ozone(O3)total column','Ozone(O3)tropospheric column','Ozone(O3)profile','Ozone(O3)tropospheric profile';所述Ozone(O3)total column表示臭氧柱总量,所述Ozone(O3)tropospheric column表示对流层中低层臭氧柱浓度,所述Ozone(O3)profile表示臭氧廓线,所述Ozone(O3)troposphericprofile表示通过S1得到的对流层中低层臭氧廓线;
所述时间特征数据包括'day_sin','day_cos','month_sin','month_cos',所述day_sin表示时间“天”的正弦向量化特征,day_cos表示时间“天”的余弦向量化特征,month_sin表示时间“月”的正弦向量化特征,month_cos表示时间“月”的余弦向量化特征;
所述TROPOMI Level2特征数据包括通过S1得到的对流层中低层臭氧廓线;
通过下式(五)对所述基础特征数据做特征转化,得到组合基础特征:
Figure FDA0003785093540000031
其中,φk(X)表示组合基础特征,d表示特征空间,xi表示第i个基础特征,cki表示基础特征选择项;
通过gbdt模型根据组合基础特征获得作为wide神经网络部分输入的组合特征;
组合基础特征通过多项式组合方法枚举二阶、三阶的全部组合特征,并输入gbdt模型选取权重比较大的前16维作为wide神经网络部分输入的组合特征;
所述组合特征包括:'aod055_d2m_str','aod055_d2m','aod055_str_sp','aod055_sp','d2m_t2m','d2m_pev_r_t','t2m_v','pev_blh','pev_r_t','str_skt','skt_blh','sp_t','bld_t','bld_blh_t','blh_r','blh_t';所述组合特征中都包含两组或者三组基础特征数据;
Wide神经网络部分通过输入这种特征交叉函数获得的组合特征,可得到学习特征之间浅层交叉的能力,这种浅层特征交叉能力进一步保证了由Wide神经网络组成的Wide&Deep组合模型能够学习到人工先验知识。
2.根据权利要求1所述的基于紫外和可见高光谱获得近地面臭氧浓度的方法,其特征在于,步骤2包括如下子步骤:
子步骤a:加入吸收性气溶胶指数,去除气溶胶影响;
子步骤b:用380nm处反射率估算每个像素点处的有效云量;
子步骤c:计算获取到N2和O2的转动拉曼散射截面后,与地球大气顶层的太阳光谱进行卷积运算,得到Ring光谱;
子步骤d:利用VLIDORT矢量辐射传输模型,建立偏振校正查找表来校正偏振效应。
3.根据权利要求1所述的基于紫外和可见高光谱获得近地面臭氧浓度的方法,其特征在于,步骤3包括如下子步骤:
子步骤1,将从步骤2的光谱图中直接得到的YYUV和YVIS代入到式(一)中,获得初始的辐射量Y,再将得到的辐射量Y代入到式(二)中,得到YYUV和YVIS对应的目标函数J值;
子步骤2,子步骤1中的X作为初始值代入到式(三)中,即n=1时的Xn;再结合该初始值X对应的辐射量Y,得到Xn+1
子步骤3,将子步骤2得到的Xn+1代入到式(一)中,获得对应的辐射量Y,再将得到的辐射量Y和该Xn+1代入到式(二)中,得到该Xn+1对应的目标函数J值;
子步骤4,重复迭代上述子步骤2和子步骤3,得到多个目标函数J值,并比较各个目标函数J值的大小,当该目标函数J值达到最小值时,停止迭代,并将该最小值对应的X作为反演值,即对流层中低层臭氧廓线;
所述式(一)、(二)、(三)分别为:
Y=YUV+YVIS (一)
Figure FDA0003785093540000041
Xn+1=Xa+(Kn TSe -1Kn+Sa -1)-1Kn TSe -1[(Y-F(Xn))-Kn(Xa-Xn)] (三)
其中,Y表示晴空条件下,卫星观测到的紫外和可见高光谱观测辐射值,YUV表示紫外高光谱观测辐射值,YVIS表示可见高光谱观测辐射值;
J表示目标函数,X表示反演得到的臭氧廓线,Xa为臭氧先验廓线,Sa为先验协方差矩阵,Se为观测协方差矩阵,F(X)为模拟辐射值,F为辐射传输模型;
Kn表示权重函数,Xn+1表示当前迭代的廓线状态,Xn表示上一次迭代的廓线状态,n是正整数。
4.根据权利要求1所述的基于紫外和可见高光谱获得近地面臭氧浓度的方法,其特征在于,
在S22中,训练样本目标值为地面基站探测获得的臭氧浓度值;
所述Wide&Deep神经网络的输出数据为:
Figure FDA0003785093540000051
其中,所述
Figure FDA0003785093540000052
表示Wide神经网络部分的输出,
Figure FDA0003785093540000053
表示Deep多层神经网络部分最后一层激活函数的输出;
σ表示Wide&Deep神经网络最终的sigmoid激活函数;
b表示常量。
CN202110925614.0A 2021-08-12 2021-08-12 基于紫外和可见高光谱获得近地面臭氧浓度的方法 Active CN113762467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110925614.0A CN113762467B (zh) 2021-08-12 2021-08-12 基于紫外和可见高光谱获得近地面臭氧浓度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110925614.0A CN113762467B (zh) 2021-08-12 2021-08-12 基于紫外和可见高光谱获得近地面臭氧浓度的方法

Publications (2)

Publication Number Publication Date
CN113762467A CN113762467A (zh) 2021-12-07
CN113762467B true CN113762467B (zh) 2022-10-21

Family

ID=78789124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110925614.0A Active CN113762467B (zh) 2021-08-12 2021-08-12 基于紫外和可见高光谱获得近地面臭氧浓度的方法

Country Status (1)

Country Link
CN (1) CN113762467B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738734B (zh) * 2023-06-19 2024-04-09 中国人民解放军国防科技大学 一种基于正则化约束的水体透明度融合计算方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103675792A (zh) * 2013-12-06 2014-03-26 中国科学院遥感与数字地球研究所 CrIS超光谱数据的臭氧廓线快速反演方法
CN110795625A (zh) * 2019-10-25 2020-02-14 腾讯科技(深圳)有限公司 推荐方法、装置、计算机设备及存储介质
CN111339665A (zh) * 2020-02-27 2020-06-26 中国科学院空天信息创新研究院 一种对流层臭氧廓线计算方法
CN111678880A (zh) * 2020-06-04 2020-09-18 生态环境部卫星环境应用中心 平流层臭氧侵入对流层中低层的卫星遥感识别方法及***
CN111929263A (zh) * 2020-08-11 2020-11-13 生态环境部卫星环境应用中心 臭氧廓线和二氧化硫柱浓度协同反演方法
EP3846109A2 (en) * 2020-09-02 2021-07-07 Beijing Baidu Netcom Science And Technology Co. Ltd. Method and apparatus for training online prediction model, device and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101936881B (zh) * 2010-09-15 2012-10-03 吉林大学 利用临边遥感数据反演大气臭氧剖面的层析成像方法
CN110879934B (zh) * 2019-10-31 2023-05-23 杭州电子科技大学 一种基于Wide&Deep深度学习模型的文本预测方法
CN112052627A (zh) * 2020-08-21 2020-12-08 海南星瞰信息咨询中心(有限合伙) 近地面臭氧空间分布的估算方法、装置、介质及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103675792A (zh) * 2013-12-06 2014-03-26 中国科学院遥感与数字地球研究所 CrIS超光谱数据的臭氧廓线快速反演方法
CN110795625A (zh) * 2019-10-25 2020-02-14 腾讯科技(深圳)有限公司 推荐方法、装置、计算机设备及存储介质
CN111339665A (zh) * 2020-02-27 2020-06-26 中国科学院空天信息创新研究院 一种对流层臭氧廓线计算方法
CN111678880A (zh) * 2020-06-04 2020-09-18 生态环境部卫星环境应用中心 平流层臭氧侵入对流层中低层的卫星遥感识别方法及***
CN111929263A (zh) * 2020-08-11 2020-11-13 生态环境部卫星环境应用中心 臭氧廓线和二氧化硫柱浓度协同反演方法
EP3846109A2 (en) * 2020-09-02 2021-07-07 Beijing Baidu Netcom Science And Technology Co. Ltd. Method and apparatus for training online prediction model, device and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wide&Deep模型原理与实现;小应同学;《https://zhuanlan.zhihu.com/p/132708525》;20200429;1-4 *

Also Published As

Publication number Publication date
CN113762467A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110174359B (zh) 一种基于高斯过程回归的航空高光谱影像土壤重金属浓度评估方法
CN105674901B (zh) 基于统计学分段的大气气溶胶反演方法
CN111579504B (zh) 基于光学遥感的大气污染成分垂直分布反演方法
CN115356249B (zh) 基于机器学习融合模型的卫星偏振pm2.5估算方法和***
CN111783987A (zh) 基于改进bp神经网络的农田参考作物蒸散量预测方法
CN103345707A (zh) 一种基于多源遥感数据的农作物成熟期遥感预测方法
CN111859695B (zh) 基于高分五号卫星紫外可见高光谱的大气污染成分反演方法
Ihya et al. Prediction of hourly and daily diffuse solar fraction in the city of Fez (Morocco)
CN114813651A (zh) 一种结合差分学习率与光谱几何特征的遥感水质反演方法
Lu et al. Predicting surface solar radiation using a hybrid radiative Transfer–Machine learning model
CN114880933A (zh) 一种基于再分析资料的无探空站点地基微波辐射计大气温湿廓线反演方法及***
CN113762467B (zh) 基于紫外和可见高光谱获得近地面臭氧浓度的方法
CN117648863B (zh) 一种基于水系连通的特旱条件下区域供水能力获取方法
CN117031582B (zh) 递归时空学习及模拟监测融合的臭氧小时浓度预报方法
Lu et al. Prediction of diffuse solar radiation by integrating radiative transfer model and machine-learning techniques
CN113552081A (zh) 一种基于超高光谱遥感无盲区臭氧垂直分布的遥测***
Mélin Uncertainties in ocean colour remote sensing
CN111929263B (zh) 臭氧廓线和二氧化硫柱浓度协同反演方法
Liu et al. Hyperspectral infrared sounder cloud detection using deep neural network model
CN113297904A (zh) 一种基于卫星驱动模型的高寒草地生物量估算方法及***
CN114882361A (zh) 基于多源遥感融合的深度学习估算森林地上生物量方法
CN114838827A (zh) 一种基于mersi-ⅱ遥感数据的地表温度反演通道选择方法
CN114707396A (zh) 一种全天时pm2.5浓度无缝格点数据的近实时生产方法
CN113887493A (zh) 一种基于id3算法的黑臭水体遥感影像识别方法
CN113657023A (zh) 基于机器学习和深度学习结合的近地面臭氧浓度反演方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant