CN113624694A - 一种大气甲烷浓度的反演方法和装置 - Google Patents
一种大气甲烷浓度的反演方法和装置 Download PDFInfo
- Publication number
- CN113624694A CN113624694A CN202111178987.2A CN202111178987A CN113624694A CN 113624694 A CN113624694 A CN 113624694A CN 202111178987 A CN202111178987 A CN 202111178987A CN 113624694 A CN113624694 A CN 113624694A
- Authority
- CN
- China
- Prior art keywords
- sample
- input data
- data
- target
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种大气甲烷浓度的反演方法和装置，涉及环境监测的技术领域，包括：获取待监测区域的样本输入数据和样本标定数据；利用PCA算法，对样本输入数据进行降维处理，得到降维样本输入数据；利用降维样本输入数据和样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；在获取到待监测区域的当前输入数据之后，利用PCA算法，对当前输入数据进行降维处理，得到降维当前输入数据；将降维当前输入数据输入目标XGBoost模型，得到待监测区域的当前大气甲烷柱浓度，解决了现有的大气甲烷浓度反演方法的反演误差较大且反演效率较低的技术问题。
Description
技术领域
本发明涉及环境监测的技术领域，尤其是涉及一种大气甲烷浓度的反演方法和装置。
背景技术
传统监测CH4浓度变化方法，一般采用地基探测方法，地基探测方法的精度高、可靠性强，但是地基监测站点建设费用和维护费用都很高，目前无法进行大规模建设，因此地面监测方式受到空间的限制，缺乏对全球大范围实时探测的能力，观测结果很难用于全球CH4浓度分布研究。
卫星遥感监测方式可以进行覆盖全球的观测，能够提供稳定连续、全球尺度、时空一致性较好的数据。但是卫星观测面对的大气、地表影响较为复杂，获取的大气及地表参数很难保证其精确性，这使得大气CH4反演易受外界因素干扰，直接影响反演精度，仪器性能、大气参数及地表特征是反演的三大主要误差源。
在利用遥感数据进行反演的过程中，不可避免地会受到数据的测量误差及各种参数不确定性的影响。卫星观测面对的大气、地表影响较为复杂，获取的大气及地表参数很难保证其精确性，这使得大气CH4反演易受外界因素干扰，直接影响反演精度。卫星遥感反演实验表明，仪器性能、大气参数及地表特征是反演的三大主要误差源。卫星遥感器接收到的信号是大气及地表共同作用的结果，因此地表反射率是影响大气CH4反演精度的重要因素。大气状态参数不确定性是反演误差的另一重要来源，由此会给反演结果带来***误差，单独利用CH4吸收带进行反演难以消除此种误差。现有反演方法都不同程度存在反演误差、反演时间分辨率低等问题。
针对上述问题，还未提出有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种大气甲烷浓度的反演方法和装置，以缓解了现有的大气甲烷浓度反演方法的反演误差较大且反演效率较低的技术问题。
第一方面，本发明实施例提供了一种大气甲烷浓度的反演方法，包括：获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
进一步地，利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据，包括：基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；计算所述变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵；将所述目标矩阵确定为所述降维样本输入数据。
进一步地，确定出所述特征值中的目标特征值，包括：对所述特征值进行排序，并计算前目标数量个主成分的累计贡献率，其中，所述累计贡献率为所述前目标数量个最大特征值之和与所述遥感光谱数据的特征值和之间的比值；将所述累计贡献率大于预设阈值时对应的前目标数量个最大特征值，确定为所述目标特征值。
进一步地，利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型，包括：按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
第二方面，本发明实施例还提供了一种大气甲烷浓度的反演装置，包括：获取单元，第一降维单元，训练单元，第二降维单元和反演单元，其中，所述获取单元，用于获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；所述第一降维单元，用于利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；所述训练单元，用于利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；所述第二降维单元，用于在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；所述反演单元，用于将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
进一步地，所述降维单元，用于：基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；计算所述变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵；将所述目标矩阵确定为所述降维样本输入数据。
进一步地，所述降维单元，用于：对所述特征值进行排序，并计算前目标数量个主成分的累计贡献率，其中，所述累计贡献率为所述前目标数量个最大特征值之和与所述遥感光谱数据的特征值和之间的比值；将所述累计贡献率大于预设阈值时对应的前目标数量个最大特征值，确定为所述目标特征值。
进一步地，所述训练单元，用于：按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。
在本发明实施例中，通过获取待监测区域的样本输入数据和样本标定数据，其中，样本输入数据包括预设数量个不同波段的遥感光谱数据，样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；利用PCA算法，对样本输入数据进行降维处理，得到降维样本输入数据；利用降维样本输入数据和样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；在获取到待监测区域的当前输入数据之后，利用PCA算法，对当前输入数据进行降维处理，得到降维当前输入数据；将降维当前输入数据输入目标XGBoost模型，得到待监测区域的当前大气甲烷柱浓度。本申请通过将与甲烷浓度具有很高相关性的干空气浓度添加至反演模型的构建过程中，以及对遥感光谱数据进行降维处理，达到了能够对大气甲烷浓度进行准确高效反演的目的，进而解决了现有的大气甲烷浓度反演方法的反演误差较大且反演效率较低的技术问题，从而实现了提升大气甲烷浓度反演的效率以及降低了大气甲烷浓度反演的误差的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种大气甲烷浓度的反演方法的流程图；
图2为本发明实施例提供的一种大气甲烷浓度的反演装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
根据本发明实施例，提供了一种大气甲烷浓度的反演方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种大气甲烷浓度的反演方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；
需要说明的是，样本输入数据一般是GOSAT传感器TANSO-FTS L1B采集到的不同波段的遥感光谱数据，上述不同波段的遥感光谱数据的波段数量为4，一般情况下，预设数量设置为3。
样本大气甲烷柱浓度一般是TANSO-FTS SWIR Level 2采集到的大气甲烷柱浓度。
步骤S104，利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；
步骤S106，利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；
步骤S108，在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；
步骤S110，将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
在本发明实施例中，通过获取待监测区域的样本输入数据和样本标定数据，其中，样本输入数据包括预设数量个不同波段的遥感光谱数据，样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；利用PCA算法，对样本输入数据进行降维处理，得到降维样本输入数据；利用降维样本输入数据和样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；在获取到待监测区域的当前输入数据之后，利用PCA算法，对当前输入数据进行降维处理，得到降维当前输入数据；将降维当前输入数据输入目标XGBoost模型，得到待监测区域的当前大气甲烷柱浓度。本申请通过将与甲烷浓度具有很高相关性的干空气浓度添加至反演模型的构建过程中，以及对遥感光谱数据进行降维处理，达到了能够对大气甲烷浓度进行准确高效反演的目的，进而解决了现有的大气甲烷浓度反演方法的反演误差较大且反演效率较低的技术问题，从而实现了提升大气甲烷浓度反演的效率以及降低了大气甲烷浓度反演的误差的技术效果。
在本发明实施例中，步骤S104包括如下步骤：
步骤S11，基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；
步骤S12，计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；
步骤S13，确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；
步骤S14：计算所述变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵；
步骤S15，将所述目标矩阵确定为所述降维样本输入数据。
在本发明实施例中，以样本输入数据中包含3个不同波段的遥感光谱数据为例，对上述降维过程进行说明。
3个不同波段的遥感光谱数据分别为band1、band2和band3，下面以band1进行说明。band1数据单光谱数据为
，共k个位置点的数据，band1数据共有n=1755个光谱通道，构成
矩阵
，通过使用PCA算法对1755个光谱通道进行降维处理。具体步骤如下：
首先，根据遥感光谱数据band1，构建
样本矩阵
，样本矩阵X，每一行为一个光谱样本x，每一列代表点位的光谱数据。
接着，利用以下公式计算出样本矩阵的协方差矩阵
，
为样本矩阵的转置矩阵。
然后，利用以下公式计算出协方差矩阵的特征值和特征值对应的特征向量。
接着，确定出特征值中的目标特征值，并基于所目标特征值对应的特征向量，构建变换矩阵。
具体的，将特征值按由大到小顺序排列,并按照下式计算前m 个主成分（即，前目标数量个最大特征值）的累计贡献率：
。
当累计贡献率大于85%时，此时m值（即，目标数量）为降维样本输入数据的维数，其中，累计贡献率用于表征降维样本输入数据对遥感光谱数据的信息保存程度。
将前目标数量（m）个最大特征值对应的特征向量构成变换矩阵
，
，
。
最后，计算变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵，此时，1755维的band1已经降为m维的降维样本输入数据。
使用同样的方法对band2和band3进行降维处理，具体过程不再进行赘述。通过上述降维方法得到Band1、Band2和Band3降维后的数据Y1，Y2和Y3。
在本发明实施例中，步骤S106包括如下步骤：
步骤S21，按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；
步骤S22，利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
在本发明实施例中，分别对Y1，Y2，Y3，样本大气甲烷柱浓度和样本干空气柱浓度按照预设比例进行划分，一般情况下，预设比例为60%，20%和20%，即，将Y1，Y2，Y3，样本大气甲烷柱浓度和样本干空气柱浓度中60%的数据作为训练数据集，将Y1，Y2，Y3，样本大气甲烷柱浓度和样本干空气柱浓度中20%的数据作为测试数据集，以及将Y1，Y2，Y3，样本大气甲烷柱浓度和样本干空气柱浓度中20%的数据作为校验数据集。
然后利用训练数据集，测试数据集和校验数据集对预设XGBoost模型进行训练，从而得到目标XGBoost模型。
需要说明的是，在训练过程中需要对预设XGBoost模型中的参数进行设置，具体设置如下：
XGBoost的参数分为三类：通用参数（宏观函数控制）、Booster参数（控制每一步的booster(tree/regression)）和学习目标参数（控制训练目标的表现）。模型训练中针对三类参数进行优化调整：
通用参数调整设置：
booster：dart（使用dart决策树）；
Nthread：（算法自动检测，使用CPU全部内核进行计算）。
booster参数调整设置：
learning_rate ：0.1；
min_child_weight：9；
max_depth：9；（树的最大深度，这个值也是用来避免过拟合的，max_depth越大，模型会学到更具体更局部的样本，典型值：3-10）；
gamma:0.0（指定了节点***所需的最小损失函数下降值。这个参数的值越大，算法越保守，这个参数的值和损失函数息息相关，所以是需要调整的）；
subsample：0.9（控制对于每棵树，随机采样的比例，减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合，典型值：0.5-1）；
colsample_bytree：0.8（用来控制每棵随机采样的列数的占比(每一列是一个特征，典型值：0.5-1)；
alpha：1e-05（可以应用在很高维度的情况下，使得算法的速度更快）；
importance_type: gain；
missing: np.nan；
n_estimators: 138；
subsample: 0.9。
学习目标参数调整设置：
objective ：reg:squarederror。
在本发明实施例中，上述大气甲烷浓度的反演方法具有以下优点：
1，运用PCA对数据降维，数据缩减，特征值个数减小，不仅能否防止过拟合，而且节省数据存储空间，提高算法的运行速度。
2，运用XGBoost算法进行模型训练，由于支持并行处理，因此训练速度更快。
3，加入干空气浓度反演提高反演精度，因为干空气浓度和CH4浓度具有很高相关性，同时反演二者能够提高CH4反演结果精度。
4，能够生产时间分辨率大气甲烷浓度产品，通过训练的模型算法，可以提供时间分辨率为3天的大气甲烷浓度产品，目前GOSAT只提供时间分辨率为1个月的大气甲烷浓度产品。
实施例二：
本发明实施例还提供了一种大气甲烷浓度的反演装置，该大气甲烷浓度的反演装置用于执行本发明实施例上述内容所提供的大气甲烷浓度的反演方法，以下是本发明实施例提供的大气甲烷浓度的反演装置的具体介绍。
如图2所示，图2为上述大气甲烷浓度的反演装置的示意图，该大气甲烷浓度的反演装置包括：获取单元10，第一降维单元20，训练单元30，第二降维单元40和反演单元50。
所述获取单元10，用于获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；
所述第一降维单元20，用于利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；
所述训练单元30，用于利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；
所述第二降维单元40，用于在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；
所述反演单元50，用于将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
在本发明实施例中，通过获取待监测区域的样本输入数据和样本标定数据，其中，样本输入数据包括预设数量个不同波段的遥感光谱数据，样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；利用PCA算法，对样本输入数据进行降维处理，得到降维样本输入数据；利用降维样本输入数据和样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；在获取到待监测区域的当前输入数据之后，利用PCA算法，对当前输入数据进行降维处理，得到降维当前输入数据；将降维当前输入数据输入目标XGBoost模型，得到待监测区域的当前大气甲烷柱浓度。本申请通过将与甲烷浓度具有很高相关性的干空气浓度添加至反演模型的构建过程中，以及对遥感光谱数据进行降维处理，达到了能够对大气甲烷浓度进行准确高效反演的目的，进而解决了现有的大气甲烷浓度反演方法的反演误差较大且反演效率较低的技术问题，从而实现了提升大气甲烷浓度反演的效率以及降低了大气甲烷浓度反演的误差的技术效果。
优选的，所述降维单元，用于：基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；将所述目标矩阵确定为所述降维样本输入数据。
优选的，所述降维单元，用于：对所述特征值进行排序，并计算前目标数量个主成分的累计贡献率，其中，所述累计贡献率为所述前目标数量个最大特征值之和与所述遥感光谱数据的特征值和之间的比值；将所述累计贡献率大于预设阈值时对应的前目标数量个最大特征值，确定为所述目标特征值。
优选的，所述训练单元，用于：按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
实施例三：
本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
参见图3，本发明实施例还提供一种电子设备100，包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口63（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种大气甲烷浓度的反演方法，其特征在于，包括：
获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；
利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；
利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；
在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；
将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
2.根据权利要求1所述的方法，其特征在于，利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据，包括：
基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；
计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；
确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；
计算所述变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵；
将所述目标矩阵确定为所述降维样本输入数据。
3.根据权利要求2所述的方法，其特征在于，确定出所述特征值中的目标特征值，包括：
对所述特征值进行排序，并计算前目标数量个主成分的累计贡献率，其中，所述累计贡献率为所述前目标数量个最大特征值之和与所述遥感光谱数据的特征值和之间的比值；
将所述累计贡献率大于预设阈值时对应的前目标数量个最大特征值，确定为所述目标特征值。
4.根据权利要求1所述的方法，其特征在于，利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型，包括：
按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；
利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
5.一种大气甲烷浓度的反演装置，其特征在于，包括：获取单元，第一降维单元，训练单元，第二降维单元和反演单元，其中，
所述获取单元，用于获取待监测区域的样本输入数据和样本标定数据，其中，所述样本输入数据包括预设数量个不同波段的遥感光谱数据，所述样本标定数据包括：样本大气甲烷柱浓度和样本干空气柱浓度；
所述第一降维单元，用于利用PCA算法，对所述样本输入数据进行降维处理，得到降维样本输入数据；
所述训练单元，用于利用所述降维样本输入数据和所述样本标定数据，对预设XGBoost模型进行训练，得到目标XGBoost模型；
所述第二降维单元，用于在获取到所述待监测区域的当前输入数据之后，利用PCA算法，对所述当前输入数据进行降维处理，得到降维当前输入数据；
所述反演单元，用于将所述降维当前输入数据输入所述目标XGBoost模型，得到所述待监测区域的当前大气甲烷柱浓度。
6.根据权利要求5所述的装置，其特征在于，所述降维单元，用于：
基于所述遥感光谱数据，构建样本矩阵，其中，所述样本矩阵为k×n矩阵，k为所述遥感光谱数据中包含的位置点数量，n为所述遥感光谱数据中的光谱通道数量；
计算出所述样本矩阵的协方差矩阵，并计算出所述协方差矩阵的特征值和所述特征值对应的特征向量；
确定出所述特征值中的目标特征值，并基于所述目标特征值对应的特征向量，构建变换矩阵；
计算所述变换矩阵和所述样本矩阵之间的乘积，得到目标矩阵；
将所述目标矩阵确定为所述降维样本输入数据。
7.根据权利要求6所述的装置，其特征在于，所述降维单元，用于：
对所述特征值进行排序，并计算前目标数量个主成分的累计贡献率，其中，所述累计贡献率为所述前目标数量个最大特征值之和与所述遥感光谱数据的特征值和之间的比值；
将所述累计贡献率大于预设阈值时对应的前目标数量个最大特征值，确定为所述目标特征值。
8.根据权利要求5所述的装置，其特征在于，所述训练单元，用于：
按照预设比例对所述降维样本输入数据和所述样本标定数据进行切分，得到训练数据集，测试数据集和校验数据集；
利用所述训练数据集，所述测试数据集和所述校验数据集，对所述预设XGBoost模型进行训练，得到所述目标XGBoost模型。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至4任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111178987.2A CN113624694A (zh) | 2021-10-11 | 2021-10-11 | 一种大气甲烷浓度的反演方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111178987.2A CN113624694A (zh) | 2021-10-11 | 2021-10-11 | 一种大气甲烷浓度的反演方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113624694A true CN113624694A (zh) | 2021-11-09 |
Family
ID=78390821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111178987.2A Pending CN113624694A (zh) | 2021-10-11 | 2021-10-11 | 一种大气甲烷浓度的反演方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113624694A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486931A (zh) * | 2023-06-21 | 2023-07-25 | 上海航天空间技术有限公司 | 耦合物理机制的全覆盖大气甲烷浓度数据生产方法及*** |
| CN116738232A (zh) * | 2023-06-16 | 2023-09-12 | 中国科学院空天信息创新研究院 | 一种基于ftir光谱的城市大气碳排放分布检测方法 |
| CN117556262A (zh) * | 2024-01-08 | 2024-02-13 | 中国科学院空天信息创新研究院 | 大气甲烷排放强度监测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103940767A (zh) * | 2014-05-07 | 2014-07-23 | 重庆大学 | 基于多流形学习的气体浓度反演方法 |
| CN109387487A (zh) * | 2018-12-18 | 2019-02-26 | 成都信息工程大学 | 卷云条件下短波红外高光谱数据大气甲烷快速反演方法 |
| WO2019246280A1 (en) * | 2018-06-19 | 2019-12-26 | Seekops Inc. | Emissions estimate model algorithms and methods |
| CN111859800A (zh) * | 2020-07-15 | 2020-10-30 | 河海大学 | 用于pm2.5浓度分布的时空估算和预测的方法 |
| CN113379146A (zh) * | 2021-06-24 | 2021-09-10 | 合肥工业大学智能制造技术研究院 | 一种基于多特征选择算法的污染物浓度反演方法 |
-
2021
- 2021-10-11 CN CN202111178987.2A patent/CN113624694A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103940767A (zh) * | 2014-05-07 | 2014-07-23 | 重庆大学 | 基于多流形学习的气体浓度反演方法 |
| WO2019246280A1 (en) * | 2018-06-19 | 2019-12-26 | Seekops Inc. | Emissions estimate model algorithms and methods |
| CN109387487A (zh) * | 2018-12-18 | 2019-02-26 | 成都信息工程大学 | 卷云条件下短波红外高光谱数据大气甲烷快速反演方法 |
| CN111859800A (zh) * | 2020-07-15 | 2020-10-30 | 河海大学 | 用于pm2.5浓度分布的时空估算和预测的方法 |
| CN113379146A (zh) * | 2021-06-24 | 2021-09-10 | 合肥工业大学智能制造技术研究院 | 一种基于多特征选择算法的污染物浓度反演方法 |
Non-Patent Citations (1)
| Title |
|---|
| 田园 等: "地基高分辨率傅里叶变换红外光谱反演环境大气中的CH4浓度变化", 《物理学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116738232A (zh) * | 2023-06-16 | 2023-09-12 | 中国科学院空天信息创新研究院 | 一种基于ftir光谱的城市大气碳排放分布检测方法 |
| CN116738232B (zh) * | 2023-06-16 | 2024-05-31 | 中国科学院空天信息创新研究院 | 一种基于ftir光谱的城市大气碳排放分布检测方法 |
| CN116486931A (zh) * | 2023-06-21 | 2023-07-25 | 上海航天空间技术有限公司 | 耦合物理机制的全覆盖大气甲烷浓度数据生产方法及*** |
| CN116486931B (zh) * | 2023-06-21 | 2023-08-29 | 上海航天空间技术有限公司 | 耦合物理机制的全覆盖大气甲烷浓度数据生产方法及*** |
| CN117556262A (zh) * | 2024-01-08 | 2024-02-13 | 中国科学院空天信息创新研究院 | 大气甲烷排放强度监测方法、装置、电子设备及存储介质 |
| CN117556262B (zh) * | 2024-01-08 | 2024-05-14 | 中国科学院空天信息创新研究院 | 大气甲烷排放强度监测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113624694A (zh) | 一种大气甲烷浓度的反演方法和装置 | |
| US9310517B2 (en) | Method and system for determining accuracy of a weather prediction model | |
| CN106875037B (zh) | 风力预测方法及装置 | |
| CN109543907B (zh) | 一种复杂地形风资源评估方法及其装置 | |
| US20220036223A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
| CN111288973B (zh) | 海表流速获取方法、装置、计算机设备和存储介质 | |
| CN112069955B (zh) | 基于深度学习的台风强度遥感反演方法 | |
| CN113466143B (zh) | 土壤养分反演方法、装置、设备及介质 | |
| CN116046692B (zh) | 一种基于高光谱的土壤重金属污染监测方法和装置 | |
| JP2015010927A (ja) | 観測値処理装置、観測値処理方法及び観測値処理プログラム | |
| CN113361194B (zh) | 一种基于深度学习的传感器漂移校准方法、电子设备及存储介质 | |
| CN112326882A (zh) | 空气质量传感器处理方法和装置 | |
| CN115841193A (zh) | 一种林业有害生物的预测方法和装置 | |
| CN115687854B (zh) | 高精度土样参数测量方法及其*** | |
| CN114691661B (zh) | 一种基于同化的云导风、温湿廓线预处理分析方法及*** | |
| CN109187898B (zh) | 水产养殖环境中水质氨氮含量的软测量方法及装置 | |
| CN115980755A (zh) | 一种基于ConvLSTM的风暴临近外推方法和装置 | |
| CN115877345A (zh) | 一种风廓线雷达缺测数据的补齐方法和装置 | |
| CN116415488A (zh) | 一种土壤湿度预测方法、装置、电子设备及存储介质 | |
| CN114235275B (zh) | 压力传感器的标定方法、装置及电子设备 | |
| CN105954206B (zh) | 紫玉米叶片花色苷含量的测量方法及*** | |
| CN116027459A (zh) | 基于数值天气预报数据的大气加权平均温度的计算方法 | |
| CN115855860A (zh) | 一种茶叶干燥过程中的水分含量预测方法及处理终端 | |
| CN114509390A (zh) | 土壤有机质预测方法、装置、设备及存储介质 | |
| CN111428924A (zh) | 一种植物生育期的预测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211109 |