CN110738252B - 空间自相关的机器学习卫星降水数据降尺度方法、*** - Google Patents

空间自相关的机器学习卫星降水数据降尺度方法、*** Download PDF

Info

Publication number
CN110738252B
CN110738252B CN201910971041.8A CN201910971041A CN110738252B CN 110738252 B CN110738252 B CN 110738252B CN 201910971041 A CN201910971041 A CN 201910971041A CN 110738252 B CN110738252 B CN 110738252B
Authority
CN
China
Prior art keywords
data
spatial resolution
spatial
rainfall
precipitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910971041.8A
Other languages
English (en)
Other versions
CN110738252A (zh
Inventor
许剑辉
阮惠华
杨骥
胡泓达
钟凯文
周成虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Meteorological Observation Data Center
Guangzhou Institute of Geography of GDAS
Original Assignee
Guangdong Meteorological Observation Data Center
Guangzhou Institute of Geography of GDAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Meteorological Observation Data Center, Guangzhou Institute of Geography of GDAS filed Critical Guangdong Meteorological Observation Data Center
Priority to CN201910971041.8A priority Critical patent/CN110738252B/zh
Publication of CN110738252A publication Critical patent/CN110738252A/zh
Priority to US17/259,629 priority patent/US11333796B2/en
Priority to PCT/CN2020/107509 priority patent/WO2021073210A1/zh
Application granted granted Critical
Publication of CN110738252B publication Critical patent/CN110738252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Hydrology & Water Resources (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种空间自相关的机器学习卫星降水数据降尺度方法，包括：获取TRMM降水数据与地表参量数据；对地表参量数据进行预处理，得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；对TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；将空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；建立非线性回归模型；基于非线性回归模型，得到空间分辨率为1km的降水降尺度数据。同时提供了一种***及终端。本发明降尺度结果优于基于常规回归模型的降尺度结果，具有重要的理论、实践意义和推广应用价值。

Description

空间自相关的机器学习卫星降水数据降尺度方法、***
技术领域
本发明涉及一种卫星遥感降水数据的降尺度方法，具体地，涉及一种考虑空间自相关的机器学习卫星降水数据降尺度方法、***及终端。
背景技术
降水是反映地表环境状况和全球水循环的关键参数，是气候***中水分循环和能量交换的重要组成部分，是表征气候变化的重要指标，降水的极端天气及气候事件(洪涝、干旱)对人类生产和生活造成重要影响。高时空分辨率、高精度的降水数据对于水文模拟、城市洪涝灾害监测及水资源管理具有重要意义。卫星降水数据以其宽广的空间覆盖和高时空分辨率，逐渐成为水文研究中的重要数据源。然而由于卫星遥感的原始分辨率较低(空间分辨率一般为0.25°，约25km)，难以反映区域降水的空间细节特征；此外，由于卫星反演降水的物理原理和算法的局限性，在区域尺度降雨方面具有一定的局限性和偏差，因此需要针对卫星遥感降水数据进行空间降尺度，从而得到高精度、高分辨率(约1km)的降水数据。
卫星遥感降水数据空间降尺度的方法研究已取得一定进展，一般研究思路主要集中于在低分辨率尺度上先建立降水与地表参量的回归模型，再利用该回归模型和高分辨率地表参量数据估算得到高分辨率的降水数据。但仍存在两方面的不足，一方面是建立的降水与地表参量之间的回归模型不考虑降水的空间自相关信息，会造成降水数据自身空间信息的损失，给模型的构建带来不确定性；另一方面残差修正仅采用样条插值等传统点插值方法，并没有考虑降尺度前后面元尺度差异以及数据内在的空间相关性，会给降尺度结果带来一定的精度损失。
经过检索发现：
1、公开号为：CN107608939A，公开日为：2018年1月19日，发明名称为《基于高分辨率卫星数据的TRMM降水数据降尺度方法》，公开了一种基于高分辨率卫星数据的TRMM降水数据降尺度方法，该方法首先从官方途径获取多种卫星气象数据，通过Leave-one-out交叉验证方法，校正TRMM遥感降水数据；再根据影响降水量数据的因素，通过step回归选择变量，并考虑降水对植被的滞后性，以及植被的空间相关性，建立多空间尺度模型，选择最优模型对降水数据进行降尺度。该方法过程简单，对降水量预测准确。但是，该方法仍存在如下问题：
(1)该方法仅仅建立降水数据与自变量间的回归模型，没有考虑降水数据与自变量之间的非线性关系，也不考虑卫星遥感降水数据本身的空间自相关信息，忽略了地理过程中降水数据固有的空间自相关特性；
(2)该方法仅采用传统插值方法对降水残差进行修正，并没有考虑降尺度前后面元尺度差异以及数据内在的空间相关性，会给降尺度结果带来一定的精度损失。
2、公开号为：CN109375294A，公开日为：2019年2月22日，发明名称为《一种山区卫星降水数据的降尺度校正方法》，公开了一种山区卫星降水数据的降尺度校正方法，包括：TRMM3B42.V7卫星降水数据的读取和月降水量统计；校正变量的融合与空间尺度统一；回归降尺度模型建立；交叉验证与降尺度校正执行。本发明将山区气象台站观测降水数据融入到卫星降水数据的降尺度校正过程中，以交叉验证技术进行方法优选，充分发挥了山区有限观测数据的优势，降尺度校正后的降水量的精度及其与实测数据系列的一致性大幅提升；此外，采用多方法对比复核的降尺度校正技术，初步解决了单一降尺度校正方法的***偏差问题，丰富了卫星降水数据降尺度校正方法体系，提升了结果的可信度。该方法在典型山区卫星降水产品的降尺度校正上适用性良好，相关成果可为***掌握山区降水时空分布特征提供有力的支撑。但是，该方法仍存在如下问题：
(1)该方法仅仅建立逐月降水数据与自变量间的回归降尺度模型，不考虑卫星遥感降水数据本身的空间自相关信息，忽略了地理过程中降水数据固有的空间自相关特性；
(2)该方法没有对回归降尺度模型的残差进行修正，会给降尺度结果带来一定的精度损失，特别是当降水数据与自变量的回归模型拟合度较低时，回归模型的残差就比较大，回归模型残差更大。
(3)该方法只考虑NDVI和地形因素的影响，忽略了白天/夜间地表温度及昼夜地表温度差的影响。
3、公开号为：CN109472393A，公开日为：2019年3月15日，发明名称为《空间降尺度降水数据检测方法、装置及电子设备》，公开了一种空间降尺度降水数据检测方法，并具体公开了：该方法根据样本区域第二分辨率的白天地表温度、夜间地表温度、昼夜地表温度差、数字高程模型和植被指数，以及所述样本区域的卫星遥感降水数据，建立并训练最优随机森林算法模型；将所述第一分辨率的待检测区域白天地表温度、夜间地表温度、昼夜地表温度差、数字高程模型和植被指数输入最优随机森林算法模型，获取待检测区域第一分辨率的降水数据；对所述第一分辨率的降水数据进行残差校正，获取待检测区域的空间降尺度降水数据。本发明所述的空间降尺度降水数据检测方法能够获取分辨率较高的降水数据。但是，该方法仍存在如下问题：
(1)该方法仅仅考虑卫星遥感降水数据与白天地表温度、夜间地表温度、昼夜地表温度差、数字高程模型和植被指数的相关性，不考虑卫星遥感降水数据本身的空间自相关信息，忽略了地理过程中降水数据固有的空间自相关特性；
(2)该方法仅采用传统的样条插值方法对回归残差进行修正，并没有考虑降尺度前后面元尺度差异以及数据内在的空间相关性，会给降尺度结果带来一定的精度损失；
(3)该方法采用的随机森林模型起始性能较差，特别当只有一个基学习器时，随着学习器数目增多，随机森林通常会收敛到更低的泛化误差，在噪声较大的分类或者回归问题上会过拟合。
综上所述，现有技术仍然没有解决上述的两方面的不足，目前也没有发现同本发明类似技术的说明或报道以及国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种空间自相关的机器学习卫星降水数据降尺度方法、***及终端，该方法、***及终端首先对25km的TRMM(TropicalRainfall Measuring Mission Satellite，热带测雨任务卫星)月降水数据进行空间自相关分析，计算空间自相关值，并利用面到点克里金插值方法进行插值得到1km的降水数据空间自相关值；将1km的NDVI(归一化植被指数)、DEM(数字高程模型)、白天地表温度、夜间地表温度、昼夜地表温度差5个地表参量数据进行聚合计算到25km；利用与TRMM降水数据显著相关的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值，建立低空间分辨率(25km)TRMM卫星遥感降水的LightGBM机器学习算法非线性回归模型，基于该模型，以高空间分辨率(1km)NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差和降水数据空间自相关值作为输入，估算高空间分辨率的卫星遥感降水，并采用面到点克里金插值方法对回归模型的残差数据进行降尺度，对估算的高空间分辨率的TRMM卫星遥感降水进行误差修正，获取高精度的TRMM空间降尺度降水数据。本发明提供的空间自相关的机器学习卫星降水数据降尺度方法、***及终端，通过空间自相关信息的LightGBM降尺度模型的降尺度结果要明显优于基于常规回归模型的降尺度结果。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种空间自相关的机器学习卫星降水数据降尺度方法，包括：
S1，获取TRMM降水数据与地表参量数据；
S2，对S1中获取的地表参量数据进行预处理，分别得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；
S3，对S1中获取的TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；
S4，将S3中得到的估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；
S5，基于S2中得到的空间分辨率为25km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及S3中得到空间分辨率为25km的降水数据空间自相关值，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差；
S6，基于S5中建立的非线性回归模型，将S2中得到的空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及S4中得到的空间分辨率为1km的降水数据空间自相关值作为输入，估算空间分辨率为1km的降水降尺度数据；同时将S5中得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据。
优选地，所述S1中，TRMM降水数据与地表参量数据包括：
-研究区域的TRMM卫星遥感月降水数据；
-MODIS的NDVI、LST以及DEM数据；
-研究区域地面观测站点的日降水观测值。
优选地，所述S2中，对S1中获取的数据进行预处理，包括：
S21，将TRMM卫星遥感月降水数据、MODIS的NDVI、LST以及DEM数据进行投影变换，统一投影到WGS-84地心坐标系中；
S22，在S21的基础上，将DEM数据进行聚合平均处理，分别得到空间分辨率为1km和25km的DEM数据；
S23，在S21的基础上，从MOD11A2数据产品的LST数据中提取白天地表温度和夜间地表温度参量，通过聚合平均处理分别得到空间分辨率为1km和25km的白天地表温度数据和夜间地表温度数据，并计算相应的昼夜地表温度差；
S24，在S21的基础上，从MOD13A2数据产品的NDVI数据中提取NDVI参量，经过异常值剔除处理后，通过聚合平均处理分别得到空间分辨率为1km和25km的NDVI数据。
优选地，所述S24中，异常值剔除处理方法为：剔除NDVI＜0的像元。
优选地，所述S3中，对TRMM降水数据进行空间自相关分析，包括如下步骤：
S31，提取空间分辨率为25km的TRMM降水数据中每个网格的中心坐标，并计算每个网格i与其他网格j之间的空间距离，将计算的空间距离求倒数作为空间权重，得到每一个网格i与其他网络j之间的空间权重矩阵ωij；
S32，结合如下公式，计算每一个网格对应的空间自相关值Ii：
Figure BDA0002232076650000051
其中，xi、xj分别是空间网格i、j的降水数据；
Figure BDA0002232076650000052
是所有i、j网格降水数据的均值；n是所有网格的数目；ωij是研究区域内每一个网格i与j之间的空间权重矩阵；
S33，利用计算的每个网格对应的空间自相关值Ii分析空间分辨率为25km的卫星遥感降水数据的空间聚集分布情况，即得到估算的空间分辨率为25km的降水数据空间自相关值。
优选地，所述S4中，采用面到点克里金插值方法，将空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；包括以下步骤：
S41，将空间分辨率为25km的降水数据空间自相关值影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S42，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据之间的距离；
S43，根据25km的降水数据空间自相关面数据计算原始面尺度的先验变异函数areaVgm_a＝list(model，sill，nugget，range)，其中，model表示变异函数模型，此处采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S44，对离散化的降水数据空间自相关点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a＝list(model，sill，nugget，range)，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a＝list(model，sill，nugget，range)；
S45，比较面尺度的变异函数pointToareaVgm_a和原始面尺度的先验变异函数areaVgm_a的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47，否则进一步执行S46；
S46，更新点尺度的变异函数pointVgm_a的权重，重新拟合出新的点尺度的变异函数pointVgm_b，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b，继续与原始面尺度的先验变异函数areaVgm_a进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47；
S47，结合估算出来的最优的点尺度的变异函数pointVgm，利用公式计算面与面
Figure BDA0002232076650000061
面与点
Figure BDA0002232076650000062
的变异函数；
Figure BDA0002232076650000063
Figure BDA0002232076650000064
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x为待插值的空间分辨率为1km的TRMM降水数据空间自相关网格点；C(sj，x)和C(sk，sl)分别为点尺度的变异函数；
S48，结合估算的面与面、面与点的变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure BDA0002232076650000071
其中，K表示原始低空间分辨率25km降水数据空间自相关的网格数量，λx表示待插值x点对应原始低分辨率25km降水数据空间自相关的权重，μx表示拉格朗日算子；
S49，最后结合空间分辨率为25km的降水数据空间自相关值以及相应的权重，实现25km的降水数据空间自相关值的降尺度，得到1km分辨率的降水数据空间自相关值。
优选地，所述S5中，利用LightGBM机器学习算法，建立非线性回归模型。
优选地，所述S6中，采用面到点的克里金插值方法，将空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km；包括以下步骤：
S61，将空间分辨率为25km的降水回归残差影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S62，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据的距离；
S63，根据25km的降水回归残差面数据计算原始面尺度的先验变异函数areaVgm_a′＝list(model，sill，nugget，range)，其中，model表示变异函数模型，此处采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S64，对离散化的降水回归残差点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a′＝list(model，sill，nugget，range)，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a′＝list(model，sill，nugget，range)；
S65，比较面尺度变异函数pointToareaVgm_a′和原始面尺度的先验变异函数areaVgm_a′的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a′作为估算出来的最优的点尺度的变异函数pointVgm′满足要求，能够用来执行S67，否则进一步执行S66；
S66，更新点尺度的变异函数pointVgm_a′的权重，重新拟合出新的点尺度的变异函数pointVgm_b′，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b′，继续与原始面尺度的先验变异函数areaVgm_a′进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm′满足要求，能够用来执行S67；
S67，结合估算出来的最优的点尺度的变异函数pointVgm′，利用公式计算面与面
Figure BDA0002232076650000081
面与点
Figure BDA0002232076650000082
的变异函数；
Figure BDA0002232076650000083
Figure BDA0002232076650000084
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x′为待插值的空间分辨率为1km的降水回归残网格点；C′(sj，x′)和C′(sk，sl)分别为点尺度的变异函数；
S68，结合估算的面与面、面与点变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure BDA0002232076650000085
其中，K′表示原始低空间分辨率25km降水回归残差网格数量，λx′表示待插值x′点对应原始低分辨率25km降水回归残差的权重，μx′表示拉格朗日算子；
S69，最后结合空间分辨率为25km的降水回归残差数据以及相应的权重，实现25km的降水回归残差的降尺度，得到1km分辨率的降水回归残差数据。
根据本发明的另一个方面，提供了一种空间自相关的机器学习卫星降水数据降尺度***，包括：
数据获取模块，用于获取TRMM降水数据与地表参量数据；
数据预处理模块，用于对数据获取模块获取的地表参量数据进行预处理，分别得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；
降水空间自相关分析模块，用于对数据获取模块获取的TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；
降水数据空间自相关值降尺度模块，用于将降水空间自相关分析模块得到的估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；
LightGBM回归建模模块，用于根据数据预处理模块得到的空间分辨率为25km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水空间自相关分析模块得到空间分辨率为25km的降水数据空间自相关值，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差；
降尺度预测模块，用于根据LightGBM回归建模模块建立的非线性回归模型，将数据预处理模块得到的空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水数据空间自相关值降尺度模块得到的空间分辨率为1km的降水数据空间自相关值作为输入，估算空间分辨率为1km的降水降尺度数据；同时将LightGBM回归建模模块中得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行上述任一项所述的方法。
与现有技术相比，本发明具有如下有益效果：
本发明提供的空间自相关的机器学习卫星降水数据降尺度方法、***及终端，同时结合地统计学的空间自相关分析与面到点克里金插值思想和LightGBM非线性回归建模思想对TRMM降水数据进行空间降尺度，即考虑了降水数据本身的空间自相关信息，同时又考虑了降尺度前后面元尺度差异以及数据内在的空间相关性。
本发明提供的空间自相关的机器学习卫星降水数据降尺度方法、***及终端，通过地统计的空间自相关分析充分挖掘降水数据的空间自相关特性，并结合多地表参量进行LightGBM回归建模能够更精确地对复杂地区进行降水预测，并利用面到点克里金插值方法对预测的高分辨率的TRMM卫星遥感降水进行误差修正，极大的提高了TRMM卫星遥感降水数据的空间分辨率和精度。具有重要的理论、实践意义和推广应用价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法的降尺度结果对比图；其中，(a)为25kmTRMM2003年6月降水数据，(b)为线性回归降尺度结果，(c)为基于随机森林算法的降尺度结果，(d)为本发明所提供的方法的降尺度结果；
图2为本发明一实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法流程图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明实施例提供了一种考虑空间自相关的卫星遥感降水数据机器学习降尺度方法，首先对25km的TRMM月降水数据进行空间自相关分析，计算空间自相关值，并利用面到点克里金插值方法进行插值得到1km的降水数据空间自相关值；将1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差5个地表参量数据进行聚合计算到25km；利用与TRMM降水数据显著相关的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值，建立低空间分辨率(25km)TRMM卫星遥感降水的LightGBM机器学习算法非线性回归模型，基于该模型，以高空间分辨率(1km)NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差和降水数据空间自相关值作为输入，估算高空间分辨率的卫星遥感降水，并采用面到点克里金插值方法对回归模型的残差数据进行降尺度，对估算的高空间分辨率的TRMM卫星遥感降水进行误差修正，获取高精度的TRMM空间降尺度降水数据。通过考虑空间自相关信息的LightGBM降尺度模型的降尺度结果要明显优于基于常规回归模型的降尺度结果。
具体地，
如图2所示，本发明实施例所提供的考虑空间自相关的机器学习卫星降水数据降尺度方法，包括：
S1，获取TRMM降水数据与地表参量数据，包括：获取研究区域的TRMM卫星遥感月降水数据，MODIS的NDVI、LST(卫星遥感数据反演地表温度)以及DEM数据，同时收集研究区域地面观测站点的日降水观测值。
S2，对S1中获取的地表参量数据进行预处理：S21将TRMM卫星遥感月降水数据，MODIS的NDVI、LST以及DEM数据进行投影变换，统一投影到WGS-84地心坐标系中；在S21的基础上：S22，将DEM数据进行聚合平均分别得到空间分辨率为1km和25km的DEM数据；从MOD11A2数据产品的LST数据中提取白天地表温度和夜间地表温度参量，通过聚合平均分别得到空间分辨率为1km和25km的白天和夜间地表温度数据，并计算相应的昼夜地表温度差；S23，从MOD13A2数据产品的NDVI数据中提取NDVI(植被指数)参量，经过异常值剔除处理后，通过聚合平均分别得到空间分辨率为1km和25km的NDVI数据；其中，异常值剔除处理的方法为：剔除NDVI＜0的像元，以减少水体、冰雪等异常值的影响；S22～S24在S21的基础上执行，保证它们的坐标系、投影相同，避免了后续处理出现位置的偏差。
S3，对TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值：
S31，提取空间分辨率为25km的TRMM降水数据中每个网格的中心坐标，并计算每个网格i与其他网格j之间的空间距离，将计算的空间距离求倒数作为空间权重，得到每一个网格i与其他网络j之间的空间权重矩阵ωij；
S32，结合如下公式，计算每一个网格对应的空间自相关值Ii：
Figure BDA0002232076650000111
其中，xi、xj分别是空间网格i、j的降水数据；
Figure BDA0002232076650000112
是所有i、j网格降水数据的均值；n是所有网格的数目；ωij是研究区域内每一个网格i与j之间的空间权重矩阵；
S33，利用计算的每个网格对应的空间自相关值Ii分析空间分辨率为25km的卫星遥感降水数据的空间聚集分布情况，即得到估算的空间分辨率为25km的降水数据空间自相关值。
进一步地，所述S31和S32，可以采用R语言实现。
S4，降水数据空间自相关值降尺度：采用面到点克里金插值方法，将估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km，得到估算的空间分辨率为1km的降水数据空间自相关值；具体包括如下步骤：
S41，将空间分辨率为25km的降水数据空间自相关值影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S42，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据之间的距离；
S43，根据25km的降水数据空间自相关面数据计算原始面尺度的先验变异函数areaVgm_a；其中，areaVgm_a＝list(model，sill，nugget，range)，model表示变异函数模型，这里采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S44，对离散化的降水数据空间自相关点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a；其中，pointVgm_a＝list(model，sill，nugget，range)；pointToareaVgm_a＝list(model，sill，nugget，range)；
S45，比较由点尺度的变异函数pointVgm_a正则化转换得到的面尺度的变异函数pointToareaVgm_a和原始面尺度的先验变异函数areaVgm_a的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47，否则进一步执行S46；
S46，更新点尺度的变异函数pointVgm_a的权重，重新拟合出新的点尺度的变异函数pointVgm_b，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b，继续与原始面尺度的先验变异函数areaVgm_a进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47；
S47，结合估算出来的最优的点尺度的变异函数pointVgm，利用公式计算面与面
Figure BDA0002232076650000121
面与点
Figure BDA0002232076650000122
的变异函数；
Figure BDA0002232076650000123
Figure BDA0002232076650000124
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x为待插值空间分辨率为1km的TRMM降水数据中的网格点；C(sj，x)和C(sk，sl)分别为点尺度的变异函数；
S48，结合估算的面与面、面与点的变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure BDA0002232076650000131
其中，K表示原始空间分辨率为1km的降水数据中的网格数量，λx表示待插值x点对应原始低分辨率25km降水数据空间自相关的权重，μx表示拉格朗日算子；
S49，最后结合空间分辨率为25km的降水数据空间自相关值以及相应的权重，实现25km的降水数据空间自相关值的降尺度，得到1km分辨率的降水数据空间自相关值。
进一步地，所述S4的具体实施步骤，可以采用R语言实现。
S5，进行LightGBM回归建模：利用LightGBM机器学习算法，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差。
S6，降尺度预测：以空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差和估算的降水数据空间自相关值作为输入，根据S5中建立的非线性回归模型估算空间分辨率为1km的降水降尺度数据；同时采用面到点的克里金插值方法，将S5中得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据；具体包括如下步骤：
S61，将空间分辨率为25km的降水回归残差影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S62，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据的距离；
S63，根据25km的降水数据空间自相关面数据计算原始面尺度的先验变异函数areaVgm_a′；其中，areaVgm_a′＝list(model，sill，nugget，range)，model表示变异函数模型，这里采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S64，对离散化的降水回归残差点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a′，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a′；其中，pointVgm_a′＝list(model，sill，nugget，range)；pointToareaVgm_a′＝list(model，sill，nugget，range)；
S65，比较由点尺度的变异函数pointVgm_a′正则化转换得到的面尺度变异函数pointToareaVgm_a′和原始面尺度的先验变异函数areaVgm_a′的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a′作为估算出来的最优的点尺度的变异函数pointVgm′满足要求，能够用来执行S67，否则进一步执行S66；
S66，更新点尺度的变异函数pointVgm_a′的权重，重新拟合出新的点尺度的变异函数pointVgm_b′，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b′，继续与原始面尺度的先验变异函数areaVgm_a′进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm′满足要求，能够用来执行S67；
S67，结合估算出来的最优的点尺度的变异函数a，利用公式计算面与面
Figure BDA0002232076650000141
面与点
Figure BDA0002232076650000142
的变异函数；
Figure BDA0002232076650000143
Figure BDA0002232076650000144
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x′为待插值的空间分辨率为1km的降水回归残网格点；C′(sj，x′)和C′(sk，sl)分别为点尺度的变异函数；
S68，结合估算的面与面、面与点变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure BDA0002232076650000145
其中，K′表示原始低空间分辨率25km降水回归残差网格数量，λx′表示待插值x′点对应原始低分辨率25km降水回归残差的权重，μx′表示拉格朗日算子；
S69，最后结合空间分辨率为25km的降水回归残差数据以及相应的权重，实现25km的降水回归残差的降尺度，得到1km分辨率的降水回归残差数据。
进一步地，所述S6的具体实施步骤，可以采用R语言实现。
本发明实施例提供的空间自相关的机器学习卫星降水数据降尺度方法，通过在降尺度过程中引入降水数据的局地空间自相关信息充分考虑了降水数据本身的空间自相关特性；并利用面到点克里金插值方法对25km的空间自相关信息进行降尺度，得到1km的降水数据空间自相关信息，该方法考虑降水空间自相关信息内在的空间相关性，能够保持25km降水数据空间自相关信息的空间分布格局。而当前已有的其他降尺度方法中均没有考虑降水数据本身的空间自相关特性。
当前已有的降尺度方法中，通常为回归降尺度方法，其是基于降水数据与地表参量之间的显著相关性，降尺度结果会受到地表参量的影响，使得最终降尺度结果比较离散，丢失了原始卫星遥感降水数据的空间分布格局，如图1(b)和(c)所示。而本发明实施例提供的空间自相关的机器学习卫星降水数据降尺度方法，能够很好地刻画降尺度结果的空间聚集特性，保持原始卫星遥感降水数据的空间分布格局，如图1(d)所示。因为本发明实施例提供的方法，不仅考虑地表温度与地表参量的非线性关系及尺度效应，而且在降尺度过程中引入降水数据的局地空间自相关信息，充分考虑了降水数据本身的空间自相关特性，能够更好地刻画降水数据本身的空间分布情况。
通过大量的实验进行比较，特别是在降水数据与地表参量之间的相关性不够的情况下，本发明实施例提出的方法能够显著提高降尺度结果精度。通过计算，相比其他不考虑降水数据空间自相关信息的降尺度模型，本发明实施例提供的方法能够有效地提高降尺度模型的精度，一般能够提高10％-15％。
基于本发明上述实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法，本发明实施例同时提供了一种空间自相关的机器学习卫星降水数据降尺度***，该***可以用于执行本发明上述实施例所提供的方法。
具体地，
所述空间自相关的机器学习卫星降水数据降尺度***，包括：
数据获取模块，用于获取TRMM降水数据与地表参量数据；
数据预处理模块，用于对数据获取模块获取的地表参量数据进行预处理，分别得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；
降水空间自相关分析模块，用于对数据获取模块获取的TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；
降水数据空间自相关值降尺度模块，用于将降水空间自相关分析模块得到的估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；
LightGBM回归建模模块，用于根据数据预处理模块得到的空间分辨率为25km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水空间自相关分析模块得到空间分辨率为25km的降水数据空间自相关值，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差；
降尺度预测模块，用于根据LightGBM回归建模模块建立的非线性回归模型，将数据预处理模块得到的空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水数据空间自相关值降尺度模块得到的空间分辨率为1km的降水数据空间自相关值作为输入，估算空间分辨率为1km的降水降尺度数据；同时将LightGBM回归建模模块得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据。
基于本发明上述实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法，本发明实施例同时提供了一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行本发明上述实施例中任一项所述的方法。
基于本发明上述实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法及***，本发明实施例同时提供了另一种终端，包括存储器、处理器及存储在存储器上并可通过处理器运行的本发明上述实施例中所提供的***。进一步地，所述***可用于执行本发明上述实施例中所提供的方法。
本发明上述实施例所提供的空间自相关的机器学习卫星降水数据降尺度方法、***及终端，通过空间自相关分析与面到点克里金插值思想和LightGBM非线性回归建模思想对TRMM降水数据进行空间降尺度，即考虑了降水数据本身的空间自相关信息，同时又考虑了降尺度前后面元尺度差异以及数据内在的空间相关性；通过空间自相关分析充分挖掘降水数据的空间自相关特性，并结合多地表参量进行LightGBM回归建模能够更精确地对复杂地区进行降水预测，并利用面到点克里金插值方法对预测的高分辨率的TRMM卫星遥感降水进行误差修正，极大的提高了TRMM卫星遥感降水数据的空间分辨率和精度，具有重要的理论、实践意义和推广应用价值。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，包括：
S1，获取TRMM降水数据与地表参量数据；
S2，对S1中获取的地表参量数据进行预处理，分别得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；
S3，对S1中获取的TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；
S4，采用面到点克里金插值方法，将S3中得到的估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；
S5，基于S2中得到的空间分辨率为25km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及S3中得到空间分辨率为25km的降水数据空间自相关值，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差；
S6，基于S5中建立的非线性回归模型，将S2中得到的空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及S4中得到的空间分辨率为1km的降水数据空间自相关值作为输入，估算空间分辨率为1km的降水降尺度数据；同时，采用面到点克里金插值方法，将S5中得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据。
2.根据权利要求1所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S1中，TRMM降水数据与地表参量数据包括：
-研究区域的TRMM卫星遥感月降水数据；
-MODIS的NDVI、LST以及DEM数据；
-研究区域地面观测站点的日降水观测值。
3.根据权利要求2所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S2中，对S1中获取的数据进行预处理，包括：
S21，将TRMM卫星遥感月降水数据、MODIS的NDVI、LST以及DEM数据进行投影变换，统一投影到WGS-84地心坐标系中；
S22，在S21的基础上，将DEM数据进行聚合平均处理，分别得到空间分辨率为1km和25km的DEM数据；
S23，在S21的基础上，从MOD11A2数据产品的LST数据中提取白天地表温度和夜间地表温度参量，通过聚合平均处理分别得到空间分辨率为1km和25km的白天地表温度数据和夜间地表温度数据，并计算相应的昼夜地表温度差；
S24，在S21的基础上，从MOD13A2数据产品的NDVI数据中提取NDVI参量，经过异常值剔除处理后，通过聚合平均处理分别得到空间分辨率为1km和25km的NDVI数据。
4.根据权利要求3所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S24中，异常值剔除处理方法为：剔除NDVI<0的像元。
5.根据权利要求1所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S3中，对TRMM降水数据进行空间自相关分析，包括如下步骤：
S31，提取空间分辨率为25km的TRMM降水数据中每个网格的中心坐标，并计算每个网格i与其他网格j之间的空间距离，将计算的空间距离求倒数作为空间权重，得到每一个网格i与其他网络j之间的空间权重矩阵ωij；
S32，结合如下公式，计算每一个网格对应的空间自相关值Ii：
Figure FDA0002532324260000021
其中，xi、xj分别是空间网格i、j的降水数据；
Figure FDA0002532324260000022
是所有i、j网格降水数据的均值；n是所有网格的数目；ωij是研究区域内每一个网格i与j之间的空间权重矩阵；
S33，利用计算的每个网格对应的空间自相关值Ii分析空间分辨率为25km的卫星遥感降水数据的空间聚集分布情况，即得到估算的空间分辨率为25km的降水数据空间自相关值。
6.根据权利要求1所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S4中，采用面到点克里金插值方法，将空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；包括以下步骤：
S41，将空间分辨率为25km的降水数据空间自相关值影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S42，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据之间的距离；
S43，根据25km的降水数据空间自相关面数据计算原始面尺度的先验变异函数areaVgm_a＝list(model,sill,nugget,range)，其中，model表示变异函数模型，此处采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S44，对离散化的降水数据空间自相关点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a＝list(model,sill,nugget,range)，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a＝list(model,sill,nugget,range)；
S45，比较面尺度的变异函数pointToareaVgm_a和原始面尺度的先验变异函数areaVgm_a的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47，否则进一步执行S46；
S46，更新点尺度的变异函数pointVgm_a的权重，重新拟合出新的点尺度的变异函数pointVgm_b，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b，继续与原始面尺度的先验变异函数areaVgm_a进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm满足要求，能够用来执行S47；
S47，结合估算出来的最优的点尺度的变异函数pointVgm，利用公式计算面与面
Figure FDA0002532324260000031
面与点
Figure FDA0002532324260000032
的变异函数；
Figure FDA0002532324260000033
Figure FDA0002532324260000034
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x为待插值的空间分辨率为1km的TRMM降水数据空间自相关网格点；C(sj,x)和C(sk,sl)分别为点尺度的变异函数；
S48，结合估算的面与面、面与点的变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure FDA0002532324260000041
其中，K表示原始低空间分辨率25km降水数据空间自相关的网格数量，λx表示待插值x点对应原始低分辨率25km降水数据空间自相关的权重，μx表示拉格朗日算子；
S49，最后结合空间分辨率为25km的降水数据空间自相关值以及相应的权重，实现25km的降水数据空间自相关值的降尺度，得到1km分辨率的降水数据空间自相关值。
7.根据权利要求1所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S5中，利用LightGBM机器学习算法，建立非线性回归模型。
8.根据权利要求1所述的空间自相关的机器学习卫星降水数据降尺度方法，其特征在于，所述S6中，采用面到点的克里金插值方法，将空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km；包括以下步骤：
S61，将空间分辨率为25km的降水回归残差影像离散化为25km×25km的多边形，作为面数据；并以面数据中心点坐标计算面与面之间的距离；
S62，将每一个25km×25km的面数据离散成25×25个空间点数据；并计算每个点数据与面数据的距离；
S63，根据25km的降水回归残差面数据计算原始面尺度的先验变异函数areaVgm_a'＝list(model,sill,nugget,range)，其中，model表示变异函数模型，此处采用Gau模型，sill表示基台值，nugget表示块金值，range表示变程；
S64，对离散化的降水回归残差点数据的变异函数进行初始化，得到点尺度的变异函数pointVgm_a'＝list(model,sill,nugget,range)，通过正则化处理，转换为面尺度的变异函数pointToareaVgm_a'＝list(model,sill,nugget,range)；
S65，比较面尺度变异函数pointToareaVgm_a'和原始面尺度的先验变异函数areaVgm_a'的差异；如果差异小于0.001，那么就认为此时的点尺度的变异函数pointVgm_a'作为估算出来的最优的点尺度的变异函数pointVgm'满足要求，能够用来执行S67，否则进一步执行S66；
S66，更新点尺度的变异函数pointVgm_a'的权重，重新拟合出新的点尺度的变异函数pointVgm_b'，通过正则化处理，得到新的面尺度的变异函数pointToareaVgm_b'，继续与原始面尺度的先验变异函数areaVgm_a'进行比较；重复迭代计算，一直到差异小于0.001或者迭代次数达到了500次，认为此时的点尺度的变异函数作为估算出来的最优的点尺度的变异函数pointVgm'满足要求，能够用来执行S67；
S67，结合估算出来的最优的点尺度的变异函数pointVgm'，利用公式计算面与面
Figure FDA0002532324260000051
面与点
Figure FDA0002532324260000052
的变异函数；
Figure FDA0002532324260000053
Figure FDA0002532324260000054
其中，N(vi)和N(vj)分别是面vi和vj离散后的625个点，s即代表面的离散点，k和l分别表示离散点的序号，x′为待插值的空间分辨率为1km的降水回归残网格点；C′(sj,x′)和C′(sk,sl)分别为点尺度的变异函数；
S68，结合估算的面与面、面与点变异函数，构造方程组，并利用最小二乘估算出权重值：
Figure FDA0002532324260000055
其中，K′表示原始低空间分辨率25km降水回归残差网格数量，λx′表示待插值x′点对应原始低分辨率25km降水回归残差的权重，μx′表示拉格朗日算子；
S69，最后结合空间分辨率为25km的降水回归残差数据以及相应的权重，实现25km的降水回归残差的降尺度，得到1km分辨率的降水回归残差数据。
9.一种空间自相关的机器学习卫星降水数据降尺度***，其特征在于，包括：
数据获取模块，用于获取TRMM降水数据与地表参量数据；
数据预处理模块，用于对数据获取模块获取的地表参量数据进行预处理，分别得到空间分辨率为1km和25km的DEM数据、白天地表温度、夜间地表温度、昼夜地表温度差以及NDVI数据；
降水空间自相关分析模块，用于对数据获取模块获取的TRMM降水数据进行空间自相关分析，得到估算的空间分辨率为25km的降水数据空间自相关值；
降水数据空间自相关值降尺度模块，用于将降水空间自相关分析模块得到的估算的空间分辨率为25km的降水数据空间自相关值降尺度到空间分辨率为1km；
LightGBM回归建模模块，用于根据数据预处理模块得到的空间分辨率为25km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水空间自相关分析模块得到空间分辨率为25km的降水数据空间自相关值，建立空间分辨率为25km的降水数据与NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差以及估算的降水数据空间自相关值的非线性回归模型，得到空间分辨率为25km的降水回归残差；
降尺度预测模块，用于根据LightGBM回归建模模块建立的非线性回归模型，将数据预处理模块得到的空间分辨率为1km的NDVI、DEM、白天地表温度、夜间地表温度、昼夜地表温度差数据以及降水数据空间自相关值降尺度模块得到的空间分辨率为1km的降水数据空间自相关值作为输入，估算空间分辨率为1km的降水降尺度数据；同时将LightGBM回归建模模块中得到的空间分辨率为25km的降水回归残差进行空间降尺度到空间分辨率为1km，实现对估算的空间分辨率为1km的降水降尺度数据进行误差修正，得到空间分辨率为1km的降水降尺度数据。
10.一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时能够用于执行权利要求1至8中任一项所述的方法。
CN201910971041.8A 2019-10-14 2019-10-14 空间自相关的机器学习卫星降水数据降尺度方法、*** Active CN110738252B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910971041.8A CN110738252B (zh) 2019-10-14 2019-10-14 空间自相关的机器学习卫星降水数据降尺度方法、***
US17/259,629 US11333796B2 (en) 2019-10-14 2020-08-06 Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
PCT/CN2020/107509 WO2021073210A1 (zh) 2019-10-14 2020-08-06 空间自相关的机器学习卫星降水数据降尺度方法、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910971041.8A CN110738252B (zh) 2019-10-14 2019-10-14 空间自相关的机器学习卫星降水数据降尺度方法、***

Publications (2)

Publication Number Publication Date
CN110738252A CN110738252A (zh) 2020-01-31
CN110738252B true CN110738252B (zh) 2020-08-14

Family

ID=69268836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910971041.8A Active CN110738252B (zh) 2019-10-14 2019-10-14 空间自相关的机器学习卫星降水数据降尺度方法、***

Country Status (3)

Country Link
US (1) US11333796B2 (zh)
CN (1) CN110738252B (zh)
WO (1) WO2021073210A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738252B (zh) * 2019-10-14 2020-08-14 广州地理研究所 空间自相关的机器学习卫星降水数据降尺度方法、***
CN111401644A (zh) * 2020-03-19 2020-07-10 南京国准数据有限责任公司 一种基于神经网络的降水降尺度空间预测方法
CN111521990B (zh) * 2020-05-11 2022-04-29 沈阳工业大学 一种基于多层雷达回波数据的降雨量分析方法
CN111859304B (zh) * 2020-07-28 2023-11-21 行星数据科技(苏州)有限公司 一种基于时空自相关性的卫星气溶胶缺失预测方法及***
CN112016052B (zh) * 2020-08-20 2021-07-09 广东省气象探测数据中心 基于多源数据的近地表日最高气温估算方法、***及终端
CN112381951A (zh) * 2020-11-20 2021-02-19 北京林业大学 一种松材线虫病成灾率的空间格网化方法
CN112699959B (zh) * 2021-01-11 2021-08-13 中国科学院地理科学与资源研究所 基于能量泛函模型的多源多尺度降水数据融合方法和装置
CN113032733B (zh) * 2021-03-27 2021-12-07 长江水利委员会水文局 基于非线性分类回归分析的遥感降雨误差校正方法及***
CN113408742B (zh) * 2021-06-24 2023-06-02 桂林理工大学 一种基于机器学习的高精度海表温度反演方法
CN113408918B (zh) * 2021-06-28 2022-04-19 哈尔滨工业大学 基于多时相遥感分析的村镇垃圾降尺度时空分布反演方法
CN113609940A (zh) * 2021-07-26 2021-11-05 南通智能感知研究院 一种广覆盖的土壤重金属遥感混合制图方法
CN113687448B (zh) * 2021-08-26 2023-11-10 中水珠江规划勘测设计有限公司 降水中心位置及其变化的确定方法、装置及电子设备
CN114528672A (zh) * 2021-12-17 2022-05-24 水利部南京水利水文自动化研究所 基于3s技术的城市水文站网布设方法及***
CN114418911B (zh) * 2021-12-27 2024-06-28 北京师范大学 一种对遥感影像统计回归降尺度并提高水体清晰度的方法
CN114529830A (zh) * 2022-01-19 2022-05-24 重庆邮电大学 基于混合卷积网络遥感图像时空融合方法
CN114463616B (zh) * 2022-01-28 2024-04-12 国能大渡河流域水电开发有限公司 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法
CN114461983B (zh) * 2022-02-09 2023-03-21 中国科学院、水利部成都山地灾害与环境研究所 一种基于水量平衡原理的卫星降水产品空间降尺度方法
CN114626578B (zh) * 2022-02-21 2022-11-11 北京大学 一种利用人工智能预报冻雨的方法
CN114385600B (zh) * 2022-03-23 2022-07-19 北京弘象科技有限公司 一种ecmwf温度数据的降尺度订正方法和装置
CN114417646B (zh) * 2022-03-31 2022-07-12 中国科学院地理科学与资源研究所 一种高维异构降水数据融合方法及***
CN115688356B (zh) * 2022-06-28 2023-05-12 中国农业科学院农业资源与农业区划研究所 基于月温度循环模型的极轨卫星地表温度月较差估算方法
CN115018394B (zh) * 2022-08-08 2022-10-25 成都数联云算科技有限公司 旱情评估方法、装置、存储介质及设备
CN115639979B (zh) * 2022-09-15 2023-05-30 河南大学 基于随机森林回归模型的高分辨率spei数据集开发方法
CN115909087A (zh) * 2022-12-02 2023-04-04 深圳先进技术研究院 一种地表温度遥感产品降尺度方法、***、设备及介质
CN115659853B (zh) * 2022-12-28 2023-03-10 中国科学院地理科学与资源研究所 一种非线性混合效应变系数降尺度方法和***
CN115828711B (zh) * 2023-02-14 2023-05-09 华中科技大学 一种水下结构物破冰剩余速度预测方法及***
CN115952743B (zh) * 2023-03-14 2023-05-05 中国科学院地理科学与资源研究所 耦合随机森林和hasm的多源降水数据协同降尺度方法和***
CN116187159A (zh) * 2023-04-11 2023-05-30 郑州大学 一种耦合机器学习与gwr矫正的遥感降水数据降尺度方法
CN116132486B (zh) * 2023-04-13 2023-06-20 山东慧创信息科技有限公司 一种基于物联网高精度的天空地一体化数据获取***
CN116449460B (zh) * 2023-04-23 2023-10-10 水利部交通运输部国家能源局南京水利科学研究院 基于卷积UNet和迁移学习的区域月降水预测方法及***
CN116228046B (zh) * 2023-05-09 2023-07-18 成都信息工程大学 一种基于卫星遥感和地理数据的山区空间降水估算方法
CN116776651B (zh) * 2023-08-23 2023-11-14 中国科学院空天信息创新研究院 地表蒸散发测算方法、装置、电子设备及存储介质
CN116933664B (zh) * 2023-09-15 2024-01-05 航天宏图信息技术股份有限公司 地表温度数据重构模型构建方法及地表温度数据重构方法
CN117540530B (zh) * 2023-10-10 2024-06-18 二十一世纪空间技术应用股份有限公司 一种基于高分辨率卫星影像的城市地表温度降尺度方法及装置
CN117290675B (zh) * 2023-11-27 2024-02-27 中国电建集团西北勘测设计研究院有限公司 降水数据处理方法、装置、存储介质及电子设备
CN117409335B (zh) * 2023-12-14 2024-02-23 成都远望探测技术有限公司 一种基于可见光图像的气象雷达降水率降尺度方法
CN117633449B (zh) * 2024-01-25 2024-04-12 南京信息工程大学 基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法
CN117746171B (zh) * 2024-02-20 2024-04-23 成都信息工程大学 一种基于对偶学习和辅助信息的无监督气象降尺度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810376A (zh) * 2014-01-17 2014-05-21 浙江大学 基于卫星遥感与回归克里格的地面日降雨量预测方法
CN103838979A (zh) * 2014-03-26 2014-06-04 武汉大学 一种基于支持向量机算法的统计降尺度方法
CN109100717A (zh) * 2018-06-11 2018-12-28 广州地理研究所 一种多源微波遥感海面风场数据融合方法及其装置
CN110222911A (zh) * 2019-06-20 2019-09-10 中国水利水电科学研究院 一种卫星遥感与地面数据协同的雨量站网优化布局方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3472832B2 (ja) * 2001-08-06 2003-12-02 独立行政法人通信総合研究所 山岳域の降雨強度推定方法及びシステム
US8655595B1 (en) * 2006-10-17 2014-02-18 Corelogic Solutions, Llc Systems and methods for quantifying flood risk
EP2356496A4 (en) * 2008-11-13 2015-05-27 Univ Saint Louis APPARATUS AND METHOD FOR COMMUNICATING ENVIRONMENTAL PREDICTION INDICATORS TO EMERGENCY RESPONSE MANAGERS
CN103714392A (zh) * 2013-11-28 2014-04-09 成都大学 一种基于混沌理论的电力负荷多时间尺度分析及预测方法
CN104820754A (zh) * 2015-05-13 2015-08-05 南京信息工程大学 一种基于地理差异分析法的空间统计降尺度降水估算方法
CN105160192B (zh) * 2015-09-17 2017-12-26 浙江大学 基于M5‑LocalR的TRMM卫星降雨数据降尺度方法
US11041841B2 (en) * 2015-10-22 2021-06-22 Colorado State University Research Foundation Soil moisture downscaling using topography, soil, and vegetation data
CN106021872A (zh) * 2016-05-10 2016-10-12 浙江大学 一种基于低分辨率卫星遥感数据的环境变量动态筛选建模降尺度方法
CN107608939A (zh) * 2017-08-16 2018-01-19 北京师范大学 基于高分辨率卫星数据的trmm降水数据降尺度方法
CN108154193B (zh) * 2018-01-16 2021-10-08 黄河水利委员会黄河水利科学研究院 一种长时间序列降水数据降尺度方法
CN109375294B (zh) * 2018-09-18 2019-11-05 中国水利水电科学研究院 一种山区卫星降水数据的降尺度校正方法
CN109472393B (zh) * 2018-09-30 2021-01-15 广州地理研究所 空间降尺度降水数据检测方法、装置及电子设备
CN109635309A (zh) * 2018-10-17 2019-04-16 广州地理研究所 一种地表温度空间降尺度方法
CN109934770A (zh) * 2019-01-21 2019-06-25 广州地理研究所 基于高分辨率卫星遥感影像的城市不透水面提取方法
CN110738252B (zh) 2019-10-14 2020-08-14 广州地理研究所 空间自相关的机器学习卫星降水数据降尺度方法、***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810376A (zh) * 2014-01-17 2014-05-21 浙江大学 基于卫星遥感与回归克里格的地面日降雨量预测方法
CN103838979A (zh) * 2014-03-26 2014-06-04 武汉大学 一种基于支持向量机算法的统计降尺度方法
CN109100717A (zh) * 2018-06-11 2018-12-28 广州地理研究所 一种多源微波遥感海面风场数据融合方法及其装置
CN110222911A (zh) * 2019-06-20 2019-09-10 中国水利水电科学研究院 一种卫星遥感与地面数据协同的雨量站网优化布局方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatiotemporal regression Kriging to predict precipitation using;Dangui Hu 等;《Cluster Comput》;20170107;全文 *
多源遥感数据的降水空间降尺度研究;嵇涛 等;《地球信息科学》;20150131;全文 *

Also Published As

Publication number Publication date
US20220043182A1 (en) 2022-02-10
US11333796B2 (en) 2022-05-17
WO2021073210A1 (zh) 2021-04-22
CN110738252A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110738252B (zh) 空间自相关的机器学习卫星降水数据降尺度方法、***
CN112016052B (zh) 基于多源数据的近地表日最高气温估算方法、***及终端
CN110222911B (zh) 一种卫星遥感与地面数据协同的雨量站网优化布局方法
CN111639787A (zh) 一种基于图卷积网络的时空数据预测方法
CN114547017B (zh) 一种基于深度学习的气象大数据融合方法
CN107423537B (zh) 一种基于自适应阈值的地表温度降尺度的方法
CN105243435A (zh) 一种基于深度学习元胞自动机模型的土壤含水量预测方法
Rodríguez-Amigo et al. Mathematical interpolation methods for spatial estimation of global horizontal irradiation in Castilla-León, Spain: A case study
CN114331842B (zh) 结合地形特征的dem超分辨率重建方法
CN113902580A (zh) 一种基于随机森林模型的历史耕地分布重建方法
CN114120101A (zh) 一种土壤水分多尺度综合感知方法
Yu et al. Deep learning-based downscaling of tropospheric nitrogen dioxide using ground-level and satellite observations
CN115544889A (zh) 基于深度学习的数值模式降水偏差校正方法
CN115270608A (zh) 基于arima与lstm的海岸带地面沉降预测方法
CN111401644A (zh) 一种基于神经网络的降水降尺度空间预测方法
CN112285808B (zh) 一种aphrodite降水数据的降尺度方法
CN114170524A (zh) 一种高时-空卫星数据融合的单日潮滩数字地形构建方法
CN113987969A (zh) 多高程尺度水流网的陆地水动态仿真模型
TWI717796B (zh) 以人工智慧估測地理位置日照量之系統、方法及儲存媒體
Huerta et al. High-resolution gridded hourly precipitation dataset for Peru (PISCOp_h)
CN114580700B (zh) 一种基于语义贝叶斯网络的tvdi干旱指数预测方法
Zhang et al. Spatial solar forecast verification with the neighborhood method and automatic threshold segmentation
Bosma et al. Estimating solar and wind power production using computer vision deep learning techniques on weather maps
CN114324410A (zh) 一种多地形的微波遥感土壤湿度降尺度方法
CN114818857A (zh) 一种积雪深度融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 510075 one of the compound No. 100, Xianlie Middle Road, Yuexiu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Institute of geography, Guangdong Academy of Sciences

Patentee after: GUANGDONG METEOROLOGICAL OBSERVATION DATA CENTER

Address before: 510070 one of the compound No. 100, Xianlie Middle Road, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU INSTITUTE OF GEOGRAPHY

Patentee before: GUANGDONG METEOROLOGICAL OBSERVATION DATA CENTER

CP03 Change of name, title or address