CN117932456B - 一种顾及空间异质性的集成空间预测方法 - Google Patents
一种顾及空间异质性的集成空间预测方法 Download PDFInfo
- Publication number
- CN117932456B CN117932456B CN202410330649.3A CN202410330649A CN117932456B CN 117932456 B CN117932456 B CN 117932456B CN 202410330649 A CN202410330649 A CN 202410330649A CN 117932456 B CN117932456 B CN 117932456B
- Authority
- CN
- China
- Prior art keywords
- spatial
- integration
- integrated
- neural network
- heterogeneity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000010354 integration Effects 0.000 claims abstract description 90
- 239000013598 vector Substances 0.000 claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 239000013604 expression vector Substances 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 38
- 238000012795 verification Methods 0.000 claims description 9
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 9
- 238000003066 decision tree Methods 0.000 description 8
- 238000011835 investigation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009022 nonlinear effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及地理空间数据处理技术领域，具体涉及一种顾及空间异质性的集成空间预测方法。该方法包括：将所有已知样本输入第一、第二和第三基学***均集成权重；根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果。本发明避免在进行地理空间预测时的空间异质性的问题，提高了预测精度。
Description
技术领域
本发明涉及地理空间数据处理技术领域，具体涉及一种顾及空间异质性的集成空间预测方法。
背景技术
随着传感器网络、移动定位技术不断普及和发展，获取海量的地理空间数据逐渐成为可能，为复杂地理过程的建模与分析提供了良好的数据支撑。尽管数据规模的逐渐扩大使得时空数据分析的输入信息越来越丰富，分析结果也更加准确。然而，由于当前采集设备的能力受限或地理现象本身的偶发性，地理空间数据普遍存在稀疏分布的现象，严重制约地表自然与社会***精准刻画与预测。
现有技术中，地理空间预测技术利用有限的观测数据和地理特征，通过统计或机器学习方法等，估计未知地理空间位置的属性或特征，从而更好地刻画地理***要素的空间分布格局，可以在一定程度上解决地理空间数据稀疏性问题。根据空间预测模型的构建方式，可划分为单一建模策略和多模型集成策略。单一建模策略通常采用统计和机器学习方法来学习数据的空间依赖结构。然而，每个模型都有优缺点，通常很难为给定的研究区域选择合适的空间预测模型。此外，针对特定研究区域构建的单一模型，通常难以泛化到其它研究区域。
为了进一步提高空间预测模型的预测性能和泛化能力，将集成学习引入地理空间数据建模中。通过构建并结合多个异质的基学习器，综合不同基学习器的优点来完成学习任务，在一定程度上避免空间预测模型选择的问题。根据基学习器集成策略的不同，可分为基于统计的集成和基于学习的集成。融合多模型的集成策略已被证明可获得比单一建模策略更强的泛化能力和更高的准确率。然而，现有研究在设计集成策略时，通常基于样本独立同分布假设，使得不同基学习器的权重在整个空间范围内全局固定，事实上，地理要素在整个研究区域通常是非均质的，表现出明显的空间异质性，这使得基于全局的集成策略可能在某些局部位置表现不佳。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种顾及空间异质性的集成空间预测方法所采用的技术方案具体如下：
本发明一个实施例提供了一种顾及空间异质性的集成空间预测方法，该方法包括：
构建第一基学习器、第二基学习器和第三基学习器；将所有已知样本输入第一、第二和第三基学习器，得到对应的特征向量，并组成已知数据集；将待预测样本输入第一、第二和第三基学习器，得到第一特征向量、第二特征向量和第三特征向量；
构建空间加权集成神经网络，利用已知数据集对空间加权集成神经网络进行训练；获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量；将空间邻近关系表达向量输入训练后的空间加权集成神经网络，得到第一、第二和第三特征向量分别对应的空间异质性集成权重；
基于所述已知数据集获取第一、第二和第三特征向量分别对应的平均集成权重；根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果。
优选地，所述构建第一基学习器、第二基学习器和第三基学习器，包括：
所述第一基学习器、第二基学习器和第三基学习器分别为地理加权回归模型、地理最优相似度模型和随机森林模型。
优选地，所述构建空间加权集成神经网络，包括：
所述空间加权集成神经网络采用多层感知机作为骨干网络，输入层与输出层之间设置两层隐藏层，隐藏层采用参数化修正线性单元作为激活函数，且包含归一化层；空间加权集成神经网络的输出层的维度与基学习器数量一致，且神经网络各层之间采用全连接进行串联。
优选地，利用已知数据集对空间加权集成神经网络进行训练，包括：
将已知数据集按照比例随机划分为训练集、验证集和测试集；根据训练集和验证集样本通过普通最小二乘法计算每个基学***均集成权重；
计算输入的样本到所有训练样本的空间欧式距离，构建空间邻近关系表达向量作为空间加权集成神经网络的输入；
在每个Epoch的正向传播过程中，将空间加权集成神经网络输出的空间异质性集成权重与平均集成权重相乘得到基学习器的集成权重系数，进而加权得到集成后的结果。将此输出结果与目标变量真实值计算损失，进行反向传播迭代更新空间加权集成神经网络参数，直至空间加权集成神经网络达到收敛。
优选地，所述获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量，包括：
计算待预测样本与各已知样本的欧式距离，利用所述欧式距离组成空间临近关系表达向量。
优选地，所述基于所述已知数据集获取第一、第二和第三特征向量分别对应的平均集成权重，包括：
基于已知数据集，利用普通最小二乘法获取第一、第二和第三特征向量分别对应的平均集成权重。
优选地，根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果，包括：
基于所述空间异质性集成权重和所述平均集成权重对所述第一、第二和第三特征向量进行加权求和，具体为：
，
其中，表示待预测样本对应的预测结果；/>、/>和分别表示空间位置为/>的待预测样本的第一、第二和第三特征向量分别对应的空间异质性集成权重；/>、/>和/>分别表示第一基学***均集成权重。
本发明实施例至少具有如下有益效果：本发明构建了第一基学***均集成权重相结合，实现了集成过程空间异质性的精确表达，使得预测结果更加精确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种顾及空间异质性的集成空间预测方法的方法流程图；
图2为本发明实施例提供的一种顾及空间异质性的集成空间预测方法的空间加权集成神经网络的训练框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种顾及空间异质性的集成空间预测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种顾及空间异质性的集成空间预测方法的具体方案。
实施例：
本发明的主要应用场景为：
在利用地理空间数据，基于地理空间预测技术利用有限的观测数据和地理特征，在对空间预测模型进行构建时，可以采集单一建模策略和多模型集成策略，采用单一建模策略时，因为每个模型优缺点不同，泛化能力差，特别是随着地理过程的复杂变化，模型学习的假设空间通常非常大，基于有限的训练样本无法进行有效的探索，使得单一模型可能错过假设空间中样本集的最佳拟合函数或真实分布，导致这些单一模型经常难以达到理想的空间预测结果。
采用多模型集成策略，能够进一步的提高空间预测模型的预测性能和泛化能力，但通常在设计时会基于样本独立同分布假设，使得不同基学***均集成方法求取各个基学***均值作为最终集成结果。基于学习的集成方法将不同基学习器的输出结果作为输入特征，训练全局模型拟合基学习器之间的关系。这两种集成策略均使得每个基学习器在不同的空间位置被赋予相同的权重。但事实上地理要素在整个研究区域通常是非均质的，会使得基于全局的集成策略可能在某些局部位置表现不佳。
尽管部分研究考虑空间异质性，采用地理加权回归模型获得一组基于空间位置的权重来集成不同基学习器的预测结果，在一定程度上提高了集成模型的稳健性。然而，地理加权回归模型通常需要构建以空间邻近性度量为参数的权重核函数，从而实现空间异质关系的地理建模。该模型在解算空间权重时采用的简单核函数结构，难以充分描述空间邻近性对集成权重的复杂非线性作用，导致复杂地理关系的空间异质性难以充分表达。
请参阅图1，其示出了本发明实施例提供的一种顾及空间异质性的集成空间预测方法的方法流程图，该方法包括以下步骤：
集成学习在应用到空间预测领域时，综合了不同模型的优点，在一定程度上避免了模型选择的问题，广泛的应用于空间预测领域，然而，空间异质性对模型集成过程的复杂非线性约束，极大限制了集成空间预测方法的预测能力，因此在本发明中在进行空间预测的集成学习时考虑空间异质性，使得构建的模型泛化能力更强，精准度更高。
首先获取地理空间数据，地理空间数据分为已知的观测的数据和待预测数据，已知数据观测数据记为已知样本，作为后续训练学习所使用的数据，待预测数据记为待预测样本。
步骤S1，构建第一基学习器、第二基学习器和第三基学习器；将所有已知样本输入第一、第二和第三基学习器，得到对应的特征向量，并组成已知数据集；将待预测样本输入第一、第二和第三基学习器，得到第一特征向量、第二特征向量和第三特征向量。
对于地理要素的局部空间相关性、全局特征相关性和非线性关系表达等特征，需要针对性的选取不同的模型作为利用集成学习策略建模的基学习器。
在地理关系建模中，空间异质性普遍存在，而地理加权回归模型（GeographicallyWeighted Regression, GWR）是处理空间异质性的主要手段之一，该方法通过设置局部空间权重对样本进行局部线性加权回归，将空间位置差异引起的空间关系变化嵌入到回归系数的计算之中，用公式表示为：
，
其中，表示空间位置为/>的样本的预测值；/>表示空间位置为的样本的第j个自变量回归系数，与空间坐标/>有关；p表示空间位置为/>的样本的自变量回归系数的数量；/>表示空间位置为/>的样本的第j个自变量的值；表示空间位置为/>的样本的随机误差项，服从/>，且。
在GWR模型中，通常使用加权最小二乘法（Weighted Least Squares, WLS）求解每个自变量的回归系数。令，则空间位置为的样本的回归系数/>可表示为：
，
其中，表示空间位置为/>的样本的权重矩阵，/>表示空间位置为/>的样本与空间位置为/>的样本之间的权重值，需要设置特定的权重核函数求解，例如Gaussian、Bi-square核函数；X表示已知样本的自变量的值；Y表示已知样本的目标变量的值。根据带宽的类型，核函数可以分为固定核函数和自适应核函数。核函数带宽大小的确定通常采用修正的赤池信息准则（AICc）或交叉验证（CV）。由此将地理加权回归模型设为第一基学习器。
GWR模型赋予空间距离接近的样本更大的权重，或仅将最优带宽内的样本参与局部加权回归计算，这限制了地理特征全局相关性的表达，因此，本发明将地理最优相似度模型（Geographically Optimal Similarity, GOS）作为提出框架的第二基学习器，从而实现局部空间相关性与全局特征相关性的深度耦合。
地理最优相似度模型遵循地理学第三定律，假设样本的地理配置与目标变量之间存在关联。该模型不直接构建解释变量与目标变量之间的显式关系，而是使用一组解释变量表征样本的地理配置，通过计算待预测样本与全部已知观测样本地理配置之间的相似性，选取相似性较高的样本参与计算，将相似性信息作为权重进行加权预测。
解释变量之间存在较强的相关性会导致多重共线性问题，过多的冗余因子会导致模型的精度降低。因此，GOS模型选取方差膨胀因子（Variance Inflation Factors, VIF）小于5的解释变量用于样本地理配置的构建。针对筛选得到的第a个解释变量，GOS模型的地理配置度量函数的数学表达式如下所示：
，
，
其中，k表示已知样本，t表示未知的待预测样本；表示已知样本k的第a个解释变量值；/>表示未知的待预测样本t的第a个解释变量值；/>表示全部样本解释变量的标准差，/>为未知的待预测样本到全部已知样本平均偏差的平方根，/>为已知样本个数。
通过最小算子P得到未知待预测样本t与已知样本k之间的相似度，如下所示：
，
GOS模型通常通过留一法交叉验证的方式设置合适的相似度阈值，高于此阈值的已知样本参与最终的加权计算，如下所示：
，
其中，表示待预测样本的预测结果值；m表示相似度高于阈值的已知样本数量；表示已知样本k的地理配置相似度；/>表示已知样本k的目标变量值。至此选取地理最优相似度模型作为第二基学习器。
在现实地理过程中，地理关系通常表现出复杂的非线性特征。相较于GWR模型建模解释变量与因变量的局部线性关系，决策树通过***特征生成树形结构，对数据中存在的非线性关系有良好的映射。对于离散型地理数据和连续性地理数据的空间预测任务，随机森林模型（Random Forest, RF）能够集成多棵分类与回归决策树（Classification AndRegression Tree, CART），通过袋装法（Bagging）取得比单个决策树更好的性能，在地理空间预测任务中得到广泛的应用。因此，本发明使用随机森林模型作为第三基学习器，进一步考虑地理关系的非线性特征。随机森林模型的实现流程如下：
（1）使用随机采样（Bootstrap）策略对输入的训练集（已知样本组成的训练集）进行重新采样，根据重新采样的结果将数据分配为个子训练集/>、/>、…、/>。
（2）对个子训练集分别建立独立的决策树模型，得到/>棵决策树/>、/>、…、。
（3）在个属性中随机选择/>个属性作为树节点***的***特征集合，其中，并从中选择最佳***特征，最终完成/>棵训练完成的决策树模型。
（4）使用训练完成的决策树、/>、…、/>对测试集中的样本进行测试，对于回归任务求取各决策树输出结果的平均值作为随机森林模型的最终预测结果，对于分类任务则使用取众数的投票方法决定最终的分类结果。
在第一、第二和第三基学习器训练完成之后，分别将所有已知样本输入第一、第二和第三基学习器，得到每个基学习器对应的特征向量，组成已知数据集；进一步的，将待预测样本分别输入第一、第二和第三基学习器，得到对应的第一特征向量、第二特征向量和第三特征向量。
至此，可以通过第一、第二和第三基学习器得到已知样本对应的特征向量以及待预测样本分别通过第一、第二和第三基学习器得到的第一、第二和第三特征向量。
步骤S2，构建空间加权集成神经网络，利用已知数据集对空间加权集成神经网络进行训练；获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量；将空间邻近关系表达向量输入训练后的空间加权集成神经网络，得到第一、第二和第三特征向量分别对应的空间异质性集成权重。
常用的异态集成学***均法（Averaging）、元学***均法包含平均集成（SA）与加权集成（WA）两种策略，SA方法的输出预测是所有基学***均值，WA方法使用基学***均得到最终的预测结果。元学习法旨在训练一个元模型将基学习器的输出作为输入，得到最终的预测结果。
现有技术在设计集成元模型时，通常基于样本的独立同分布假设，使得不同的基学习器具有全局固定的权重。以线性回归（Linear Regression, LinReg）模型作为元模型为例，模型对GWR、GOS与RF三种基学习器的输出向量、/>和/>进行全局回归，进而得到集成结果/>，集成方法如下所示：
，
其中 为常数项系数，/> 为第 />个基学***均回归系数，
，可通过普通最小二乘法（Ordinary Least Squares, OLS）计算得到。
由于地理要素的空间异质性，基学***均水平。这种关系在不同空间位置的差异性可认为是空间异质性在不同地理位置对平均水平产生的不同波动程度。因此，本发明为全局平均系数添加空间异质性集成权重，以度量这种空间上的波动程度。
在空间异质关系地理建模中，通常需要构建以空间邻近性度量为参数的权重核函数，利用局部最小二乘法求解回归系数。因此，权重核函数的精确求解是实现空间异质性精准建模的关键所在。尽管目前存在多种权重核函数结构，例如高斯核函数、二次核函数等等，然而这些核函数结构简单，难以充分描述空间邻近性对集成权重的复杂非线性作用，导致复杂地理关系的空间异质性难以充分表达。事实上，权重核函数的精确构建本质上属于复杂非线性问题的构造与求解。考虑到神经网络模型具有强大的复杂非线性问题求解能力，因此本发明设计了一种空间加权集成神经网络（Spatially Weighted EnsembleNeural Network, SWENN），实现对空间异质性集成权重的精确求解。
SWENN模型采用多层感知机（Multilayer Perceptron, MLP）作为SWENN的骨干网络，输入层与输出层之间设置两层隐藏层（Hidden Layer），输出层的维度与基学习器数量一致，最终得到维度为3的空间异质性集成权重。神经网络各层之间采用全连接进行串联，并引入Dropout技术增强网络的泛化能力。此外，隐藏层采用参数化修正线性单元（Parametric Rectified Linear Unit, PReLU）作为激活函数，并采用He参数初始化方法设定初始参数。同时，引入批归一化层（Batch Normalization, BN）对数据进行归一化，以提高模型的训练速度。
其中SWENN模型的数学表达式如下所示：
，
其中，为空间异质性集成权重，/>为空间位置为/>的已知样本的空间邻近关系表达向量，/>为已知样本数量，/>为空间位置为/>的样本与空间位置为/>的样本的欧氏距离。
由于在集成策略中通过空间加权集成神经网络SWENN求解基学习器的空间异质性集成权重，而神经网络模型训练过程容易出现欠拟合或过拟合、梯度消失或梯度***等问题。为了提高模型的优化训练能力，本发明设计了针对于空间加权集成神经网络SWENN的训练方法，如图2所示，具体如下：
（1）将已知数据集按照比例随机划分为训练集、验证集和测试集三组。训练集用于模型参数的更新与学习，验证集用于每次迭代训练后模型的过拟合检测，测试集用于评判模型的预测结果与泛化能力。
（2）对SWENN中的所有参数进行初始化；根据训练集和验证集样本通过普通最小二乘法计算每个基学***均集成权重。
（3）计算输入的样本到所有训练样本的空间欧式距离，构建空间邻近关系表达向量作为SWENN网络模型的输入。在每个Epoch的正向传播过程中，将SWENN输出的空间异质性集成权重与平均集成权重相乘得到基学习器的集成权重系数，进而加权得到集成后的结果。将此输出结果与目标变量真实值计算损失，进行反向传播迭代更新SWENN网络模型参数，直至SWENN网络模型达到收敛。
（4）在训练过程中若验证集的精度指标出现连续上升或持平的趋势，即认为出现过拟合问题，则采用早停（Early Stopping）策略停止训练，返回有最小验证集误差的模型参数用于预测测试集样本。
在训练完成后，获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量；将空间邻近关系表达向量输入训练后的空间加权集成神经网络，得到第一、第二和第三基学习器分别对应的空间异质性集成权重，也可以认为是第一、第二和第三特征向量分别对应的空间异质性集成权重。
步骤S3，基于已知数据集获取第一、第二和第三特征向量分别对应的平均集成权重；根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果。
在步骤 S2中，基于训练完成后的空间加权集成神经网络，获取了待预测样本的各特征向量分别对应的空间异质性集成权重；则还需要根据已知数据集，利用普通最小二乘法获取第一、第二和第三特征向量分别对应的平均集成权重，进而根据所述第一、第二和第三特征向量，以及空间异质性集成权重和平均集成权重得到预测结果，具体为：
，
其中，表示待预测样本对应的预测结果；/>、/>和分别表示空间位置为/>的待预测样本的第一、第二和第三特征向量分别对应的空间异质性集成权重；/>、/>和/>分别表示第一基学***均集成权重。
需要说明的是，模型训练完成后输入一个待预测样本，得到的空间异质性集成权重和平均集成权重分别都是三维的，分别与每个基学习器输出的特征向量相对应。
本发明从不同地理关系表达的视角出发，充分考虑地理要素的局部空间相关性、全局特征相关性和非线性关系，设计并实现了地理加权回归模型、地理最优相似度模型与随机森林模型三种基学习器。此外，提出了具有自适应学习能力的地理空间加权神经网络模型，实现了集成策略中空间异质性的精确表达。该模型借助神经网络高度抽象的表达能力和高维动态的学习能力，建立了空间邻近性与集成权重的复杂非线性关系，从而可以根据空间模式自适应集成基学习器。最后，设计并实现了顾及地理空间异质性的集成学习框架，将三种基学习器的预测结果嵌入到空间加权集成神经网络进行集成训练，得到更加准确的预测结果。
本发明提供的估计空间异质性的集成空间预测方法，能够更加精确的为复杂地理过程的进行建模预测；且强调了在模型集成过程中精确表达空间异质性的重要性，在丰富地理空间数据挖掘领域的方法体系，提高空间分析与建模能力，促进集成学习在地学领域的应用，为环境监测、灾害应急管理等领域提供技术支撑，例如可以应用到大范围的空气质量动态制图和区域滑坡风险区划任务上。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种顾及空间异质性的集成空间预测方法，其特征在于，该方法包括：
构建第一基学习器、第二基学习器和第三基学习器；将所有已知样本输入第一、第二和第三基学习器，得到对应的特征向量，并组成已知数据集；将待预测样本输入第一、第二和第三基学习器，得到第一特征向量、第二特征向量和第三特征向量；
构建空间加权集成神经网络，利用已知数据集对空间加权集成神经网络进行训练；获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量；将空间邻近关系表达向量输入训练后的空间加权集成神经网络，得到第一、第二和第三特征向量分别对应的空间异质性集成权重；
基于所述已知数据集获取第一、第二和第三特征向量分别对应的平均集成权重；根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果；
所述第一基学习器、第二基学习器和第三基学习器分别为地理加权回归模型、地理最优相似度模型和随机森林模型；
所述已知样本为地理空间数据中的已知观测数据；
所述构建空间加权集成神经网络，包括：
所述空间加权集成神经网络采用多层感知机作为骨干网络，输入层与输出层之间设置两层隐藏层，隐藏层采用参数化修正线性单元作为激活函数，且包含归一化层；空间加权集成神经网络的输出层的维度与基学习器数量一致，且神经网络各层之间采用全连接进行串联；
根据所述第一、第二和第三特征向量，以及所述空间异质性集成权重和所述平均集成权重得到预测结果，包括：
基于所述空间异质性集成权重和所述平均集成权重对所述第一、第二和第三特征向量进行加权求和，具体为：
，
其中，表示待预测样本对应的预测结果；/>、/>和分别表示空间位置为/>的待预测样本的第一、第二和第三特征向量分别对应的空间异质性集成权重；/>、/>和/>分别表示第一基学***均集成权重。
2.根据权利要求1所述的一种顾及空间异质性的集成空间预测方法，其特征在于，所述利用已知数据集对空间加权集成神经网络进行训练，包括：
将已知数据集按照比例随机划分为训练集、验证集和测试集；根据训练集和验证集样本通过普通最小二乘法计算每个基学***均集成权重；
计算输入的样本到所有训练样本的欧式距离，构建空间邻近关系表达向量作为空间加权集成神经网络的输入；
在每个Epoch的正向传播过程中，将空间加权集成神经网络输出的空间异质性集成权重与平均集成权重相乘得到基学习器的集成权重系数，进而加权得到集成后的结果；将此输出结果与目标变量真实值计算损失，进行反向传播迭代更新空间加权集成神经网络参数，直至空间加权集成神经网络达到收敛。
3.根据权利要求1所述的一种顾及空间异质性的集成空间预测方法，其特征在于，所述获取待预测样本到各已知样本的空间距离，并组成空间邻近关系表达向量，包括：
计算待预测样本与各已知样本的欧式距离，利用所述欧式距离组成空间临近关系表达向量。
4.根据权利要求1所述的一种顾及空间异质性的集成空间预测方法，其特征在于，所述基于所述已知数据集获取第一、第二和第三特征向量分别对应的平均集成权重，包括：
基于已知数据集，利用普通最小二乘法获取第一、第二和第三特征向量分别对应的平均集成权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410330649.3A CN117932456B (zh) | 2024-03-22 | 2024-03-22 | 一种顾及空间异质性的集成空间预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410330649.3A CN117932456B (zh) | 2024-03-22 | 2024-03-22 | 一种顾及空间异质性的集成空间预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117932456A CN117932456A (zh) | 2024-04-26 |
| CN117932456B true CN117932456B (zh) | 2024-06-07 |
Family
ID=90766867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410330649.3A Active CN117932456B (zh) | 2024-03-22 | 2024-03-22 | 一种顾及空间异质性的集成空间预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117932456B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000002769A (ja) * | 1998-06-17 | 2000-01-07 | Nippon Koei Co Ltd | 地質構造の空間分布を予測して地質図を作成する方法及び装置 |
| CN112634447A (zh) * | 2020-12-08 | 2021-04-09 | 陈建华 | 一种露头岩层分层方法、装置、设备及存储介质 |
| CN114139819A (zh) * | 2021-12-07 | 2022-03-04 | 成都理工大学 | 基于地统计加权随机森林的地球化学变量空间预测方法 |
| CN115049026A (zh) * | 2022-08-17 | 2022-09-13 | 中国海洋大学 | 基于gsnnr的空间非平稳性关系的回归分析方法 |
-
2024
- 2024-03-22 CN CN202410330649.3A patent/CN117932456B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000002769A (ja) * | 1998-06-17 | 2000-01-07 | Nippon Koei Co Ltd | 地質構造の空間分布を予測して地質図を作成する方法及び装置 |
| CN112634447A (zh) * | 2020-12-08 | 2021-04-09 | 陈建华 | 一种露头岩层分层方法、装置、设备及存储介质 |
| CN114139819A (zh) * | 2021-12-07 | 2022-03-04 | 成都理工大学 | 基于地统计加权随机森林的地球化学变量空间预测方法 |
| CN115049026A (zh) * | 2022-08-17 | 2022-09-13 | 中国海洋大学 | 基于gsnnr的空间非平稳性关系的回归分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| Short-Term Traffic Forecasting: A Dynamic ST-KNN Model Considering Spatial Heterogeneity and Temporal Non-Stationarity;Shifen Cheng等;Computer Science, Engineering, Environmental Science;20181231;第133-140页 * |
| 异质稀疏分布时空数据插值、重构与预测方法探讨;程诗奋等;武汉大学学报·信息科学版;20201231;第45卷(第12期);第1919-1929页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117932456A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| CN109902259B (zh) | 一种轻量级的缺失时空数据的重构方法 | |
| CN111222847B (zh) | 基于深度学习与非监督聚类的开源社区开发者推荐方法 | |
| CN105335619B (zh) | 一种岩爆过程数值计算模型参数反分析的协同优化法 | |
| CN107798383B (zh) | 改进的核极限学习机定位方法 | |
| CN116258608B (zh) | 融合gis和bim三维技术的水利实时监测信息管理*** | |
| CN114723188A (zh) | 水质预测方法、装置、计算机设备和存储介质 | |
| CN115049026A (zh) | 基于gsnnr的空间非平稳性关系的回归分析方法 | |
| Li et al. | A variational learning approach for concurrent distance estimation and environmental identification | |
| Ghozali et al. | Indoor positioning system using regression-based fingerprint method | |
| Xu et al. | Monthly NDVI prediction using spatial autocorrelation and nonlocal attention networks | |
| Tavassoli et al. | Comparison of Kriging and artificial neural network models for the prediction of spatial data | |
| CN117932456B (zh) | 一种顾及空间异质性的集成空间预测方法 | |
| CN106779181B (zh) | 一种基于线性回归因子非负矩阵分解模型的医疗机构推荐方法 | |
| CN117131991A (zh) | 基于混合神经网络的城市降雨量预测方法及平台 | |
| CN117241215A (zh) | 一种基于图神经网络的无线传感器网络分布式节点协作定位方法 | |
| CN108668254B (zh) | 基于改进BP神经网络的WiFi信号特征的区域定位方法 | |
| Huang et al. | A meta-deep-learning framework for spatio-temporal underwater SSP inversion | |
| CN112464997B (zh) | 基于模糊-贪婪搜索决策的多传感器协同监测方法及*** | |
| Khavarzadeh et al. | A simple two-step method for spatio-temporal design-based balanced sampling | |
| CN113706290A (zh) | 在区块链上采用神经架构搜索的信用评估模型构建方法、***、设备及存储介质 | |
| CN113868597A (zh) | 一种用于年龄估计的回归公平性度量方法 | |
| CN113516766A (zh) | 一种基于神经网络算法的独立坐标系参数分析方法及*** | |
| Imbiriba et al. | Recursive Gaussian processes and fingerprinting for indoor navigation | |
| Chen et al. | Combining random forest and graph wavenet for spatial-temporal data prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |