CN113919448B - 一种任意时空位置二氧化碳浓度预测影响因素分析方法 - Google Patents

Abstract

本发明提供了一种任意时空位置二氧化碳浓度预测影响因素分析方法，首先利用稀疏、不均匀的卫星二氧化碳柱浓度观测数据和对应的环境因素，包括地表覆盖因素、气候气象因素与燃烧排放因素，结合XGBoost算法构建模拟区域二氧化碳时空分布的模型，提取出二氧化碳时间、空间分布趋势变量；然后利用上述构建的区域二氧化碳时空分布模型，结合全局敏感性分析算法，实现环境因素敏感性的定量评价，根据敏感性分析的结果，量化确定影响区域二氧化碳时空分布的各种环境因素影响程度与大小。与传统方法相比，本发明方法能够以较高精度模拟区域二氧化碳浓度分布，并且实现环境变量重要性程度的定量评价。

Description

一种任意时空位置二氧化碳浓度预测影响因素分析方法

技术领域

本发明涉及遥感温室气体监测领域，尤其涉及一种基于机器学习的大气二氧化碳时空分布模拟及影响因素全局敏感性分析方法。

背景技术

二氧化碳作为最主要的温室气体和全球变暖最大的贡献者，准确地了解二氧化碳浓度的时空分布及其变化趋势，对于认识并缓解温室效应至关重要。卫星观测能够较为准确地以一定的时空分辨率和相对长时序观测提供地面二氧化碳信息，但受云和气溶胶等影响，实际应用中卫星观测数据存在空缺，精确的区域二氧化碳时空分布分析存在困难。常用的获取区域任意位置二氧化碳浓度的方法以内插为主，包括空间域上的内插和根据二氧化碳时序规律建立物理模型进行插值，其中空间域内插方法插值精度较低，而物理模型插值方法生成的模型十分复杂，计算效率低。随着机器学习算法的不断发展，为了弥补XCO2数据的时空空缺而将各种神经网络和机器学习模型应用于区域CO2模拟建模的相关研究也开始发展，可以高效的生成高精度大范围二氧化碳时空分布图。但是现有的基于机器学习的方法通常只考虑环境因素或人为排放因素某一方面进行建模，而二氧化碳浓度是受两者共同影响的，目前仍缺少相关的方法。

此外区域二氧化碳分布受自然环境和人为排放等多种因素的影响。影响因素复杂且过程复杂，相关研究也较多。但多为环境因素与二氧化碳浓度的定性分析或相关性分析，针对多因素影响程度的定量评价方法也较少，无法实现不同环境因素对大气二氧化碳浓度的贡献和影响的量化分析。

发明内容

本发明的主要目的是提出一种基于机器学习的大气二氧化碳时空分布模拟及影响因素全局敏感性分析方法，对卫星观测二氧化碳数据空缺的区域实现模拟，获取整个区域二氧化碳时空分布模式，并通过对模型的全局敏感性分析，量化影响区域二氧化碳分布的环境因素的重要性程度。

为了实现上述发明目的，本发明采用的技术方案为一种任意时空位置二氧化碳浓度预测影响因素分析方法，首先提出了一种大气二氧化碳时空分布模拟方法，该模拟方法基于机器学习算法，结合卫星观测二氧化碳数据与对应的环境因素，构建模拟区域任意位置二氧化碳浓度分布的模拟模型；接着通过全局敏感性分析方法，实现定量的多影响因素对区域二氧化碳分布的重要性评价，具体包括以下步骤：

步骤1，结合区域环境特点，将影响区域二氧化碳分布的环境因素分类，包括但不仅限于地表和植被覆盖因素、气候气象因素和燃烧排放因素；

步骤2，结合卫星二氧化碳观测数据与环境因素，使用机器学习算法构建区域二氧化碳时空分布模拟模型，并利用训练数据集进行训练；

步骤3，针对构建的二氧化碳时空分布模拟模型，首先使用测试数据集验证模型预测精度，然后将卫星观测缺失处的环境因素数据输入训练好的二氧化碳时空分布模拟模型得到预测的二氧化碳浓度，最终获得区域二氧化碳浓度分布图；

步骤4，结合构建的区域二氧化碳时空分布模拟模型与全局敏感性分析方法，计算二氧化碳浓度对各个输入参数，即环境因素的敏感度；

步骤5，统计全局敏感性分析方法得到的区域二氧化碳浓度对不同环境因素的敏感度，定量分析分析各参数的敏感性大小，最终确定各个环境因素随区域二氧化碳分布的影响程度。

进一步的，步骤1中环境因素分类具体包括区域的地表覆盖类型、植被覆盖、气候类型、降水、气温、风速风向、人为排放量和生物质燃烧排放量；

其中植被覆盖使用归一化植被指数数据来表示，该数据可以从MODIS卫星的L3植被指数产品获得；人为排放统计来自高分辨率全球人为排放数据集ODIAC；生物质燃烧数据来自全球火灾排放数据库GFED4；气温和降水数据来自国家青藏高原科学数据中心提供的中国1km分辨率逐月平均气温数据集；地表覆盖数据来自欧空局发布的逐年全球土地覆盖数据集，气候类型数据来自柯本气候分区数据集，风速风向来自ERA5数据集。

进一步的，步骤2中使用的机器学习算法为极端梯度提升树XGBoost，XGBoost是一种基于梯度提升的树集成模型，模型的基本构建思路是：首先构建初始子树对数据进行拟合，相应的得到拟合的残差，后续的子树构建是针对上一步的模型残差进行，直至模型残差小于阈值为止，最终的模拟结果为所有子树结果之和，具体构造步骤为：

初始构造一个弱学习器，得到初始模型对应的残差；

后续的每一次训练迭代，都是在现有模型的基础上，增加一个弱学习器拟合上一个模型的残差；

通过不断地学习拟合K个弱学习器来降低模型预测结果与真实值之间的残差，直到残差小于阈值，模型终止，最终模型预测值是K个基学习器加权求和的结果。

进一步的，步骤2中利用训练数据集进行训练的具体实现方式如下；

首先训练数据集进行预处理，包括数据清洗，数据编码和数据变换，其中数据清洗包括去除缺失值、异常值和噪声，数据变换包括归一化和降维；

数据编码是将非数值型特征进行编码，以便输入模型中进行训练，即对地表覆盖类型、气候类型和风向这些环境因素进行编码，这里使用的是one-hot独热编码；

对数据进行归一化处理，归一化处理的计算公式为：

其中，mean(z_q)为环境因素z_q数据的均值，std(z_q)为环境因素z_q数据的标准差；

然后将预处理好的训练数据集输入XGBoost模型，并对XGBoost模型进行参数调整和进一步优化，反复迭代，得到最优的二氧化碳时空分布模拟模型。

进一步的，XGBoost模型的基学习器是CART树，针对n个样本m个特征的数据集D＝(x_i,y_i)(|D|＝n,x_i∈R^m,y_i∈R)，训练完成后，最终的预测值可表示如下：

其中，K为基学习器数量，x_i为第i个样本，y_i为第i个样本对应的类别标签，f_k(·)为第k棵树的模型，将第k棵树拆分为树的叶子节点q和对应的权重部分ω，即：

其中，

为样本x_i所在叶子节点q的权重，q(x_i)为样本x_i所在叶子节点的位置，也就是说对于任意一个样本x_i，最后会落在树的某个叶子节点上，取值为

因为每次迭代，模型都是在拟合上一次预测的残差，所以当生成第t个基学习器时，预测模型可表示为：

目标函数可表示为：

目标函数由2部分构成，其中第一个部分函数l(·,·)是描述真实值与拟合值的差异，使用欧式距离进行计算；第二个部分是防止函数过拟合的正则化部分Ω

即

用于限制每棵树的复杂度，防止模型过拟合，其中T是CART数上所有叶子节点的数量，γ和λ是超参数，用来调整正则化计算时叶子节点数量和权重的重要性分配，ω_j是第j个叶子节点的权重值；为了使目标函数最小化，XGBoost考虑对目标函数进行二阶泰勒展开，可近似表达为：

其中，g_i为一阶导数，定义为

为二阶导数，

代入目标函数，结果为：

每次迭代使目标函数最小，得到第t个基学习器最优的j个叶子节点和每个叶子节点对应的最优解ω_j。

进一步的，步骤4中使用的全局敏感性分析方法是Sobol方法，Sobol法的敏感度是通过将输出的总方差分解为每个参数的方差和参数相互作用的方差之和，然后通过参数对输出方差的贡献比例进行敏感性分级计算的；

对于各个环境因素，统计其变化范围和概率分布，然后结合区域二氧化碳时空分布模拟模型计算相应的敏感性指数；

区域二氧化碳时空分布模拟模型可表达为y＝f(x′₁,x′₂,…,x′_p)，f是训练好的XGBoost模型，其中，x′₁,x′₂,…,x′_p为影响二氧化碳分布的环境因素，是XGBoost模型的输入参数；XGBoost模型的总方差为：

其中，f₀为模型初值，而XGBoost模型的偏方差为：

其中，1≤π₁<…<π_s≤p且s＝1,2,…,p，各个环境因素的敏感性

为：

其中，

为环境因素

的一阶敏感性指数，表示该参数对模型输出的影响，

为环境因素

的s阶敏感性指数，表示s个参数对模型的共同影响；

进而得到各个环境因素的总敏感性指数，环境因素

的总敏感性指数TS_π定义为：

使用Sobol法得到的各个环境因素的总敏感性指数评价最终影响区域二氧化碳分布的影响因素敏感性，实现定量的影响程度分析。

与现有技术相比，本发明的优点和有益效果如下：

本发明在反演区域范围二氧化碳分布时，综合考虑与二氧化碳浓度相关的所有地表环境、气候气象和人为燃烧排放因素构建了机器学习模型，实现了更加准确和快速的区域二氧化碳浓度分布预测；并根据建立的机器学习模型，实现了考虑交互效应情况下，定量地评价影响区域CO2增长的各因素的敏感性，能够为碳排放政策制定提供科学指导。

附图说明

图1是本发明实施例的总体方法流程图。

图2是本发明实施例的卫星二氧化碳观测数据和建模反演的区域二氧化碳分布图。

图3是本发明实施例的影响因素敏感性指数扇形图。

具体实施方式

为了更为详细的说明本发明的技术方案和技术优势，下面结合附图，通过具体实施案例对本发明进行更为完整的描述。

如图1所示，本发明提供了一种任意时空位置二氧化碳浓度预测影响因素分析方法，大体上分为两个部分，第一部分是：基于机器学习算法的区域二氧化碳模拟建模，进而对卫星观测二氧化碳数据空缺的区域实现模拟，获取整个区域二氧化碳时空分布模式；第二部分是：根据训练得到的区域二氧化碳时空分布模拟模型，结合全局敏感性分析方法，量化影响区域二氧化碳分布的环境因素的重要性程度。具体实现过程如下：

一、基于机器学习算法的区域二氧化碳模拟建模方法的具体步骤如下：

步骤1，收集影响区域二氧化碳分布的环境因素数据，包括但不限于区域地表覆盖类型、植被覆盖、气候类型、降水、气温、风速和风向、人为排放量统计数据以及生物质燃烧排放等，并与卫星观测二氧化碳数据匹配，获取机器学习模型的训练和验证数据集；

其中植被覆盖使用归一化植被指数数据来表示，该数据可以从MODIS卫星的L3植被指数产品获得；人为排放统计来自高分辨率全球人为排放数据集ODIAC；生物质燃烧数据来自全球火灾排放数据库GFED4；气温和降水数据来自国家青藏高原科学数据中心提供的中国1km分辨率逐月平均气温数据集；地表覆盖数据来自欧空局发布的逐年全球土地覆盖数据集，气候类型数据来自柯本气候分区数据集，风速风向来自ERA5数据集。

步骤2，选择的机器学习算法构建区域二氧化碳分布模拟模型，结合环境因素与卫星二氧化碳的训练数据集，对模型进行训练。

具体的训练实施步骤如下，对训练数据集进行预处理，包括数据清洗(去除缺失值、异常值和噪声等)、数据编码和数据变换(归一化、降维等)等；

针对数据集中的缺失值处理，若缺失值较少，可考虑删除该样本；

数据异常值和噪声的处理，首先通过数据的统计特性或是聚类方法检测噪声，然后使用分箱、聚类、回归、计算机检查和人工检查结合等方法“光滑”数据，去掉数据中的异常值和噪声；

数据编码主要是将非数值型特征进行编码，以便输入模型中进行训练。在本次实验中主要是需要对地表覆盖类型、气候类型和风向等环境因素进行编码，这里使用的是one-hot独热编码；

数据预处理还需要对数据进行归一化处理，归一化处理的计算公式为：

其中，mean(z_q)为环境因素z_q数据的均值，std(z_q)为环境因素z_q数据的标准差；

另外，步骤2中使用的机器学习算法为极端梯度提升树XGBoost。XGBoost是一种基于梯度提升的树集成模型。模型的基本构建思路是：首先构建初始子树对数据进行拟合，相应的得到拟合的残差，后续的子树构建主要是针对上一步的模型残差进行，直至模型残差小于阈值为止，最终的模拟结果为所有子树结果之和。具体构造步骤为：

初始构造一个弱学习器，得到初始模型对应的残差；

后续的每一次训练迭代，都是在现有模型的基础上，增加一个弱学习器拟合上一个模型的残差；

通过不断地学习拟合K个弱学习器来降低模型预测结果与真实值之间的残差，直到残差小于阈值，模型终止。最终模型预测值是K个基学习器加权求和的结果。

进一步的，XGBoost模型的基学习器一般是CART树。针对n个样本m个特征的数据集D＝(x_i,y_i)(|D|＝n,x_i∈R^m,y_i∈R)，训练完成后，最终的预测值可表示如下：

其中，K为基学习器数量，x_i为第i个样本，y_i为第i个样本对应的类别标签，f_k(·)为第k棵树的模型，将第k棵树拆分为树的叶子节点q和对应的权重部分ω，即：

其中，

为样本x_i所在叶子节点q的权重，q(x_i)为样本x_i所在叶子节点的位置。也就是说对于任意一个样本x_i，最后会落在树的某个叶子节点上，取值为

。

因为每次迭代，模型都是在拟合上一次预测的残差，所以当生成第t个基学习器时，预测模型可表示为：

目标函数可表示为：

目标函数由2部分构成，其中第一个部分函数l(·,·)是描述真实值与拟合值的差异，通常使用欧式距离进行计算；第二个部分是防止函数过拟合的正则化部分

即

用于限制每棵树的复杂度，防止模型过拟合，其中T是CART数上所有叶子节点的数量，γ和λ是超参数，用来调整正则化计算时叶子节点数量和权重的重要性分配，ω_j是第j个叶子节点的权重值。为了使目标函数最小化，XGBoost考虑对目标函数进行二阶泰勒展开，可近似表达为：

其中，g_i为一阶导数，定义为

h_i为二阶导数，

代入目标函数，结果为：

每次迭代使目标函数最小，得到第t个基学习器最优的j个叶子节点和每个叶子节点对应的最优解ω_j。

将预处理好的训练数据集输入XGBoost模型，并对模型进行参数调整和进一步优化，反复迭代，得到最优的二氧化碳分布模拟模型；

步骤3，针对构建的二氧化碳分布模拟模型，首先使用测试数据集验证模型预测精度。然后将卫星观测缺失处的环境因素数据输入训练好的二氧化碳分布模拟模型得到预测的二氧化碳浓度，最终获得区域二氧化碳浓度的时空分布。

二、根据上述训练得到的区域二氧化碳时空分布模拟模型，结合全局敏感性分析方法，进行影响因素的重要性进行定量分析，包括以下步骤：

步骤4，结合构建的区域二氧化碳时空分布模拟模型与全局敏感性分析方法，估算二氧化碳分布对各个环境因素的敏感度；

步骤5，统计全局敏感性分析方法得到的不同环境因素对区域二氧化碳浓度的敏感度，定量分析分析各参数的敏感性大小，最终确定各个环境因素随区域二氧化碳分布的影响程度。

其中，步骤4中使用的全局敏感性分析方法为Sobol全局敏感性分析法，具体的方法步骤如下：

对于各个环境因素，统计其变化范围和概率分布，然后结合区域二氧化碳时空分布模拟模型计算相应的敏感性指数。

区域二氧化碳时空分布模拟模型可表达为y＝f(x′₁,x′₂,…,x′_p)，f是训练好的XGBoost模型，其中，x′₁,x′₂,…,x′_p为影响二氧化碳分布的环境因素，是模型的输入参数，n是模型参数数量，就是步骤1中9项影响因素，；模型的总方差为

其中，f₀为模型初值，而模型的偏方差为

其中，1≤π₁<…<π_s≤p且s＝1,2,…,p，各个环境因素的敏感性

为：

其中，

为环境因素

的一阶敏感性指数，表示该参数对模型输出的影响，

为环境因素

的s阶敏感性指数，表示s个参数对模型的共同影响；

进而得到各个环境因素的总敏感性指数，环境因素

的总敏感性指数TS_π定义为：

而步骤5中，使用Sobol法得到的各个环境因素的总敏感性指数评价最终影响区域二氧化碳分布的影响因素敏感性，实现定量的影响程度分析。

三、实施例

本发明实施例中使用2016年OCO-2卫星XCO2观测数据与对应的环境因素，结合XGBoost模型建模，模拟中国东部地区CO2浓度分布，图2为卫星观测数据与建模反演结果。针对机器学习算法构建的模拟模型精度评价，这里使用决定系数R2和均方根误差RMSE两个指标，调参优化后得到的最终建模精度如表1所示。

表1建模精度

训练样本	测试样本	R2	RMSE
				3153(70％)	1351(30％)	0.6751	1.6362ppm

使用全局敏感性分析法与构建的二氧化碳模拟模型，对影响因素的敏感性进行定量评价，结果如表2所示。

表2为各个环境因素使用全局敏感性分析法估算的一阶敏感性指数和总体敏感性指数

环境因素	一阶敏感性指数	总体敏感性指数
			地表覆盖类型	0.013060	0.015529
植被覆盖	0.300257	0.320699
			气候类型	0.006008	0.007367
降水	0.291814	0.301615
			气温	0.262991	0.277399
风速风向	0.713833	0.727576
			人为排放量	0.000197	0.000208
生物量燃烧排放	0.000915	0.001157

为了更直观地展示不同环境因素对总体二氧化碳分布的敏感性大小，绘制敏感性指数扇形图，确定影响因素占比，结果如图3所示。

从表2可以看出，将环境因素按敏感性指数由大到小进行排序，分别为风速风向、植被、降水、气温、地表覆盖类型、气候类型、生物质燃烧排放和人为排放量。其中，风速风向、植被、降水和气温的敏感性指数较大，说明它们是影响区域二氧化碳分布的主要因素。

从模型精度可知，利用模型模拟区域二氧化碳时空分布具有可行性。本发明提出的方法可以实现通过环境数据模拟区域二氧化碳浓度的时空分布，填补卫星观测数据的空缺。并且提出定量评价环境因素对区域二氧化碳分布影响程度的方法，确定了各类环境因素对区域二氧化碳分布的影响大小和具体程度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种任意时空位置二氧化碳浓度预测影响因素分析方法，其特征在于，包括如下步骤：

步骤1，结合区域环境特点，将影响区域二氧化碳分布的环境因素分类，包括但不仅限于地表和植被覆盖因素、气候气象因素和燃烧排放因素；

步骤2，结合卫星二氧化碳观测数据与环境因素，使用机器学习算法构建区域二氧化碳时空分布模拟模型，并利用训练数据集进行训练；

步骤3，针对构建的二氧化碳时空分布模拟模型，首先使用测试数据集验证模型预测精度，然后将卫星观测缺失处的环境因素数据输入训练好的二氧化碳时空分布模拟模型得到预测的二氧化碳浓度，最终获得区域二氧化碳浓度分布图；

步骤4，结合构建的区域二氧化碳时空分布模拟模型与全局敏感性分析方法，计算二氧化碳浓度对各个输入参数，即环境因素的敏感度；

步骤4中使用的全局敏感性分析方法是Sobol方法，Sobol法的敏感度是通过将输出的总方差分解为每个参数的方差和参数相互作用的方差之和，然后通过参数对输出方差的贡献比例进行敏感性分级计算的；

对于各个环境因素，统计其变化范围和概率分布，然后结合区域二氧化碳时空分布模拟模型计算相应的敏感性指数；

区域二氧化碳时空分布模拟模型可表达为y＝f(x′₁,x′₂,…,x′_p)，f是训练好的XGBoost模型，其中，x′₁,x′₂,…,x′_p为影响二氧化碳分布的环境因素，是XGBoost模型的输入参数；XGBoost模型的总方差为：

其中，f₀为模型初值，而XGBoost模型的偏方差为：

其中，1≤π₁<…<π_s≤p且s＝1,2,…,p，各个环境因素的敏感性

为：

其中，

为环境因素

的一阶敏感性指数，表示该参数对模型输出的影响，

为环境因素

的s阶敏感性指数，表示s个参数对模型的共同影响；

进而得到各个环境因素的总敏感性指数，环境因素

的总敏感性指数TS_π定义为：

使用Sobol法得到的各个环境因素的总敏感性指数评价最终影响区域二氧化碳分布的影响因素敏感性，实现定量的影响程度分析；

步骤5，统计全局敏感性分析方法得到的区域二氧化碳浓度对不同环境因素的敏感度，定量分析分析各参数的敏感性大小，最终确定各个环境因素随区域二氧化碳分布的影响程度。

2.如权利要求1所述的一种任意时空位置二氧化碳浓度预测影响因素分析方法，其特征在于：步骤1中环境因素分类具体包括区域的地表覆盖类型、植被覆盖、气候类型、降水、气温、风速风向、人为排放量和生物质燃烧排放量；

其中植被覆盖使用归一化植被指数数据来表示，该数据可以从MODIS卫星的L3植被指数产品获得；人为排放统计来自高分辨率全球人为排放数据集ODIAC；生物质燃烧数据来自全球火灾排放数据库GFED4；气温和降水数据来自国家青藏高原科学数据中心提供的中国1km分辨率逐月平均气温数据集；地表覆盖数据来自欧空局发布的逐年全球土地覆盖数据集，气候类型数据来自柯本气候分区数据集，风速风向来自ERA5数据集。

3.如权利要求1所述的一种任意时空位置二氧化碳浓度预测影响因素分析方法，其特征在于：步骤2中使用的机器学习算法为极端梯度提升树XGBoost，XGBoost是一种基于梯度提升的树集成模型，模型的基本构建思路是：首先构建初始子树对数据进行拟合，相应的得到拟合的残差，后续的子树构建是针对上一步的模型残差进行，直至模型残差小于阈值为止，最终的模拟结果为所有子树结果之和，具体构造步骤为：

初始构造一个弱学习器，得到初始模型对应的残差；

后续的每一次训练迭代，都是在现有模型的基础上，增加一个弱学习器拟合上一个模型的残差；

通过不断地学习拟合K个弱学习器来降低模型预测结果与真实值之间的残差，直到残差小于阈值，模型终止，最终模型预测值是K个基学习器加权求和的结果。

4.如权利要求1所述的一种任意时空位置二氧化碳浓度预测影响因素分析方法，其特征在于：步骤2中利用训练数据集进行训练的具体实现方式如下；

首先训练数据集进行预处理，包括数据清洗，数据编码和数据变换，其中数据清洗包括去除缺失值、异常值和噪声，数据变换包括归一化和降维；

数据编码是将非数值型特征进行编码，以便输入模型中进行训练，即对地表覆盖类型、气候类型和风向这些环境因素进行编码，这里使用的是one-hot独热编码；

对数据进行归一化处理，归一化处理的计算公式为：

其中，mean(z_q)为环境因素z_q数据的均值，std(z_q)为环境因素z_q数据的标准差；

然后将预处理好的训练数据集输入XGBoost模型，并对XGBoost模型进行参数调整和进一步优化，反复迭代，得到最优的二氧化碳时空分布模拟模型。

5.如权利要求4所述的一种任意时空位置二氧化碳浓度预测影响因素分析方法，其特征在于：XGBoost模型的基学习器是CART树，针对n个样本m个特征的数据集D＝(x_i,y_i)(|D|＝n,x_i∈R^m,y_i∈R)，训练完成后，最终的预测值可表示如下：

其中，K为基学习器数量，x_i为第i个样本，y_i为第i个样本对应的类别标签，f_k(·)为第k棵树的模型，将第k棵树拆分为树的叶子节点q和对应的权重部分ω，即：

其中，

为样本x_i所在叶子节点q的权重，q(x_i)为样本x_i所在叶子节点的位置，也就是说对于任意一个样本x_i，最后会落在树的某个叶子节点上，取值为

因为每次迭代，模型都是在拟合上一次预测的残差，所以当生成第t个基学习器时，预测模型可表示为：

目标函数可表示为：

目标函数由2部分构成，其中第一个部分函数l(·,·)是描述真实值与拟合值的差异，使用欧式距离进行计算；第二个部分是防止函数过拟合的正则化部分

即

用于限制每棵树的复杂度，防止模型过拟合，其中T是CART数上所有叶子节点的数量，γ和λ是超参数，用来调整正则化计算时叶子节点数量和权重的重要性分配，ω_j是第j个叶子节点的权重值；为了使目标函数最小化，XGBoost考虑对目标函数进行二阶泰勒展开，可近似表达为：

其中，g_i为一阶导数，定义为

为二阶导数，

代入目标函数，结果为：

每次迭代使目标函数最小，得到第t个基学习器最优的j个叶子节点和每个叶子节点对应的最优解ω_j。

Images