CN108551167B - 一种基于XGBoost算法的电力***暂态稳定判别方法 - Google Patents

Abstract

本发明提出一种基于XGBoost算法的电力***暂态稳定判别方法。本发明首先使用电网仿真软件模拟待评估电网各种运行方式下节点、线路故障后的暂态过程。从仿真数据中提取电气量特征，利用暂稳判据确定暂稳标签。然后使用样本数据训练XGBoost模型。针对暂态稳定预测中两类错误严重程度不同的特点，引入注意力系数对算法的损失函数进行修正。使用logistic函数将模型输出概率化。本发明具有较高的准确率和召回率，同时能以概率方式捕捉较为确定的预测和相对不确定的预测之间的差别，从而可以避免模型的一部分误输出。

Description

一种基于XGBoost算法的电力***暂态稳定判别方法

技术领域

本发明属于电力***领域，具体地说是一种电力***暂态稳定判别方法。

背景技术

由于电网互联水平提高、负荷日益增加、新能源接入、线路传输能力限制等因素，电力***运行愈发接近其稳定极限，电网的稳定运行显示出更大的重要性，从而暂态稳定评估问题(Transient Stability Assessment，TSA)更加受到人们的关注。传统的基于时域仿真的TSA方法受到计算速度的限制，难以满足在线应用的需要。近年来，随着人工智能技术的快速发展，基于机器学习算法的暂态稳定评估成为学者的研究热点。

机器学习算法是一类数据驱动的建模方法，根据所用数据源的不同，基于机器学习方法的暂态稳定评估研究可分为两大类。第一类同时使用故障前和故障后特征作为模型的数据输入，第二类仅使用故障前的特征作为数据输入。故障前特征即为***处于稳态运行时可以检测到的特征，如线路潮流、节点电压等；故障后特征，如发电机转子加速度等动态特征，仅在***真正发生故障后，才可以被检测到。电网的暂态过程发展迅速，一旦***发生故障，留给调度人员的反应时间已经很少，所以，针对电网实际运行，指导意义更大的是使用第二类数据源的建模方法，根据电网稳态运行时的各种信息，判别各类故障可能造成的后果，从而可以及时调整运行方式，起到故障预防的作用。

在这一领域的研究中，仍然有待解决的问题主要有以下两方面。一方面是模型的评估准确度仍有提升空间。近年来，一些新的机器学习算法在准确度上有着超出传统机器学习算法的表现，使用此类新算法进行暂态稳定评估有望进一步提升准确度。另一方面是机器学习算法均难以达到百分之百的准确率，往往不可避免会有一些错误，对于电网运行，错误的模型输出可能对运行人员带来错误引导，从而引发严重的误操作事故。现有文献的分析大多围绕算法准确度，对于被错误分类的样本没有专门的统计研究，然而，对于非机理性的机器学习算法，如何有效避免模型的可能失误也是一个重要问题。

发明内容

本发明所要解决的技术问题是克服现有技术存在的缺陷，包括建模精度有待进一步提升、误预测预防问题研究不充分，提出一种基于XGBoost算法的电力***暂态稳定性判别方法。

本发明解决技术问题所采取的技术方案为：

首先，利用电力***仿真软件模拟待评估电网在各种运行方式下，各节点、线路处发生故障所带来的后果。由此形成大量和该电网暂态稳定性有关的原始数据。

其次，从原始数据中提取特征，并确定暂稳标签。利用故障后发电机功角差是否发散判定***是否发生失稳状况。对于各种稳态运行方式，提取出各类电气量特征，作为后续XGBoost算法的特征输入。由此形成一定数量的用于建立电力***暂态稳定评估模型的样本数据。

然后，采用XGBoost算法并进行适用性改进，利用获取的样本数据进行模型训练。在训练过程中，针对暂态稳定预测过程中两类错误严重程度不同的特点，引入注意力系数对算法的损失函数进行修正，使得模型对不稳定样本的预测情况减少；使用logistic函数用于将模型输出概率化，用于衡量XGBoost模型输出的可靠程度，预防部分误预测。

最后，基于XGBoost算法的暂态稳定评估模型训练成熟之后，可以根据电网能量管理***记录下的电网实时运行信息，构成能够反映电网稳态运行状态的电气量特征。输入XGBoost模型，即可以实时评估电力***某些可能的故障所带来的暂态稳定后果。

本发明采用以下具体步骤：

步骤1)利用电力***仿真软件模拟待评估电网在各种运行方式下，各节点、线路处发生故障所带来的后果。由此形成大量和该电网暂态稳定性有关的原始数据，具体步骤如下：

(1)对于一个包含c个发电机节点和z个负荷节点的***，确定一种基础运行方式，在此基础运行方式下，各发电机的出力分别为PGbase_i，QGbase_i(i＝1,2…c)，各个负荷节点的需求分别为PLbase_j，QLbase_j(j＝1,2…z)。

(2)ρ_j(j＝1,2…z)和τ_i(i＝1,2…c)分别是在设定范围内独立产生的随机数，通过这些随机数，可以使用下述两式产生不同的***发电机出力和负荷需求情况，求解稳态潮流后，可以获得***的不同运行方式。

(3)在求解稳态潮流的过程中，总负荷与总出力之间的不平衡情况可由***的平衡节点进行补偿，在模拟出的各类运行方式之下，可以收集各类故障对应的样本数据，具体做法是在产生的各种运行方式之下，在关注的节点、线路上设置故障，进行暂态稳定仿真，从而获取***的暂稳后果。

步骤2)从原始数据中提取特征，并确定暂稳标签。利用故障后发电机功角差是否发散判定***是否发生失稳状况。对于各种稳态运行方式，提取出各类电气量特征，作为后续XGBoost算法的特征输入。由此形成一定数量的用于建立电力***暂态稳定评估模型的样本数据。相关计算步骤如下：

(1)当电网发生故障后，其稳定性由一段时间内电网中各发电机之间的功角差δ来衡量，根据δ是否发散，可将***故障后果分为暂态稳定和暂态不稳定。当***最大发电机功角差小于180度时，***往往不会失去稳定，当***最大发电机功角差超过180度时，往往出现功角差发散现象，***将无法继续保持稳定运行。由此给定电网稳定性标记y的评估标准如下式所示。

其中，max(δ)指故障后一段时间内***任意两发电机之间功角差的最大值。

(2)提取能够反映电网稳态运行状态的特征如下表所示，从而构成电网的稳态电气量特征：

稳态电气量特征

Electrical features under steady state

其中V,theta分别表示节点电压的幅值和相角，Δtheta表示发电机节点之间的功角差，PG,QG,PL,QL,PB,QB分别表示发电机节点的有功、无功出力，负荷节点的有功、无功需求和线路传输的有功、无功功率，所有变量的上标为对应节点的编号，如i或j。

步骤3)采用XGBoost算法并进行适用性改进，利用获取的样本数据进行模型训练。在训练过程中，针对暂态稳定预测过程中两类错误严重程度不同的特点，引入注意力系数对算法的损失函数进行修正，使得模型对不稳定样本的预测情况减少；使用logistic函数用于将模型输出概率化，用于衡量XGBoost模型输出的可靠程度，预防部分误预测。相关具体步骤如下：

(1)XGBoost算法原理：对于给定的具有N个样本和M个特征的训练样本集D＝{(x_i,y_i)}(|D|＝N,x_i∈R^M,y_i∈R)，XGBoost算法的最终训练结果是一个由K个CART决策树函数相加得到的集成模型：

其中，

是XGBoost模型的输出，F＝{f(x)＝w_q(x)}(q:R^M→T,w∈R^T)是CART决策树的集合，一个CART决策树由树结构q和T个叶节点组成，每个叶节点j都有一个连续值与它对应，称为叶节点的权重w_j，所有权值构成该树的权重向量w∈R^T。

树结构q通过属性判别可以将任意具有M维特征的样本映射到其某一个叶节点上。每一个决策树函数f_k对应一个特有的树结构q以及对应的叶节点权重向量w。对于一个样本，XGBoost模型获取最终的预测值

的过程为：在每一棵决策树上将该样本映射到对应的叶节点上，再将该样本对应的K个叶节点的权重相加。

机器学习模型均会定义损失函数，用于衡量模型的预测值与真实值之间的偏差，在训练过程中，训练目标即使得损失函数的值尽可能的小。XGBoost模型的损失函数形式如下所示。

表达式中，l为训练损失函数，根据机器学习问题类型的不同可选用对数损失函数、均方误差损失函数等，用于衡量预测值

与标签值y_i之间的偏差，第二项Ω称为正则项，用于控制训练出的模型的复杂度，使模型保证在训练样本上的准确度的同时，不至于过度复杂，从而可以避免过拟合，增强泛化能力。其定义如下。

正则项中的第一项用于控制树模型中叶子节点的个数，使树结构q尽可能简单；第二项用于控制叶节点的权重分布，使权重向量w避免出现过大值。γ和λ两参数用于调节正则项中两部分之间的比例，一般将λ定为1，仅对参数γ做必要的调整。

根据定义的损失函数，可以使用训练样本对XGBoost模型进行训练。基于树的机器学习模型与普通机器学习模型在训练方式上最大的不同在于，此类模型参数不仅包含具体的数值，如权重向量w，也包含函数f_k这种特殊类型的“参数”，难以通过梯度下降的方式直接进行优化。在XGBoost算法中，训练是以树模型迭代增加的方式进行的，即训练过程中的每一步，增加一个CART决策树函数f，使得损失函数进一步减小。假定

表示第t步时对第i个样本的预测值，此时，为了进一步优化模型，需要增加最优的树结构f_t来最小化此时的目标函数L^(t)。

新的树结构f_t使得此时的预测输出变为

constant为独立于变量树结构f_t的常数,即第t步之前已经获得的CART树函数对应的正则项，这些正则项已是定值。选取树结构f_t的标准即使得损失函数L^(t)的减小幅度最大。将上式展开成如下二次泰勒级数的形式。

其中，

分别是损失函数l在展开点

处的一阶和二阶导数。展开式中的

表示第t步之前得到的所有CART树函数的输出

与样本标签y_i构成的损失函数，也是一个定值。由于损失函数的减小幅度与常数项无关，因此，去掉上式中的常数项，可以得到第t步时简化的目标函数

定义I_j＝{i|q^t(x_i)＝j}为所有被树结构q^t映射到第j个叶节点的样本编号集合，则上述简化目标函数可进一步被化简为：

该式对w_j求导，可得对于一个特定的树结构q^t,其最优的叶节点权重为：

代入损失函数公式，得到此特定树结构q^t对应的最优损失函数为：

此最优损失函数

可以衡量任意树结构q^t的好坏。

越小，说明此树结构q^t可以使模型的损失函数下降更多。

至此，可以将XGBoost模型的实际训练过程表述如下：(a)以迭代的方式增加CART树函数，当树模型的继续增加使得模型的准确度提升幅度小于s时，则停止迭代，不再继续增加树模型的个数K，获得最终的XGBoost模型

(b)在每一轮迭代过程中，为得到一个新的函数f_t，从一个单一的叶节点结构开始，每次将一个叶节点增加一个树分叉，在所有可能的树增长方案中(扫描所有的可分叉处和所有的可用特征)，选取使得最优损失函数

最小化的方案，如此循环进行。树的停止***可以由两个参数控制：当树的最大深度maxdepth达到规定值时，或者当全部***节点的方案均无法使损失函数获得大于γ的下降时，树停止***，计算此树结构q^t对应的最优权重向量w，从而可得到新的树函数f_t。

(2)引入如下logistic函数将XGBoost模型的输出概率化，将输出转化到(0,1)范围之内。

选取阈值α＝0.5，可以获得最终的预测结果如下式所示。

此种方式可将XGBoost模型的输出转化为暂态稳定与暂态不稳定两类，并且，概率输出

的大小能够反映模型预测的“可靠程度”，可以认为，当

越接近1时，模型将此样本分类为1的确定程度越高，当

越接近0时，模型将此样本分类为0的确定程度越高。后续的算例分析表明，针对暂态稳定评估问题，此种概率输出的形式有助于判定模型预测的可靠程度。

(3)错误分类和遗漏分类是暂稳评估中可能出现的两类错误。错误分类指不稳定样本(y_i＝1)被分类为稳定样本，而遗漏分类指稳定样本(y_i＝0)被分类为不稳定样本。对于运行中的电力***，错误分类将导致不稳定情况被忽视，使得运行人员错过调整运行方式的最佳时间，为电力***安全稳定留下隐患，而遗漏分类虽然也是错误情况，但是仍可以通过时域仿真等手段对后果进行进一步确认，其对于电力***运行的影响相对较小。因此在模型训练时，错误分类应比遗漏分类获得更多的重视。由此引入注意力系数μ改进损失函数，使得模型更不易出现错误分类的问题。

当μ>1时，损失函数的构成中第一项占据的比例将更大，模型的训练过程将更加重视被错误分类的样本，从而使得训练出的模型更不易发生错误分类的问题。

步骤4)最后，基于XGBoost算法的暂态稳定评估模型训练成熟之后，可以根据电网能量管理***记录下的电网实时运行信息，构成能够反映电网稳态运行状态的电气量特征。输入XGBoost模型，即可以实时评估电力***某些可能的故障所带来的暂态稳定后果。

本发明的有益效果：本发明在准确率和召回率上均高于判别方法，这是由于XGBoost在算法设计上更好地兼顾了学习能力与泛化能力，尽管在损失函数的框架下，大多数机器学习算法均可以在训练集上获得较好的拟合，但XGBoost算法在正则项上的设计使其在训练集之外有更好的泛化能力，具有更高的测试集准确率。同时本发明能以概率方式捕捉较为确定的预测和相对不确定的预测之间的差别，从而可以避免模型的一部分误输出。

附图说明

图1应用例IEEE 39节点接线图；

图2不同注意力系数下XGBoost模型表现；

图3XGBoost模型误分类样本概率输出。

具体实施方式

本发明针对所研究的电网积累一定数量的不同运行方式之下的样本，在各运行方式之下统计电网被关注的环节的故障所可能造成的后果，同时提取各运行方式下的电气量特征，形成样本。之后采用改进后的XGBoost算法对样本进行训练建模，从而用于后续电力***暂态稳定的在线判别。

步骤1)利用电力***仿真软件模拟待评估电网在各种运行方式下，各节点、线路处发生故障所带来的后果。由此形成大量和该电网暂态稳定性有关的原始数据。

步骤2)从原始数据中提取特征，并确定暂稳标签。利用故障后发电机功角差是否发散判定***是否发生失稳状况。对于各种稳态运行方式，提取出各类电气量特征，作为后续XGBoost算法的特征输入。由此形成一定数量的用于建立电力***暂态稳定评估模型的样本数据。

步骤3)采用XGBoost算法并进行适用性改进，利用获取的样本数据进行模型训练。在训练过程中，针对暂态稳定预测过程中两类错误严重程度不同的特点，引入注意力系数对算法的损失函数进行修正，使得模型对不稳定样本的预测情况减少；使用logistic函数用于将模型输出概率化，用于衡量XGBoost模型输出的可靠程度，预防部分误预测。

步骤4)基于XGBoost算法的暂态稳定评估模型训练成熟之后，可以根据电网能量管理***记录下的电网实时运行信息，构成能够反映电网稳态运行状态的电气量特征。输入XGBoost模型，即可以实时评估电力***某些可能的故障所带来的暂态稳定后果。

应用例

将本发明应用于IEEE 39节点***。该***有39个节点，其中发电机节点10个，负荷节点19个，34条线路，12条变压器支路，***如图1所示，其中，带圆圈中的数字表示线路编号，不带圆圈的数字表示节点编号。在不同位置的节点、线路分别模拟三相短路接地故障，以仿真该***不同种类的暂态过程，如表1示例了四种故障。针对每种故障，建立了3000种样本。样本的建立过程如下：先随机产生***的3000种不同运行方式，使用电力***稳态分析工具包Matpower进行稳态计算，从而提取出每种运行方式下***对应的稳态特征集。之后，使用可进行暂态分析的工具包PSAT，在每种运行方式下，针对每种故障进行暂态仿真，获取特定运行方式下各种故障的暂稳后果，构成稳定样本和不稳定样本。在暂态仿真中，发电机采用了四阶模型，故障发生于1.0s时，持续指定时间后切除相应线路，清除故障，对故障发生后7s内的暂态过程进行仿真，统计各发电机功角情况，确定暂稳后果标签。至此即获得了用于机器学习建模的数据集。

表1 IEEE 39节点***四种故障样本描述

以节点14的故障为例，说明暂稳损失函数中注意力系数的作用。将3000个样本按0.85:0.15的比例分为训练集和测试集，在训练集上训练模型，在测试集上统计准确率指标和召回率指标。对于该故障，在随机分得的测试集上，共450个样本，其中不稳定样本(标签为1)的个数为256个，稳定样本(标签为0)的个数为194个。迭代阈值取s＝0.001，即当树函数的增加无法使测试集准确率提升超过0.001时，迭代停止。改变μ的值，给定其变化范围为1到8，间隔为0.5；同时，以交叉验证的方式改变超参数maxdepth和γ的值，统计在各种超参数情况下，每一种μ所对应的测试集准确率的最大值以及对应的召回率，即为该μ值对应的XGBoost模型的最佳结果，如图2所示。

可见，随着μ的增加，暂稳损失函数中错误分类部分所占的比重越来越大，模型训练过程中的关注度将逐渐移向被错误分类的样本，训练出的模型将更不容易出现此类错误，召回率有上升的趋势，由最开始的0.969(错误分类8个样本)变为最高的0.992(错误分类2个样本)；然而，注意力系数μ不能无限制地增加，这是由于当μ过大时，暂稳损失函数将几乎完全被其第一项所占据，模型将难以从被遗漏分类的样本中学习到有用的信息，学习的稳定与不稳定之间的边界不清晰，反而会导致模型准确率的下降。根据上图结果，选择μ＝3.5的情况为最佳，此时的召回率上升达到最高，同时准确率也可以达到较高的0.953，尚未出现明显的下降。对于其余故障，也采用此种方式寻找到最佳的注意力系数。

针对表1四种故障，使用改进损失函数后的XGBoost算法与支持向量机(Supportvector machine,SVM)、逻辑回归(Logistic Regression,LR)、随机森林(Random Forest,RF)、k近邻(k-Nearest Neighbours,KNN)算法分别进行暂稳评估，得到准确率和召回率分别如表2和表3所示。

表2测试集准确率

表3测试集召回率

可以发现，XGBoost算法在准确率和召回率上均高于其他算法，这是由于XGBoost在算法设计上更好地兼顾了学习能力与泛化能力，尽管在损失函数的框架下，大多数机器学习算法均可以在训练集上获得较好的拟合，但XGBoost算法在正则项上的设计使其在训练集之外有更好的泛化能力，具有更高的测试集准确率。经过对损失函数的改进，XGBoost算法在召回率上也显著高于其他模型。

对四种故障的误分类情况进行统计分析，测试集样本总数共1800个，其中样本标签为1的有952个，样本标签为0的有848个。样本标签为1且被正确分类的样本共938个，XGBoost模型给出的这些样本的概率输出的平均值为0.970，其中，大于0.900的个数有852个，占到90.8％；样本标签为0且被正确分类的样本共790个，XGBoost模型给出的这些样本的概率输出的平均值为0.058，小于0.2的个数有704个，占到89.1％。这说明训练好的XGBoost模型，对于较有把握的不稳定样本，其概率输出相对很大，一般均在0.9以上，对于较有把握的稳定样本，其概率输出相对很小，一般均在0.2以下。另一方面，被误分类的样本总数为72个(其中错误分类14个，遗漏分类58个)，其XGBoost模型给出的概率输出情况如图3所示。

可以发现，被误预测的样本的概率输出大多集中在0.200-0.900之间，相比于被正确分类的样本，概率输出值更加偏离1或0。因此，一个可以用于评估XGBoost模型预测可靠程度的策略是：将[0.2,0.9]作为不确定区间，当其概率输出在[0.2,0.9]之间时，表示其把握程度较低，此时可以寻求其他方式进行稳定性的进一步判别，例如可以直接进行对应故障的时域仿真。任何机器学习模型都难以达到百分之百的正确率，但基于XGBoost算法的电力***暂态稳定评估模型能以概率方式捕捉较为确定的预测和相对不确定的预测之间的差别，从而可以避免模型的一部分误输出。

Claims (2)

1.一种基于XGBoost算法的电力***暂态稳定判别方法，其特征在于，该方法包括以下步骤：

步骤(1)，利用电力***仿真软件模拟待评估***在各种运行方式之下，各节点、线路处发生故障所带来的后果；由此形成大量和该电网暂态稳定性有关的原始数据；

步骤(2)，从原始数据中提取特征，并确定暂稳标签；利用故障后发电机功角差是否发散判定***是否发生失稳状况；对于各类稳态运行方式，提取出各类电气量特征，作为后续XGBoost算法的特征输入；由此形成一定数量的用于建模电力***暂态稳定的样本数据；

步骤(3)，采用XGBoost算法并进行适用性改进，利用获取的样本数据进行模型训练；在训练过程中，针对暂态稳定预测过程中两类错误严重程度不同的特点，引入注意力系数对XGBoost算法的损失函数进行修正，使得模型对不稳定样本的预测情况减少；使用logistic函数用于将模型输出概率化，用于衡量XGBoost模型输出的可靠程度，预防部分误预测；

步骤(4)，XGBoost模型训练成熟之后，根据电网能量管理***记录下的电网实时运行信息，构成能够反映电网稳态运行状态的电气量特征；输入XGBoost模型，即可实时判别电力***某些可能的故障所带来的暂态稳定后果。

2.根据权利要求1所述的一种基于XGBoost算法的电力***暂态稳定判别方法，其特征在于：

所述的步骤(1)具体如下：

(1-1)对于一个包含c个发电机节点和z个负荷节点的***，确定一种基础运行方式，在此基础运行方式下，各发电机的有功出力为PGbase_i，无功出力为QGbase_i，各个负荷节点的有功需求为PLbase_j，无功需求为QLbase_j，i＝1，2...c，j＝1，2...z；

(1-2)ρ_j和τ_i分别是在设定范围内独立产生的随机数，通过随机数，使用下述两式产生不同的***发电机出力和负荷需求情况，求解稳态潮流后，获得***的不同运行方式；

(1-3)在求解稳态潮流的过程中，总负荷与总出力之间的不平衡情况由***的平衡节点进行补偿，在模拟出的各类运行方式之下，收集各类故障对应的样本数据，具体是在产生的各种运行方式之下，在关注的节点、线路上设置故障，进行暂态稳定仿真，从而获取***的暂稳后果；

所述的步骤(2)具体如下：

(2-1)当电网发生故障后，其稳定性由一段时间内电网中各发电机之间的功角差δ来衡量，根据功角差δ是否发散，将***故障后果分为暂态稳定和暂态不稳定；当***最大发电机功角差小于180度时，***不会失去稳定，当***最大发电机功角差超过180度时，出现功角差发散现象，***将无法继续保持稳定运行；由此给定电网稳定性标记y的评估标准如下式所示：

其中，max(δ)指故障后一段时间内***任意两发电机之间功角差的最大值；

(2-2)提取能够反映电网稳态运行状态的特征，包括：Vⁱ，thetaⁱ，Δtheta^i-j，PGⁱ，QGⁱ，PLⁱ，QLⁱ，PB^i-j，QB^i-j，从而构成电网的稳态电气量特征：

其中V，theta分别表示节点电压的幅值和相角，Δtheta表示发电机节点之间的功角差，PG，QG，PL，QL，PB，QB分别表示发电机节点的有功、无功出力，负荷节点的有功、无功需求和线路传输的有功、无功功率；各上标分别代表符号电气量值所在的节点；

所述的步骤(3)具体如下：

(1)XGBoost算法原理：对于给定的具有N个样本和M个特征的训练样本集D＝{(x_i，y_i)}(|D|＝N，x_i∈R^M，y_i∈R)，XGBoost算法的最终训练结果是一个由K个CART决策树函数相加得到的集成模型：

其中，

是XGBoost模型的输出，F＝{f(x)＝w_q(x)}(q：R^M→T，w∈R^T)是CART决策树的集合，一个CART决策树由树结构q和T个叶节点组成，每个叶节点j都有一个连续值与它对应，称为叶节点的权重w_j，所有权值构成该树的权重向量w∈R^T；

树结构q通过属性判别可将任意具有M维特征的样本映射到其某一个叶节点上；每一个决策树函数f_k对应一个特有的树结构q以及对应的叶节点权重向量w；对于一个样本，XGBoost模型获取最终的预测值

的过程为：在每一棵决策树上将该样本映射到对应的叶节点上，再将该样本对应的K个叶节点的权重相加；

机器学习模型均会定义损失函数，用于衡量模型的预测值与真实值之间的偏差，在训练过程中，训练目标为使得损失函数的值尽可能的小；XGBoost模型的损失函数形式如下所示；

其中，l为训练损失函数，用于衡量预测值

与标签值y_i之间的偏差，Ω为正则项，用于控制训练出的模型的复杂度；其定义如下；

正则项中的第一项用于控制树模型中叶节点的个数；第二项用于控制叶节点的权重分布；γ和λ两参数用于调节正则项中两部分之间的比例；

根据定义的损失函数，使用训练样本对XGBoost模型进行训练；在XGBoost算法中，训练是以树模型迭代增加的方式进行的，即训练过程中的每一步，增加一个CART决策树函数f，使得损失函数进一步减小；假定y_i ^*(t)表示第t步时对第i个样本的预测值，此时，为了进一步优化模型，增加最优的树结构f_t来最小化此时的目标函数L^(t)；

新的树结构f_t使得此时的预测输出变为

constant为独立于变量树结构f_t的常数，即第t步之前已经获得的CART树函数对应的正则项，这些正则项已是定值；选取树结构f_t的标准是使得损失函数L^(t)的减小幅度最大；将上式展开成如下二次泰勒级数的形式；

其中，

分别是损失函数l在展开点

处的一阶和二阶导数；展开式中的

表示第t步之前得到的所有CART树函数的输出

与样本标签y_i构成的损失函数，也是一个定值；去掉上式中的常数项，得到第t步时简化的目标函数

定义I_j＝{i|q^t(x_i)＝j}为所有被树结构q^t映射到第j个叶节点的样本编号集合，则上述简化目标函数进一步被化简为

该式对w_j求导，得对于一个特定的树结构q^t，其最优的叶节点权重为：

代入损失函数公式，得到此树结构q^t对应的最优损失函数为：

此最优损失函数

用于衡量任意树结构q^t的好坏；

越小，说明此树结构q^t使模型的损失函数下降更多；

将XGBoost模型的实际训练过程表述如下：(a)以迭代的方式增加CART树函数，当树模型的继续增加使得模型的准确度提升幅度小于s时，则停止迭代，不再继续增加树模型的个数K，获得最终的XGBoost模型

(b)在每一轮迭代过程中，为得到一个新的函数f_t，从一个单一的叶节点结构开始，每次将一个叶节点增加一个树分叉，在所有可能的树增长方案中，选取使得最优损失函数

最小化的方案，如此循环进行；树的停止***由两个参数控制：当树的最大深度maxdepth达到规定值时或者当全部***节点的方案均无法使损失函数获得大于γ的下降时，树停止***，计算此树结构q^t对应的最优权重向量w，从而可得到新的树函数f_t；

(2)引入如下logistic函数将XGBoost模型的输出概率化，将输出转化到(0，1)范围之内；

选取阈值α＝0.5，获得最终的预测结果如下式所示；

此种方式将XGBoost模型的输出转化为暂态稳定与暂态不稳定两类，并且，概率输出

的大小能够反映模型预测的可靠程度；

(3-3)引入注意力系数μ改进损失函数，使得模型更不易出现错误分类的问题；

当μ＞1时，损失函数的构成中第一项占据的比例将更大，模型的训练过程将更加重视被错误分类的样本，从而使得训练出的模型更不易发生错误分类的问题。

Images