CN102184421A - 一种支持向量回归机的训练方法 - Google Patents

Abstract

本发明提出一种支持向量回归机的训练方法，具体包括：步骤一：设定训练样本集合；步骤二：计算核函数矩阵并初始化；步骤三：计算第一个训练点；步骤四：计算第二个训练点；步骤五：解析拉格朗日乘子；步骤六：更新中间变量；步骤七：判断训练样本集的所有样本是否满足最优条件：步骤八：计算回归决策函数。本发明中中间变量的更新利用了前一次训练的值，减少计算量；且在求目标函数的偏导以及目标函数下降值中，充分利用中间变量，从而减少了大量的计算，实现了快速选取训练点，提高训练的收敛速度。

Description

一种支持向量回归机的训练方法

技术领域

本发明属于人工智能、机器学习和数据挖掘领域，具体涉及一种支持向量回归机的训练方法，可广泛应用于非线性回归、时间序列分析等领域。

背景技术

支持向量机(Support Vector Machines，SVM)理论源于Vapnik提出的用于解决模式识别问题的支持向量方法，之后Vapnik在提出ε-损失函数的基础上建立ε-支持向量回归机。SVM是基于结构风险最小化原则构建的，具有很强的学习能力和泛化性能，能够较好地解决小样本、高维数、非线性、局部极小等问题，广泛应用于模式分类和非线性回归。

SVM最终归结为求解一个二次规划(QP，Quadratic Programming)问题。如果直接求解，当训练点的数量比较大时，就会造成占据的存储空间过大，致使训练的速度降低。因此常用的方法就是将问题进行分解，如选块算法、分解算法和序列最小最优化算法(sequentialminimal optimization，SMO)算法等。其中SMO算法将优化问题分解到最小，在每次迭代过程中只需要对两个拉格朗日乘子的最优化问题进行解析求解，没有矩阵运算，容易实现，是目前应用最为广泛的算法。

参考文献：Gary.W.F，Steve.L. Efficient SVM Regression Training with SMO[J].MachineLearning，2002(46)：271-290中详细介绍了ε-支持向量回归机应用SMO方法求解过程中子优化问题的求解，即两个拉格朗日乘子的解析求解方法。但SMO方法中两个训练点的选取直接影响算法的精度以及收敛速度，目前没有统一的原则来确定如何选取两个训练点的方法。通常SMO方法中通过2步来实现训练点的选取：首先，从选择违反KKT条件最严重的点为第一个训练点；其次根据解的步进最大化原则来选取第二个训练点。这种选取训练点的方法主要不足有：没有确定的原则来判断违反KKT条件的严重程度，只能通过计算搜索合适的训练点；另外该方法在选择第二个训练点时只考虑解的进展，但是求解的最终的目的是使得目标函数达到最小，因此该选择方法意义不明确，很可能造成在训练过程中目标函数会增大。

发明内容

针对现有技术中SMO方法求解支持向量机回归问题时训练过程中两个训练点的选取的不足，本发明提出一种支持向量回归机的训练方法，该方法从直接逼近目标函数的角度出发，物理意义明确，并充分利用中间变量，计算简单，运算效率高。

一种支持向量回归机的训练方法，其特征在于：具体包括以下几个步骤：

步骤一：设定训练样本集合：

设定训练样本集合为

输入空间的特征属性x_p∈Rⁿ，Rⁿ为输入空间，n为输入空间的维数，输出空间的值y_p∈R，R为输出空间；(x_p，y_p)表示第p个样本点，l为训练样本集合中样本的总数，设定不敏感损失因子ε和惩罚因子C；

步骤二：计算核函数矩阵K并进行初始化：

计算核函数矩阵K，k_pq＝K(x_p，x_q)，k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积；初始化拉格朗日乘子向量λ＝(λ₁，λ₂，...，λ_p，...，λ_l)＝0，决策函数偏置b＝0，决策函数向量f＝(f₁，f₂，...，f_p，...，f_l)＝0；其中λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，b表示决策函数的偏置，f_p表示第p个样本点x_p对应的决策函数值；

步骤三：对目标函数W求偏导，取使偏导数绝对值最大的分量下标作为第一个训练点；

3.1：对目标函数

的拉格朗日乘子(λ₁，λ₂，...，λ_p，...，λ_l)求偏导数并取绝对值，得到W′＝(|W′₁|，|W′₂|，...，|W′_p|，...，|W′_l|)，其中

表示目标函数的第p个拉格朗日乘子的偏导数，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，f_p表示第p个样本点x_p对应的决策函数值，y_p表示第p个样本点输出空间的值，ε为不敏感损失因子，b表示决策函数的偏置；对目标函数求偏导并取绝对值后得到的|W′₁|，|W′₂|，...，|W′_p|，...，|W′_l|按大小降序排列，

其中

表示降序排列后目标函数的第I_k个拉格朗日乘子的偏导数绝对值，|W′_p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值，I₁，I₂，...，I_k，...，I_t表示的下标；初始化第一个训练点的迭代次数为1；

3.2：判断目标函数求偏导取绝对值后降序排列的中下标为I_{index_i}的样本是否满足最优条件：

判断下标为I_{index_i}的样本是否满足KKT条件，若满足KKT条件，则进入步骤3.3，若不满足KKT条件，则得到第一个训练点，下标为i＝I_{index_i}，进入步骤四；

3.3：判断寻找第一个训练点的迭代次数否到达训练样本集合总数l，若迭代次数达到样本总数l，则训练样本集合中所有样本点满足KKT条件，则进入步骤八，否则迭代次数增加1，返回步骤3.2；

步骤四：取使得目标函数值下降最大的下标分量作为第二个训练点：

4.1：根据步骤三得到的第一个训练点的下标i，依次对下标分别为i和v(v＝1，2，...，l)的样本对应的两个拉格朗日乘子λ_i和λ_v进行解析求解，得到两个新的拉格朗日乘子

和

计算新的目标函数W^iv为

$W^{\mathrm{iv}}=\frac{1}{2}\underset{p\≠i,v}{\overset{l}{\underset{p=1}{\mathrm{\Σ}}}}\underset{q\≠i,v}{\overset{l}{\underset{q=1}{\mathrm{\Σ}}}}{\mathrm{\λ}}_p{\mathrm{\λ}}_q{k}_{\mathrm{pq}}+\frac{1}{2}{\mathrm{\λ}}_i^{\mathrm{temp}}\underset{p\≠i,v}{\overset{l}{\underset{p=1}{\mathrm{\Σ}}}}{\mathrm{\λ}}_p{k}_{\mathrm{pi}}+\frac{1}{2}{\mathrm{\λ}}_v^{\mathrm{temp}}\underset{p\≠i,v}{\overset{l}{\underset{p=1}{\mathrm{\Σ}}}}{\mathrm{\λ}}_p{k}_{\mathrm{pv}}+\frac{1}{2}{\mathrm{\λ}}_i^{\mathrm{temp}}{\mathrm{\λ}}_i^{\mathrm{temp}}{k}_{\mathrm{ii}}+\frac{1}{2}{\mathrm{\λ}}_v^{\mathrm{temp}}{\mathrm{\λ}}_v^{\mathrm{temp}}{k}_{\mathrm{vv}}+{\mathrm{\λ}}_i^{\mathrm{temp}}{\mathrm{\λ}}_v^{\mathrm{temp}}{k}_{\mathrm{iv}}$

$+\mathrm{\ϵ}\underset{p\≠i,v}{\overset{l}{\underset{p=1}{\mathrm{\Σ}}}}\left|{\mathrm{\λ}}_p\right|+\mathrm{\ϵ}\left(\right|{\mathrm{\λ}}_i^{\mathrm{temp}}|+|{\mathrm{\λ}}_v^{\mathrm{temp}}\left|\right)-\underset{p\≠i,v}{\overset{l}{\underset{p=1}{\mathrm{\Σ}}}}{y}_p{\mathrm{\λ}}_p-y_i{\mathrm{\λ}}_i^{\mathrm{temp}}-y_v{\mathrm{\λ}}_v^{\mathrm{temp}}$

其中k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积，k_pi表示第p个样本点x_p和第i个样本点x_i的核函数积，k_pv表示第p个样本点x_p和第v个样本点x_v的核函数积，k_ii表示第i个样本点x_i和第i个样本点x_i的核函数积，k_iv表示第i个样本点x_i和第v个样本点x_v的核函数积，k_vv表示第v个样本点x_i和第v个样本点x_v的核函数积，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，y_p表示第p个样本点输出空间的值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，ε为不敏感损失因子，l为样本总数，

和为解析求解得到两个新的拉格朗日乘子；

分别计算新的目标函数W^iv与原目标函数W的差值(ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l)，其中

${\mathrm{\ΔW}}_v=\mathrm{\ϵ}\left(\right|{\mathrm{\λ}}_i^{\mathrm{temp}}|-|{\mathrm{\λ}}_i|+|{\mathrm{\λ}}_v^{\mathrm{temp}}|-|{\mathrm{\λ}}_v\left|\right)+\frac{1}{2}{{\mathrm{\Δ\λ}}_i}^2{k}_{\mathrm{ii}}+\frac{1}{2}{{\mathrm{\Δ\λ}}_v}^2{k}_{\mathrm{vv}}+{\mathrm{\Δ\λ}}_i{\mathrm{\λ}}_v{k}_{\mathrm{iv}}$

$+{\mathrm{\Δ\λ}}_i(f_i-b-y_i)+{\mathrm{\Δ\λ}}_v(f_v-b-y_v)$

其中ΔW_v表示对两个拉格朗日乘子λ_i和λ_v解析求解后得到的新的目标函数与原目标函数的差值，λ_i表示决策函数中第i个样本点对应的拉格朗日乘子，其中λ_v表示决策函数中第v个样本点对应的拉格朗日乘子，

和

表示解析求解得到的第i个和第v个拉格朗日乘子，Δλ_i、Δλ_v分别表示新的拉格朗日乘子

与原来拉格朗日乘子λ_i、λ_v的差值，f_v表示第v个样本点x_v对应的决策函数值，f_i表示第i个样本点x_i对应的决策函数值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，b为决策函数的偏置；

对ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l按大小升序排列，记为

4.2：判断

是否成立，若成立，则下标为i和J₁的两个拉格朗日乘子的解析解

和

使得目标函数下降并且下降值最大，得到第二个训练点的下标j＝J₁，则进入步骤五；若不成立，则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降，返回步骤3.2重新寻找第一个训练点，并设定寻找第一个训练点的迭代次数增加1；

步骤五：解析第一个训练点和第二个训练点对应的拉格朗日乘子：

由步骤三和步骤四分别得到的两个训练点的下标i和j，确定两个训练点为(x_i，y_i)和(x_j，y_j)，对应的拉格朗日乘子为λ_i和λ_j，对两个拉格朗日乘子进行解析求解，得到新的两个拉格朗日乘子分别为

和

步骤六：更新中间变量：

6.1：计算拉格朗日乘子进行解析求解后的决策函数的偏置b^new：

分别计算第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j：

$b^i=y_i-f_i+({\mathrm{\λ}}_i-{\mathrm{\λ}}_i^{\mathrm{new}})k_{\mathrm{ii}}+({\mathrm{\λ}}_j-{\mathrm{\λ}}_j^{\mathrm{new}})k_{\mathrm{jj}}+b-\mathrm{\ϵ}\·\mathrm{sgn}\left({\mathrm{\λ}}_i\right)$

$b^j=y_j-f_j+({\mathrm{\λ}}_j-{\mathrm{\λ}}_j^{\mathrm{new}})k_{\mathrm{jj}}+({\mathrm{\λ}}_i-{\mathrm{\λ}}_i^{\mathrm{new}})k_{\mathrm{ii}}+b-\mathrm{\ϵ}\·\mathrm{sgn}\left({\mathrm{\λ}}_j\right)$

若拉格朗日乘子解析求解后第i个样本的拉格朗日乘子

满足

且

不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ；

若拉格朗日乘子解析求解后第j个样本的拉格朗日乘子

满足

且

不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第j个样本对应的决策函数偏置b^j；

若同时有

满足且

满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j的平均值；

其中，ε为不敏感损失因子，C为惩罚因子，y_i和y_j分别表示第i和j个样本点输出空间的值，k_ij表示第i个样本点和第j个样本点的核函数积，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，sgn(λ_i)和sgn(λ_j)分别表示取λ_i和λ_j的正负符号；

6.2：计算决策函数向量

其中

为更新决策函数向量中第p个样本对应的决策函数值：

$f_p^{\mathrm{new}}=f_p+({\mathrm{\λ}}_i^{\mathrm{new}}-{\mathrm{\λ}}_i)k_{\mathrm{ip}}+({\mathrm{\λ}}_j^{\mathrm{new}}-{\mathrm{\λ}}_j)k_{\mathrm{jp}}+b^{\mathrm{new}}-\mathrm{b\; p}=\mathrm{1,2},...,l$

f_p表示第p个样本点对应的决策函数值，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，b表示决策函数的偏置，b^new表示解析求解后决策函数的偏置，k_ip表示第i个样本点和第p个样本点的核函数积，k_jp表示第j个样本点和第p个样本点的核函数积；

6.3：更新第i个拉格朗日乘子λ_i的值为第j个拉格朗日乘子λ_i的值为

更新后的拉格朗日向量为λ＝(λ₁，λ₂，…，λ_l)，更新决策函数偏置b为b^new，更新决策函数向量(f₁，f₂，...，f_p，...，f_l)为

步骤七：判断训练样本集

的所有样本是否满足最优条件：

若训练样本集

的所有样本满足条件，则进入步骤八，否则返回步骤三，进行下一轮训练。

步骤八：计算得到的回归决策函数：

训练结束，由步骤6.3计算所得最终的拉格朗日向量为λ＝(λ₁，λ₂，…，λ_l)，最终的决策函数偏置为b，计算得到的回归决策函数y_x为

$y_x=\underset{p=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\λ}}_{p}K(x_p,x)+b$

其中λ_p表示最终的拉格朗日向量中第p个拉格朗日乘子，x_p为训练样本集中第p个样本，x为新样本，K(x_p，x)表示训练样本集中第p个样本x_p与新样本x的核函数积，1≤p≤l，b表示最终的决策函数偏置，y_x为新样本x对应的回归决策函数的输出。

本发明的优点在于：

(1)本发明提出的一种支持向量回归机的训练方法，从直接逼近目标函数的角度提出一种选取两个训练点的方法，物理意义明确；

(2)本发明提出的一种支持向量回归机的训练方法，中间变量的更新利用了前一次训练的值，减少计算量；

(3)本发明提出的一种支持向量回归机的训练方法，在求目标函数的偏导以及目标函数下降值中，充分利用中间变量，从而减少了大量的计算，实现了快速选取训练点，提高训练的收敛速度。

附图说明

图1：本发明提出一种支持向量回归机的训练方法的流程图。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

本发明提出一种支持向量回归机的训练方法，流程如图1所示，具体包括以下几个步骤：

步骤一：假定已知的训练样本集合为输入空间的特征属性x_p∈Rⁿ，Rⁿ为输入空间，n为输入空间的维数，输出空间的值y_p∈R，R为输出空间；(x_p，y_p)表示第p个样本点，l为训练样本集合中样本的总数，设定支持向量回归机的模型参数的不敏感损失因子ε和惩罚因子C。

步骤二：计算核函数矩阵

$K={\left[\begin{array}{cccc}{k}_{11},& k_{12},...,& k_{1q},...,& k_{1l}\\ k_{21},& k_{12},...,& k_{2q},...,& k_{2l}\\ ...& ...& ...& ...\\ k_{p1},& k_{p2},...,& k_{\mathrm{pq}},...,& k_{\mathrm{pl}}\\ ...& ...& ...& ...\\ k_{l1},& k_{l2},...,& k_{\mathrm{lq}},...,& k_{\mathrm{ll}}\end{array}\right]}_{l\×l},k_{\mathrm{pq}}=K(x_p,x_q)$

k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积，其中K(x_p，x_q)为选定的核函数。进行初始化，设定拉格朗日乘子向量λ＝(λ₁，λ₂，...，λ_p，..，λ_l)＝0，决策函数偏置b＝0，决策函数向量f＝(f₁，f₂，...，f_p，...，f_l)＝0。其中λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，b表示决策函数的偏置，f_p表示第p个样本点x_p对应的决策函数值。

步骤三：对目标函数W求偏导，取使偏导数绝对值最大即目标函数下降最快的分量下标作为第一个训练点；

3.1：对目标函数

(k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，ε为不敏感损失因子，l为样本总数)的拉格朗日乘子(λ₁，λ₂，...，λ_p，...，λ_l)求偏导数并取绝对值，记为W′＝(|W′₁|，|W′₂|，...，|W′_p|...，|W′_l|)，其中W′_p＝f_p-b+ε|λ_p|-y_p表示目标函数的第p个拉格朗日乘子的偏导数，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，f_p表示第p个样本点x_p对应的决策函数值，y_p表示第p个样本点输出空间的值，ε为不敏感损失因子，b表示决策函数的偏置。对目标函数求偏导并取绝对值后得到的|W′₁|，|W′₂|...，|W′_p|，...，|W′_l|按大小降序排列，记为

将降序排列后的|W′|的下标记为(I₁，I₂，...，I_k，...，I_l)，其中

表示降序排列后目标函数的第I_k个拉格朗日乘子的偏导数绝对值。|W′_p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值，

分别为|W′₁|，|W′₂|，...，|W′_p|，...，|W′_l|按大小降序排列后的表示，I₁，I₂，...，I_k，...，I_l表示的下标；初始化第一个训练点的迭代次数index_i为1，index i＝1；

3.2：判断目标函数求偏导取绝对值后降序排列的

中下标为I_{index_i}的样本是否满足如下最优条件(Karush-Kuhn-Tucker，KKT)：

$\left\{\begin{array}{cc}|y_{I_{\mathrm{index}\_i}}-f_{I_{\mathrm{index}\_i}}|<\mathrm{\&epsiv;}& {\mathrm{\&lambda;}}_{I_{\mathrm{index}\_i}=0}\\ |y_{I_{\mathrm{index}\_i}}-f_{I_{\mathrm{index}\_i}}|=\mathrm{\&epsiv;}& -C<{\mathrm{\&lambda;}}_{I_{\mathrm{index}\_i}\&NotEqual;0<C}\\ |y_{I_{\mathrm{index}\_i}}-f_{I_{\mathrm{index}\_i}}|>\mathrm{\&epsiv;}& \left|{\mathrm{\&lambda;}}_{I_{\mathrm{index}\_i}}\right|=C\end{array}\right.$

其中

表示第I_{index_i}个样本点输出空间的值，表示第I_{index_i}个样本点对应的决策函数值，

表示决策函数中第I_{index_i}个样本点对应的拉格朗日乘子，ε为不敏感损失因子，C为惩罚因子，I_{index_i}表示中的下标。

判断下标为I_{index_i}的样本是否满足KKT条件，若满足KKT条件，则进入步骤3.3，若不满足KKT条件，则得到第一个训练点，下标为I_{index_i}，记为i＝I_{index_i}，进入步骤四；

3.3：判断寻找第一个训练点的迭代次数index_i是否到达训练样本集合总数l，若迭代次数index_i达到样本总数l，即

，说明训练样本集合中所有样本点满足KKT条件，则进入步骤八，否则迭代次数index_i增加1，即index_i＝index_i+1，返回步骤3.2；

步骤四：在得到第一个训练点下标的情况下，取使得目标函数值下降最大的下标分量作为第二个训练点：

4.1：根据步骤三得到的第一个训练点的下标i，依次对下标分别为i和v(v＝1，2，...，l)(i和v都是指样本集里样本的下标)组成的两个拉格朗日乘子λ_i和λ_v进行解析求解，得到两个新的拉格朗日乘子和

计算新的目标函数W^iv为

$W^{\mathrm{iv}}=\frac{1}{2}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}\underset{q\&NotEqual;i,v}{\overset{l}{\underset{q=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{\mathrm{\&lambda;}}_q{k}_{\mathrm{pq}}+\frac{1}{2}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{k}_{\mathrm{pi}}+\frac{1}{2}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{k}_{\mathrm{pv}}+\frac{1}{2}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{k}_{\mathrm{ii}}+\frac{1}{2}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{k}_{\mathrm{vv}}+{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{k}_{\mathrm{iv}}$

$+\mathrm{\&epsiv;}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}\left|{\mathrm{\&lambda;}}_p\right|+\mathrm{\&epsiv;}\left(\right|{\mathrm{\&lambda;}}_i^{\mathrm{temp}}|+|{\mathrm{\&lambda;}}_v^{\mathrm{temp}}\left|\right)-\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{y}_p{\mathrm{\&lambda;}}_p-y_i{\mathrm{\&lambda;}}_i^{\mathrm{temp}}-y_v{\mathrm{\&lambda;}}_v^{\mathrm{temp}}$

其中k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积，k_pi表示第p个样本点x_p和第i个样本点x_i的核函数积，k_pv表示第p个样本点x_p和第v个样本点x_v的核函数积，k_ii表示第i个样本点x_i和第i个样本点x_i的核函数积，k_iv表示第i个样本点x_i和第v个样本点x_v的核函数积，k_vv表示第v个样本点x_i和第v个样本点x_v的核函数积，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，y_p表示第p个样本点输出空间的值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，ε为不敏感损失因子，l为样本总数，

和为解析求解得到两个新的拉格朗日乘子。

分别计算新的目标函数W^iv与原目标函数W的差值记为(ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l)，其中

${\mathrm{\&Delta;W}}_v=\mathrm{\&epsiv;}\left(\right|{\mathrm{\&lambda;}}_i^{\mathrm{temp}}|-|{\mathrm{\&lambda;}}_i|+|{\mathrm{\&lambda;}}_v^{\mathrm{temp}}|-|{\mathrm{\&lambda;}}_v\left|\right)+\frac{1}{2}{{\mathrm{\&Delta;\&lambda;}}_i}^2{k}_{\mathrm{ii}}+\frac{1}{2}{{\mathrm{\&Delta;\&lambda;}}_v}^2{k}_{\mathrm{vv}}+{\mathrm{\&Delta;\&lambda;}}_i{\mathrm{\&lambda;}}_v{k}_{\mathrm{iv}}$

$+{\mathrm{\&Delta;\&lambda;}}_i(f_i-b-y_i)+{\mathrm{\&Delta;\&lambda;}}_v(f_v-b-y_v)$

其中ΔW_v表示对两个拉格朗日乘子λ_i和λ_v解析求解后得到的新的目标函数与原目标函数的差值，λ_i表示决策函数中第i个样本点对应的拉格朗日乘子，其中λ_v表示决策函数中第v个样本点对应的拉格朗日乘子，

和

表示解析求解得到的第i个和第v个拉格朗日乘子，Δλ_i、Δλ_v分别表示新的拉格朗日乘子

与原来拉格朗日乘子λ_i、λ_v的差值，f_v表示第v个样本点x_v对应的决策函数值，f_i表示第i个样本点x_i对应的决策函数值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，b为决策函数的偏置

对(ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l)按大小升序排列，记为

并将排列后

的下标记为(J₁，J₂，...，J_h，...，J_l)。

4.2：判断

是否成立，若成立，则下标为i和J₁的两个拉格朗日乘子的解析解和

使得目标函数下降并且下降值最大，得到第二个训练点的下标j＝J₁，则进入步骤五。若不成立，则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降，返回步骤3.2重新寻找第一个训练点，并设定寻找第一个训练点的迭代次数增加1，即index_i＝index_i+1；

步骤五：由步骤三和步骤四分别得到的两个训练点的下标i和j，确定两个训练点为(x_i，y_i)和(x_j，y_j)，对应的拉格朗日乘子为λ_i和λ_j，对两个拉格朗日乘子进行解析求解，得到新的两个拉格朗日乘子分别为

和

其中(x_i，y_i)和(x_j，y_j)分别表示第i个和j个样本点。

步骤六：更新中间变量：

6.1：根据如下规则计算拉格朗日乘子进行解析求解后决策函数的偏置b^new

按下式分别计算第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j：

$b^i=y_i-f_i+({\mathrm{\&lambda;}}_i-{\mathrm{\&lambda;}}_i^{\mathrm{new}})k_{\mathrm{ii}}+({\mathrm{\&lambda;}}_j-{\mathrm{\&lambda;}}_j^{\mathrm{new}})k_{\mathrm{jj}}+b-\mathrm{\&epsiv;}\&CenterDot;\mathrm{sgn}\left({\mathrm{\&lambda;}}_i\right)$

$b^j=y_j-f_j+({\mathrm{\&lambda;}}_j-{\mathrm{\&lambda;}}_j^{\mathrm{new}})k_{\mathrm{jj}}+({\mathrm{\&lambda;}}_i-{\mathrm{\&lambda;}}_i^{\mathrm{new}})k_{\mathrm{ii}}+b-\mathrm{\&epsiv;}\&CenterDot;\mathrm{sgn}\left({\mathrm{\&lambda;}}_j\right)$

若拉格朗日乘子解析求解后第i个样本的拉格朗日乘子

满足

且

不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ，即b^new＝bⁱ；

若拉格朗日乘子解析求解后第j个样本的拉格朗日乘子

满足

且

不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第j个样本对应的决策函数偏置b^j，即b^new＝b^j；

若同时有满足

且

满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j的平均值，即b^new＝(bⁱ+b^j)/2。

其中，ε为不敏感损失因子，C为惩罚因子，y_i和y_j分别表示第i和j个样本点输出空间的值，k_ij表示第i个样本点和第j个样本点的核函数积，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，sgn(λ_i)和sgn(λ_j)分别表示取λ_i和λ_j的正负符号。

6.2：计算决策函数向量

其中

为更新决策函数向量中第p个样本对应的决策函数值，具体由下式得到

$f_p^{\mathrm{new}}=f_p+({\mathrm{\&lambda;}}_i^{\mathrm{new}}-{\mathrm{\&lambda;}}_i)k_{\mathrm{ip}}+({\mathrm{\&lambda;}}_j^{\mathrm{new}}-{\mathrm{\&lambda;}}_j)k_{\mathrm{jp}}+b^{\mathrm{new}}-\mathrm{b\; p}=\mathrm{1,2},...,l$

f_p表示第p个样本点对应的决策函数值，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，b表示决策函数的偏置，b^new表示解析求解后决策函数的偏置，k_ip表示第i个样本点和第p个样本点的核函数积，k_jp表示第j个样本点和第p个样本点的核函数积。

6.3：更新第i个拉格朗日乘子λ_i的值为第j个拉格朗日乘子λ_j的值为

更新后的拉格朗日向量为λ＝(λ₁，λ₂，...，λ_l)，更新决策函数偏置b为b^new，更新决策函数向量(f₁，f₂，...，f_p，...，f_l)为

b＝b^mew，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

分别表示解析求解后的第i和j个拉格朗日乘子，b表示决策函数的偏置，b^new表示解析求解后决策函数的偏置，f_p第p个样本点对应的决策函数值，表示解析求解后第p个样本点对应的决策函数值。步骤七：判断训练样本集

的所有样本是否如下满足最优(Karush-Kuhn-Tucker，KKT)条件：

$\left\{\begin{array}{cc}|y_p-f_p|<\mathrm{\&epsiv;}& {\mathrm{\&lambda;}}_p=0\\ |y_p-f_p|=\mathrm{\&epsiv;}& -C<{\mathrm{\&lambda;}}_p\&NotEqual;0<C\\ |y_p-f_p|>\mathrm{\&epsiv;}& \left|{\mathrm{\&lambda;}}_p\right|=C\end{array}\right.p=\mathrm{1,2},...,l$

若训练样本集

的所有样本满足KKT条件，则进入步骤八，否则返步骤三，进行下一轮训练。

步骤八：训练结束，由步骤6.3计算所得最终的拉格朗日向量为λ＝(λ₁，λ₂，…，λ_l)，最终的决策函数偏置为b，计算得到的回归决策函数y_x为

$y_x=\underset{p=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{p}K(x_p,x)+b$

其中λ_p表示最终的拉格朗日向量中第p个拉格朗日乘子，x_p为训练样本集中第p个样本，x为新样本，K(x_p，x)表示训练样本集中第p个样本x_p与新样本x的核函数积，1≤p≤l，b表示最终的决策函数偏置，y_x为新样本x对应的回归决策函数的输出。

Claims (2)

1.一种支持向量回归机的训练方法，其特征在于：具体包括以下几个步骤：

步骤一：设定训练样本集合：

设定训练样本集合为

输入空间的特征属性x_p∈Rⁿ，Rⁿ为输入空间，n为输入空间的维数，输出空间的值y_p∈R，R为输出空间；(x_p，y_p)表示第p个样本点，l为训练样本集合中样本的总数，设定不敏感损失因子ε和惩罚因子C；

步骤二：计算核函数矩阵K并进行初始化：

计算核函数矩阵K，k_pq＝K(x_p，x_q)，k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积；初始化拉格朗日乘子向量λ＝(λ₁，λ₂，...，λ_p，...，λ_l)＝0，决策函数偏置b＝0，决策函数向量f＝(f₁，f₂，...，f_p，...，f_l)＝0；其中λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，b表示决策函数的偏置，f_p表示第p个样本点x_p对应的决策函数值；

步骤三：对目标函数W求偏导，取使偏导数绝对值最大的分量下标作为第一个训练点；

3.1：对目标函数

的拉格朗日乘子(λ₁，λ₂，...，λ_p，...，λ_l)求偏导数并取绝对值，得到W′＝(|W′₁|，|W′₂|，...，|W′_p|，...，|W′_l|)，其中

表示目标函数的第p个拉格朗日乘子的偏导数，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，f_p表示第p个样本点x_p对应的决策函数值，y_p表示第p个样本点输出空间的值，ε为不敏感损失因子，b表示决策函数的偏置；对目标函数求偏导并取绝对值后得到的|W′₁|，|W′₂|，...，|W′_p|，...，|W′_l|按大小降序排列，其中

表示降序排列后目标函数的第I_k个拉格朗日乘子的偏导数绝对值，|W′_p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值，I₁，I₂，...，I_j，...，I_l表示

的下标；初始化第一个训练点的迭代次数为1；

3.2：判断目标函数求偏导取绝对值后降序排列的中下标为I_{index_i}的样本是否满足最优条件：

判断下标为I_{index_i}的样本是否满足KKT条件，若满足KKT条件，则进入步骤3.3，若不满足KKT条件，则得到第一个训练点，下标为i＝I_{index_i}，进入步骤四；

3.3：判断寻找第一个训练点的迭代次数否到达训练样本集合总数l，若迭代次数达到样本总数l，则训练样本集合中所有样本点满足KKT条件，则进入步骤八，否则迭代次数增加1，返回步骤3.2；

步骤四：取使得目标函数值下降最大的下标分量作为第二个训练点：

4.1：根据步骤三得到的第一个训练点的下标i，依次对下标分别为i和v(v＝1，2，...，l)的样本对应的两个拉格朗日乘子λ_i和λ_v进行解析求解，得到两个新的拉格朗日乘子

和计算新的目标函数W^iv为

$W^{\mathrm{iv}}=\frac{1}{2}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}\underset{q\&NotEqual;i,v}{\overset{l}{\underset{q=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{\mathrm{\&lambda;}}_q{k}_{\mathrm{pq}}+\frac{1}{2}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{k}_{\mathrm{pi}}+\frac{1}{2}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{\mathrm{\&lambda;}}_p{k}_{\mathrm{pv}}+\frac{1}{2}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{k}_{\mathrm{ii}}+\frac{1}{2}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{k}_{\mathrm{vv}}+{\mathrm{\&lambda;}}_i^{\mathrm{temp}}{\mathrm{\&lambda;}}_v^{\mathrm{temp}}{k}_{\mathrm{iv}}$

$+\mathrm{\&epsiv;}\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}\left|{\mathrm{\&lambda;}}_p\right|+\mathrm{\&epsiv;}\left(\right|{\mathrm{\&lambda;}}_i^{\mathrm{temp}}|+|{\mathrm{\&lambda;}}_v^{\mathrm{temp}}\left|\right)-\underset{p\&NotEqual;i,v}{\overset{l}{\underset{p=1}{\mathrm{\&Sigma;}}}}{y}_p{\mathrm{\&lambda;}}_p-y_i{\mathrm{\&lambda;}}_i^{\mathrm{temp}}-y_v{\mathrm{\&lambda;}}_v^{\mathrm{temp}}$

其中k_pq表示第p个样本点x_p和第q个样本点x_q的核函数积，k_pi表示第p个样本点x_p和第i个样本点x_i的核函数积，k_pv表示第p个样本点x_p和第v个样本点x_v的核函数积，k_ii表示第i个样本点x_i和第i个样本点c_i的核函数积，k_iv表示第i个样本点x_i和第v个样本点x_v的核函数积，k_vv表示第v个样本点x_i和第v个样本点x_v的核函数积，λ_p表示决策函数中第p个样本点x_p对应的拉格朗日乘子，y_p表示第p个样本点输出空间的值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，ε为不敏感损失因子，l为样本总数，和

为解析求解得到两个新的拉格朗日乘子；

分别计算新的目标函数W^iv与原目标函数W的差值(ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l)，其中

${\mathrm{\&Delta;W}}_v=\mathrm{\&epsiv;}\left(\right|{\mathrm{\&lambda;}}_i^{\mathrm{temp}}|-|{\mathrm{\&lambda;}}_i|+|{\mathrm{\&lambda;}}_v^{\mathrm{temp}}|-|{\mathrm{\&lambda;}}_v\left|\right)+\frac{1}{2}{{\mathrm{\&Delta;\&lambda;}}_i}^2{k}_{\mathrm{ii}}+\frac{1}{2}{{\mathrm{\&Delta;\&lambda;}}_v}^2{k}_{\mathrm{vv}}+{\mathrm{\&Delta;\&lambda;}}_i{\mathrm{\&lambda;}}_v{k}_{\mathrm{iv}}$

$+{\mathrm{\&Delta;\&lambda;}}_i(f_i-b-y_i)+{\mathrm{\&Delta;\&lambda;}}_v(f_v-b-y_v)$

其中ΔW_v表示对两个拉格朗日乘子λ_i和λ_v解析求解后得到的新的目标函数与原目标函数的差值，λ_i表示决策函数中第i个样本点对应的拉格朗日乘子，其中λ_v表示决策函数中第v个样本点对应的拉格朗日乘子，

和

表示解析求解得到的第i个和第v个拉格朗日乘子，Δλ_i、Δλ_v分别表示新的拉格朗日乘子与原来拉格朗日乘子λ_i、λ_v的差值，f_v表示第v个样本点x_v对应的决策函数值，f_i表示第i个样本点x_i对应的决策函数值，y_i表示第i个样本点输出空间的值，y_v表示第v个样本点输出空间的值，b为决策函数的偏置；对ΔW₁，ΔW₂，...，ΔW_v，...，ΔW_l按大小升序排列，记为

4.2：判断是否成立，若成立，则下标为i和J₁的两个拉格朗日乘子的解析解

和使得目标函数下降并且下降值最大，得到第二个训练点的下标j＝J₁，则进入步骤五；若不成立，则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降，返回步骤3.2重新寻找第一个训练点，并设定寻找第一个训练点的迭代次数增加1；

步骤五：解析第一个训练点和第二个训练点对应的拉格朗日乘子：

由步骤三和步骤四分别得到的两个训练点的下标i和j，确定两个训练点为(x_i，y_i)和(x_j，y_j)，对应的拉格朗日乘子为λ_i和λ_j，对两个拉格朗日乘子进行解析求解，得到新的两个拉格朗日乘子分别为

和

步骤六：更新中间变量：

6.1：计算拉格朗日乘子进行解析求解后的决策函数的偏置b^new：

分别计算第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j：

$b^i=y_i-f_i+({\mathrm{\&lambda;}}_i-{\mathrm{\&lambda;}}_i^{\mathrm{new}})k_{\mathrm{ii}}+({\mathrm{\&lambda;}}_j-{\mathrm{\&lambda;}}_j^{\mathrm{new}})k_{\mathrm{jj}}+b-\mathrm{\&epsiv;}\&CenterDot;\mathrm{sgn}\left({\mathrm{\&lambda;}}_i\right)$

$b^j=y_j-f_j+({\mathrm{\&lambda;}}_j-{\mathrm{\&lambda;}}_j^{\mathrm{new}})k_{\mathrm{jj}}+({\mathrm{\&lambda;}}_i-{\mathrm{\&lambda;}}_i^{\mathrm{new}})k_{\mathrm{ii}}+b-\mathrm{\&epsiv;}\&CenterDot;\mathrm{sgn}\left({\mathrm{\&lambda;}}_j\right)$

若拉格朗日乘子解析求解后第i个样本的拉格朗日乘子

满足

且

不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ；

若拉格朗日乘子解析求解后第j个样本的拉格朗日乘子

满足且不满足

则拉格朗日乘子解析求解后的决策函数偏置b^new为第j个样本对应的决策函数偏置b^j；

若同时有

满足

且

满足则拉格朗日乘子解析求解后的决策函数偏置b^new为第i个样本对应的决策函数偏置bⁱ和第j个样本对应的决策函数偏置b^j的平均值；

其中，ε为不敏感损失因子，C为惩罚因子，y_i和y_j分别表示第i和j个样本点输出空间的值，k_ij表示第i个样本点和第j个样本点的核函数积，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，sgn(λ_i)和sgn(λ_j)分别表示取λ_i和λ_j的正负符号；

6.2：计算决策函数向量

其中

为更新决策函数向量中第p个样本对应的决策函数值：

$f_p^{\mathrm{new}}=f_p+({\mathrm{\&lambda;}}_i^{\mathrm{new}}-{\mathrm{\&lambda;}}_i)k_{\mathrm{ip}}+({\mathrm{\&lambda;}}_j^{\mathrm{new}}-{\mathrm{\&lambda;}}_j)k_{\mathrm{jp}}+b^{\mathrm{new}}-\mathrm{b\; p}=\mathrm{1,2},...,l$

f_p表示第p个样本点对应的决策函数值，λ_i和λ_j分别表示第i和j个拉格朗日乘子，

和

表示解析求解后的第i和j个拉格朗日乘子，b表示决策函数的偏置，b^new表示解析求解后决策函数的偏置，k_ip表示第i个样本点和第p个样本点的核函数积，k_ip表示第j个样本点和第p个样本点的核函数积；

6.3：更新第i个拉格朗日乘子λ_i的值为第j个拉格朗日乘子λ_i的值为

更新后的拉格朗日向量为λ＝(λ₁，λ₂，…，λ_l)，更新决策函数偏置b为b^new，更新决策函数向量(f₁，f₂，...，f_p，...，f_l)为

步骤七：判断训练样本集的所有样本是否满足最优条件：

若训练样本集

的所有样本满足条件，则进入步骤八，否则返回步骤三，进行下一轮训练；

步骤八：计算得到的回归决策函数：

训练结束，计算所得最终的拉格朗日向量为λ＝(λ₁，λ₂，…，λ_l)，最终的决策函数偏置为b，计算得到的回归决策函数y_x为：

$y_x=\underset{p=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{p}K(x_p,x)+b$

其中λ_p表示最终的拉格朗日向量中第p个拉格朗日乘子，x_p为训练样本集中第p个样本，x为新样本，K(x_p，x)表示训练样本集中第p个样本x_p与新样本x的核函数积，1≤p≤l，b表示最终的决策函数偏置，y_x为新样本x对应的回归决策函数的输出。

2.根据权利要求1所述的一种支持向量回归机的训练方法，其特征在于：所述的步骤三的3.2中判断目标函数求偏导取绝对值后降序排列的

中下标为I_{index_i}的样本是否满足最优条件的标准为：

其中

表示第I_{index_i}个样本点输出空间的值，表示第I_{index_i}个样本点对应的决策函数值，

表示决策函数中第I_{index_i}个样本点对应的拉格朗日乘子，ε为不敏感损失因子，C为惩罚因子，I_{index_i}表示

中的下标。