CN101833692A - 基于核对齐的多核优化算法 - Google Patents

Abstract

本发明属于机器学习领域中的一种多核组合优化算法。为提供一种能有效地避免“维数灾难”，应用于机器自学习的算法，本发明采用的技术方案是，基于核对齐的多核优化算法，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题。本发明主要应用于机器学习领域。

Description

基于核对齐的多核优化算法

技术领域

本发明属于机器学习领域中的一种多核组合优化算法，具体讲，涉及基于核对齐的多核优化算法。

背景技术

·1.核方法

根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维空间则可能实现线性可分。但是如果直接采用这种技术到高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。核方法不需要嵌入点的坐标，而只利用它们的两两内积，而核方法中的核函数可以直接从初始的数据项高效地计算两两内积，所以能有效地避免“维数灾难”。

·1.1核函数、核矩阵

定义1.(核函数)设x_i，x_j∈X，

非线性函数φ实现输入空间X到特征空间F的映射，其中

n＜＜m。则核函数定义为k(x_i，x_j)＝<φ(x_i)，φ(x_j)>，其中<，>为内积。

定义2.(核矩阵)令核矩阵中的每一个元素为K_ij，其中K_ij＝k(x_i，x_j)，则核矩阵的一股形式为

n为样本点的数量。

显而易见，核矩阵是对称矩阵且为内积矩阵，表示任意两个样本在高维特征空间中的内积，决定了样本点在高维特征空间中的相对位置。因此，核矩阵必须满足如下的定理1.

定理1.核矩阵必定是对称、正定矩阵，反之，任意一个对称正定都可以看做为核矩阵，即对称正定是核矩阵的充分必要条件。

·1.2几种常见的核函数

高斯核函数

多项式核函数K(x，x_i)＝(x·x_i+1)^d，d＝1，2，3…N；

感知器核函数K(x，x_i)＝tanh(βx_i+b)；

样条核函数K(x，x_i)＝B_2n+1(x-x_i)

·2.多核学习(multiple kernel)

由于核的混合可以使数据的信息在特征空间得到更为充分的表示，有助于提高学习性能，因此定义一下的多核。

定义3.(凸多核组合)

其中α_j≥0，∑_jα_j＝1(j＝1…k)，K_j为核矩阵。由核函数的性质可知是对称半正定矩阵，即K是有效的核函数。

·3.核较准(kernel alignment)

对于同一个模式分类或回归问题，当采用不同的核函数或不同的核参数时，算法的错误率很可能不一样，那么对于该问题一定存在一个最优的核函数，使得测试错误率最小。而为了寻找这个最优的核函数，我们引入了核对齐的概念来体现不同核函数之间的差异。

定义4.(核校准)设有样本集S＝{x₁，x₂…，x_l}，矩阵K₁和K₂分别表示对应于核函数k₁和k₂的核矩阵，

表示两个核矩阵之间的内积，现采用一个标量来度量核函数k₁与核函数k₂在样本S上的差异，称其为核对齐，记为

可见，核对齐是一个标量值，体现了不同核函数之间的差异关系。从几何角度来看，核对齐可以看成时两个向量之间夹角的余弦值。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种能有效地避免“维数灾难”，应用于机器自学习的算法。

为达到上述目的，本发明采用的技术方案如下：基于核对齐的多核优化算法，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题，具体包括下列步骤：

构造核矩阵：已知样本实例为(x_i，y_i)_i＝1 ^l，其中x_i∈Rⁿ，y_i∈{-1，+1}，采用包括高斯核函数，多项式核函数，感知器核函数，样条核函数的核函数，运用这些核函数构造k个核矩阵K₁，K₂…K_k；

推导化简：利用已知K是一个对称矩阵，那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K，G>_F≥0；再运用正则化方法则可得： $\underset{a}{\max }{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y-{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F-\mathrm{\&lambda;}\underset{k}{\mathrm{\&Sigma;}}{a_k}^2$

$={\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y-{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l({<K_k,K_l>}_F-\mathrm{\&lambda;}{\mathrm{\&delta;}}_{\mathrm{kl}})$

Subject to

a_t≥0

其中δ_kl＝1当k＝l，其它δ_kl＝0；

采用专门的解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。

本发明具有如下效果：

1、本发明采用基于核对齐的多核优化算法，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题，因而能有效避免“维数灾难”。

2、由于核的混合可以使数据的信息在特征空间得到更为充分的表示，有助于提高学习性能。

附图说明

图1算法流程。

具体实施方式

本发明是一种多核组合优化算法。

把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题。

本发明采用的技术方案是：

·1.模型构造

·1.1.构造核矩阵

已知样本实例为(x_i，y_i)_i＝1 ^l，其中x_i∈Rⁿ，yi∈{-1，+1}。根据实际需要采用一些核函数，一股都使用高斯核函数，多项式核函数，感知器核函数，样条核函数等等。运用这些核函数构造k个核矩阵K₁，K₂…K_k。

·1.2.推导化简。

命题1：已知K是一个对称矩阵。那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K，G>_F≥0。

证明：因为K的对称的，所以K可以表示为：

其中λ_i是特征值，v_i是特征向量。同样G可以表示为

因为 ${<K,G>}_F=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{\mathrm{\&mu;}}_j<v_i{v}_i^{\&prime;},u_j{u}_j^{\&prime;}>$

$=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_i{\mathrm{\&mu;}}_j{<v_i^{\&prime;}{u}_j>}^2$

必要性：如果<K，G>_F≥0那么因为G的半正定的，所以μ_j≥0，所以可推出λ_i≥0，即K是半正定的。

充分性：如果K是半正定的那么λ_i≥0，那么

即<K，G>_F≥0。既证。

令

其中

a_t≥0，运用命题1易得K(a)是半正定的，即K(a)可表示为

而

$A\left(\mathrm{\&alpha;}\right)=A(S,K\left(\mathrm{\&alpha;}\right),{\mathrm{yy}}^{\&prime;})$

$=\frac{<K\left(\mathrm{\&alpha;}\right),{\mathrm{yy}}^{\&prime;}{>}_F}{\sqrt{{<K\left(\mathrm{\&alpha;}\right),K\left(\mathrm{\&alpha;}\right)>}_F{<{\mathrm{yy}}^{\&prime;},{\mathrm{yy}}^{\&prime;}>}_F}}$

$=\frac{{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y}{m\sqrt{{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F}}$

因为A(α)越大，则K(α)与yy′相差越小。因此使最大化A(α)并且满足

a_t≥0条件，就是我们要求解的问题。即

$\underset{a}{\max }\frac{{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y}{m\sqrt{{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F}}$

Subject to $\underset{t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_t=1---\left(1\right)$

a_t≥0

通过等价变换可得：

$\underset{a}{\max }{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y$

Subject to $m\sqrt{{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F}=C$

$\underset{t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_t=1---\left(2\right)$

a_t≥0

运用Lanrange乘子法可把(2)等价变换为：

$\underset{a}{\mathrm{ma}}x{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y-\mathrm{\&lambda;}({\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F-C)$

Subject to a_i≥0

$\underset{t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_t=1$

因为C取不同的值导致μ取不同的值，又因为成比例的改变a的值对A(α)没有影响。所以我们取μ＝1.因此可以得到：

Max ∑_ka_ky′K_ky-∑_kla_ka_l<K_k，K_l>_F

Subject to

a_t≥0

$\underset{t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_t=1$

当我们不限制||a||时，根据训练集得到的核对齐方法有可能出现过拟合问题。因此运用正则化方法则可得：

$={\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y-{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l({<K_k,K_l>}_F-\mathrm{\&lambda;}{\mathrm{\&delta;}}_{\mathrm{kl}})$

Subject to $\underset{t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_t=1$

a_t≥0

其中δ_kl＝1当k＝l。其它δ_kl＝0。

·2.算法描述

由第一步模型构造已把要求解的问题简化为了凸二阶优化问题。凸二阶优化问题是一个比较典型的优化问题，对于解这类问题有很多有效地算法，而本文的重点并不是关心凸二阶优化问题的具体解法，而考虑到MATLAB在工程领域运用十分广泛，而且有专门的解凸二阶优化问题的函数，所以采用MATLAB来实现本文的算法。

算法可描述为：

Date：(x_i，y_i)_i＝1 ^l，(k_m)_m＝1 ^k

Result：a_m，m＝1，2…k

Begin：

    For i←1 to k

$K_i={\left(k(x_i,x_j)\right)}_{i=1,j=1}^l,$ m＝1，2…k.

f(1，i)＝-y′*K_m*y

For j←i to k

    If   i＝＝j

         H(i，j)＝H(j，i)＝2*(<K_i，K_j>_F+r)

    Else H(i，j)＝H(j，i)＝2*<K_i，K_j>_F

    End

 End

End

Bl＝zeros(k，1)

Aeq＝ones(1，k)

Beq＝1

[x，fval]＝quadprog(H，f，[]，[]，Aeq，Beq，Bl)

a＝x

End

·3.算法说明

该算法比最大间隔方法更易于理解，最后能化为凸二次优化问题，而基于最大间隔方法的凸线性组合最后只能化简为锥优化问题，而对于求解二次凸优化问题现在有很多比较有效的方法，比解锥优化问题更快更有效。而且采用的正则化方法能使该算法有效的避免过拟合问题。所以该算法即能保证有效性，又有比较好的稳定性。

下面结合具体实施例进一步详细说明本发明。

流程步骤查看附图1.

·1.选取核函数：

m＝1，2…10，σ₁＝1，σ₂＝3，σ₃＝5σ₄＝7，σ₅＝9，σ₆＝11，σ₇＝13，σ₈＝15，σ₉＝17，σ₁₀＝19这里全都选取的是高斯核函数是因为这个核函数是最一股而且也是用的最多的一个核函数。

·2.利用实例集(x_i，y_i)_i＝1 ^m，m＝1，2…10，x_i∈R⁴，y∈{-1，+1}，来构造核矩阵K_m，m＝1，2…10。X的取值为【1.371010e+011.192860e+01-2.669980e-019.247059e+01

3.182899e+003.385450e+012.866752e-011.398389e+02

1.370999e+011.139900e+015.345060e-011.480897e+02

9.208984e-019.846100e+002.722710e-015.865690e+01

8.339844e-017.932199e+01-1.232491e-014.858778e+01

4.381511e+011.112251e+02-1.958180e-011.655583e+02

3.614401e+011.879950e+02-1.253873e-011.269572e+02

2.182100e+017.473500e+012.618831e-011.590735e+02

1.747900e+022.082200e+02-1.563846e-011.761190e+02

2.312500e+012.001630e+027.643528e-021.026413e+02】

Y的取值为【-1-1-1-1-1 1 1 1 1 1 1 1】

·3.利用MATLAB求解凸二次优化问题，其中取r＝0.5，r是正则化系数。

Begin：

    For i＝1 to 10

$K_i={\left(k(x_i,x_j)\right)}_{i,j=1...n}^{10},$ m＝1，2…10.

f(1，i)＝-y′*K_m*y

For  j＝i to 10

     If  i＝＝j

          H(i，j)＝H(j，i)＝2*(<K_i，K_j>_F+0.5)

     Else H(i，j)＝H(j，i)＝2*<K_i，K_j>_F

     End

 End

End

Bl＝zeros(10，1)

Aeq＝ones(1，10)

Beq＝1

[x，fval]＝quadprog(H，f，[]，[]，Aeq，Beq，Bl)

α＝x

End

可得α＝【-0.0000-0.0000-0.0000 0.0000 0.0000-0.0000 0.0000 0.1110 0.3269 0.5620】α_i，i＝1.2…10，代表权值。上面这个列子说明用K₈，K₉，K₁₀进行凸线性组合能有效地对要求解的问题进行分类，即当σ₈＝15，σ₉＝17，σ₁₀＝19核函数

能有效地对这个问题进行分类。

Claims (1)

1.一种基于核对齐的多核优化算法，其特征是，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一般的凸二次优化问题，具体包括下列步骤：

构造核矩阵：已知样本实例为(x_i，y_i)_i＝1 ^l，其中x_i∈Rⁿ，y_i∈{-1，+1}，采用包括高斯核函数，多项式核函数，感知器核函数，样条核函数的核函数，运用这些核函数构造k个核矩阵K₁，K₂…K_k；

推导化简：利用已知K是一个对称矩阵，那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K，G>_F≥0；再运用正则化方法则可得：

$\underset{a}{\max }{\mathrm{\&Sigma;}}_k{a}_k{y}^{\&prime;}{K}_{k}y-{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l{<K_k,K_l>}_F-\mathrm{\&lambda;}\underset{k}{\mathrm{\&Sigma;}}{a_k}^2$

$\mathrm{\&Sigma;}_k^{=}{a}_k{y}^{\&prime;}{K}_{k}y-{\mathrm{\&Sigma;}}_{\mathrm{kl}}{a}_k{a}_l({<K_k,K_l>}_F-\mathrm{\&lambda;}{\mathrm{\&delta;}}_{\mathrm{kl}})$

$\underset{t}{\mathrm{\&Sigma;}}_{\mathrm{Subjectt}0}{\mathrm{\&alpha;}}_t=1$

a_t≥0

其中δ_kl＝1当k＝l，其它δ_kl＝0；

采用解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。

Images