CN101833692A - 基于核对齐的多核优化算法 - Google Patents
基于核对齐的多核优化算法 Download PDFInfo
- Publication number
- CN101833692A CN101833692A CN201010162561A CN201010162561A CN101833692A CN 101833692 A CN101833692 A CN 101833692A CN 201010162561 A CN201010162561 A CN 201010162561A CN 201010162561 A CN201010162561 A CN 201010162561A CN 101833692 A CN101833692 A CN 101833692A
- Authority
- CN
- China
- Prior art keywords
- sigma
- kernel function
- multinuclear
- matrix
- optimization problem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Complex Calculations (AREA)
Abstract
本发明属于机器学习领域中的一种多核组合优化算法。为提供一种能有效地避免“维数灾难”,应用于机器自学习的算法,本发明采用的技术方案是,基于核对齐的多核优化算法,把核对齐方法运用到多核的凸线性组合中来,再运用正则化方法,最后通过化简能把该问题化为一股的凸二次优化问题。本发明主要应用于机器学习领域。
Description
技术领域
本发明属于机器学习领域中的一种多核组合优化算法,具体讲,涉及基于核对齐的多核优化算法。
背景技术
·1.核方法
根据模式识别理论,低维空间线性不可分的模式通过非线性映射到高维空间则可能实现线性可分。但是如果直接采用这种技术到高维空间进行分类或回归,则存在确定非线性映射函数的形式和参数、特征空间维数等问题,而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。核方法不需要嵌入点的坐标,而只利用它们的两两内积,而核方法中的核函数可以直接从初始的数据项高效地计算两两内积,所以能有效地避免“维数灾难”。
·1.1核函数、核矩阵
显而易见,核矩阵是对称矩阵且为内积矩阵,表示任意两个样本在高维特征空间中的内积,决定了样本点在高维特征空间中的相对位置。因此,核矩阵必须满足如下的定理1.
定理1.核矩阵必定是对称、正定矩阵,反之,任意一个对称正定都可以看做为核矩阵,即对称正定是核矩阵的充分必要条件。
·1.2几种常见的核函数
多项式核函数K(x,xi)=(x·xi+1)d,d=1,2,3…N;
感知器核函数K(x,xi)=tanh(βxi+b);
样条核函数K(x,xi)=B2n+1(x-xi)
·2.多核学习(multiple kernel)
由于核的混合可以使数据的信息在特征空间得到更为充分的表示,有助于提高学习性能,因此定义一下的多核。
·3.核较准(kernel alignment)
对于同一个模式分类或回归问题,当采用不同的核函数或不同的核参数时,算法的错误率很可能不一样,那么对于该问题一定存在一个最优的核函数,使得测试错误率最小。而为了寻找这个最优的核函数,我们引入了核对齐的概念来体现不同核函数之间的差异。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种能有效地避免“维数灾难”,应用于机器自学习的算法。
为达到上述目的,本发明采用的技术方案如下:基于核对齐的多核优化算法,把核对齐方法运用到多核的凸线性组合中来,再运用正则化方法,最后通过化简能把该问题化为一股的凸二次优化问题,具体包括下列步骤:
构造核矩阵:已知样本实例为(xi,yi)i=1 l,其中xi∈Rn,yi∈{-1,+1},采用包括高斯核函数,多项式核函数,感知器核函数,样条核函数的核函数,运用这些核函数构造k个核矩阵K1,K2…Kk;
推导化简:利用已知K是一个对称矩阵,那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K,G>F≥0;再运用正则化方法则可得:
at≥0
其中δkl=1当k=l,其它δkl=0;
采用专门的解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。
本发明具有如下效果:
1、本发明采用基于核对齐的多核优化算法,把核对齐方法运用到多核的凸线性组合中来,再运用正则化方法,最后通过化简能把该问题化为一股的凸二次优化问题,因而能有效避免“维数灾难”。
2、由于核的混合可以使数据的信息在特征空间得到更为充分的表示,有助于提高学习性能。
附图说明
图1算法流程。
具体实施方式
本发明是一种多核组合优化算法。
把核对齐方法运用到多核的凸线性组合中来,再运用正则化方法,最后通过化简能把该问题化为一股的凸二次优化问题。
本发明采用的技术方案是:
·1.模型构造
·1.1.构造核矩阵
已知样本实例为(xi,yi)i=1 l,其中xi∈Rn,yi∈{-1,+1}。根据实际需要采用一些核函数,一股都使用高斯核函数,多项式核函数,感知器核函数,样条核函数等等。运用这些核函数构造k个核矩阵K1,K2…Kk。
·1.2.推导化简。
命题1:已知K是一个对称矩阵。那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K,G>F≥0。
因为
必要性:如果<K,G>F≥0那么因为G的半正定的,所以μj≥0,所以可推出λi≥0,即K是半正定的。
Subject to
at≥0
通过等价变换可得:
Subject to
at≥0
运用Lanrange乘子法可把(2)等价变换为:
Subject to ai≥0
因为C取不同的值导致μ取不同的值,又因为成比例的改变a的值对A(α)没有影响。所以我们取μ=1.因此可以得到:
Max ∑kaky′Kky-∑klakal<Kk,Kl>F
at≥0
Subject to
at≥0
其中δkl=1当k=l。其它δkl=0。
·2.算法描述
由第一步模型构造已把要求解的问题简化为了凸二阶优化问题。凸二阶优化问题是一个比较典型的优化问题,对于解这类问题有很多有效地算法,而本文的重点并不是关心凸二阶优化问题的具体解法,而考虑到MATLAB在工程领域运用十分广泛,而且有专门的解凸二阶优化问题的函数,所以采用MATLAB来实现本文的算法。
算法可描述为:
Date:(xi,yi)i=1 l,(km)m=1 k
Result:am,m=1,2…k
Begin:
For i←1 to k
f(1,i)=-y′*Km*y
For j←i to k
If i==j
H(i,j)=H(j,i)=2*(<Ki,Kj>F+r)
Else H(i,j)=H(j,i)=2*<Ki,Kj>F
End
End
End
Bl=zeros(k,1)
Aeq=ones(1,k)
Beq=1
[x,fval]=quadprog(H,f,[],[],Aeq,Beq,Bl)
a=x
End
·3.算法说明
该算法比最大间隔方法更易于理解,最后能化为凸二次优化问题,而基于最大间隔方法的凸线性组合最后只能化简为锥优化问题,而对于求解二次凸优化问题现在有很多比较有效的方法,比解锥优化问题更快更有效。而且采用的正则化方法能使该算法有效的避免过拟合问题。所以该算法即能保证有效性,又有比较好的稳定性。
下面结合具体实施例进一步详细说明本发明。
流程步骤查看附图1.
·1.选取核函数:m=1,2…10,σ1=1,σ2=3,σ3=5σ4=7,σ5=9,σ6=11,σ7=13,σ8=15,σ9=17,σ10=19这里全都选取的是高斯核函数是因为这个核函数是最一股而且也是用的最多的一个核函数。
·2.利用实例集(xi,yi)i=1 m,m=1,2…10,xi∈R4,y∈{-1,+1},来构造核矩阵Km,m=1,2…10。X的取值为【1.371010e+011.192860e+01-2.669980e-019.247059e+01
3.182899e+003.385450e+012.866752e-011.398389e+02
1.370999e+011.139900e+015.345060e-011.480897e+02
9.208984e-019.846100e+002.722710e-015.865690e+01
8.339844e-017.932199e+01-1.232491e-014.858778e+01
4.381511e+011.112251e+02-1.958180e-011.655583e+02
3.614401e+011.879950e+02-1.253873e-011.269572e+02
2.182100e+017.473500e+012.618831e-011.590735e+02
1.747900e+022.082200e+02-1.563846e-011.761190e+02
2.312500e+012.001630e+027.643528e-021.026413e+02】
Y的取值为【-1-1-1-1-1 1 1 1 1 1 1 1】
·3.利用MATLAB求解凸二次优化问题,其中取r=0.5,r是正则化系数。
Begin:
For i=1 to 10
f(1,i)=-y′*Km*y
For j=i to 10
If i==j
H(i,j)=H(j,i)=2*(<Ki,Kj>F+0.5)
Else H(i,j)=H(j,i)=2*<Ki,Kj>F
End
End
End
Bl=zeros(10,1)
Aeq=ones(1,10)
Beq=1
[x,fval]=quadprog(H,f,[],[],Aeq,Beq,Bl)
α=x
End
Claims (1)
1.一种基于核对齐的多核优化算法,其特征是,把核对齐方法运用到多核的凸线性组合中来,再运用正则化方法,最后通过化简能把该问题化为一般的凸二次优化问题,具体包括下列步骤:
构造核矩阵:已知样本实例为(xi,yi)i=1 l,其中xi∈Rn,yi∈{-1,+1},采用包括高斯核函数,多项式核函数,感知器核函数,样条核函数的核函数,运用这些核函数构造k个核矩阵K1,K2…Kk;
推导化简:利用已知K是一个对称矩阵,那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K,G>F≥0;再运用正则化方法则可得:
at≥0
其中δkl=1当k=l,其它δkl=0;
采用解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010162561A CN101833692A (zh) | 2010-05-05 | 2010-05-05 | 基于核对齐的多核优化算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010162561A CN101833692A (zh) | 2010-05-05 | 2010-05-05 | 基于核对齐的多核优化算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101833692A true CN101833692A (zh) | 2010-09-15 |
Family
ID=42717755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010162561A Pending CN101833692A (zh) | 2010-05-05 | 2010-05-05 | 基于核对齐的多核优化算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101833692A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136309A (zh) * | 2011-11-21 | 2013-06-05 | 微软公司 | 通过基于核的学习对社交强度进行建模 |
-
2010
- 2010-05-05 CN CN201010162561A patent/CN101833692A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136309A (zh) * | 2011-11-21 | 2013-06-05 | 微软公司 | 通过基于核的学习对社交强度进行建模 |
CN103136309B (zh) * | 2011-11-21 | 2018-02-23 | 微软技术许可有限责任公司 | 通过基于核的学习对社交强度进行建模 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mao et al. | A novel deep output kernel learning method for bearing fault structural diagnosis | |
Efron | Bayesian inference and the parametric bootstrap | |
Constantine et al. | Global sensitivity metrics from active subspaces | |
Shen et al. | The statistics and mathematics of high dimension low sample size asymptotics | |
Maddox et al. | Rethinking parameter counting in deep models: Effective dimensionality revisited | |
Yang et al. | Semi-supervised nonlinear dimensionality reduction | |
Xia et al. | Effectiveness of the Euclidean distance in high dimensional spaces | |
CN107247969B (zh) | 基于Gauss诱导核的模糊c均值聚类算法 | |
Guerra-Urzola et al. | A guide for sparse pca: Model comparison and applications | |
Cimino et al. | Genetic interval neural networks for granular data regression | |
Banks et al. | Use of difference-based methods to explore statistical and mathematical model discrepancy in inverse problems | |
Bhattacharyya et al. | Characteristic function of a pure commuting contractive tuple | |
Minin et al. | Comparison of universal approximators incorporating partial monotonicity by structure | |
Daga et al. | Machine vibration monitoring for diagnostics through hypothesis testing | |
García et al. | A bias correction function for classification performance assessment in two-class imbalanced problems | |
Yang et al. | Proximal support vector machine using local information | |
Zhang et al. | A novel extreme learning machine using privileged information | |
Xiao et al. | Model selection of Gaussian kernel PCA for novelty detection | |
Chen et al. | Nonlinear causal discovery for high dimensional data: A kernelized trace method | |
Gu et al. | Classification of class overlapping datasets by kernel-MTS method | |
CN101833692A (zh) | 基于核对齐的多核优化算法 | |
Khemchandani et al. | Regularized least squares support vector regression for the simultaneous learning of a function and its derivatives | |
Vishwakarma et al. | An automated robust algorithm for clustering multivariate data | |
Fang et al. | Penalized empirical likelihood for semiparametric models with a diverging number of parameters | |
Takane et al. | Regularized multiple correspondence analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20100915 |