CN104463211A - 基于最大球心距的支持向量描述方法 - Google Patents

Abstract

一种基于最大球心距的支持向量描述方法，是将类间距离最大化的目标加入到支持向量描述的目标优化函数中，得到在使每一个超球体半径最小的目标下，同时使不同超球体之间的距离最大的目标函数。本发明首次在支持向量描述的方法的基础上引入类间信息约束到多分类问题中，并在此基础上利用一个半径最小的超球体将同一类样本包围，并使超球体之间尽可能的远离。本发明可以避免传统多分类方法中存在的类别不平衡问题以及识别盲区问题，通过有拒识的开集人脸识别***证明了该发明用于多分类问题的有效性。本发明与传统方法相比,具有鲁棒性强、分类效果好等优点。可以用于解决小样本集的监督学习多分类问题。

Description

基于最大球心距的支持向量描述方法

技术领域

本发明涉及一种支持向量描述方法。特别是涉及一种以所有超球半径的平方和最小及超球体之间的距离最大为目标函数，在核空间中寻找一个超球体将同一类的样本约束在超球体中，并将其他类的样本约束在超球体外，并且使所建立的超球体之间尽可能地分离的基于最大球心距的支持向量描述方法。

背景技术

随着信息技术的快速发展，图像和视频等多媒体数据大量涌现，成为人们获取信息的重要途径之一。如何对获取的信息进行有效地分类是机器学***面，使其能够尽可能地将两类数据点正确分开，同时使分开的两类数据点距离分类面最远。随着支持向量机和相关支持域技术的提出和完善，二分类问题的理论基础和实现框架都已形成。

然而，多分类技术仍然不甚成熟。目前对多分类的研究主要有两个方向：间接解决和直接解决。间接解决多分类的方法是将多分类问题转化为二分类问题，即用多个二类分类器组成一个多类分类器。这类方法主要有以下两种：一对多(One-Vs-All，OVA)方法、一对一(One-Vs-One，OVO)方法。OVA是一种很简单的多分类方法，是为每个类构建一个二类分类器,对于N个类别的分类,则要构造N个二类分类器。对第i个类的二类分类器来说,其训练样本集的构成为属于i类的样本为正类,而不属于该类的其他所有样本都为负类，但该方法训练时正负类数据分布不平衡,导致分类精度降低。OVO方法是对多类别数据进行两两区分,为任意两个类构建分类超平面。对于N类数据集,则需要构造N(N-1)/2个二类分类器,这种方法不仅计算量庞大，而且只建立两两类别间的分类器，忽视了与其他类别的信息，并且OVA和OVO多分类方法都存在识别盲区的问题。

最近几年来，不少研究者试图通过设计直接解决多分类问题的SVM来解决多分类问题，同时处理各类数据并考虑各类之间的关联信息。在这类方法中，最著名的是采用支持向量描述(Support Vector Data Description,SVDD)的方法利用K个超球体对K类数据同时进行描述，每个超球体包含同一类的样本数据。SVDD的基本思想是把所有样本映射到特征空间，然后在特征空间中计算包含这组数据的最小超球体边界来获得数据的分布区域，从而对该组数据进行描述,主要用来进行单类分类及去除噪声点或奇异点。和SVM不同的是，SVDD不是寻找一个超平面而是通过计算包含同一类样本的最小超球体边界来对数据的分布范围进行描述。通常位于超球体内部的数据被分类为目标类，位于超球体边界的数据称为支持向量,超球体外的则是非目标样本。

由于可以对每一类样本单独使用SVDD，得到各个类别样本的超球体，并以此作为分类边界，因此SVDD可以很容易地扩展为多类分类器来处理处理多分类问题。例如：Zhu等人利用SVDD对多类问题进行分类，提出了一种球结构支持向量机方法，该方法对每一类训练样本求解问题构造一个包含该类样本的最小超球，然后根据测试样本离各个球心的距离来判断测试样本属于哪一类。Lee等人基于贝叶斯决策准则提出了一种求解多类问题的区域描述支持向量分类方法，该方法首先对每一类训练样本求解问题构造-个包含该类样本的最小超球体，然后利用贝叶斯公式计算后验概率来判断测试样本该属于哪一类。Lei等人对Zhu等人提出的方法的判别函数进行修改，当利用测试样本离各个球心距离进行类别判断不明确时就在不明确区域使用最近邻方法进行判别。Hao等人提出了一个求解多分类问题的球型支持向量机，该方法以所有超球体半径的平方和最小为目标函数对每个类构造一个超球体以使该类样本约束在超球体里而将其他样本约束在超球体外，然后根据测试样本离各个球心的距离来判断测试样本属于哪一类。Liu等提出一种基于核空间相对密度的SVDD多类分类算法，该算法首先由SVDD确定包围每类数据的最小超球体，然后计算位于最小超球体重叠区域中每个样本在其同类样本间的相对密度，最后以各类样本相对密度的均值为标准，对重叠区域内的待测样本进行分类。Wang等提出了结构化一类分类(Structured One-Class Classification)算法，是在考虑数据分布的基础上，将一类目标数据用多个超椭球来描述，以获得对目标数据更有效的描述。

此外，当前的识别技术大都是针对无拒识的闭集识别，即测试样本一定能与训练数据库中的样本相匹配，但这种情况不符合现实应用的真实情况，而开集识别技术排除了闭集识别中“测试样本一定能与训练数据库的样本相匹配”的假设，能够对与目标库身份不匹配的的异类样本进行拒识，更加符合现实应用中的真实情况。

发明内容

本发明所要解决的技术问题是，提供一种为每一个类寻求一个包含所有或几乎所有该类目标样本且体积最小的最优超球体，并使超球体之间的距离最大，从而实现多个类别的有效分类，解决多分类问题以及类别之间数据不平衡问题的基于最大球心距的支持向量描述方法。

本发明所采用的技术方案是：一种基于最大球心距的支持向量描述方法，是将类间距离最大化的目标加入到支持向量描述的目标优化函数中，得到在使每一个超球体半径最小的目标下，同时使不同超球体之间的距离最大的目标函数。

所述的目标函数的建立，首先设为数据空间中的一个已知训练数据集，其中T为类的个数，t_m为第m类的样本数，得到目标函数：

$\begin{array}{cc}\min & \underset{m}{\mathrm{\Σ}}{R}_m^2-K\underset{m,n}{\mathrm{\Σ}}{d}_m^2+C\underset{i}{\mathrm{\Σ}}\underset{m}{\mathrm{\Σ}}{\mathrm{\ξ}}_i^m\\ s.t.& {\left|\right|\mathrm{\φ}(x_i^m-c_m)\left|\right|}^2-R_m\≤{\mathrm{\ξ}}_i^m,{\mathrm{\ξ}}_i^m\≥0,\∀i,m\end{array}---\left(1\right)$

其中：R_m为第m类的半径，c_m第m类的球心，d_mn为第m类的球心与第n类球心的距离，m,n∈{1,…,T}，K为调节半径与分离间隔的参数，K≥0，为第m类的第i个样本，C为惩罚参数，用来控制最小包围球半径和错分程度的一个折衷。

本发明的基于最大球心距的支持向量描述方法，在利用训练样本的监督信息的前提下，充分地对每一类的边界进行刻画，并调节建立的超球体之间的距离，使不同类的样本尽可能的分离。充分地利用了类内和类间的信息。本发明首次在支持向量描述的方法的基础上引入类间信息约束到多分类问题中，并在此基础上利用一个半径最小的超球体将同一类样本包围，并使超球体之间尽可能的远离。本发明可以避免传统多分类方法中存在的类别不平衡问题以及识别盲区问题，通过有拒识的开集人脸识别***证明了该发明用于多分类问题的有效性。本发明与传统方法相比,具有鲁棒性强、分类效果好等优点。可以用于解决小样本集的监督学习多分类问题。

附图说明

图1是测试样本仅落入某一超球体中的示意图；

图2是测试样本落入多个超球体中的示意图；

图3是测试样本落在所有超球体之外的示意图；

图4是本发明的方法应用于开集人脸识别的流程图。

具体实施方式

下面结合实施例和附图对本发明的基于最大球心距的支持向量描述方法做出详细说明。

本发明的基于最大球心距的支持向量描述方法，是将类间距离最大化的目标加入到支持向量描述的目标优化函数中，得到在使每一个超球体半径最小的目标下，同时使不同超球体之间的距离最大的目标函数。

所述的目标函数的建立，首先设为数据空间中的一个已知训练数据集，其中T为类的个数，t_m为第m类的样本数，得到目标函数：

$\begin{array}{cc}\min & \underset{m}{\mathrm{\Σ}}{R}_m^2-K\underset{m,n}{\mathrm{\Σ}}{d}_m^2+C\underset{i}{\mathrm{\Σ}}\underset{m}{\mathrm{\Σ}}{\mathrm{\ξ}}_i^m\\ s.t.& {\left|\right|\mathrm{\φ}(x_i^m-c_m)\left|\right|}^2-R_m\≤{\mathrm{\ξ}}_i^m,{\mathrm{\ξ}}_i^m\≥0,\∀i,m\end{array}---\left(1\right)$

其中：R_m为第m类的半径，c_m第m类的球心，d_mn为第m类的球心与第n类球心的距离，m,n∈{1,…,T}，K为调节半径与分离间隔的参数，K≥0，为第m类的第i个样本，C为惩罚参数，用来控制最小包围球半径和错分程度的一个折衷。

本发明所述的目标函数可以通过求解拉格朗日函数的鞍点得到：

引入拉格朗日乘子α_i≥0，β_i≥0，相应的拉格朗日函数为：

$L=\underset{m}{\mathrm{\Σ}}{R}_m^2-K\underset{\mathrm{mn}}{\mathrm{\Σ}}{d}_{\mathrm{mn}}^2+C\underset{i,m}{\mathrm{\Σ}}{\mathrm{\ξ}}_i^m-\underset{i,m}{\mathrm{\Σ}}{\mathrm{\α}}_i^m({\mathrm{\ξ}}_i^m+R_m^2-{\left|\right|\mathrm{\φ}\left(x_i^m\right)-c_m\left|\right|}^2)-\underset{i,m}{\mathrm{\Σ}}{\mathrm{\β}}_i^m{\mathrm{\ξ}}_i^m---\left(2\right)$

由于计算的复杂性，一般不直接进行求解，而是依据拉格朗日对偶理论求解其对偶问题，所以求L关于R_m、c_m、的偏导，并令其等于零得：

$\frac{\∂L}{\∂R_m}=2R_m-2R_m\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^m=0\⇒\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^m=1---\left(3\right)$

$\frac{\∂L}{\∂{\mathrm{\ξ}}_i^m}=C-{\mathrm{\α}}_i^m-{\mathrm{\β}}_i^m=0\⇒C={\mathrm{\α}}_i^m+{\mathrm{\β}}_i^m---\left(4\right)$

$\frac{\∂L}{\∂c_m}=2K\underset{n}{\mathrm{\Σ}}(c_n-c_m)-2\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^m(\mathrm{\φ}\left(x_i^m\right)-c_m)=0---\left(5\right)$

$\⇒\underset{m}{\mathrm{\Σ}}{c}_m=\underset{i,m}{\mathrm{\Σ}}{\mathrm{\α}}_i^m\mathrm{\φ}\left(x_i^m\right)$

$c_m=\frac{1}{\mathrm{TK}-1}(K\underset{i,m}{\mathrm{\Σ}}{\mathrm{\α}}_i^m\mathrm{\φ}\left(x_i^m\right)-\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^m\mathrm{\φ}\left(x_i^m\right))---\left(6\right)$

将(3)-(6)代入到(2)中，可得其对偶问题为：

$\begin{array}{cc}\max & \underset{i,m}{\mathrm{\Σ}}{\mathrm{\α}}_i^{m}K(x_i^m,x_i^m)-\frac{K}{\mathrm{TK}-1}\underset{i,j,m,n=1}{\mathrm{\Σ}}{\mathrm{\α}}_i^m,{\mathrm{\α}}_j^{n}K({\mathrm{\α}}_i^m,{\mathrm{\α}}_j^n)+\frac{1}{\mathrm{TK}-1}\underset{i,j,m}{\mathrm{\Σ}}{\mathrm{\α}}_i^m{\mathrm{\α}}_j^{m}K(x_i^m,x_j^m)\\ s.t.& \underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^m=\mathrm{1,0}\≤{\mathrm{\α}}_i^m\≤C\end{array}---\left(7\right)$

利用核函数的思想，K(x_i,x_j)＝φ(x_i)·φ(x_j)，“·”表示内积，在本发明中利用径向基(RBF)核函数，即：K(x_i,x_j)＝exp(-q||x_i-x_j||²)。

以上的目标函数是线性约束的凸规划问题，利用二次规划算法进行求解，得到每个类的球心可以通过公式(6)得到，对于每一个超球体的球心，由KKT(Karush-Kuhn-Tucker)条件知：

$\begin{array}{c}{\mathrm{\α}}_i^m({\left|\right|\mathrm{\φ}\left(x_i\right)-c_m\left|\right|}^2-R_m^2-{\mathrm{\ξ}}_i^m)=0,{\mathrm{\β}}_i^m{\mathrm{\ξ}}_i^m=0\\ {\left|\right|\mathrm{\φ}\left(x_i\right)-c_m\left|\right|}^2\≤R_m^2+{\mathrm{\ξ}}_i^m,C-{\mathrm{\α}}_i^m-{\mathrm{\β}}_i^m=0,{\mathrm{\ξ}}_i^m\≥0.\end{array}$

当 $0<{\mathrm{\&alpha;}}_i^m<C$ 时， ${\left|\right|\mathrm{\&phi;}\left(x_i\right)-c_m\left|\right|}^2-R_m^2-{\mathrm{\&xi;}}_i^m=0,{\mathrm{\&beta;}}_i^m>0,{\mathrm{\&xi;}}_i^m=0,$

因此对于对应的x_i有：

$R_m^2={\left|\right|\mathrm{\&phi;}\left(x_i\right)-c_m\left|\right|}^2$

其中对应的x_i是支持向量。

测试样本x到第m个超球体的球心的距离为：

$\begin{array}{c}{d}_m^2={\left|\right|\mathrm{\&phi;}\left(x\right)-c_m\left|\right|}^2\\ =K(x,x)-\frac{2K}{\mathrm{TK}-1}\underset{i,m}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i^{m}K(x_i^m,x)+\frac{2}{\mathrm{TK}-1}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i^{m}K(x_i^m,x)+c_m^2\end{array}$

对于测试样本的判别准则是，判断测试样本是否落入超球体之中，如果落入超球体中，则判断测试样本属于目标类，否则测试样本属于非目标类。所以判别函数为：

$f\left(x\right)=\mathrm{sign}(R_m^2-d_m^2).$

当f(x)>0时，测试样本x落入第m个超球体中，否则落在超球体之外。

对于多分类问题，测试样本与所建立的超球体之间的关系有三种关系：

(1)测试样本仅落入某一超球体中，如图1所示，图中x表示测试样本，A表示超球体。

(2)测试样本落入多个超球体中，如图2所示，图中x表示测试样本，B、C表示超球体。

(3)测试样本落在所有超球体之外，如图3所示，图中x表示测试样本，D、E、F表示超球体。

闭集识别中，对于关系(2)、(3)中出现的情况，在本发明中利用K近邻来确定该样本类别的归属。而对于开集识别，针对关系(2)中出现的情况，利用K近邻来确定该测试样本类别的归属，而对于关系(3)中测试样本，则判定其为异类样本，模型将予以拒绝。

与传统的“一对多”，“一对一”多分类技术不同的是，本发明以所有超球半径的平方和最小及超球体之间的距离最大为目标函数，利用一个半径最小的超球将同一类的样本包围，同时使超球体之间的距离最远，是“一次性”建立多个超球体，而不是设计多个二分类器实现多分类的目的。本发明充分考虑类别之间的关系，避免了类别不平衡的问题；同时模型是以建立超球体为目标，可以有效解决识别盲区的问题。

下面结合图4说明本发明在有拒识的开集人脸识别的应用。需要说明的是，本发明不仅可以应用在开集人脸识别中，也可以应用在其他生物特征的开集识别中。

(1)图像预处理和特征提取

首先对人脸图像进行对齐，光照归一化等预处理操作，然后提取人脸图像的特征；

(2)特征变换

为了更好地对样本数据进行描述，对提取的人脸图像的原始数据特征进行特征变换，可以采用基于核的方法、基于子空间的方法、基于流形学习的方法等；

(3)利用本发明的方法建立有拒识的开集人脸分类模型

利用本发明的多分类模型将每一类人脸样本用一个半径最小的超球体包围，并使不同的人脸类之间距离最大，达到不同的类尽可能分离的目的；

(4)对待测人脸样本进行测试

对待测人脸样本进行预处理并提取特征，经过特征转换后将提取的高维特征转化为具有判别信息的低维特征，若待测人脸样本落到某个超球体中，则将此待测样本归为此类；当多个超球体同时包含测试样本时根据测试样本周围各类样本核空间的相对密度均值的大小来判定它的归属；如果待测人脸样本落在所有超球体之外则认为此待测人脸样本不属于目标集内人脸样本，并将其拒绝。

Claims (2)

1.一种基于最大球心距的支持向量描述方法，其特征在于，是将类间距离最大化的目标加入到支持向量描述的目标优化函数中，得到在使每一个超球体半径最小的目标下，同时使不同超球体之间的距离最大的目标函数。

2.根据权利要求1所述的基于最大球心距的支持向量描述方法，其特征在于，所述的目标函数的建立，首先设为数据空间中的一个已知训练数据集，其中T为类的个数，t_m为第m类的样本数，得到目标函数：

$\min \underset{m}{\mathrm{\&Sigma;}}{R}_m^2-K\underset{m,n}{\mathrm{\&Sigma;}}{d}_{\mathrm{mn}}^2+C\underset{i}{\mathrm{\&Sigma;}}\underset{m}{\mathrm{\&Sigma;}}{\mathrm{\&xi;}}_i^m---\left(1\right)$

$\begin{array}{cccc}s.t.& {\left|\right|\mathrm{\&phi;}(x_i^m-c_m)\left|\right|}^2-R_m\&le;{\mathrm{\&xi;}}_i^m& {\mathrm{\&xi;}}_i^m\&GreaterEqual;0& \&ForAll;i,m\end{array}$

其中：R_m为第m类的半径，c_m第m类的球心，d_mn为第m类的球心与第n类球心的距离，m,n∈{1,…,T}，K为调节半径与分离间隔的参数，K≥0，为第m类的第i个样本，C为惩罚参数，用来控制最小包围球半径和错分程度的一个折衷。