CN105426923A - 一种半监督分类方法及*** - Google Patents

Abstract

本发明提供一种半监督分类方法及***，能够利用原带标号数据样本与无标号数据样本之间的空间结构信息，对无标号数据样本进行标号。所述方法包括：获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。本发明适用于机器学习技术领域。

Description

一种半监督分类方法及***

技术领域

本发明涉及机器学习技术领域，特别是指一种半监督分类方法及***。

背景技术

数据分类是机器学习的基本任务，是图像视觉分析、文本分析、语音识别、生物信号识别等领域的基础工作。数据分类，可分为两大类，即监督分类与半监督分类：监督分类是数据样本全部具有标号，半监督分类是部分数据样本具有标号，部分数据样本不具有标号。在实际中，无标号的数据比带标号的数据多得多，因此，从可应用的信息量角度可以看出，半监督分类在现实应用中有很强的需求。

目前，核学习，即基于核函数的学习方法，由于其对非线性问题的适应能力强的特点，核学习在机器学习的各个方面都有广泛地应用；然而，传统核学习是基于单个核函数的，对复杂的数据集合而言，对其特征的描述能力有限，且随着多源非结构化数据和多角度信息的出现，单一核函数对数据特征的描述与映射能力均有限。因此，多核学习被提出，多核学习是指将多个单一的核函数进行线性组合，而每个核函数能够对数据的特定的属性进行描述，以综合性地反映以及描述数据的特征，同时理论基础提供了多核函数的映射空间，即再生核希尔伯特空间，能够体系化地表征出映射之后的数据特征，从而有效地利用特征建立分类模型。

多核函数方法，在分类中表现出了泛化能力好，适应的数据集合广泛的特点；然而，就需求性更强的半监督分类领域而言，多核函数方法不能够直接利用无标号数据进行分类。

发明内容

本发明要解决的技术问题是提供一种半监督分类方法及***，以解决现有技术所存在的多核函数分类方法不能够直接利用无标号数据进行分类的问题。

为解决上述技术问题，本发明实施例提供一种半监督分类方法，包括：

获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

进一步地，所述获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵包括：

获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

进一步地，所述基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵包括：

给定M个核函数，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

对M个核矩阵的权值进行初始化；

对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K， $K={\mathrm{\Σ}}_{m=1}^M{d}_m{K}_m;$

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

进一步地，所述权值d中的元素d_m满足d_m≥0和||d||₁＝1，其中，

进一步地，所述根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数包括：

根据所述拉普拉斯矩阵和多核组合矩阵，建立最优化数学表达式P，所述最优化数学表达式P为：

$P=\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式中，d表示待求权值，集合D表示d的约束条件，β表示待求参数，集合B表示β的约束条件，L是拉普拉斯矩阵，K是多核组合矩阵且I是单位矩阵，Y是对角矩阵且对角元素由组成，y_i表示第i个带标号数据样本的标号值，l表示带标号数据样本的数目，J是单位矩阵和零矩阵组成且J＝[I0]，C是常数，γ_A和γ_I是表达式参数；

视权值d为固定值，根据二次规划方法，得到当前最优参数β；

在当前最优参数β下，再视权值d为变量，通过既约梯度方法得到权值d的更新方向参数s，并通过权值更新公式，更新每一个核矩阵的权值，所述权值更新公式为：

d:＝d+λs

式中，λ是步长；

根据获得的被更新的d，更新多核组合矩阵和最优化数学表达式P，并根据更新后的最优化数学表达式P重新获取当前的最优参数β及权值d，直至满足：

$\begin{array}{c}\left|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m\right|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 且 $t_m=-\frac{1}{2}{\mathrm{\β}}^{T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^{T}Y\mathrm{\β}$

其中，ε表示预设的阈值，m＝1,2,…,M依次取值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；

根据最终得到的最优参数β及权值d，得到参数α，并建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b,\mathrm{\α}={\mathrm{QJ}}^{T}Y\mathrm{\β},b=y_j-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x_j)$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。

本发明实施例还提供一种半监督分类***，包括：

拉普拉斯矩阵确定单元，用于获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

多核组合矩阵确定单元，用于基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

分类函数建立单元，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

进一步地，所述拉普拉斯矩阵确定单元包括：

图模型建立模块，用于获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

权值矩阵确定模块，用于确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

拉普拉斯矩阵确定模块，用于根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

进一步地，所述多核组合矩阵确定单元包括：

核矩阵确定模块，用于根据给定的M个核函数和获取到的数据样本，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

权值初始化模块，用于对M个核矩阵的权值进行初始化；

多核组合矩阵确定模块，用于对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K，

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

进一步地，所述权值d中的元素d_m满足d_m≥0和||d||₁＝1，其中，

进一步地，所述分类函数建立单元包括：

最优化数学表达式确定模块，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立最优化数学表达式P，所述最优化数学表达式P为：

$P=\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式中，d表示待求权值，集合D表示d的约束条件，β表示待求参数，集合B表示β的约束条件，L是拉普拉斯矩阵，K是多核组合矩阵且I是单位矩阵，Y是对角矩阵且对角元素由组成，y_i表示第i个带标号数据样本的标号值，l表示带标号数据样本的数目，J是单位矩阵和零矩阵组成且J＝[I0]，C是常数，γ_A和γ_I是表达式参数；

最优参数确定模块，用于在权值初始化模块的条件下，视权值d为固定值，应用二次规划法获得当前最优参数β；

权值更新模块，用于在当前最优参数β下，再视权值d为变量，通过既约梯度方法得到权值d的更新方向参数s，并通过权值更新公式，更新每一个核矩阵的权值，所述权值更新公式为：

d:＝d+λs

式中，λ是步长；

参数验证模块，用于根据获得的被更新的d，更新多核组合矩阵和最优化数学表达式P，并根据更新后的最优化数学表达式P，重新获取当前的最优参数β及权值d，直至满足：

$\begin{array}{c}\left|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m\right|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 且 $t_m=-\frac{1}{2}{\mathrm{\β}}^{T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^{T}Y\mathrm{\β}$

其中，ε表示预设的阈值，m＝1,2,…,M依次取值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；

分类函数建立模块，用于根据最终得到的最优参数β及权值d，得到参数α，并建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b,\mathrm{\α}={\mathrm{QJ}}^{T}Y\mathrm{\β},b=y_j-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x_j)$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。

本发明的上述技术方案的有益效果如下：

上述方案中，通过利用流形理论，建立表征所述数据样本流形结构的拉普拉斯矩阵，并通过多核函数，作用于获取到的数据样本，建立每个核函数的映射空间，同时通过核矩阵来表征每个映射空间下的数据样本特征，并以带约束的核组合权值对多个核矩阵进行组合，得到多核组合矩阵，所述多核组合矩阵用于综合性地表征映射空间下的数据样本特征，最后，再将拉普拉斯矩阵作用于半监督分类函数上，用于约束多核组合矩阵对数据样本的映射作用，使得半监督分类函数尽可能保持拉普拉斯矩阵所表征的原数据样本的流形结构，也就是说，所述半监督分类函数蕴含了原带标号数据样本与无标号数据样本之间的空间结构信息，从而能够对无标号数据样本的分类进行有效的预测，且能够提高分类预测的准确性和泛化性。

附图说明

图1为本发明实施例提供的半监督分类方法的流程图一；

图2为本发明实施例提供的半监督分类方法的流程图二；

图3为本发明实施例提供的获取到的数据样本；

图4为本发明实施例提供的基于数据样本的图模型；

图5为本发明实施例提供的半监督分类方法对无标号数据样本的标号结果示意图；

图6为本发明实施例提供的现有技术中只应用标号数据样本的多核函数的标号结果示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的多核函数分类方法不能够直接利用无标号数据进行分类的问题，提供一种半监督分类方法及***。

实施例一

参看图1所示，本发明实施例提供的一种半监督分类方法，包括：

S1:获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

S2:基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

S3:根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

本发明实施例所述的半监督分类方法，通过利用流形理论，建立表征所述数据样本流形结构的拉普拉斯矩阵，并通过多核函数，作用于获取到的数据样本，建立每个核函数的映射空间，同时通过核矩阵来表征每个映射空间下的数据样本特征，并以带约束的核组合权值对多个核矩阵进行组合，得到多核组合矩阵，所述多核组合矩阵用于综合性地表征映射空间下的数据样本特征，最后，再将拉普拉斯矩阵作用于半监督分类函数上，用于约束多核组合矩阵对数据样本的映射作用，使得半监督分类函数尽可能保持拉普拉斯矩阵所表征的原数据样本的流形结构，也就是说，所述半监督分类函数蕴含了原带标号数据样本与无标号数据样本之间的空间结构信息，从而能够对无标号数据样本的分类进行有效的预测，且能够提高分类预测的准确性和泛化性。

本发明实施例中，拉普拉斯矩阵对半监督分类函数的约束作用是一种流形正则方法，通过获取表征所述数据样本流形结构的拉普拉斯矩阵，令多核函数所构造的半监督分类函数所在的映射空间，在映射数据上，具备原数据样本的流形结构，因此，所建立的半监督分类函数能够实现半监督分类任务。

在前述半监督分类方法的具体实施方式中，进一步地，所述获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵包括：

获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

本发明实施例中，例如，所述数据样本X包括：带标号的样本集合 和无标号的样本集合其中，x_i表示数据样本X中第i带标号数据样本，y_i表示元素x_i对应的标号值，x_j表示数据样本X中第j无标号数据样本，l+u＝n，l表示带有标号y的数据样本的个数，u表示无标号的数据样本的个数，n为全体数据样本的数目，y＝{-1,+1}，y＝-1表示负类，y＝+1表示正类。参看图2所示，所示数据样本包括：图像、数据等。

本发明实施例中，根据给定的全体数据样本X，可以应用k近邻方法，获得每一个数据样本的k邻域，该邻域包含了与当前数据样本在欧氏距离下最近的前k个样本点，从而构建图模型，所述图模型能够反映出数据样本的空间结构。

本发明实施例中，假设图模型中数据样本点与数据样本点之间有边相连，可以应用二值化方法获得各邻域范围的各个数据样本之间的权值，具体的，通过二值化方法约定每一条边的权值为1，遍历所有数据样本点，得到图模型的权值矩阵W，进一步，通过公式L＝D-W，得到表征数据样本的流形结构信息的拉普拉斯矩阵L，所述拉普拉斯矩阵是各邻域范围内各个数据样本之间的权值的特征化形式，所述拉普拉斯矩阵L用于约束多核组合矩阵对数据的映射作用，使得在多核函数映射的空间中，数据样本的流形结构尽可能保持一致，以保证分类函数做半监督分类时，数据样本原本的流形特性能够提供有效的信息，其中，D是对角矩阵，其对角元素d_ii满足d_ii＝∑_jw_ij，w_ij表示权值矩阵W中第i行、第j列的元素，d_ii表示对角矩阵D中第i行、第i列的元素。

本发明实施例中，例如，给定一组二维空间的数据样本X，共194个，其中26个带有正负两类标号，其余无标号，记带标号的为无标号的为数据样本示意图如图3所示。对数据样本X进行k近邻计算，例如，k取3，获得基于全体数据样本的图模型，如图4所示；同时以二值化方法获得各边的权值，进而获得拉普拉斯矩阵L＝D-W。

在前述半监督分类方法的具体实施方式中，进一步地，所述基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵包括：

给定M个核函数，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

对M个核矩阵的权值进行初始化；

对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K， $K={\mathrm{\Σ}}_{m=1}^M{d}_m{K}_m;$

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

本发明实施例中，给定M个核函数，所述核函数可以为高斯核函数，每个核函数具有不同的参数值，M个参数值记为m＝1,2,…,M依次取值，各核函数作用于给定数据样本X，获得M个矩阵，记为核矩阵对任意核矩阵K_m，并对M个核矩阵的权值进行初始化，d表示核组合权值，是一个矩阵，d_m表示第m个核矩阵K_m的权值，d_m满足任意d_m≥0和||d||₁＝1，其中，并将M个核矩阵进行权值为d的线性组合，获得多核组合矩阵 $K(K={\mathrm{\Σ}}_{m=1}^M{d}_m{K}_m).$

本发明实施例中，通过给定的M个核函数，得到每个核函数的映射空间，并对M个核矩阵进行权值为d的线性组合，获得多核组合矩阵K，所述多核组合矩阵K综合性地表征映射空间下的数据样本特征。

本发明实施例中，例如，给定12个高斯核函数，其参数σ_m以小到大，选择为σ_m＝[0.01,0.05,0.1,0.5,1,2,5,7,10,12,15,20]，并将数据样本X代入12个高斯核函数，获得12个核矩阵并初始化12个核矩阵权值对权值d进行初始化，例如，可以令d_m＝1/12，则初始化的多核组合矩阵是

本发明实施例中，为了建立半监督分类函数，先通过式(1)建立最优数学表达式P：

$P=\underset{\mathrm{\α},b,d,\mathrm{\ξ}}{min}\frac{{\mathrm{\γ}}_A}{2}{\mathrm{\α}}^{T}K\mathrm{\α}+\frac{{\mathrm{\γ}}_I}{2}{\mathrm{\α}}^{T}KLK\mathrm{\α}+{\mathrm{C\Σ}}_{i=1}^l{\mathrm{\ξ}}_i$

$\begin{array}{cc}s.t.& y_i\left({\mathrm{\Σ}}_{j=1}^{l+u}{\mathrm{\α}}_{j}K\right(x_i,x_j)+b)\≥1-{\mathrm{\ξ}}_i,{\mathrm{\ξ}}_i\≥0,i=1...l\end{array}$ 式(1)

$K={\mathrm{\Σ}}_{m=1}^M{d}_m{K}_m$

${\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0$

式(1)中，C是常数，s.t.表示约束条件，ξ_i表示允许误差阈值，γ_A和γ_I是预设的表达式参数，α，d和b为待求参数，α是一个向量，α_j为α中的元素。为了求解α，d和b，通过拉格朗日乘子法，获得最优数学表达式P的对偶数学表达式g(β,d)，该对偶数学表达式是一个二次规划表达式，具有有效的求解方法，该对偶数学表达式g(β,d)表示为式(2)：

$\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1式(2)

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式(2)中，I是单位矩阵，B和D表示集合，分别是参数β与核组合权值d的约束条件，Y是对角矩阵且对角元素由组成，J是单位矩阵和零矩阵组成且J＝[I0]，y_i表示第i个带标号数据样本的标号值，此时式(1)中的待求参数α，d和b被转化为式(2)中的β，d和b，β_i是参数β中的元素；

对d进行初始化后，对式(2)进行变换，得到先固定d，待求解β的最优化数学表达式P，表示为式(3)：

Q＝(γ_AI+γ_ILK)^-1式(3)

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

应用二次规划方法对式(3)进行求解，得到当前最优参数β，记为β^*；

将β^*代入式(2)所表达的对偶数学表达式g(β,d)，对g(β,d)采用梯度下降方法，确定d的更新方向，为确保更新d的时候，使得d的范围不超过约束集合D，需采用既约梯度方法，假设d的更新方向参数为s，v表示当前核矩阵的权值中最大元素的下标，则更新方向参数s需满足式(4)：

$s=\left\{\begin{array}{c}{s}_m=\left\{\begin{array}{cc}-t_m^r& t_m^r\≤0\\ -d_m{t}_m^r& t_m^r>0\end{array}\right.\\ s_v=-{\Σ}_{m\≠v}{s}_m\end{array}\right.,t_m^r=\left\{\begin{array}{cc}{t}_m-t_v& m\≠v\\ 0& m=v\end{array}\right.,t_m=-\frac{1}{2}{\mathrm{\β}}^{*T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^T{\mathrm{Y\β}}^{*}$ 式(4)

根据式(4)求出更新方向参数s，再通过权值更新公式d:＝d+λs来更新M个核矩阵的权值d，其中，λ是步长，更新权值d后，同时更新多核组合矩阵与式(3)所表达的最优化数学表达式P，并根据表达式P再次通过二次规划方法重新获得当前的最优参数β，记为β^*，并根据重新获得的最优参数β^*继续更新权值d，参数β与权值d的求解过程构成了迭代计算，这种迭代计算重复进行，直到满足式(5)：

$\begin{array}{c}\left|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m\right|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 式(5)

式(5)中，t_m＝-β^TYJ(K_mQ-γ_IKQLK_mQ)J^TYβ/2，m＝1,2,…,M依次取值，ε是预设的很小的阈值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；再根据获得的当前的最优参数β和权值d，得到参数α及参数b，其中，α＝QJ^TYβ，

最后，根据得到参数α、d、b，建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。

本发明实施例中，对任意无标号的数据样本x，通过判断半监督分类函数f(x)的符号，确定x的类别是正类或是负类。

本发明实施例中，针对数据样本X，其中，26个带有正负两类标号，其余168个为无标号的数据样本，取C＝100，建立半监督分类函数f(x)，即将168个无标号数据样本代入函数f(x)中，并以f(x)输出的正负符号作为判断当前数据样本是属于正类还是负类，分类结果如图5所示。

本发明实施例中，同时对只能应用26个带标号数据样本的多核函数的分类方法进行仿真计算，对168个无标号的数据样本进行标号处理，分类结果如图6所示。比较图5和图6，本发明提供的半监督分类方法，能够根据给定标号样本的标号信息和全体数据样本的流形结构信息，给出更符合视觉感知意义下的分类结果。也就是，本发明实施例建立的半监督分类函数是映射空间中数据特征的一种有约束组合，所述半监督分类函数蕴含了原带标号数据与无标号数据之间的空间结构信息，为无标号数据提供了有益有效的标号预测作用。

实施例二

本发明还提供一种半监督分类***的具体实施方式，由于本发明提供的半监督分类***与前述半监督分类方法的具体实施方式相对应，所建立的半监督分类***可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述半监督分类方法具体实施方式中的解释说明，也适用于本发明提供的半监督分类***的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

本发明实施例还提供一种半监督分类***，包括：

拉普拉斯矩阵确定单元，用于获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

多核组合矩阵确定单元，用于基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

分类函数建立单元，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

本发明实施例所述的半监督分类***，通过利用流形理论，建立表征所述数据样本流形结构的拉普拉斯矩阵，并通过多核函数，作用于获取到的数据样本，建立每个核函数的映射空间，同时通过核矩阵来表征每个映射空间下的数据样本特征，并以有约束的核组合权值对多个核矩阵进行组合，得到多核组合矩阵，所述多核组合矩阵用于综合性地表征映射空间下的数据样本特征，最后，再将拉普拉斯矩阵作用于半监督分类函数上，用于约束多核组合矩阵对数据样本的映射作用，使得半监督分类函数尽可能保持拉普拉斯矩阵所表征的原数据样本的流形结构，也就是说，所述半监督分类函数蕴含了原带标号数据样本与无标号数据样本之间的空间结构信息，从而能够对无标号数据样本的分类进行有效的预测，且能够提高分类预测的准确性和泛化性。

在前述半监督分类***的具体实施方式中，进一步地，所述拉普拉斯矩阵确定单元包括：

图模型建立模块，用于获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

权值矩阵确定模块，用于确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

拉普拉斯矩阵确定模块，用于根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

在前述半监督分类***的具体实施方式中，进一步地，所述多核组合矩阵确定单元包括：

核矩阵确定模块，用于根据给定的M个核函数和获取到的数据样本，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

权值初始化模块，用于对M个核矩阵的权值进行初始化；

多核组合矩阵确定模块，用于对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K，

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

在前述半监督分类***的具体实施方式中，进一步地，所述权值d中的元素d_m满足d_m≥0和||d||₁＝1，其中，

在前述半监督分类***的具体实施方式中，进一步地，所述分类函数建立单元包括：

最优化数学表达式确定模块，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立最优化数学表达式P，所述最优化数学表达式P为：

$P=\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式中，d表示待求权值，集合D表示d的约束条件，β表示待求参数，集合B表示β的约束条件，L是拉普拉斯矩阵，K是多核组合矩阵且I是单位矩阵，Y是对角矩阵且对角元素由组成，y_i表示第i个带标号数据样本的标号值，l表示带标号数据样本的数目，J是单位矩阵和零矩阵组成且J＝[I0]，C是常数，γ_A和γ_I是表达式参数；

最优参数确定模块，用于在权值初始化模块的条件下，视权值d为固定值，应用二次规划法获得当前最优参数β；

权值更新模块，用于在当前最优参数β下，再视权值d为变量，通过既约梯度方法得到权值d的更新方向参数s，并通过权值更新公式，更新每一个核矩阵的权值，所述权值更新公式为：

d:＝d+λs

式中，λ是步长；

参数验证模块，用于根据获得的被更新的d，更新多核组合矩阵和最优化数学表达式P，并根据更新后的最优化数学表达式P，重新获取当前的最优参数β及权值d，直至满足：

$\begin{array}{c}\left|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m\right|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 且 $t_m=-\frac{1}{2}{\mathrm{\β}}^{T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^{T}Y\mathrm{\β}$

其中，ε表示预设的阈值，m＝1,2,…,M依次取值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；

分类函数建立模块，用于根据最终得到的最优参数β及权值d，得到参数α，并建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b,\mathrm{\α}={\mathrm{QJ}}^{T}Y\mathrm{\β},b=y_j-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x_j)$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种半监督分类方法，其特征在于，包括：

获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

2.根据权利要求1所述的半监督分类方法，其特征在于，所述获取数据样本，确定表征所述数据样本流形结构的拉普拉斯矩阵包括：

获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

3.根据权利要求1所述的半监督分类方法，其特征在于，所述基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵包括：

给定M个核函数，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

对M个核矩阵的权值进行初始化；

对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K， $K={\mathrm{\Σ}}_{m=1}^M{d}_m{K}_m;$

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

4.根据权利要求3所述的半监督分类方法，其特征在于，所述权值d中的元素d_m满足d_m≥0和‖d‖₁＝1，其中，

5.根据权利要求1所述的半监督分类方法，其特征在于，所述根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数包括：

根据所述拉普拉斯矩阵和多核组合矩阵，建立最优化数学表达式P，所述最优化数学表达式P为：

$P=\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式中，d表示待求权值，集合D表示d的约束条件，β表示待求参数，集合B表示β的约束条件，L是拉普拉斯矩阵，K是多核组合矩阵且I是单位矩阵，Y是对角矩阵且对角元素由组成，y_i表示第i个带标号数据样本的标号值，l表示带标号数据样本的数目，J是单位矩阵和零矩阵组成且J＝[I0]，C是常数，γ_A和γ_I是表达式参数；

视权值d为固定值，根据二次规划方法，得到当前最优参数β；

在当前最优参数β下，再视权值d为变量，通过既约梯度方法得到权值d的更新方向参数s，并通过权值更新公式，更新每一个核矩阵的权值，所述权值更新公式为：

d:＝d+λs

式中，λ是步长；

根据获得的被更新的d，更新多核组合矩阵和最优化数学表达式P，并根据更新后的最优化数学表达式P重新获取当前的最优参数β及权值d，直至满足：

$\begin{array}{c}|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 且 $t_m=-\frac{1}{2}{\mathrm{\β}}^{T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^{T}Y\mathrm{\β}$

其中，ε表示预设的阈值，m＝1,2,…,M依次取值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；

根据最终得到的最优参数β及权值d，得到参数α，并建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b,$ α＝QJ^TYβ， $b=y_j-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x_j)$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。

6.一种半监督分类***，其特征在于，包括：

拉普拉斯矩阵确定单元，用于从获取数据样本中，确定表征所述数据样本流形结构的拉普拉斯矩阵，所述数据样本包括：带标号数据样本和无标号数据样本；

多核组合矩阵确定单元，用于基于所述数据样本，得到表征多核函数组合的映射空间下的数据样本特征的多核组合矩阵；

分类函数建立单元，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立半监督分类函数，为所述无标号的数据样本进行标号。

7.根据权利要求6所述的半监督分类***，其特征在于，所述拉普拉斯矩阵确定单元包括：

图模型建立模块，用于获取每一个数据样本的邻域范围，得到基于全体数据样本的图模型，所述图模型用于反映所述数据样本的空间结构；

权值矩阵确定模块，用于确定各邻域范围内各个数据样本之间的权值，该权值度量两两数据样本之间的近邻程度，得到所述图模型的权值矩阵；

拉普拉斯矩阵确定模块，用于根据所述权值矩阵得到表征所述数据样本流形结构的拉普拉斯矩阵。

8.根据权利要求6所述的半监督分类***，其特征在于，所述多核组合矩阵确定单元包括：

核矩阵确定模块，用于根据给定的M个核函数和获取到的数据样本，将各核函数作用于获取到的数据样本，得到每个核函数的映射空间，并通过M个核矩阵来表征每个映射空间下的数据样本特征，m＝1,2,…,M依次取值；

权值初始化模块，用于对M个核矩阵的权值进行初始化；

多核组合矩阵确定模块，用于对M个核矩阵进行权值为d的线性组合，得到多核组合矩阵K，

其中，d表示核组合权值，d_m表示第m个核矩阵K_m的权值。

9.根据权利要求8所述的半监督分类***，其特征在于，所述权值d中的元素d_m满足d_m≥0和‖d‖₁＝1，其中，

10.根据权利要求8所述的半监督分类***，其特征在于，所述分类函数建立单元包括：

最优化数学表达式确定模块，用于根据所述拉普拉斯矩阵和多核组合矩阵，建立最优化数学表达式P，所述最优化数学表达式P为：

$P=\underset{d\∈D}{min}\underset{\mathrm{\β}\∈B}{max}g(\mathrm{\β},d)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i-\frac{1}{2}{\mathrm{\β}}^T{\mathrm{YJKQJ}}^{T}Y\mathrm{\β}$

Q＝(γ_AI+γ_ILK)^-1

$B=\left\{\mathrm{\β}\right|{\mathrm{\Σ}}_{i=1}^l{\mathrm{\β}}_i{y}_i=0,0\≤{\mathrm{\β}}_i\≤C,\∀i\}$

$D=\left\{d\right|{\mathrm{\Σ}}_{m=1}^M{d}_m=1,d_m\≥0,\∀m\}$

式中，d表示待求权值，集合D表示d的约束条件，β表示待求参数，集合B表示β的约束条件，L是拉普拉斯矩阵，K是多核组合矩阵且I是单位矩阵，Y是对角矩阵且对角元素由组成，y_i表示第i个带标号数据样本的标号值，l表示带标号数据样本的数目，J是单位矩阵和零矩阵组成且J＝[I0]，C是常数，γ_A和γ_I是表达式参数；

最优参数确定模块，用于在权值初始化模块的条件下，视权值d为固定值，应用二次规划法获得当前最优参数β；

权值更新模块，用于在当前最优参数β下，再视权值d为变量，通过既约梯度方法得到权值d的更新方向参数s，并通过权值更新公式，更新每一个核矩阵的权值，所述权值更新公式为：

d:＝d+λs

式中，λ是步长；

参数验证模块，用于根据获得的被更新的d，更新多核组合矩阵和最优化数学表达式P，并根据更新后的最优化数学表达式P，重新获取当前的最优参数β及权值d，直至满足：

$\begin{array}{c}|\underset{d_m>0}{\min }{t}_m-\underset{d_m>0}{\max }{t}_m|\≤\mathrm{\ϵ}\\ t_{\mathrm{\μ}}\≥\underset{d_m>0}{\max }{t}_m,d_{\mathrm{\μ}}=0\end{array}$ 且 $t_m=-\frac{1}{2}{\mathrm{\β}}^{T}YJ(K_{m}Q-{\mathrm{\γ}}_I{\mathrm{KQLK}}_{m}Q)J^{T}Y\mathrm{\β}$

其中，ε表示预设的阈值，m＝1,2,…,M依次取值，M表示核矩阵的个数，K_m表示第m个核矩阵，d_m表示第m个核矩阵的权值，t_m是相对应于d_m>0的计算结果，若d_m＝0，另记为d_μ以示区别，此时相对应的计算结果记为t_μ；

分类函数建立模块，用于根据最终得到的最优参数β及权值d，得到参数α，并建立半监督分类函数f(x)：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x)+b,$ α＝QJ^TYβ， $b=y_j-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{\mathrm{\Σ}}_{m=1}^M{d}_m{k}_m(x_i,x_j)$

式中，x表示的无标号的数据样本，α_i表示参数α中的元素，n表示数据样本的数目，k_m表示第m个核函数，y_j表示第j个带标号数据样本的标号值且下标j对应的同一下标的β_j在(0,C)范围之间，x_i表示第i个数据样本，x_j表示第j个带标号数据样本。