CN113705635A - 基于自适应图的半监督宽度学习分类方法及设备 - Google Patents

Abstract

一种基于自适应图的半监督宽度学习分类方法及设备，分类方法包括以下步骤：先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。本发明联合优化基于稀疏自编码器的特征提取过程和自适应图结构学习过程进行分类，提高了算法的稳定性和性能。

Description

基于自适应图的半监督宽度学习分类方法及设备

技术领域

本发明属于机器学习领域，涉及一种基于自适应图的半监督宽度学习分类方法及设备。

背景技术

基于图的半监督学习方法是半监督学习中的一个研究热点。它的中心思想是探索数据点之间的成对亲和力，以便推断给定未标记数据的标签。它可以将全局数据集建模为一个图，其中顶点表示数据，边表示成对的相似性，较大的边权重表示两个数据点成为同一标签的概率较大。传统基于图的半监督学习方法分为两个阶段：1)构造亲和矩阵；2)推断未知数据的标签。其实质是基于流形正则化框架的标签传播，该框架利用图形的几何分布，将标记样本的信息传递给未标记样本。

宽度学习***是一种高效的增量学习***，它基于随机向量函数链接神经网络。其结构简单，由特征节点、增强节点和输出权值组成。特征节点和增强节点能够有效地从数据中提取特征，维护***对数据的有效性。输出权值将每个节点与目标矩阵联系起来。另外，为了保证宽度学习***的建模效率，可以通过伪逆的方法得到输出权值。除了输出权重，宽度学习***中的其他权重和偏差都是随机生成的。另外，在宽度学习***中加入了增量学习算法，使得网络在大范围扩展时可以快速重构，而不需要再训练过程。因此，宽度学习***结构非常适合在时变大数据环境中建模和学习。

目前，传统基于图的半监督学习方法只是简单地引入了流形正则化框架用于标签传播。将相似矩阵的构造和未知标签的推断看作两个独立的阶段，不能考虑相似矩阵与标签信息之间的相关性，并且相似矩阵在初始化之后并没有进行更新。而且直接通过输入数据进行分类学习，没有对输入数据进行深层的特征提取。这样处理并不准确，其结果也并不稳定，同时也不利于构建高效的迭代算法。

发明内容

本发明的目的在于针对上述现有技术中问题，提供一种基于自适应图的半监督宽度学习分类方法及设备，利用了相似矩阵与标签信息之间的相关性，对未知标签数据进行标签推断，并且根据局部距离为每个数据点分配自适应的和最优的邻域来学习数据相似矩阵，根据输入数据、特征矩阵和标签信息来不断更新学习相似矩阵，提高算法的稳定性和性能。

为了实现上述目的，本发明有如下的技术方案：

一种基于自适应图的半监督宽度学习分类方法，包括以下步骤：

先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。

作为本发明的一种优选方案，所述将输入数据进行随机权值映射，将映射后的特征存储在特征节点中的表达式如下：

式中，X为输入数据，权重W_ei和偏置β_ei为随机权重矩阵，

是一个线性变换；

所述通过相似的非线性特征映射将特征节点扩展到增强节点的表达式如下：

H_j＝ξ_j(ZⁿW_hj+β_hj),j＝1,2,...,m

式中，Zⁿ为输入数据的随机线性映射，权重W_hj和偏置β_hj是随机权重矩阵，ξ_j是一个非线性变换；

所述将特征节点和增强节点结合形成输入数据的特征映射矩阵的表达式如下：

A＝[Zⁿ|H^m]

式中，Zⁿ为输入数据的随机线性映射，H^m为由特征节点扩展的非线性特征映射。

作为本发明的一种优选方案，所述的输入数据取自给定半监督数据集{X∈R^{(l +u)*d}，Y∈R^(l+u)*c}，X被分为两部分，分别是已标记数据集

和未标记数据集

Y的前l行为Y_l，其余行都为0，其中l和u分别为已标记数据和未标记数据的数量，d为输入数据的维度，c为输入数据的种类数。

作为本发明的一种优选方案，所述的损失函数的表达式如下：

f_i＝a(x_i)β，i＝1，...l+u

S1＝1,S≥0

式中，a(x_i)是关于x_i的特征映射向量，β是输出系数，F是标签矩阵，f_i是关于x_i的标签向量，λ是权衡参数，θ表示对β的进一步约束，e_i是关于训练样本x_i的训练误差向量；C_i是正则化参数，用来表示训练误差最小化和边际距离最大化之间的权衡；γ表示对

的进一步约束；S是相似矩阵，L_s为图拉普拉斯矩阵，L_S＝D-(S^T+S)/2，D为对角矩阵。

作为本发明的一种优选方案，当S固定时，关于β的损失函数为：

f_i＝a(x_i)β，i＝1，...l+u

其无约束条件的拉格朗日形式为：

式中，Y为增强训练目标，其中前l行为已标记数据的标签，剩下的行都为0，C是对角矩阵，其中前l个对角元素为C_i，i＝1，...l，剩余的对角元素都为0。

作为本发明的一种优选方案，当β固定时，关于S的损失函数为：

f_i＝a(x_i)β,i＝1,...l+u

S1＝1,S≥0

对于每一个i，其无约束条件的拉格朗日形式为：

式中，η和β_i为拉格朗日乘子，

其中，

本发明还提出一种基于自适应图的半监督宽度学习分类***，包括：

特征映射矩阵获取模块，用于先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

损失函数获取模块，用于基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

迭代优化模块，用于对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。

本发明还提出一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述基于自适应图的半监督宽度学习分类方法的步骤。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述基于自适应图的半监督宽度学习分类方法的步骤。

相较于现有技术，本发明至少有如下的有益效果：首先通过基于宽度学习***的稀疏自编码器对输入数据进行了特征提取，先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵，确保了提取的特征具有稀疏性和代表性。在相似矩阵的学习中，基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数，这里根据局部距离为每个数据点分配自适应的和最优的邻域来学习数据相似矩阵，并且在学习相似矩阵的同时，对未知标签数据进行标签推断，保证相似矩阵与标签信息之间的相关性，实现根据输入数据、特征矩阵和标签信息来不断更新学习相似矩阵。在半监督分类学习中，根据局部最优解迭代更新相似矩阵和宽度学习的输出系数矩阵，提高了算法的稳定性和性能。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本发明提出的一种基于自适应图的半监督宽度学习分类方法，包括以下步骤：

给定半监督数据集{X∈R^(l+u)*d,Y∈R^(l+u)*c}，X被分为两部分，分别是已标记数据集

和未标记数据集

Y的前l行为Y_l，其余行都为0，其中l和u分别为已标记数据和未标记数据的数量，d为输入数据的维度，c为输入数据的种类数。

S1、先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

所述将输入数据进行随机权值映射，将映射后的特征存储在特征节点中的表达式如下：

式中，X为输入数据，权重W_ei和偏置β_ei为适当维度的随机权重矩阵，

通常是一个线性变换；

所述通过相似的非线性特征映射将特征节点扩展到增强节点的表达式如下：

H_j＝ξ_j(ZⁿW_hj+β_hj),j＝1,2,...,m

式中，Zⁿ为输入数据的随机线性映射，权重W_hj和偏置β_hj是适当维度的随机权重矩阵，ξ_j通常是一个非线性变换；

所述将特征节点和增强节点结合形成输入数据的特征映射矩阵的表达式如下：

A＝[Zⁿ|H^m]

式中，Zⁿ为输入数据的随机线性映射，H^m为由特征节点扩展的非线性特征映射。

S2、在基于自适应图的半监督宽度学习分类中，基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

所述的损失函数的表达式如下：

f_i＝a(x_i)β,i＝1,...l+u

S1＝1,S≥0

其中，β是输出系数，θ表示对‖β‖²的进一步约束，C_i是正则化参数，用来表示训练误差最小化和边际距离最大化之间的权衡，λ是权衡参数，F是标签矩阵，f_i是关于x_i的标签向量，a(x_i)是关于x_i的特征映射向量，e_i是关于训练样本x_i的训练误差向量，γ表示对

的进一步约束。S是相似矩阵，L_S是定义为图拉普拉斯矩阵，L_S＝D-(S^T+S)/2，D为对角矩阵。

当S固定时，关于β的损失函数为：

f_i＝a(x_i)β,i＝1,...l+u

进一步的，无约束条件的拉格朗日形式为：

其中，Y为增强训练目标，其中前l行为已标记数据的标签，剩下的行都为0，C是对角矩阵，其中前l个对角元素为C_i，i＝1，...l，剩余的对角元素都为0。

当β固定时，关于S的损失函数为：

f_i＝a(x_i)β，i＝1，...l+u

S1＝1，S≥0

进一步的，对于每一个i，无约束条件的拉格朗日形式为：

其中，η和β_i为拉格朗日乘子，

其中，

S3、采用迭代优化的方式对提出的目标函数进行优化，对于提出的损失函数，对每个变量求出局部最优解，进而进行迭代优化，同时设计迭代算法可高效完成半监督分类问题。

本发明还提出一种基于自适应图的半监督宽度学习分类***，包括：

特征映射矩阵获取模块，用于先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

损失函数获取模块，用于基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

迭代优化模块，用于对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。

本发明还提出一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述基于自适应图的半监督宽度学习分类方法的步骤。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述基于自适应图的半监督宽度学习分类方法的步骤。

所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明基于自适应图的半监督宽度学习分类方法。

所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，也可以是处理器、存储器。处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。存储器可用于存储计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于自适应图的半监督宽度学习分类***的各种功能。

实施例

利用本发明基于自适应图的半监督宽度学习分类方法进行分类并验证正确率：

步骤一：加载数据集{X,Y}，初始化特征节点和增强节点。

步骤二：利用X，通过相似矩阵的闭式解初始化S。

步骤三：根据L＝D-(S+S^T)/2初始化拉普拉斯矩阵L。

步骤四：计算X的特征映射矩阵A。

步骤五：根据拉普拉斯矩阵L和特征映射矩阵A，对β进行优化。

步骤六：采用CAN算法对S，L进行迭代更新。

步骤七：重复步骤五至步骤六，直到S，L，β收敛。

步骤八：根据f_i＝a(x_i)β,i＝1,...l+u计算分类结果。

步骤九：根据分类结果计算分类正确率(ACC)。

表1和表2是本发明基于自适应图的半监督宽度学习分类方法在公开数据集上的实验结果。在表1和表2中，最后一列是本发明对数据集进行半监督分类后的结果，而第三列是算法SS-ELM的结果，第四列是算法SS-HELM的结果，第五列是算法SS-BLS的结果。在这两个表中，对于每个数据集来说，最好的结果用粗体显示。

在5个公开的数据集上对算法进行测试，并与其他几种优秀的半监督分类算法进行比较，结果能够验证本发明基于自适应图的半监督宽度学习分类方法的有效性。

表1

表2

本发明基于自适应图的半监督宽度学习分类方法基于自适应图学习和宽度学习对数据进行半监督分类，首先基于宽度学习的稀疏自编码原理对输入数据进行特征提取，确保了提取的特征具有稀疏性和代表性，其次在相似矩阵的学习中，根据局部距离为每个数据点分配自适应的和最优的邻域来学习数据相似矩阵，并且在学习相似矩阵的同时，对未知标签数据进行标签推断，保证了相似矩阵与标签信息之间的相关性。最终根据输入数据、特征矩阵和标签信息来不断更新学习相似矩阵。在半监督分类学习中，根据局部最优解迭代更新相似矩阵和宽度学习***的输出系数矩阵，提高了算法的稳定性和性能。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims (9)

1.一种基于自适应图的半监督宽度学习分类方法，其特征在于，包括以下步骤：

先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。

2.根据权利要求1所述基于自适应图的半监督宽度学习分类方法，其特征在于，所述将输入数据进行随机权值映射，将映射后的特征存储在特征节点中的表达式如下：

式中，X为输入数据，权重W_ei和偏置β_ei为随机权重矩阵，

是一个线性变换；

所述通过相似的非线性特征映射将特征节点扩展到增强节点的表达式如下：

H_j＝ξ_j(ZⁿW_hj+β_hj)，j＝1，2，...，m

式中，Zⁿ为输入数据的随机线性映射，权重W_hj和偏置β_hj是随机权重矩阵，ξ_j是一个非线性变换；

所述将特征节点和增强节点结合形成输入数据的特征映射矩阵的表达式如下：

A＝[Zⁿ|H^m]

式中，Zⁿ为输入数据的随机线性映射，H^m为由特征节点扩展的非线性特征映射。

3.根据权利要求2所述基于自适应图的半监督宽度学习分类方法，其特征在于，所述的输入数据取自给定半监督数据集{X∈R^(l+u)*d，Y∈R^(l+u)*c}，X被分为两部分，分别是已标记数据集

和未标记数据集

Y的前l行为Y_l，其余行都为0，其中l和u分别为已标记数据和未标记数据的数量，d为输入数据的维度，c为输入数据的种类数。

4.根据权利要求1所述基于自适应图的半监督宽度学习分类方法，其特征在于，所述的损失函数的表达式如下：

f_i＝a(x_i)β，i＝1，...l+u

S1＝1，S≥0

式中，a(x_i)是关于x_i的特征映射向量，β是输出系数，F是标签矩阵，f_i是关于x_i的标签向量，λ是权衡参数，θ表示对β的进一步约束，e_i是关于训练样本x_i的训练误差向量；C_i是正则化参数，用来表示训练误差最小化和边际距离最大化之间的权衡；γ表示对

的进一步约束；S是相似矩阵，L_S为图拉普拉斯矩阵，L_S＝D-(S^T+S)/2，D为对角矩阵。

5.根据权利要求4所述基于自适应图的半监督宽度学习分类方法，其特征在于，当S固定时，关于β的损失函数为：

f_i＝a(x_i)β，i＝1，...l+u

其无约束条件的拉格朗日形式为：

式中，Y为增强训练目标，其中前1行为已标记数据的标签，剩下的行都为0，C是对角矩阵，其中前l个对角元素为C_i，i＝1，...l，剩余的对角元素都为0。

6.根据权利要求4所述基于自适应图的半监督宽度学习分类方法，其特征在于，当β固定时，关于S的损失函数为：

f_i＝a(x_i)β，i＝1，...1+u

S1＝1，S≥0

对于每一个i，其无约束条件的拉格朗日形式为：

式中，η和β_i为拉格朗日乘子，

其中，

7.一种基于自适应图的半监督宽度学习分类***，其特征在于，包括：

特征映射矩阵获取模块，用于先将输入数据进行随机权值映射，将映射后的特征存储在特征节点中，然后通过相似的非线性特征映射将特征节点扩展到增强节点，最后将特征节点和增强节点结合形成输入数据的特征映射矩阵；

损失函数获取模块，用于基于流行正则化框架的半监督学习，利用输入数据和输入数据的特征映射矩阵学习相似性矩阵，同时推断未知标签，得到损失函数；

迭代优化模块，用于对于提出的损失函数，对每个变量求出局部最优解，进行迭代优化，完成半监督分类。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时实现如权利要求1至6中任意一项所述基于自适应图的半监督宽度学习分类方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1至6中任意一项所述基于自适应图的半监督宽度学习分类方法的步骤。