CN109829472A - 基于概率近邻的半监督分类方法 - Google Patents

Abstract

本公开涉及一种基于概率近邻的半监督分类方法，包括准备数据集、对数据集进行预处理、构造概率近邻矩阵S、将概率转移矩阵P初始化为概率近邻矩阵S、在原始数据集上进行标签传播、更新、检查收敛、得到分类结果等步骤。该方法解决了现有的基于图的半监督分类中，相似度图的构建不能很好地反应实际情况、分类不准确的问题，本公开的分类方法能更贴近实际情况，使分类结果更为准确。

Description

基于概率近邻的半监督分类方法

技术领域

本公开涉及数据分类方法，具体地讲，涉及一种基于概率近邻的半监督分类方法。

背景技术

现有的数据分类方法包括有监督分类、半监督分类、无监督分类等方法。其中监督分类方法中需要大量的已标记数据来训练模型，限制了其应用场景；无监督分类不需要数据的类别信息，应用广泛，但由于缺乏类别信息导致分类效果不好。半监督因只需少量的已标记的数据，获取成本低，又能通过学习大量的未标记数据的数据分布而得到较好的分类效果，因而具有广泛的应用场景。

基于图的半监督分类是半监督分类中一个重要的分支，由于充分利用了数据之间的关系，往往取得较好的效果，得到广泛的关注。在这些方法中，数据之间的关系体现在相似度图中，又由于图结构与矩阵有一一对应的关系，所以相似度图能用相似度矩阵来表示，同时该矩阵可以进一步转化为数据之间进行标签传播的概率转移矩阵，进而利用带标记数据的类别信息进行标签传播，得到分类结果。

然而，目前的基于图的半监督分类方法中，相似度图往往由K-近邻(KNN)或ε-近邻的方法构造，在构造图的过程中，只是使用了数据的属性特征，并没有使用到已标记数据的类别信息，得到的相似度图不能很好地反应实际情况，分类结果也较不准确。

发明内容

针对上述问题，本公开提出了一种基于概率近邻的半监督分类方法，该方法解决了现有的基于图的半监督分类中，相似度图的构建不能很好地反应实际情况、分类不准确的问题，本公开的分类方法能更贴近实际情况，使分类结果更为准确。

具体的，本公开提出了一种基于概率近邻的半监督分类方法，包括：

S100、准备原始数据集，所述原始数据集包括原始数据及其匹配的标签，原始数据的特征通过数据属性来描述，原始数据包括已标记数据和未标记数据两部分；

S200、对步骤S100准备的数据集进行预处理，得到已标记数据的标签指示向量矩阵V_L；

S300、构造原始数据集的概率近邻矩阵S；

S400、构造原始数据集的类别信息矩阵F和概率转移矩阵P，将概率转移矩阵P初始化为所述步骤S300中得到的概率近邻矩阵S；

S500、基于步骤S400中初始化后的概率转移矩阵P，在原始数据集上进行标签传播，得到新的类别信息矩阵F’；

S600、使用已标记数据的标签指示向量矩阵V_L对标签传播后的新的类别信息矩阵F’的已标记数据矩阵F_L进行更新，防止标签信息的污染；

S700、检查步骤S500中得到的新的类别信息矩阵F’是否收敛，如果新的类别信息矩阵F’已经收敛不再变化，进入步骤S800，否则，返回步骤S500；

S800、通过收敛之后的新的类别信息矩阵F’得到原始数据集的分类结果。

与现有技术相比，本公开具有下述有益技术效果：

(1)本公开的分类方法在构图时增加使用数据的类别信息来计算两个数据点之间的相似度，构建的相似度图的能很好地反应数据的实际情况，相比现有的半监督分类方法提高了数据分类的准确率；

(2)本公开的分类方法定义了一个概率近邻矩阵，将构图问题看作是一个概率问题，使分类结果更为准确。

附图说明

图1表示本公开的基于概率近邻的半监督分类方法的流程图；

图2表示基于现有KNN方法构造的概率转移矩阵的取值示意图；

图3表示本公开的方法构造的概率转移矩阵的取值示意图；

图4表示使用现有KNN方法与本公开的分类方法对多种不同数据集进行分类的准确率对比示意图。

具体实施方式

以下结合附图1说明本公开的基于概率近邻的半监督分类方法的具体流程。

在一个实施例中，提供了一种基于概率近邻的半监督分类方法，包括：

S100、准备原始数据集，所述原始数据集包括原始数据及其匹配的标签，原始数据的特征通过数据属性来描述，原始数据包括已标记数据和未标记数据两部分；

S200、对步骤S100准备的数据集进行预处理，得到已标记数据的标签指示向量矩阵V_L；

S300、构造原始数据集的概率近邻矩阵S；

S400、构造原始数据集的类别信息矩阵F和概率转移矩阵P，将概率转移矩阵P初始化为所述步骤S300中得到的概率近邻矩阵S；

S500、基于步骤S400中初始化后的概率转移矩阵P，在原始数据集上进行标签传播，得到新的类别信息矩阵F’；

S600、使用已标记数据的标签指示向量矩阵V_L对标签传播后的新的类别信息矩阵F’的已标记数据矩阵F_L进行更新，防止标签信息的污染；

S700、检查步骤S500中得到的新的类别信息矩阵F’是否收敛，如果新的类别信息矩阵F’已经收敛不再变化，进入步骤S800，否则，返回步骤S500；

S800、通过收敛之后的新的类别信息矩阵F’得到原始数据集的分类结果。

在该实施例中，步骤S600所述的标签信息污染是指，步骤S500处理后，已标记数据的标签可能发生更改，导致已标记数据的标签发生错误，称为标签信息污染。

在该实施例中，详细说明了本公开提出的分类方法的执行步骤，包括准备数据集、对数据集进行预处理、构造概率近邻矩阵S、将概率转移矩阵P初始化为概率近邻矩阵S、在原始数据集上进行标签传播、更新、检查收敛、得到分类结果等步骤。本公开的方法能更贴近数据分类的实际情况，使分类结果更为准确。

在一个优选的实施例中，所述步骤S200具体包括：

S201、将原始数据集定义为X∈R^n*d，其中R^n*d代表一个n行d列的矩阵，n是数据点的个数，d是数据点的属性个数；定义已标记数据矩阵为未标记数据矩阵为其中n₁为已标记数据点的个数，n₂为未标记数据点的个数，n＝n₁+n₂；

S202、根据已标记数据对应的标签构造已标记数据的标签指示向量矩阵：

根据原始数据集已标记数据对应的标签构造标签指示向量矩阵V∈R^n*c，其中n是数据的个数，c是数据类别的个数，该标签指示向量矩阵V的第i行是第i个数据的标签指示向量，如果第i个数据点的类别是j，那么该行的第j个元素为1，该行其余数据为0；按一定比例从原始数据集中抽选部分数据点，并以抽选的数据点的标签顺序将标签指示向量矩阵V中的对应行组成矩阵作为已标记数据的标签指示向量矩阵。

在该实施例中，对步骤S200中如何进行数据集进行预处理、得到已标记数据的标签指示向量矩阵V_L进行了具体说明。所述步骤S202中的选择比例可以根据实际情况，从原始数据及中抽选5％-10％的数据作为已标记数据构造V_L，剩余的作为未标记数据。在本公开后面的实验中，以10％的比例进行选取来进行了实验。

在一个优选的实施例中，所述步骤S300具体包括：

S301、定义关于数据的增广矩阵A∈R^n*(d+c)，d是数据维度、表示数据属性的个数，c表示数据类别的个数，n是数据点的个数，A＝[X，V]；

S302、定义D∈R^n*n作为数据点之间的相似度矩阵，以欧氏距离作为测度计算出数据点i和j之间的相似性令作为矩阵D中第i行第j列的具体数值，将矩阵D按行升序排列，x_i表示原始数据集X的第i行，x_j表示原始数据集X的第j行；

S303、定义原始数据集的概率近邻矩阵为S∈R^n*n，S是n*n的矩阵，S矩阵中第i行第j列的值S_i，j代表数据点i和数据点j成为概率近邻的可能性，定义k为近邻数，根据K-近邻(KNN)方法，将矩阵D按行选取前k个，得到K-近邻，然后在K-近邻的基础上构造概率近邻，具体为：定义p(i，k)为数据点i和它的第k个近邻之间成为概率近邻的概率，由公式得到；

再通过公式进行赋值，S(i，k)代表S矩阵中第i个数据点的第k个近邻的取值，将S矩阵中未赋值的元素赋值为0，得到赋值后的概率近邻矩阵S；其中代表矩阵D中第j行第(k+1)列的具体数值，是矩阵D中第i行第j列的具体数值，是矩阵D中第i行第1列的具体数值，n是数据点的个数，X表示原始数据集。

在该实施例中，对步骤S300中如何构造原始数据集的概率近邻矩阵S的具体方法进行了展开说明，其中在构图时增加使用数据的类别信息来计算两个数据点之间的相似度，并定义了一个概率近邻矩阵，将构图问题看作是一个概率问题来解决，使得分类方法更贴近实际情况，使分类结果更为准确。

在该实施例中，通过数据的局部特性就能取得很好的效果，所述可以将步骤S303中k近邻数的取值选择为5～20。

在一个优选的实施例中，所述步骤S400具体包括：

构造原始数据集的类别信息矩阵F：F⁽⁰⁾＝[F_L，0]，F⁽⁰⁾代表初始化的F矩阵：

构造原始数据集的概率转移矩阵P：将概率转移矩阵P初始化为所述步骤S300中得到的赋值后的概率近邻矩阵S，有：P⁽⁰⁾＝S；其中，P∈R^n*n是概率转移矩阵，P⁽⁰⁾代表初始化的P矩阵，P_i，j表示P矩阵中第i行第j列的数值，表示第i个数据点将以概率P_i，j传播给第j个数据点。

在一个优选的实施例中，所述步骤S500具体包括：

通过公式F’^(t+1)＝P*F’^(t)进行标签传播，其中上标t表示迭代次数，F^(t)表示第t次迭代过程得到的F’矩阵，F’^(t+1)表示第t+1次迭代过程得到的F’矩阵，上式表示从第t次到第t+1次的标签传播过程，其中当t＝0时，F’^(t)表示原始的类别信息矩阵F。

在该实施例中，对标签传播的具体过程进行了说明，在原始类别信息矩阵F的基础上结合概率转移矩阵进行多次迭代，以根据已标记数据的标签对未标记的数据进行进行标签传播，对其进行分类。

在一个优选的实施例中，所述步骤S600具体包括：

F_L＝V_L，每次迭代标签传播结束后将已标记数据F_L重新赋值为V_L，F_L表示类别信息矩阵F的已标记数据矩阵，V_L表示已标记数据的标签指示向量矩阵。

在该实施例中，是为了防止通过步骤S500的处理后，已标记数据的标签被污染，因此需要进行重新赋值。

在一个优选的实施例中，所述步骤S800中：

收敛之后的新的类别信息矩阵F’每一行数据表示该数据的类别，如果F_ij值为1，则第i个数据点的类别为j，从而从F’矩阵中能获得每个数据对应的类别，得到原始数据集的分类结果。

以上是对本公开的基于概率近邻的半监督分类方法的详细说明，根据该方法对数据进行分类，能更贴近实际情况，使分类结果更为准确。

实验：

为了验证本公开提出的基于概率近邻的半监督分类方法相比现有基于KNN的分类方法的优点，进行了实验比较验证。

第一个实验中，采用的是双月型数据集，双月型数据集是现有公知的数据集类型，可以根据实际需要选取数据点个数，在本实验中选取的双月型数据点个数为400。本实验中选取数据集的10％作为已标记数据构造V_L，剩余的作为未标记数据。

图2体现了基于现有KNN方法构造的概率转移矩阵的取值，图3体现了本发明方法构造的概率转移矩阵的取值。图2和图3是两种方法在同一数据集上生成的概率转移矩阵的取值，图中点灰度代表了不同节点之间成为邻居的概率值，从结果上可以看出，这两个方法生成的概率转移矩阵中非零元素占的比例都很小，因此对应的图结构都是比较稀疏的。不同之处在于：在图2中，非零元素对应的灰度相同，因此KNN方法中，近邻点具有相同的标签传播概率，跟实际情况不符；而在图3中，非零元素对应的灰度不同，近邻点的标签传播概率不同，更符合实际情况，表达数据之间的相互关系。

第二个实验中，针对现有的多种不同的数据集(如图4横坐标所示)，采用KNN+标签传播(KNN+LP)的方法进行数据分类，以及本发明的方法PNN+标签传播(PNN+LP)的方法进行了数据分类，用图4对比表示了两种方法在不同数据集上分类结果的准确度，从图4中可以发现，采用本公开的分类方法(PNN+LP)得到的分类结果要优于现有技术，分类的准确率更高。

综上，本公开提出的方法解决了现有的基于图的半监督分类中，相似度图的构建不能很好地反应实际情况、分类不准确的问题，相比现有技术而言，本公开的分类方法能更贴近实际情况，使分类结果更为准确。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (8)

1.一种基于概率近邻的半监督分类方法，包括：

S100、准备原始数据集，所述原始数据集包括原始数据及其匹配的标签，原始数据的特征通过数据属性来描述，原始数据包括已标记数据和未标记数据两部分；

S200、对步骤S100准备的数据集进行预处理，得到已标记数据的标签指示向量矩阵V_L；

S300、构造原始数据集的概率近邻矩阵S；

S400、构造原始数据集的类别信息矩阵F和概率转移矩阵P，将概率转移矩阵P初始化为所述步骤S300中得到的概率近邻矩阵S；

S500、基于步骤S400中初始化后的概率转移矩阵P，在原始数据集上进行标签传播，得到新的类别信息矩阵F’；

S600、使用已标记数据的标签指示向量矩阵V_L对标签传播后的新的类别信息矩阵F’的已标记数据矩阵F_L进行更新，防止标签信息的污染；

S700、检查步骤S500中得到的新的类别信息矩阵F’是否收敛，如果新的类别信息矩阵F’已经收敛不再变化，进入步骤S800，否则，返回步骤S500；

S800、通过收敛之后的新的类别信息矩阵F’得到原始数据集的分类结果。

2.根据权利要求1所述的方法，优选的，所述步骤S200具体包括：

S201、将原始数据集定义为X∈R^n*d，其中R^n*d代表一个n行d列的矩阵，n是数据点的个数，d是数据点的属性个数；定义已标记数据矩阵为未标记数据矩阵为其中n₁为已标记数据点的个数，n₂为未标记数据点的个数，n＝n₁+n₂；

S202、根据已标记数据对应的标签构造已标记数据的标签指示向量矩阵：

根据原始数据集已标记数据对应的标签构造标签指示向量矩阵V∈R^n*c，其中n是数据的个数，c是数据类别的个数，该标签指示向量矩阵V的第i行是第i个数据点的标签指示向量，如果第i个数据点的类别是j，那么该行的第j个元素为1，该行其余数据为0；根据原始数据中已标记数据的顺序，抽选标签指示向量V中的对应行构成矩阵作为已标记数据的标签指示向量矩阵。

3.根据权利要求2所述的方法，所述步骤S300具体包括：

S301、定义关于数据的增广矩阵A∈R^n*(d+c)，d是数据维度、表示数据属性的个数，c表示数据类别的个数，n是数据点的个数，A＝[X，V]；

S302、定义D∈R^n*n作为数据点之间的相似度矩阵，以欧氏距离作为测度计算出数据点i和j之间的相似性令作为矩阵D中第i行第j列的具体数值，将矩阵D按行升序排列，x_i表示原始数据集X的第i行，x_j表示原始数据集X的第j行；

S303、定义原始数据集的概率近邻矩阵为S∈R^n*n，S是n*n的矩阵，S矩阵中第i行第j列的值Si，_j代表数据点i和数据点j成为概率近邻的可能性，定义k为近邻数，根据K-近邻(KNN)方法，将矩阵D按行选取前k个，得到K-近邻，然后在K-近邻的基础上构造概率近邻，具体为：定义p(i，k)为数据点i和它的第k个近邻之间成为概率近邻的概率，由公式得到；

再通过公式进行赋值，S(i，k)代表S矩阵中第i个数据点的第k个近邻的取值，将S矩阵中未赋值的元素赋值为0，得到赋值后的概率近邻矩阵S；其中代表矩阵D中第i行第(k+1)列的具体数值，是矩阵D中第i行第j列的具体数值，是矩阵D中第i行第1列的具体数值，n是数据点的个数，X表示原始数据集。

4.根据权利要求3所述的方法，所述步骤S400具体包括：

构造原始数据集的类别信息矩阵F：F⁽⁰⁾＝[F_L，0]，F⁽⁰⁾代表初始化的F矩阵：

构造原始数据集的概率转移矩阵P：将概率转移矩阵P初始化为所述步骤S300中得到的赋值后的概率近邻矩阵S，有：P⁽⁰⁾＝S；其中，P∈R^n*n是概率转移矩阵，P⁽⁰⁾代表初始化的P矩阵，P_i，j表示P矩阵中第i行第j列的数值，表示第i个数据点将以概率P_i，j传播给第j个数据点。

5.根据权利要求4所述的方法，所述步骤S500具体包括：

通过公式F’^(t+1)＝P*F’^(t)进行标签传播，其中上标t表示迭代次数，F^(t)表示第t次迭代过程得到的F’矩阵，F’^(t+1)表示第t+1次迭代过程得到的F’矩阵，上式表示从第t次到第t+1次的标签传播过程，其中当t＝0时，F’^(t)表示原始的类别信息矩阵F。

6.根据权利要求5所述的方法，所述步骤S600具体包括：

F_L＝V_L，每次迭代标签传播结束后将已标记数据F_L重新赋值为V_L，F_L表示类别信息矩阵F的已标记数据矩阵，V_L表示已标记数据的标签指示向量矩阵。

7.根据权利要求6所述的方法，所述步骤S800中：

收敛之后的新的类别信息矩阵F’每一行数据表示该数据的类别，如果F_ij值为1，则第i个数据点的类别为j，从而从F’矩阵中能获得每个数据对应的类别，得到原始数据集的分类结果。

8.根据权利要求3所述的方法，所述步骤S303中，k近邻数的取值选择为5～20。