CN110490234A - 基于聚类分类联合机制的分类器的构建方法以及分类方法 - Google Patents

Abstract

本发明公开了一种基于聚类分类联合机制的分类器的构建方法以及分类方法，其中的分类器构建方法包括：首先，将聚类中心的分布情况编码至种群个体中，得到初始化种群；然后利用多目标优化算法搜索最优的种群，将其作为满足聚类目标函数和分类目标函数两个目标的帕累托解集；再根据互信息指标从帕累托解集中选择出最优的解，并根据选择出的最优的解，对联合聚类分类机制的分类器的参数进行设置，基于设置的参数构建聚类分类联合机制的分类器。本发明同的方法可以有效地将聚类融合进分类任务中，从而提高分类器的准确度和搜索效率。

Description

基于聚类分类联合机制的分类器的构建方法以及分类方法

技术领域

本发明涉及数据挖掘和大数据技术领域，具体涉及一种基于聚类分类联合机制的分类器的构建方法以及分类方法。

背景技术

在数据挖掘和大数据领域，聚类和分类是两个相互独立的过程。聚类基于无监督学习能够预测样本标签通过挖掘数据的潜在的结构，分类基于有监督学习，能通过关系矩阵来预测未知数据的标签。当分类信息给定的时候，二者可以互相受惠。基于此，模糊关系分类器提出作为串行的聚类分类算法，此后基于效率提高方面的需求，并行的聚类分类算法提出进行分类任务。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有技术中，没有一个高效定制化的多目标优化搜索策略应用到并行聚类分类算法里面。并且，当前的聚类目标函数会花费大量的计算时间同时指导效果并不是特别优秀，此外，当前的并行聚类分类算法的框架并不是最优秀的框架。

由此可知，现有技术中存在分类器性能不佳的技术问题。

发明内容

有鉴于此，本发明提供了一种基于聚类分类联合机制的分类器的构建方法以及分类方法，用以解决或者至少部分解决现有技术中存在的分类器的性能不佳的技术问题。

本发明提供了一种基于聚类分类联合机制的分类器的构建方法，包括：

步骤S1：将聚类中心的分布情况编码至种群个体中，得到初始化种群，其中，初始化种群中包括聚类目标函数和分类目标函数；

步骤S2：利用多目标优化算法搜索最优的种群，将其作为满足聚类目标函数和分类目标函数两个目标的帕累托解集；

步骤S3：根据互信息指标从帕累托解集中选择出最优的解，并根据选择出的最优的解，对联合聚类分类机制的分类器的参数进行设置，再基于设置的参数构建聚类分类联合机制的分类器。

在一种实施方式中，步骤S1具体包括：

步骤S1.1：针对多个种群，设定对应的聚类中心分布情况；

步骤S1.2：编码聚类中心分布情况，并将作为决策变量，根据适应度计算公式，计算出对应的聚类目标和分类目标值，并将对应的聚类目标作为聚类目标函数，分类目标值作为分类目标函数，其中，聚类目标函数和分类目标函数的具体形式如式(1)和式(2)所示：

式(1)中，f(x_i)表示分类器预测得到的标签，y_i表示真是标签，δ(f(x_i)，y_i)表示预测标签和真实标签是否一致，一致结果为1，不一致结果为0，N表示测试数据总数量；

式(2)中，nn_ij表示距离样本x_i的最近距离的第j个样本，p(c_k|nn_ij)表示第j个样本属于第k个聚类的条件概率，是一个参数，当nn_ij和x_i同属于聚类k时，为0，否则为1/j；

步骤S1.3：将决策变量、聚类目标函数以及分类目标函数同时封装进种群个体中，多个个体组成初始化种群。

在一种实施方式中，步骤S2具体包括：

步骤S2.1：在当前代中，利用差分算法的交叉算子和变异算子对当前种群做进化处理，得到子代种群；

步骤S2.2：在当前代中，利用反向学习算法，对子代种群进行反向变化，并将反向前后的种群合并后进行非支配排序，得到反向子种群；

步骤S2.3：在当前代中，利用烟花算法，计算反向子种群的***半径和火花个数，并基于***半径和火花个数，将反向子种群作为烟花种群来在周边范围内产生火花种群，烟花种群和火花种群进行非支配排序生成下一代种群；

步骤S2.4：将下一代种群作为当前代种群，重复执行步骤S2.1～步骤S2.3，进行迭代进化过程；

步骤S2.5：当迭代进化过程满足终止条件时，迭代进化终止，输出帕累托解集。

在一种实施方式中，步骤S2.5中的终止条件包括：迭代次数满足达到最大迭代次数以及种群整体的变化小于设定的最小种群变化。

在一种实施方式中，步骤S3具体包括

步骤S3.1：计算所有帕累托解集的互信息值；

步骤S3.2：根据互信息值的大小，选择出互信息值最大的帕累托解集作为最优的解，对联合聚类分类机制的分类器的参数进行设置；

步骤S3.3：基于设置的参数构建聚类分类联合机制的分类器。

在一种实施方式中，在步骤S3.3之后，所述方法还包括步骤S3.4：

利用测试数据对构建的分类器进行测试。

基于同样的发明构思，本发明第二方面提供了一种基于第一方面所构建的分类器的分类方法，该分类方法包括：

计算出待处理的数据的聚类中心和聚类关系后，通过分类器得到分类结果。本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种基于聚类分类联合机制的分类器的构建方法，首先，初始化种群，将聚类中心的分布情况编码进种群个体中，然后利用多目标优化算法搜索最优的种群，使其作为满足两个目标的帕累托解集，再根据互信息指标从帕累托解集中选择出最优的解作为联合聚类分类机制的分类器的参数设定。

由于本发明提供的聚类分类联合机制的分类器的构建方法，首先通过多目标优化算法搜索最优的种群，从而可以寻找最优的分类器之间的关系，并将互信息指标作为分类器参数设置的依据，从而可以有效地将聚类融合进分类任务中，故而可以提高分类器的性能，提高分类的准确性。

进一步地，本发明通过一种快速同时低复杂度的基于轮廓系数设计的聚类目标函数和分类目标函数来辅助分类器，从而可以进一步改善分类器的性能。

进一步地，本发明在利用多目标优化算法搜索最优的种群，将其作为满足聚类目标函数和分类目标函数两个目标的帕累托解集时，自动聚类可以节省初始化时间，反向学习增加搜索的有效范围，互信息指标作为最后的判定依据，从而可以提高分类器的准确度和搜索效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于聚类分类联合机制的分类器的构建方法的流程示意图；

图2为本发明中基于聚类分类联合机制的分类器的原理图；

图3为基于烟花算法和差分算法优化的聚类分类机制的分类器的流程图。

具体实施方式

本发明的目的在于针对现有技术中分类器性能不佳的技术问题，提供一种基于聚类分类联合机制的分类器的构建方法以及分类方法，并达到提高分类器性能的目的。

为达到上述目的，本发明的主要构思如下：

提供一种基于聚类分类联合机制的分类器的构建方法，首先，初始化种群，将聚类中心的分布情况编码进种群个体中，然后利用多目标优化算法搜索最优的种群，使其作为满足两个目标的帕累托解集，再根据互信息指标从帕累托解集中选择出最优的解作为联合聚类分类机制的分类器的参数设定。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于聚类分类联合机制的分类器的构建方法，请参见图1，该方法包括：

步骤S1：将聚类中心的分布情况编码至种群个体中，得到初始化种群，其中，初始化种群中包括聚类目标函数和分类目标函数。

具体来说，步骤S1是编码得到初始种群。

在一种实施方式中，步骤S1具体包括：

步骤S1.1：针对多个种群，设定对应的聚类中心分布情况；

步骤S1.2：编码聚类中心分布情况，并将作为决策变量，根据适应度计算公式，计算出对应的聚类目标和分类目标值，并将对应的聚类目标作为聚类目标函数，分类目标值作为分类目标函数，其中，聚类目标函数和分类目标函数的具体形式如式(1)和式(2)所示：

式(1)中，f(x_i)表示分类器预测得到的标签，y_i表示真是标签，δ(f(x_i)，y_i)表示预测标签和真实标签是否一致，一致结果为1，不一致结果为0，N表示测试数据总数量；

式(2)中，nn_ij表示距离样本x_i的最近距离的第j个样本，p(c_k|nn_ij)表示第j个样本属于第k个聚类的条件概率，是一个参数，当nn_ij和x_i同属于聚类k时，为0，否则为1/j；

步骤S1.3：将决策变量、聚类目标函数以及分类目标函数同时封装进种群个体中，多个个体组成初始化种群。

具体来说，步骤S1.1中，可以针对多个种群随机设定对应的聚类中心分布情况。步骤S1.2是采用快速并且低复杂度的基于轮廓系数的方法来设计聚类目标函数，用于辅助后续分类器的构建。

步骤S2：利用多目标优化算法搜索最优的种群，将其作为满足聚类目标函数和分类目标函数两个目标的帕累托解集。

具体来说，步骤S2是采用一种组合式的搜索多目标搜索算法来寻找最优的分类器内的关系矩阵，具体地，可以对训练数据进行聚类后得到聚类中心，将聚类中心和已知的标签值求出关系矩阵。

在一种实施方式中，步骤S2具体包括：

步骤S2.1：在当前代中，利用差分算法的交叉算子和变异算子对当前种群做进化处理，得到子代种群；

步骤S2.2：在当前代中，利用反向学习算法，对子代种群进行反向变化，并将反向前后的种群合并后进行非支配排序，得到反向子种群；

步骤S2.3：在当前代中，利用烟花算法，计算反向子种群的***半径和火花个数，并基于***半径和火花个数，将反向子种群作为烟花种群来在周边范围内产生火花种群，烟花种群和火花种群进行非支配排序生成下一代种群；

步骤S2.4：将下一代种群作为当前代种群，重复执行步骤S2.1～步骤S2.3，进行迭代进化过程；

步骤S2.5：当迭代进化过程满足终止条件时，迭代进化终止，输出帕累托解集。

具体来说，差分进化算法(Differential Evolution，DE)由Storn和Price于1995年首次提出。主要用于求解实数优化问题。该算法是一类基于群体的自适应全局优化算法，属于演化算法的一种，由于其具有结构简单、容易实现、收敛快速、鲁棒性强等特点。

进化算法中，生成新一代的种群时，为了保证新代种群的多样性，通过反向学习算法，使得种群有一定小概率选择不被适应度偏好的解。因而，步骤S2.2中得到的更优的反向子种群。

对于互不支配的染色体，称这些染色体处于同一层.则所有的染色体可以被划分到若干层.非支配排序就是将染色体分层的排序算法，分得的层称为第一级非支配层,第二级非支配层…其中第一级非支配层处于Pareto前沿(Pareto Front)。

烟花算法(Fireworks Algorithm)，缩写为FWA，是受到夜空中烟花***的启发而提出的一种群体智能算法。烟花算法开始迭代，依次利用***算子、变异算子、映射规则和选择策略，直到达到终止条件，即满足问题的精度要求或者达到最大函数评估次数。

烟花算法的实现包括如下的几个步骤：

1)在特定的解空间中随机产生一些烟花，每一个烟花代表解空间的一个解。

2)根据适应度函数计算每一个烟花的适应度值，并根据适应度值产生火花。火花的个数基于免疫学中的免疫浓度的思想来计算，即适应度值越好的烟花产生火花的数目越多。

3)根据现实中的烟花属性并结合搜索问题的实际情况，在烟花的辐射空间内产生火花。(某个烟花的***幅度的大小由该烟花在函数上的适应度值决定，适应度值越大，***幅度越大，反之亦然)。每一个火花代表解空间中的一个解。为了保证种群的多样性，需要对烟花进行适当变异，如高斯变异。

4)计算种群的最优解，判定是否满足要求，如果满足则停止搜索，没有满足则继续迭代。迭代的初始值为此次循环得到的最好的解和选择的其他的解。

其中，步骤S2.5中的终止条件包括：迭代次数满足达到最大迭代次数以及种群整体的变化小于设定的最小种群变化。

步骤S3：根据互信息指标从帕累托解集中选择出最优的解，并根据选择出的最优的解，对联合聚类分类机制的分类器的参数进行设置，再基于设置的参数构建聚类分类联合机制的分类器。

其中，步骤S3具体包括：

步骤S3.1：计算所有帕累托解集的互信息值；

步骤S3.2：根据互信息值的大小，选择出互信息值最大的帕累托解集作为最优的解，对联合聚类分类机制的分类器的参数进行设置；

步骤S3.3：基于设置的参数构建聚类分类联合机制的分类器。

具体来说，Pareto最优解，也称为帕累托效率(Pareto efficiency)，是指资源分配的一种理想状态，假定固有的一群人和可分配的资源，从一种分配状态到另一种状态的变化中，在没有使任何人境况变坏的前提下，使得至少一个人变得更好。帕累托最优状态就是不可能再有更多的帕累托改进的余地。

互信息是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。其中，计算互信息的公式为已知的，本发明实施例中的互信息指标，是指预测出标签的测试数据和真实数据之间的互信息值，这个值越接近于1，分类准确度越高。

本发明通过演化算法得到一组帕累托解集后，通过步骤S3从中挑出最优的解，按照互信息值大小进行排序，挑选最大互信息的解作为分类器的参数，从而得到最优的分类器设定。

在一种实施方式中，在步骤S3.3之后，所述方法还包括步骤S3.4：

利用测试数据对构建的分类器进行测试。

具体来说，为了进一步改进分类器，本发明还通过测试数据测试对应的数据集情况。如果测试结果不符合预设条件，可以依据互信息值得排序，依次选取满足要求的参数到分类器中进行测试。

请参见图2，为本发明中基于聚类分类联合机制的分类器的原理图，当得知分类器大体框架后，通过训练数据可以得到最优的参数，通过测试数据可以测试分类器的好坏。其中训练过程，即构建分类器的过程。

图3为基于烟花算法和差分算法优化的聚类分类机制的分类器的流程图，首先是进行数据收集，然后评估聚类中心的个数，设置二元模板，对个体设置随机值后得到初始化种群，右上部分表示利用多目标优化算法(烟花差分组合算法)搜索最优的种群。

实施例二

基于同样的发明构思，本实施例提供了一种基于实施例一中构建的分类器的分类方法，该分类方法包括：

计算出待处理的数据的聚类中心和聚类关系后，通过分类器得到分类结果。

为了进一步说明本发明提供的方法的有益效果，下面通过几个具体的示例对本发明构建的分类器用于分类与现有的方法进行对比，其中，表1为本发明在19个UCI数据集上的分类准确度及与其他算法的对比，表2为本发明在4个图像分割标准测试库的互信息指标及与其他算法的对比，MSCC-DE/FWA为本发明的采用的方法，从表1和表2中，看出，本发明的方法可以得到较好的分类效果。

表1 19个UCI数据集上的分类准确度及与其他算法的对比

表2在4个图像分割标准测试库的互信息指标及与其他算法的对比

NMI	MASCC-DE/FWA	MOASCC	MSCC	SVM	RBFNN	semi-MOCK
							two categories image	0.963	0.959	0.905	0.932	0.897	0.957
Three categories image	0.971	0.973	0.914	0.892	0.953	0.878
							four categories image	0.977	0.982	0.924	0.947	0.862	0.94
two categories image	0.981	0.974	0.932	0.921	0.903	0.917

总体来说，本发明提出的是一种基于聚类分类联合机制的自动分类器。首先，提出一种组合式的搜索多目标搜索算法来寻找最优的分类器内的关系矩阵。其次，提出一种快速同时低复杂度的基于轮廓系数设计的聚类目标函数来辅助分类器。最后，在聚类分类机制里面又做了3点改进：自动聚类节省初始化时间，反向学习增加搜索的有效范围，互信息指标作为最后的判定依据。该算法能有效的将聚类融合进分类任务里面，从而分类器的准确度和搜索效率。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于聚类分类联合机制的分类器的构建方法，其特征在于，包括：

步骤S1：将聚类中心的分布情况编码至种群个体中，得到初始化种群，其中，初始化种群中包括聚类目标函数和分类目标函数；

步骤S2：利用多目标优化算法搜索最优的种群，将其作为满足聚类目标函数和分类目标函数两个目标的帕累托解集；

步骤S3：根据互信息指标从帕累托解集中选择出最优的解，并根据选择出的最优的解，对联合聚类分类机制的分类器的参数进行设置，再基于设置的参数构建聚类分类联合机制的分类器。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：

步骤S1.1：针对多个种群，设定对应的聚类中心分布情况；

步骤S1.2：编码聚类中心分布情况，并将作为决策变量，根据适应度计算公式，计算出对应的聚类目标和分类目标值，并将对应的聚类目标作为聚类目标函数，分类目标值作为分类目标函数，其中，聚类目标函数和分类目标函数的具体形式如式(1)和式(2)所示：

式(1)中，f(x_i)表示分类器预测得到的标签，y_i表示真是标签，δ(f(x_i)，y_i)表示预测标签和真实标签是否一致，一致结果为1，不一致结果为0，N表示测试数据总数量；

式(2)中，nn_ij表示距离样本x_i的最近距离的第j个样本，p(c_k|nn_ij)表示第j个样本属于第k个聚类的条件概率，是一个参数，当nn_ij和x_i同属于聚类k时，为0，否则为1/i；

步骤S1.3：将决策变量、聚类目标函数以及分类目标函数同时封装进种群个体中，多个个体组成初始化种群。

3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

步骤S2.1：在当前代中，利用差分算法的交叉算子和变异算子对当前种群做进化处理，得到子代种群；

步骤S2.2：在当前代中，利用反向学习算法，对子代种群进行反向变化，并将反向前后的种群合并后进行非支配排序，得到反向子种群；

步骤S2.3：在当前代中，利用烟花算法，计算反向子种群的***半径和火花个数，并基于***半径和火花个数，将反向子种群作为烟花种群来在周边范围内产生火花种群，烟花种群和火花种群进行非支配排序生成下一代种群；

步骤S2.4：将下一代种群作为当前代种群，重复执行步骤S2.1～步骤S2.3，进行迭代进化过程；

步骤S2.5：当迭代进化过程满足终止条件时，迭代进化终止，输出帕累托解集。

4.如权利要求3所述的方法，其特征在于，步骤S2.5中的终止条件包括：迭代次数满足达到最大迭代次数以及种群整体的变化小于设定的最小种群变化。

5.如权利要求1所述的方法，其特征在于，步骤S3具体包括

步骤S3.1：计算所有帕累托解集的互信息值；

步骤S3.2：根据互信息值的大小，选择出互信息值最大的帕累托解集作为最优的解，对联合聚类分类机制的分类器的参数进行设置；

步骤S3.3：基于设置的参数构建聚类分类联合机制的分类器。

6.如权利要求5所述的方法，其特征在于，在步骤S3.3之后，所述方法还包括步骤S3.4：

利用测试数据对构建的分类器进行测试。

7.一种基于权利要求1至5任一项权利要求所构建的分类器的分类方法，其特征在于，该分类方法包括：

计算出待处理的数据的聚类中心和聚类关系后，通过分类器得到分类结果。