CN105608460A - 多分类器融合方法和*** - Google Patents

Abstract

本发明公开一种多分类器融合方法和***。其中将训练集数据输入N个成员分类器以生成相应的N个预测结果，将成员分类器的权重向量作为当前种群。计算成员分类器之间的互补性指标Cd，计算每个种群所对应的融合分类器整体性能FP，从而得到每个种群的适应度函数值Fit。通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群。判断是否满足预定的终止条件，若不满足则进行迭代处理；若满足则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。通过利用充分考虑分类器整体性能和分类器间互补性的适应度函数，从而可优化各成员分类器权重，最终得到最优的分类器。

Description

多分类器融合方法和***

技术领域

本发明涉及信息处理领域，特别涉及一种多分类器融合方法和***。

背景技术

分类器(Classifier)的设计目标是在通过自动学习后，可将数据分到已知类别。分类器有单分类器和多分类器之分，在寻求性能最优的单分类器基础上，如果要进一步提升效果，就需要考虑多分类器的融合。

近年来，多分类器融合技术己成为大数据领域的热点之一。多分类器融合技术能够综合利用各单分类器的性能和互补性，在先验知识不充分的情况下凭借综合各个成员分类器的优势，使多分类器整体取得更优的效果。

目前构造融合分类器的方法主要有：不同的分类器采用不同的训练数据；不同的分类器采用不同特征向量的模式表示；采用不同类型的分类器或对同一分类器采用不同的结构。但这些方法往往采用分类错误率或分类误差作为融合分类器性能的评估方法，没有兼顾成员分类器之间的互补性，究其原因为缺乏评估成员分类器互补性的方法。

发明内容

本发明实施例提供一种多分类器融合方法和***。通过利用充分考虑分类器整体性能和分类器间互补性的适应度函数构造的遗传算法，从而可优化各成员分类器权重，最终得到一个最优的分类器。

根据本发明的一个方面，提供一种多分类器融合方法，包括：

将训练集数据输入N个成员分类器以生成相应的N个预测结果；

将成员分类器的权重向量作为当前种群，并提取当前种群的权重值；

根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd；

计算每个种群所对应的融合分类器整体性能FP；

根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit；

根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群；

判断是否满足预定的终止条件；

若不满足预定的终止条件，则执行提取当前种群的权重值的步骤；

若满足预定的终止条件，则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

在一个实施方式中，根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd的步骤包括：

分别计算N个预测结果各自的综合评价指标F1-Neasure；

在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器；

在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度；

根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

在一个实施方式中，利用公式

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

在一个实施方式中，计算每个种群所对应的融合分类器整体性能FP的步骤包括：

对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

在一个实施方式中，根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit的步骤包括：

利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。

根据本发明的另一方面，提供一种多分类器融合***，包括预测结果生成单元、种群产生单元、权重值提取单元、互补性计算单元、整体性能计算单元、适应度计算单元、种群更新单元、识别单元和最优分类器构建单元，其中：

预测结果生成单元，用于将训练集数据输入N个成员分类器以生成相应的N个预测结果；

种群产生单元，用于将成员分类器的权重向量作为当前种群；

权重值提取单元，用于提取当前种群的权重值；

互补性计算单元，用于根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd；

整体性能计算单元，用于计算每个种群所对应的融合分类器整体性能FP；

适应度计算单元，用于根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit；

种群更新单元，用于根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群；

识别单元，用于判断是否满足预定的终止条件；若不满足预定的终止条件，则指示权重值提取单元执行提取当前种群的权重值的操作；

最优分类器构建单元，用于根据识别单元的判断结果，若满足预定的终止条件，则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

在一个实施方式中，互补性计算单元具体用于分别计算N个预测结果各自的综合评价指标F1-Neasure；在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器；在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度；根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

在一个实施方式中，互补性计算单元利用公式

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

在一个实施方式中，整体性能计算单元具体对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

在一个实施方式中，适应度计算单元具体利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。

本发明通过利用融合分类器的整体性能和成员分类器间互补性构造适度性函数，从而可优化各成员分类器权重，最终得到一个最优的分类器。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多分类器融合方法一个实施例的示意图。

图2为本发明多分类器融合***一个实施例的示意图。

图3为实施本发明多分类器融合一个实施例的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明多分类器融合方法一个实施例的示意图。其中：

步骤101，将训练集数据输入N个成员分类器以生成相应的N个预测结果。

步骤102，将成员分类器的权重向量作为当前种群。

步骤103，提取当前种群的权重值。

步骤104，根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

优选的，计算互补性指标Cd可具体为：

分别计算N个预测结果各自的综合评价指标F1-Neasure(这是一个根据准确率Precision和召回率Recall二者给出的一个综合的评价指标)。在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器。在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度。根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

优选的，可利用公式

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

步骤105，计算每个种群所对应的融合分类器整体性能FP。

优选的，对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

步骤106，根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit。

优选的，利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。

步骤107，根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群。

步骤108，判断是否满足预定的终止条件。若不满足预定的终止条件，则执行步骤103。若满足预定的终止条件，则执行步骤109。

步骤109，选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

从而，将测试集数据输入最优融合分类器，以得到最优预测结果。

基于本发明上述实施例提供的多分类器融合方法，通过利用融合分类器的整体性能和成员分类器间互补性构造适度性函数，从而可优化各成员分类器权重，最终得到一个最优的分类器。

这里需要说明的是，由于遗传算法是本领域技术人员所了解的，如何利用遗传算法进行计算、选择、交叉或变异处理并非本发明的发明点所在，因此这里不展开描述。

图2为本发明多分类器融合***一个实施例的示意图。如图2所示，该***可包括预测结果生成单元201、种群产生单元202、权重值提取单元203、互补性计算单元204、整体性能计算单元205、适应度计算单元206、种群更新单元207、识别单元208和最优分类器构建单元209。其中：

预测结果生成单元201，用于将训练集数据输入N个成员分类器以生成相应的N个预测结果。

种群产生单元202，用于将成员分类器的权重向量作为当前种群。

权重值提取单元203，用于提取当前种群的权重值。

互补性计算单元204，用于根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

优选的，互补性计算单元204用于分别计算N个预测结果各自的综合评价指标F1-Neasure；在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器；在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度；根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

优选的，互补性计算单元204利用公式：

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

整体性能计算单元205，用于计算每个种群所对应的融合分类器整体性能FP。

优选的，整体性能计算单元205具体对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

适应度计算单元206，用于根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit。

优选的，适应度计算单元206可利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。

种群更新单元207，用于根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群。

识别单元208，用于判断是否满足预定的终止条件；若不满足预定的终止条件，则指示权重值提取单元203执行提取当前种群的权重值的操作。

最优分类器构建单元209，用于根据识别单元208的判断结果，若满足预定的终止条件，则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

从而，将测试集数据输入最优融合分类器，可以得到最优预测结果。

基于本发明上述实施例提供的多分类器融合***，通过利用融合分类器的整体性能和成员分类器间互补性构造适度性函数，从而可优化各成员分类器权重，最终得到一个最优的分类器。

下面通过一个具体示例对本发明进行说明。

例如对于基于Spark内存计算框架的中国电信离网预警分析，该实施例是一个以上网天数平均值、宽带费用平均值、上网时长趋势、上网流量趋势、上网天数趋势、宽带费用趋势、上网流量平均值(g)、上网时长平均值(小时/天)为特征参数，是否拆机为标签的二元分类问题。如图3所示，具体实施步骤如下：

步骤301，将训练集数据输入多个成员分类器生成预测结果。然后分别执行步骤302和步骤304。

首先对样本分布进行分析，样本总量为1976789，其中拆机用户量为162451，仅占总量的8％。由于样本分布不均衡，故首先采用C_SMOTE方法对样本进行了均衡化处理，使正负样本量大致相等。由于特征值的取值范围不同，故采用Z_Score方法对样本特征值进行规范化处理。将经过上述处理的样本分为训练集和测试集，将训练集输入到多个分类器，得到各个分类器对每个样本的预测结果。

步骤302，将分类器权值向量作为种群，产生多个种群。

步骤303，提取种群权重值。然后执行步骤306和步骤307。

步骤304，计算各成员分类器的F1_Measure值。

步骤305，选取F1_Measure值最大的成员分类器为基准分类器，计算其它分类器与该基准分类器的Jaccard相似度。

步骤306，计算各成员分类器间的互补性Cd。然后执行步骤310。

步骤307，对种群权值向量进行归一化处理。

步骤308，计算每个训练样本的多分类器加权投票结果。

步骤309，计算多分类器加权投票结果的整体性能FP。

即，计算融合分类器投票结果的整体性能FP。

例如，可首先得到融合分类器的分类结果，采用如下公式计算：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i^{\′}{f}_i\left(x\right)\≥T$

其中N为成员分类器总数，w_i′为第i个成员分类器的归一化权重，f_i(x)为第i个成员分类器的判别函数，T为分类阈值。

根据所有训练样本的融合分类结果，计算得到融合后的F1-Measure(一个根据准确率Precision和召回率Recall二者给出的一个综合的评价指标)，以其代表融合分类器的整体性能FP。

步骤310，计算每个种群的适应度函数值Fit。

步骤311，根据适应度函数值进行选择、交叉、变异处理得到新一代种群。

步骤312，判断是否满足终止条件。若不满足，则返回步骤303，以更新成员分类器互补性和融合分类器整体性能；若满足，则执行步骤313。

终止条件可以为迭代次数结束或达到预先设定的阈值。

步骤313，选取出其中适应度函数最大的种群作为成员分类器的权重，以此构建出最优融合分类器。

步骤314，将测试集数据输入最优融合分类器，以得到预测类别值。

通过实施本发明，可以得到以下有益效果：

1)使用多分类器的融合性能和成员分类器间的互补性构建遗传算法的适应度函数，保证了分类器融合性能和成员分类器间互补性的均衡；

2)使用加权的Jaccard相似度衡量成员分类器间的互补性，减少了计算量，同时兼顾了成员分类器的差异性；

3)训练样本独立的输入不同的成员分类器，各分类器的训练是独立的，可并行性强。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种多分类器融合方法，其特征在于，包括：

将训练集数据输入N个成员分类器以生成相应的N个预测结果；

将成员分类器的权重向量作为当前种群，并提取当前种群的权重值；

根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd；

计算每个种群所对应的融合分类器整体性能FP；

根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit；

根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群；

判断是否满足预定的终止条件；

若不满足预定的终止条件，则执行提取当前种群的权重值的步骤；

若满足预定的终止条件，则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

2.根据权利要求1所述的方法，其特征在于，

根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd的步骤包括：

分别计算N个预测结果各自的综合评价指标F1-Neasure；

在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器；

在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度；

根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

3.根据权利要求2所述的方法，其特征在于，

利用公式

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

4.根据权利要求1所述的方法，其特征在于，

计算每个种群所对应的融合分类器整体性能FP的步骤包括：

对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

5.根据权利要求1所述的方法，其特征在于，

根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit的步骤包括：

利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。

6.一种多分类器融合***，其特征在于，包括预测结果生成单元、种群产生单元、权重值提取单元、互补性计算单元、整体性能计算单元、适应度计算单元、种群更新单元、识别单元和最优分类器构建单元，其中：

预测结果生成单元，用于将训练集数据输入N个成员分类器以生成相应的N个预测结果；

种群产生单元，用于将成员分类器的权重向量作为当前种群；

权重值提取单元，用于提取当前种群的权重值；

互补性计算单元，用于根据N个预测结果和当前种群的权重值，计算成员分类器之间的互补性指标Cd；

整体性能计算单元，用于计算每个种群所对应的融合分类器整体性能FP；

适应度计算单元，用于根据整体性能指标FP和互补性指标Cd，计算每个种群的适应度函数值Fit；

种群更新单元，用于根据每个种群的适应度函数值Fit，通过遗传算法中的选择、交叉和变异处理，生成新一代种群以作为当前种群；

识别单元，用于判断是否满足预定的终止条件；若不满足预定的终止条件，则指示权重值提取单元执行提取当前种群的权重值的操作；

最优分类器构建单元，用于根据识别单元的判断结果，若满足预定的终止条件，则选取具有最大适应度函数值Fit的种群作为成员分类器的权重，从而构建出最优融合分类器。

7.根据权利要求6所述的***，其特征在于，

互补性计算单元具体用于分别计算N个预测结果各自的综合评价指标F1-Neasure；在N个成员分类器中，将对应于综合评价指标F1-Neasure最大的成员分类器作为基准分类器；在N个成员分类器中，分别计算除基准分类器之外的其它N-1个成员分类器与基准分类器的Jaccard相似度；根据所述Jaccard相似度和当前种群的权重值，计算成员分类器之间的互补性指标Cd。

8.根据权利要求7所述的***，其特征在于，

互补性计算单元利用公式

$\mathrm{Cd}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{w_i^{\′}}{\underset{j=1,j\≠S_{\mathrm{index}}}{\overset{N}{\mathrm{\Σ}}}{w}_j^{\′}}(1-{\mathrm{sim}}_i)$

计算成员分类器之间的互补性指标Cd，其中S_index为基准分类器的索引，sim_i为第i个成员分类器与基准分类器的Jaccard相似度，w_i′为第i个成员分类器的权重。

9.根据权利要求6所述的***，其特征在于，

整体性能计算单元具体对于每个种群，根据所有训练样本的融合分类结果，计算融合后的综合评价指标F1-Neasure，以作为对应融合分类器的整体性能FP。

10.根据权利要求6所述的***，其特征在于，

适应度计算单元具体利用公式

$\mathrm{Fit}=\frac{2\×\mathrm{FP}\×\mathrm{Cd}}{\mathrm{FP}+\mathrm{Cd}}$

计算适应度函数值Fit。