CN110097098A - 基于基分类器的数据分类方法及装置、介质和电子设备 - Google Patents

Abstract

本发明公开了一种基于基分类器的数据分类方法及装置、计算机可读介质和电子设备，涉及机器学习技术领域。该数据分类方法包括：确定多个基分类器组合，计算各基分类器组合的准确性指标和多样性指标；根据各基分类器组合的准确性指标对各基分类器组合进行排序，并确定各基分类器组合的准确性排序值；根据各基分类器组合的多样性指标对各基分类器组合进行排序，并确定各基分类器组合的多样性排序值；根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用选择出的基分类器对待分类数据进行分类。本公开可以提高集成分类器分类的准确性。

Description

基于基分类器的数据分类方法及装置、介质和电子设备

技术领域

本公开涉及机器学习技术领域，具体而言，涉及一种基于基分类器的数据分类方法、基于基分类器的数据分类装置、计算机可读介质和电子设备。

背景技术

在数据分类的场景中，尤其在一些数据挖掘竞赛中，需要对多个分类模型进行融合以提高分类效果，在这种情况下，集成学习(Ensemble Learning)应运而生。Stacking(又可称为Stacked Generalization，堆栈泛化)作为集成学习中一种重要的实现框架，有着广泛的应用前景。

Stacking基分类器往往需要同时满足准确性和多样性，基分类器的选择，极大影响了Stacking集成分类器的性能。在选择基分类器时，通常需要利用评价指标对基分类器进行评价。

目前，一方面，用于评价基分类器的指标不适于数据差异明显的不平衡数据集，导致据此选择出的基分类器分类效果不佳；另一方面，由于待分类数据的数据偏差和数据量纲不统一的问题，导致数据难以统一进行处理，分类预测结果效果不理想。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于基分类器的数据分类方法、基于基分类器的数据分类装置、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的选择出的基分类器分类效果不佳的问题。

根据本公开的一个方面，提供了一种基于基分类器的数据分类方法，应用于包括多个基分类器的集成分类器，该基于基分类器的数据分类方法包括：确定多个基分类器组合，计算各基分类器组合的准确性指标和多样性指标；其中，各基分类器组合由预定数量个基分类器组成；根据各基分类器组合的准确性指标对各基分类器组合进行排序，并确定各基分类器组合的准确性排序值；根据各基分类器组合的多样性指标对各基分类器组合进行排序，并确定各基分类器组合的多样性排序值；根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用选择出的基分类器对待分类数据进行分类。

根据本公开的一个方面，提供了一种基于基分类器的数据分类装置，应用于包括多个基分类器的集成分类器，该基于基分类器的数据分类装置包括指标计算模块、第一排序模块、第二排序模块和数据分类模块。

具体的，指标计算模块用于确定多个基分类器组合，计算各基分类器组合的准确性指标和多样性指标；其中，各基分类器组合由预定数量个基分类器组成；第一排序模块用于根据各基分类器组合的准确性指标对各基分类器组合进行排序，并确定各基分类器组合的准确性排序值；第二排序模块用于根据各基分类器组合的多样性指标对各基分类器组合进行排序，并确定各基分类器组合的多样性排序值；数据分类模块用于根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用选择出的基分类器对待分类数据进行分类。

可选地，指标计算模块包括准确性指标确定单元。

具体的，准确性指标确定单元用于计算基分类器组合所包含的基分类器的准确性指标；计算基分类器组合所包含的基分类器的准确性指标的平均值，作为基分类器组合的准确性指标。

可选地，基分类器的准确性指标为受试者工作特征曲线下的面积。

可选地，准确性指标确定单元被配置为执行：利用基分类器确定测试集中各测试样本的分类结果，根据各测试样本的分类结果以及与各测试样本对应的预设阈值确定受试者工作特征曲线，并计算受试者工作特性曲线下的面积，作为基分类器的准确性指标。

可选地，指标计算模块包括多样性指标确定单元。

具体的，多样性指标确定单元用于计算基分类器组合中各基分类器两两之间的多样性指标，并计算各基分类器两两之间的多样性指标的平均值，作为基分类器组合的多样性指标。

可选地，基分类器组合包括第一基分类器和第二基分类器；其中，多样性指标确定单元被配置为执行：将测试样本分别输入第一基分类器和第二基分类器，分别确定出第一基分类器的分类结果以及第二基分类器的分类结果，并根据第一基分类器的分类结果以及第二基分类器的分类结果计算第一基分类器与第二基分类器的多样性指标。

可选地，数据分类模块包括评价指标计算单元。

具体的，评价指标计算单元被配置为执行：确定基分类器组合的数量；利用基分类器组合的数量和基分类器组合的准确性排序值确定第一数值，并利用基分类器组合的数量和基分类器组合的多样性排序值确定第二数值；计算第一数值与第二数值的加权调和平均数，作为基分类器组合的评价指标。

可选地，评价指标计算单元被配置为执行：确定集成分类器中基分类器的数量；基于集成分类器中基分类器的数量和预定数量确定基分类器组合的数量。

可选地，评价指标计算单元被配置为执行：配置第一数值的权重为第一权重，并配置第二数值的权重为第二权重；其中，第一权重与第二权重均大于等于0，且第一权重与第二权重之和为1；利用第一权重与第二权重计算第一数值与第二数值的加权调和平均数，使得加权调和平均数最大，并将最大的加权调和平均数确定为基分类器组合的评价指标。

可选地，数据分类模块还包括分类结果确定模块。

具体的，分类结果确定模块被配置为执行：将待分类数据输入选择出的基分类器，以确定中间分类结果；将中间分类结果输入集成分类器的次级分类器层，以确定出待分类数据的分类结果。

根据本公开的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时上述基于基分类器的数据分类方法。

根据本公开的一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述基于基分类器的数据分类方法。

在本公开的一些实施例所提供的技术方案中，计算集成分类器下各基分类器组合的准确性指标和多样性指标，根据各基分类器组合的准确性指标和多样性指标对各基分类器组合分别进行准确性排序和多样性排序，分别确定出各基分类器组合的准确性排序值和多样性排序值，根据基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，基于评价指标选择基分类器，并利用选择出的基分类器对待分类数据进行分类。一方面，本公开采用准确性排序值和多样性排序值计算评价指标，避免了由于数据偏差和/或数据量纲不统一而造成评价指标计算错误的问题，有助于提高集成分类器分类的准确性；另一方面，本公开综合考虑到了基分类器的准确性和多样性，使得集成分类器更加鲁棒；再一方面，本公开所述的方案具有普适性，可以快速辅助搭建集成分类器，提高集成分类器应用于分类问题中的效率和性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的基于基分类器的数据分类方法或数据分类装置的示例性***架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图；

图3示出了Stacking集成分类架构的示意图；

图4示意性示出了根据本公开的示例性实施方式的基于基分类器的数据分类方法的流程图；

图5示出了根据本公开的示例性实施方式的受试者工作特征曲线(ROC曲线)的示意图；

图6示出了基分类器组合包括多个基分类器的示意图；

图7示意性示出了根据本公开的示例性实施方式的基于基分类器的数据分类装置的方框图；

图8示意性示出了根据本公开的示例性实施方式的指标计算模块的方框图；

图9示意性示出了根据本公开的另一示例性实施方式的指标计算模块的方框图；

图10示意性示出了根据本公开的示例性实施方式的数据分类模块的方框图；

图11示意性示出了根据本公开的另一示例性实施方式的数据分类模块的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的基于基分类器的数据分类方法或基于基分类器的数据分类装置的示例性***架构的示意图；

如图1所示，***架构1000可以包括终端设备1001、1002、1003中的一种或多种，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

服务器1005可以是提供各种服务的服务器。例如，服务器1005可以计算集成分类器中各基分类器组合的准确性指标和多样性指标，根据各基分类器组合的准确性指标对各基分类器组合进行排序，确定各基分类器组合的准确性排序值，根据各基分类器组合的多样性指标对各基分类器组合进行排序，确定各基分类器组合的多样性排序值，根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，并利用选择出的基分类器对待分类数据进行分类。

具体的，可以将ROC(Receiver Operating Characteristic，受试者工作特征)曲线下的面积作为基分类器的准确性指标，该指标可以表示为AUC(Area Under Curve，曲线下的面积)。

在基于选择出的基分类器构建出集成分类器后，服务器1005可以通过网络1004从终端设备1001、1002、1003获取待进行分类的数据，随后，服务器1005利用集成分类器对待分类的数据进行分类处理，以得到分类结果。在一些需要反馈的场景下，服务器1005可以将分类结果反馈给终端设备1001、1002、1003。

需要说明的是，本公开示例性实施方式提供的基于基分类器的数据分类方法一般由服务器1005执行，相应地，下面描述的基于基分类器的数据分类装置一般配置在服务器1005中。

然而，下述基于基分类器的数据分类方法还可以由终端设备1001、1002、1003实现，本公开对此不做特殊限制。

图2示出了适于用来实现本公开示例性实施方式的电子设备的计算机***的结构示意图。

需要说明的是，图2示出的电子设备的计算机***200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机***200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有***操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的***中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

在利用机器学习对数据进行分类的场景中，为了提高分类效果，可以采用集成学习的方式对待分类数据进行处理。Stacking作为集成学习中一种重要的实现框架，具有广泛的应用前景。

图3示出了Stacking集成分类架构的示意图。Stacking是一种分层模型集成框架，虽然图3中仅示出了包括基分类器层(Base-level)和次级分类器层(Meta-level)的两层结构，然而，应当理解的是，Stacking框架中还可以包括其他分类器层，本示例性实施方式中对此不做特殊限定。

以图示两层结构为例，基分类器层可以由多个基分类器组成，数据集经由一些基分类器，结果输出至次级分类器层。而次级分类器层可以对由基分类器层输出的数据进行进一步地分类处理，以确定出输入的数据集对应的分类结果。

本领域技术人员容易理解的是，一方面，Stacking这种灵活的框架结构，使得其不仅可以集成同种类型的分类器，也可以集成不同类型的分类器，更适用于实际的工业应用；另一方面，Stacking可以对分类器输出的结果进行再学习，这就使得Stacking具有更加鲁棒的分类性能。

虽然本公开的基于基分类器的数据分类方法可以应用于Stacking架构中，然而，应当注意的是，下面描述的确定分类器评价指标以及选择分类器的构思可以应用于其他利用多个分类器进行分类预测的场景中，本示例性实施方式中对此不做特殊限定。

本领域技术人员容易理解的是，图3中基分类器层中包括多个基分类器，然而，在实际应用中，往往仅采用这些基分类器中的若干个。由此可见，基分类器的选择极大地影响了集成分类器的性能。

为了确定出所需的基分类器，可以利用评价指标来对待选择的基分类器进行评价。本公开可以使用混淆矩阵来辅助评估分类器的性能，如表1所示，混淆矩阵给出了分类器得到的预测结果和真实情况下的类别信息。

表1

本公开实施方式所描述的方案可以利用WAD(Weighted Accuracy andDiversity，加权准确性和多样性)指标来选择基分类器，WAD指标定义为准确度指标(Acc)和多样性指标(Div)之间的加权调和平均数，具体可以表示为公式1：

其中，α和β分别代表控制多样性和准确度重要程度的权重。

准确度指标Acc可以利用混淆矩阵确定出，具体的，可以利用公式2确定出准确度指标Acc：

然而，在实际应用中，常常遇到不平衡数据集，这里所说的不平衡数据集具体指数据集中数据差异过大。比如，在信用评分模型建模样本中，信用好的用户与信用差的用户的比例为1:99，针对这种不平衡数据集，采用准确度Acc来衡量分类器会存在问题。

例如，参考上述表1的混淆矩阵，真实情况为：10000个数据里有9900个数据是反例，只有100个是正例。假如分类器模型将10000个数据全部预测为反例，也就是说，分类器模型对反例的预测全部准确，而对正例的预测全都错误，在这种情况下，TP＝FP＝0，TN＝9900/10000，FN＝100/10000，Acc＝(TP+TN)/(TP+TN+FP+FN)＝TN/(TN+FN)＝TN＝9900/10000，即，由于反例样本占比很高且对反例的预测准确，因此，Acc指标的值很大，然而，该分类器模型并未正确预测出任一个正例。在实际应用中，往往更关注的是对正例的预测能力，因此，采用Acc指标选择基分类器的方法不适于不平衡分类数据集。

另外，由于数据偏差和/或数据量纲不统一，造成数据不可比较的问题，进而导致数据集分类的结果效果不佳。其中，这里所说的数据偏差可以指数据集中出现了异常数据，这些异常数据可能偏离正常认知的范围。例如，针对数据集为月消费次数，大部分用户的月消费次数范围在0至1000笔，但有一个用户的月消费次数为100000笔，则可以认为该用户的数据产生了偏差。而现有的一些技术中，并未出现解决此类问题较好的方法。

鉴于此，需要一种新的基于基分类器的数据分类方法，以解决上述问题。

图4示意性示出了本公开的示例性实施方式的基于基分类器的数据分类方法的流程图，该数据分类方法可以应用于包括多个基分类器的集成分类器。参考图4，所述基于基分类器的数据分类方法可以包括以下步骤：

S42.确定多个基分类器组合，计算各基分类器组合的准确性指标和多样性指标；其中，各基分类器组合由预定数量个基分类器组成。

在本公开的示例性实施方式中，基分类器是用于分类处理的机器学习模型，其类型可以包括但不限于LR(Logistic Regression，逻辑回归)模型、RF(Random Forest，随机森林)模型、SVM(Support Vector Machine，支持向量机)模型、LDA(Linear DiscriminantAnalysis，线性判别分析)模型、QDA(Quadratic Discriminant Analysis，二次判别分析)模型、DT(Decision Tree，决策树)模型、GNB(Gaussian Naive Bayes，高斯朴素贝叶斯)模型、KNN(K-Nearest Neighbor classification，k近邻分类)模型等。

集成分类器中包括的基分类器可以是不同类型的基分类器，例如，分类算法1对应的基分类器1可以是LR模型，分类算法2对应的基分类器2可以是SVM模型。

另外，需要说明的是，即使采用相同类型的基分类器，分类结果也不尽相同，例如，同是LR模型，如果模型参数不一样，分类结果也可能存在较大差别。因此，同一类型的基分类器也可以能存在多样性。

本公开所述的基分类器组合可以由待选择的基分类器组成，各基分类器组合包含的基分类器数量相同。具体的，各基分类器组合可以由预定数量个基分类器组成。如果集成分类器中总计有M个基分类器，那么每个基分类器组合可以由预定数量m个基分类器组成，其中，M往往为大于2的正整数，m为正整数且1＜m≤M。通常，预定数量m可以人为进行设定，然而，还可以预先构建与分类任务相关的映射表，利用该映射表，通过分类任务可以直接确定出预定数量，本示例性实施方式中对此不做特殊限定。

在另一些实施例中，预定数量可以不限于一个数值，也就是说，每个基分类器组合中基分类器的数量可以不同，这些不同的数量均可以人为设定。

此外，容易理解的是，当预定数量m与基分类器总数量M确定的情况下，基分类器组合的数量也是确定的，具体的，基分类器组合的数量

服务器可以确定多个基分类器组合。根据本公开的一些实施例，所述多个基分类器组合可以是N个基分类器组合，也就是说，集成分类器下所有可能的基分类器组合都是下述步骤处理的对象。

根据本公开的另一些实施例，考虑到***资源的合理分配，提高分类速度，服务器可以从N个基分类器组合中确定出若干个基分类器组合，作为步骤S42中确定出的多个基分类器组合。具体的，可以采用随机算法从N个基分类器组合中确定出一定数量(例如，5个)基分类器组合。

在确定出多个基分类器组合后，服务器可以计算各基分类器组合的准确性指标和多样性指标。

针对计算各基分类器组合的准确性指标的过程：

在本公开的示例性实施方式中，以计算一个基分类器组合的准确性指标为例，首先，服务器可以计算基分类器组合所包含的基分类器的准确性指标；接下来，服务器可以计算这些基分类器的准确性指标的平均值，并将该平均值作为该基分类器组合的准确性指标。

根据本公开的一些实施例，基分类器的准确性指标可以为受试者工作特征曲线下的面积，记为AUC。

AUC是一种用来度量分类器性能的指标，其主要分析工具是一个绘制在二维平面上的ROC曲线。参考图5，该二维平面的横坐标为假正率(False Positive rate，FPr)，纵坐标为真正率(True Positive rate，TPr)，假正率和真正率的计算方式分别如公式3、公式4所示：

针对基分类器而言，可以利用测试集中测试样本的分类预测结果与测试样本对应的预设阈值确定出一个包含假正率和真正率的点对，将该点对映射成图5所示的平面上的一个点。其中，预设阈值可以人为设定，并且对于不同的分类任务，预设阈值也不尽相同。通过调整该预设阈值，可以确定出一个经过(0,0)和(1,1)的曲线，该曲线即为ROC曲线。一般情况下，ROC曲线处于(0,0)和(1,1)连线的上方。在这种情况下，可以计算ROC曲线下的面积AUC，并将AUC作为基分类器的准确性指标。另外，根据上面的描述可知，AUC的值通常介于0.5至1.0之间，AUC的值越大，则代表基分类器的准确性越好。

在确定出基分类器组合所包含的所有基分类器的准确性指标后，可以计算它们的平均值，以确定出该基分类器组合的准确性指标。

类似地，服务器可以计算出所有基分类器组合的准确性指标，具体过程不再赘述。

需要说明的是，在分类场景下，尤其针对两分类问题，样本一(正负样本差距较小)和样本二(负样本过多)的情况下，ROC曲线的形状变化不大，也就是说，将AUC作为准确性指标，能够较好的适用于平衡数据集和不平衡数据集。

另外，本公开示例性的不平衡数据集可以被理解为：正负样本的差距大于一预设平衡阈值的数据集，例如，正样本仅占样本总量的5％，则正负样本的差距为90％，如果预设平衡阈值被配置为20％，则明显可以确定出该数据集为不平衡数据集。

此外，还可以采用如上述公式2所示的Acc来表征准确性指标，本公开对此不做特殊限制。

针对计算各基分类器组合的多样性指标的过程：

在本公开的示例性实施方式中，仍以计算一个基分类器组合的准确性指标为例，首先，服务器可以计算基分类器组合中各基分类器两两之间的多样性指标；接下来，服务器可以计算各基分类器两两之间的多样性指标的平均值，作为该基分类器组合的多样性指标。

针对计算基分类器两两之间的多样性指标的过程，具体的，以第一基分类器和第二基分类器为例对多样性指标的计算进行说明。参考图6，针对基分类器组合A，其可以包括基分类器1、基分类器2、…、基分类器m，此处所述的第一基分类器可以是该基分类器组合A中任一基分类器，将第一基分类器记为m_i，而第二基分类器可以是该基分类器组合A中与第一基分类器不同的任一基分类器，将第二基分类器记为m_j，其中，i，j均为小于等于m的正整数，且i不等于j。例如，将图6中的基分类器1作为第一基分类器，将基分类器2作为第二基分类器。

首先，服务器可以将测试样本分别输入第一基分类器和第二基分类器，并分别确定出第一基分类器的分类结果以及第二基分类器的分类结果；接下来，服务器可以根据第一基分类器的分类结果以及第二基分类器的分类结果计算第一基分类器与第二基分类器的多样性指标。

例如，表2示例性示出了第一基分类器m_i和第二基分类器m_j的分类结果。

表2

其中，N¹¹、N¹⁰、N⁰¹、N⁰⁰之和为样本数。

本公开示例性实施方式所述的基分类器两两之间的多样性指标可以包括但不限于Q统计量、相关系数、分歧度量、双错误度量、Kappa统计量、平衡分歧度量、熵、KW变量、难度衡量、广义多样性、一致故障多样性等。下面将以Q统计量和相关系数为例，对计算基分类器两两之间的多样性指标进行说明。然而，本领域技术人员应当理解的是，还可以采用上述其他任一种指标或多种指标的结合来表示本公开所述的多样性指标，这些都应属于本发明的构思。

在以Q统计量表征多样性指标的实例中，可以利用公式5计算出第一基分类器m_i与第二基分类器m_j的Q统计量Q_i,j：

其中，-1≤Q_i,j≤1。容易理解的是，如果第一基分类器m_i与第二基分类器m_j的分类结果一致，则Q统计量为正；如果第一基分类器m_i与第二基分类器m_j的分类结果不一致，则Q统计量为负。另外，Q统计量为0时，第一基分类器m_i与第二基分类器m_j的多样性最强，表明第一基分类器m_i与第二基分类器m_j不相关。

在以相关系数表征多样性指标的实例中，可以利用公式6计算出第一基分类器m_i与第二基分类器m_j的相关系数ρ_i,j：

其中，-1≤ρ_i,j≤1，ρ_i,j的绝对值越小，第一基分类器m_i与第二基分类器m_j的多样性越强。当ρ_i,j＝0时，多样性最强，表明第一基分类器m_i与第二基分类器m_j不相关。

上面仅描述了第一基分类器m_i与第二基分类器m_j的多样性指标的确定过程。针对基分类器组合中的任意两个基分类器，可以采用上述过程分别确定出它们的多样性指标。例如，如果该基分类器组合中包括a个不同的基分类器，则容易理解的是，可以确定出a(a-1)/2个多样性指标。随后，可以计算这a(a-1)/2个多样性指标的平均值，以得到该基分类器组合的多样性指标。

类似地，服务器可以计算出所有基分类器组合的多样性指标，具体过程不再赘述。

S44.根据各基分类器组合的准确性指标对各基分类器组合进行排序，并确定各基分类器组合的准确性排序值。

在本公开的示例性实施方式中，如上所述，将基分类器组合的数量记为N。可以采用逆序排序的方法将N个基分类器组合的准确性指标从大到小进行排序，得到的排序值依次标记为1,2,…,N，可以用AUC_Rank表示确定出的准确性排序值。

容易理解的是，虽然本公开示例性实施方式以逆序排序为例进行说明，然而，本公开还可以采用其他排序算法实现准确性的排序，例如，冒泡排序、选择排序、***排序等，本示例性实施方式中对此不做特殊限定。

S46.根据各基分类器组合的多样性指标对各基分类器组合进行排序，并确定各基分类器组合的多样性排序值。

在本公开的示例性实施方式中，如上所述，将基分类器组合的数量记为N。可以采用逆序排序的方法将N个基分类器组合的多样性指标从大到小进行排序，得到的排序值依次标记为1,2,…,N，可以用Div_Rank表示确定出的多样性排序值。

容易理解的是，虽然本公开示例性实施方式以逆序排序为例进行说明，然而，本公开还可以采用其他排序算法实现多样性的排序，例如，冒泡排序、选择排序、***排序等，本示例性实施方式中对此不做特殊限定。

S48.根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用选择出的基分类器对待分类数据进行分类。

在本公开的示例性实施方式中，仍以计算一个基分类器组合的评价指标为例，首先，可以利用基分类器组合的数量和基分类器组合的准确性指标排序值确定第一数值，并利用基分类器组合的数量和基分类器组合的多样性排序值确定第二数值；接下来，可以计算第一数值与第二数值的加权调和平均数，作为该基分类器组合的评价指标。

针对确定第一数值的权重与第二数值的权重的过程，根据本公开的一些实施例，首先，可以配置第一数值的权重为第一权重，并配置第二数值的权重为第二权重；其中，第一权重与第二权重均大于等于0，且第一权重与第二权重之和为1；接下来，利用第一权重与第二权重计算第一数值与第二数值的加权调和平均数，使得该加权调和平均数最大，此时的第一权重和第二权重为经过调参后的权重。另外，可以将最大的加权调和平均数作为该基分类器组合的评价指标。

具体的，可以参考公式7来计算基分类器组合的评价指标。

其中，β为上述第一权重，α为上述第二权重。

在通过示例性构建的公式7确定出各基分类器组合的评价指标后，可以将评价指标最大的基分类器组合中的基分类器确定为本公开方法选择出的基分类器。

根据本公开的另一些实施例，在确定出各基分类器组合的评价指标后，可以将各基分类器组合以及对应的评价指标反馈给终端设备，以便用户进行参考，最终由用户选择出待使用的基分类器。

此外，在选择出基分类器后，服务器可以接收由终端设备发送的待分类数据，并将待分类数据输入选择出的基分类器，以确定中间分类结果，参考图3，服务器随后可以将中间分类结果输入集成分类器的次级分类器层，以便确定出待分类数据最终的分类结果。

下面将参考一实例对本公开的基于基分类器的数据分类方法进行说明。

Stacking集成分类器中备选的基分类器共有5个，分别为LDA、QDA、GNB、DT和KNN，从这5个基分类器中要选取3个作为实际应用的基分类器。那么，容易理解的是，基分类器组合一共有10个参考表3，列出了这种实例的具体情况。

表3

对于表3中这10种基分类器组合，首先，可以利用步骤S42中所述的方法计算每一种基分类器组合的准确性指标和多样性指标，其中，可以利用AUC来表征基分类器的准确性指标；接下来，可以利用步骤S44和S46中所述的方法确定出各基分类器组合的准确性排序值和多样性排序值；随后，可以利用公式7计算出各基分类器组合的评价指标，并将评价指标最大的基分类器组合中的基分类器作为本公开方法选择出的基分类器。

例如，当确定出QDA+DT+KNN的评价指标最大时，可以将QDA、DT、KNN确定为选择出的基分类器，用于实际的分类应用中。

另外，针对需要较高召回性能的场景，可以用召回率来替换上述AUC，以达到利用召回率评价基分类器组合的效果。

具体的，召回率可以利用公式8计算得到：

接下来，类似地，可以对各基分类器组合进行召回率排序，结合公式7的内容并用召回率Recall来替代AUC，以计算出基于召回率和多样性的评价指标，具体过程不再赘述。

例如，在确定异常用户(例如，频繁登录的用户、交易异常的用户等)的场景下，利用基于召回率的评价指标选择出的基分类器，可以较好地从用户群中筛选出异常用户。

此外，还可以采用F1-measure来替代AUC。其中，F1-measure又称为F-score，是精确度(Precision)与召回率(Recall)的加权调和平均数。

精确度又称为查准率，精确度越高，表示分类器对正例的预测性能越好。精确度可以是真正例和所有被预测为正例的样本的比值，可以用公式9计算出：

精确度和召回率往往相互制约，也就是说，如果精确度高，则召回率往往较低；而召回率高时，精确度往往偏低。可以利用下述公式10来确定出F1-measure：

接下来，类似地，可以对各基分类器组合的F1-measure进行排序，得到排序值，结合公式7的内容并用F1-measure替代AUC，以计算出基于精确度、召回率和多样性的评价指标，具体过程不再赘述。

根据本公开示例性实施方式的基于基分类器的数据分类方法，一方面，采用准确性排序值和多样性排序值计算评价指标，避免了由于数据偏差和/或数据量纲不统一而造成评价指标计算错误的问题，有助于提高集成分类器分类的准确性；另一方面，利用AUC指标确定评价指标，可以应用于针对不平衡数据集的分类场景；又本公开综合考虑到了基分类器的准确性和多样性，使得集成分类器更加鲁棒；再一方面，本公开所述的方案具有普适性，可以快速辅助搭建集成分类器，提高集成分类器应用于分类问题中的效率和性能。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种基于基分类器的数据分类装置。

图7示意性示出了本公开的示例性实施方式的基于基分类器的数据分类装置的方框图，该数据分类装置应用于包括多个基分类器的集成分类器。参考图7，根据本公开的示例性实施方式的基于基分类器的数据分类装置7可以包括指标计算模块71、第一排序模块73、第二排序模块75和数据分类模块77。

具体的，指标计算模块71可以用于确定多个基分类器组合，计算各基分类器组合的准确性指标和多样性指标；其中，各基分类器组合由预定数量个基分类器组成；第一排序模块73可以用于根据各基分类器组合的准确性指标对各基分类器组合进行排序，并确定各基分类器组合的准确性排序值；第二排序模块75可以用于根据各基分类器组合的多样性指标对各基分类器组合进行排序，并确定各基分类器组合的多样性排序值；数据分类模块77可以用于根据各基分类器组合的准确性排序值和多样性排序值计算各基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用选择出的基分类器对待分类数据进行分类。

在本公开所提供的基于基分类器的数据分类装置中，一方面，本公开采用准确性排序值和多样性排序值计算评价指标，避免了由于数据偏差和/或数据量纲不统一而造成评价指标计算错误的问题，有助于提高集成分类器分类的准确性；另一方面，本公开综合考虑到了基分类器的准确性和多样性，使得集成分类器更加鲁棒；再一方面，本公开所述的方案具有普适性，可以快速辅助搭建集成分类器，提高集成分类器应用于分类问题中的效率和性能。

根据本公开的示例性实施例，参考图8，指标计算模块71可以包括准确性指标确定单元801。

具体的，准确性指标确定单元801可以用于计算基分类器组合所包含的基分类器的准确性指标；计算基分类器组合所包含的基分类器的准确性指标的平均值，作为基分类器组合的准确性指标。

根据本公开的示例性实施例，基分类器的准确性指标为受试者工作特征曲线下的面积。

本实施例通过利用AUC指标来确定评价指标，可以应用于针对不平衡数据集的分类场景

根据本公开的示例性实施例，准确性指标确定单元801可以被配置为执行：利用基分类器确定测试集中各测试样本的分类结果，根据各测试样本的分类结果以及与各测试样本对应的预设阈值确定受试者工作特征曲线，并计算受试者工作特性曲线下的面积，作为基分类器的准确性指标。

根据本公开的示例性实施例，参考图9，指标计算模块71还包括多样性指标确定单元901。

具体的，多样性指标确定单元901可以用于计算基分类器组合中各基分类器两两之间的多样性指标，并计算各基分类器两两之间的多样性指标的平均值，作为基分类器组合的多样性指标。

根据本公开的示例性实施例，基分类器组合包括第一基分类器和第二基分类器；其中，多样性指标确定单元901可以被配置为执行：将测试样本分别输入第一基分类器和第二基分类器，分别确定出第一基分类器的分类结果以及第二基分类器的分类结果，并根据第一基分类器的分类结果以及第二基分类器的分类结果计算第一基分类器与第二基分类器的多样性指标。

根据本公开的示例性实施例，参考图10，数据分类模块77可以包括评价指标计算单元101。

具体的，评价指标计算单元101可以被配置为执行：确定基分类器组合的数量；利用基分类器组合的数量和基分类器组合的准确性排序值确定第一数值，并利用基分类器组合的数量和基分类器组合的多样性排序值确定第二数值；计算第一数值与第二数值的加权调和平均数，作为基分类器组合的评价指标。

根据本公开的示例性实施例，评价指标计算单元101可以被配置为执行：确定集成分类器中基分类器的数量；基于集成分类器中基分类器的数量和预定数量确定基分类器组合的数量。

根据本公开的示例性实施例，评价指标计算单元101可以被配置为执行：配置第一数值的权重为第一权重，并配置第二数值的权重为第二权重；其中，第一权重与第二权重均大于等于0，且第一权重与第二权重之和为1；利用第一权重与第二权重计算第一数值与第二数值的加权调和平均数，使得加权调和平均数最大，并将最大的加权调和平均数确定为基分类器组合的评价指标。

根据本公开的示例性实施例，参考图11，数据分类模块77可以包括分类结果确定模块111。

具体的，分类结果确定模块111可以被配置为执行：将待分类数据输入选择出的基分类器，以确定中间分类结果；将中间分类结果输入集成分类器的次级分类器层，以确定出待分类数据的分类结果。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (15)

1.一种基于基分类器的数据分类方法，应用于包括多个基分类器的集成分类器，其特征在于，包括：

确定多个基分类器组合，计算各所述基分类器组合的准确性指标和多样性指标；其中，各所述基分类器组合由预定数量个基分类器组成；

根据各所述基分类器组合的准确性指标对各所述基分类器组合进行排序，并确定各所述基分类器组合的准确性排序值；

根据各所述基分类器组合的多样性指标对各所述基分类器组合进行排序，并确定各所述基分类器组合的多样性排序值；

根据各所述基分类器组合的准确性排序值和多样性排序值计算各所述基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用所述选择出的基分类器对待分类数据进行分类。

2.根据权利要求1所述的基于基分类器的数据分类方法，其特征在于，计算基分类器组合的准确性指标包括：

计算基分类器组合所包含的基分类器的准确性指标；

计算所述基分类器组合所包含的基分类器的准确性指标的平均值，作为所述基分类器组合的准确性指标。

3.根据权利要求2所述的基于基分类器的数据分类方法，其特征在于，所述基分类器的准确性指标为受试者工作特征曲线下的面积。

4.根据权利要求3所述的基于基分类器的数据分类方法，其特征在于，计算基分类器的准确性指标包括：

利用基分类器确定测试集中各测试样本的分类结果；

根据各测试样本的分类结果以及与各测试样本对应的预设阈值确定受试者工作特征曲线；

计算所述受试者工作特性曲线下的面积，作为所述基分类器的准确性指标。

5.根据权利要求1所述的基于基分类器的数据分类方法，其特征在于，计算基分类器组合的多样性指标包括：

计算基分类器组合中各基分类器两两之间的多样性指标；

计算各基分类器两两之间的多样性指标的平均值，作为所述基分类器组合的多样性指标。

6.根据权利要求5所述的基于基分类器的数据分类方法，其特征在于，所述基分类器组合包括第一基分类器和第二基分类器；其中，计算基分类器两两之间的多样性指标包括：

将测试样本分别输入所述第一基分类器和所述第二基分类器，分别确定出所述第一基分类器的分类结果以及所述第二基分类器的分类结果；

根据所述第一基分类器的分类结果以及所述第二基分类器的分类结果计算所述第一基分类器与所述第二基分类器的多样性指标。

7.根据权利要求1所述的基于基分类器的数据分类方法，其特征在于，根据基分类器组合的准确性排序值和多样性排序值计算所述基分类器组合的评价指标包括：

确定所述基分类器组合的数量；

利用所述基分类器组合的数量和所述基分类器组合的准确性排序值确定第一数值，并利用所述基分类器组合的数量和所述基分类器组合的多样性排序值确定第二数值；

计算所述第一数值与所述第二数值的加权调和平均数，作为所述基分类器组合的评价指标。

8.根据权利要求7所述的基于基分类器的数据分类方法，其特征在于，确定所述基分类器组合的数量包括：

确定所述集成分类器中基分类器的数量；

基于所述集成分类器中基分类器的数量和所述预定数量确定所述基分类器组合的数量。

9.根据权利要求7所述的基于基分类器的数据分类方法，其特征在于，计算所述第一数值与所述第二数值的加权调和平均数包括：

配置所述第一数值的权重为第一权重，并配置所述第二数值的权重为第二权重；其中，所述第一权重与所述第二权重均大于等于0，且所述第一权重与所述第二权重之和为1；

利用所述第一权重与所述第二权重计算所述第一数值与所述第二数值的加权调和平均数，使得所述加权调和平均数最大，并将最大的加权调和平均数确定为所述基分类器组合的评价指标。

10.根据权利要求1所述的基于基分类器的数据分类方法，其特征在于，利用所述选择出的基分类器对待分类数据进行分类包括：

将待分类数据输入所述选择出的基分类器，以确定中间分类结果；

将所述中间分类结果输入所述集成分类器的次级分类器层，以确定出所述待分类数据的分类结果。

11.一种基于基分类器的数据分类装置，应用于包括多个基分类器的集成分类器，其特征在于，包括：

指标计算模块，用于确定多个基分类器组合，计算各所述基分类器组合的准确性指标和多样性指标；其中，各所述基分类器组合由预定数量个基分类器组成；

第一排序模块，用于根据各所述基分类器组合的准确性指标对各所述基分类器组合进行排序，并确定各所述基分类器组合的准确性排序值；

第二排序模块，用于根据各所述基分类器组合的多样性指标对各所述基分类器组合进行排序，并确定各所述基分类器组合的多样性排序值；

数据分类模块，用于根据各所述基分类器组合的准确性排序值和多样性排序值计算各所述基分类器组合的评价指标，将评价指标最大的基分类器组合中的基分类器确定为选择出的基分类器，利用所述选择出的基分类器对待分类数据进行分类。

12.根据权利要求11所述的基于基分类器的数据分类装置，其特征在于，指标计算模块包括：

多样性指标确定单元，用于计算基分类器组合中各基分类器两两之间的多样性指标；计算各基分类器两两之间的多样性指标的平均值，作为所述基分类器组合的多样性指标。

13.根据权利要求12所述的基于基分类器的数据分类装置，其特征在于，所述基分类器组合包括第一基分类器和第二基分类器；

其中，所述多样性指标确定单元被配置为执行：将测试样本分别输入所述第一基分类器和所述第二基分类器，分别确定出所述第一基分类器的分类结果以及所述第二基分类器的分类结果；根据所述第一基分类器的分类结果以及所述第二基分类器的分类结果计算所述第一基分类器与所述第二基分类器的多样性指标。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至10中任一项所述的基于基分类器的数据分类方法。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至10中任一项所述的基于基分类器的数据分类方法。