CN114330550A - 模型融合策略的选择方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了模型融合策略的选择方法、装置及电子设备，应用于机器学习技术领域。该方法包括：获取目标数据集的目标数据集信息；将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。通过本方案，可以提高模型融合策略的选择效率。

Description

模型融合策略的选择方法、装置及电子设备

技术领域

本发明涉及机器学习技术领域，特别是涉及模型融合策略的选择方法、装置及电子设备。

背景技术

模型融合指同时训练多个机器学习模型，然后按照一定的模型融合策略，融合各个机器学习模型的参数，从而提高机器学习模型的训练效果。

为了选择适用于某个新数据集较的模型融合策略，相关技术中，需要遍历各模型融合策略，以选择最佳的模型融合策略，效率较低。

发明内容

本发明实施例的目的在于提供模型融合策略的选择方法、装置及电子设备，以提高模型融合策略的选择效率。具体技术方案如下：

第一方面，本发明实施例提供一种模型融合策略的选择方法，所述方法包括：

获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，按照以下方式训练所述模型融合策略推荐模型：

获取样本数据集的样本数据集信息和所述样本数据集对应的标注适用信息；

将所述样本数据集信息输入至待训练的机器学习模型，以得到所述待训练的机器学习模型输出的结果，并根据所述待训练的机器学习模型的输出结果，确定预测适用信息，其中，所述预测适用信息指示：各待选择的模型融合策略是否适用于所述样本数据集；

基于所述标注适用信息和所述待训练的预测适用信息，计算所述待训练的机器学习模型的损失函数值；

根据所述损失函数值，判断所述待训练的机器学习模型是否收敛，当所述待训练的机器学习模型未收敛时，调整所述待训练的机器学习模型参数，并进行下一次训练，当所述待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

可选的，按照以下方式获取所述样本数据集对应的标注适用信息：

针对每一待选择的模型融合策略，利用所述样本数据集训练利用待选择的模型融合策略进行模型融合的机器学习模型，进而确定该训练后的机器学习模型的模型准确率，作为该待选择的模型融合策略对应的准确度；

基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，以得到所述样本数据集对应的标注适用信息。

可选的，所述基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，包括：

将各待选择的模型融合策略中，对应的准确率大于准确率阈值的模型融合策略，确定为适用于利用所述样本数据集，以及将准确率不大于所述准确率阈值的模型融合策略，确定为不适用于利用所述样本数据集。

可选的，所述从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略，包括：

随机从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略；或者，

按照各推荐的模型融合策略的置信度，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，每一数据集的数据集信息至少包括数据集基础信息、缺失值信息、特征信息、标签信息以及序列信息中的至少一种。

第二方面，本发明实施例提供一种模型融合策略的选择装置，所述装置包括：

第一获取模块，用于获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

信息输入模块，用于将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

策略选择模块，用于从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，所述装置还包括：

第二获取模块，用于获取样本数据集的样本数据集信息和所述样本数据集对应的标注适用信息；

信息确定模块，用于将所述样本数据集信息输入至待训练的机器学习模型，以得到所述待训练的机器学习模型输出的结果，并根据所述待训练的机器学习模型的输出结果，确定预测适用信息，其中，所述预测适用信息指示：各待选择的模型融合策略是否适用于所述样本数据集；

损失值计算模块，用于基于所述标注适用信息和所述预测适用信息，计算所述待训练的机器学习模型的损失函数值；

模型判断模块，用于根据所述损失函数值，判断所述待训练的机器学习模型是否收敛，当所述待训练的机器学习模型未收敛时，调整所述待训练的机器学习模型参数，并进行下一次训练，当所述待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

可选的，所述信息确定模块，具体用于若所述机器学习模型的输出结果为：各待选择的模型融合策略是否适用于所述样本数据集，则将所述待训练的机器学习模型的输出结果作为预测适用信息；若所述机器学习模型的输出结果为：各待选择的模型融合策略对所述样本数据集的适用度，则针对每一待选择的模型融合策略，基于该待选择的模型融合策略对所述样本数据集的适用度，确定该待选择的模型融合策略是否适用于所述样本数据集，得到预测适用信息。

可选的，所述第二获取模块，包括：

准确度确定子模块，用于针对每一待选择的模型融合策略，利用所述样本数据集训练利用待选择的模型融合策略进行模型融合的机器学习模型，进而确定该训练后的机器学习模型的模型准确率，作为该待选择的模型融合策略对应的准确度；

信息确定子模块，用于基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，以得到所述样本数据集对应的标注适用信息。

可选的，所述信息确定子模块，具体用于将各待选择的模型融合策略中，对应的准确率大于准确率阈值的模型融合策略，确定为适用于利用所述样本数据集，以及将准确率不大于所述准确率阈值的模型融合策略，确定为不适用于利用所述样本数据集。

可选的，所述策略选择模块，具体用于随机从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略；或者，按照各推荐的模型融合策略的置信度，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，每一数据集的数据集信息至少包括数据集基础信息、缺失值信息、特征信息、标签信息以及序列信息中的至少一种。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法步骤。

本发明实施例有益效果：

本发明实施例所提供的模型融合策略的选择方法中，可以获取目标数据集的目标数据集信息，进而将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略，以及从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。由于通过模型融合策略推荐模型，可以快速准确地推荐至少一推荐的模型融合策略，进而可以从至少一推荐的模型融合策略，选择适用于目标数据集的模型融合策略，避免相关技术中通过遍历的方式去选择最佳的模型融合策略。可见，通过本方案，可以提高模型融合策略的选择效率。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明实施例所提供的模型融合策略的选择方法的流程图；

图2为本发明实施例所提供的模型融合策略的选择方法的另一流程图；

图3为本发明实施例所提供的模型融合策略的选择装置的结构示意图；

图4为本发明实施例所提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高模型融合策略的选择效率，本发明实施例提供了模型融合策略的选择方法、装置及电子设备。

下面首先对本发明实施例所提供的一种模型融合策略的选择方法进行介绍。

本发明实施例可以应用于各类电子设备，例如，个人电脑、服务器、手机以及其他具有数据处理能力的设备。并且，本发明实施例提供的瞳孔亮斑消除方法可以通过软件、硬件或软硬件结合的方式实现。

其中，本发明实施例提供的一种模型融合策略的选择方法，可以包括如下步骤：

获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

本发明实施例所提供的模型融合策略的选择方法中，可以获取目标数据集的目标数据集信息，进而将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略，以及从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。由于通过模型融合策略推荐模型，可以快速准确地推荐至少一推荐的模型融合策略，进而可以从至少一推荐的模型融合策略，选择适用于目标数据集的模型融合策略，避免相关技术中通过遍历的方式去选择最佳的模型融合策略。可见，通过本方案，可以提高模型融合策略的选择效率。

下面结合附图，对本发明实施例提供的一种模型融合策略的选择方法进行详尽地介绍。

如图1所示，本发明实施例提供的一种模型融合策略方法，可以包括如下步骤：

S101，获取目标数据集的目标数据集信息；其中，目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

其中，每一数据集的数据集信息可以为该数据集的元特征，可选的，至少可以包括：数据集基础信息、缺失值信息、特征信息以及标签信息至少一种。

上述数据集基础信息是与数据集所包含的样本数量、样本类别数量、特征数量相关的信息。其中，样本数量指数据集中用于进行机器学习模型训练的样本数据的数量，而特征数量则是数据集中每一样本数据包含的不同维度的特征的数量。

示例性的，如表1所示，是一种数据集的表示形式：

表1

地区标识	面积	数据库数量	数据库类别
				地区1	面积1	数量1	类别1
地区2	面积2	数量2	类别2
				地区3	面积3	数量3	类别1
地区4	面积4	数量4	类别2

对于表1所示数据集而言，包含4条样本数据，分别为：{地区1、面积1、数量1、类别1}、{地区2、面积2、数量2、类别2}、{地区3、面积3、数量3、类别3}以及{地区4、面积4、数量4、类别4}，因此，表1所示数据集的样本数量为4、每一样本数据包含3种维度的特征，分别为面积、数据库数量以及数据库类别，因此，表1所示数据集的特征数量为3。

一种实现方式中，上述数据集基础信息包括：样本数量、log(样本数量)、样本类别数量、特征数量、log(特征数量)、特征数量/样本数量、样本数量/特征数量中的至少一种。

上述缺失值信息与样本数据或样本数据中特征的数值缺失程度相关的信息，可选的可以包括含缺失值的样本数量、缺失值样本占总样本比例、缺失的特征数量、有缺失的特征数量占总特征的比例、总体缺失数量(含无穷值)、缺失值的占矩阵的比例中的至少一种。

上述特征信息包括数值型数量、cat(类别)型数量、时间型数量、数值型数量/cat型数量、数值型数量/时间型数量、cat型数量/数值型数量、cat型数量/时间型数量、时间型数量/数值型数量以及时间型数量/cat型数量中的至少一种。可选的，若数值型数量为0，则cat型数量/数值型数量以及时间型数量/数值型数量为0。若cat型数量为0，则数据型数量/cat型数量以及时间型数量/cat型数量为0。若时间型数量为0，则数据型数量/时间型数量以及cat型数量/时间型数量为0。

其中，数值型数量为数据型特征的数量，该数据型特征为连续、利用数据描述的特征，例如年龄、身高、体重等。上述cat型数量是类别型特征的数量，该类别型特征为离散的类别，例如性别、名族、国际、图像的颜色等。上述时间型数量为时间型特征的数量，该时间型特征为描述时间的特征，例如发生时间、结束时间等。

上述标签信息包括最小类的占比、最大类的占比、各个类的占比的平均值、各个类的占比的标准差的至少一种。上述序列信息包括实体数量、缺失值的实体数、缺失值的实体占总实体数的比例、实体最长序列长度、平均序列长度、序列长度标准差、实体最短序列长度等中的至少一种。

其中，标签信息主要针对分类样本集而言，例如，分类样本集1中包含100个样本图像，其中50个样本图像为包含猫的样本图像，即图像类别为猫，30个样本图像为包含狗的样本图像，即图像类别为狗，20个样本图像为包含鸭子的样本图像，即图像类别为鸭子。则可知类型为猫的样本图像占比1/2、类型为狗的样本图像占比3/10、类型为鸭子的样本图像占比1/5。则最大类占比为猫、最小类占比为鸭子，各个类的占比的平均值为1/3，各个类的占比的标准差约为1.5。

S102，将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

需要说明的是，一个模型融合策略适用于一个数据集，其意味着，当利于该数据集进行机器学习模型训练时，利用该模型融合策略对机器学习模型的模型结果进行融合，具有较好的效果。相应的，一个模型融合策略不适用于一个数据集，其意味着，当利于该数据集进行机器学习模型训练时，利用该模型融合策略对机器学习模型的模型结果进行融合时，效果较差。

由于模型融合策略推荐模型为基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，使得模型融合策略推荐模型可以基于目标数据集信息，确定适用于该目标样本集信息所属目标样本集训练所针对机器学习模型的模型融合策略。

从而，在确定目标数据集信息之后，既可以将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略。

可选的，模型融合策略推荐模型可以输出多个推荐的模型融合策略，进而可以从中选择置信度排序靠前N个模型融合策略，作为推荐的模型融合策略，或选择置信度大于指定置信度阈值的模型融合策略，作为推荐的模型融合策略。

其中，上述模型融合策略可以包括平均融合策略、加权融合策略、二次训练策略、递归消除策略等。其中，上述平均融合策略指计算各机器学习模型的模型结果的均值；上述加权融合策略指基于各机器学习模型的权重，对各机器学习模型的模型结果进行加权求和，再计算出均值，其中，各模型结果的权重之和为1；上述二次训练策略指利用预先训练的参数融合模型对各机器学习模型的模型结果进行训练融合；上述递归消除融合指从各机器学习模型的模型结果中选择最优的N个模型结果，在基于该N个模型结果确定融合结果，其中，N为大于0的整数。

S103，从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。

一种实现方式中，在确定至少一推荐的模型融合策略之后，可以随机从选择选择一模型融合策略，作为适用于目标数据集的模型融合策略。

或者，也可以按照各推荐的模型融合策略的置信度，选择一模型融合策略，作为适用于目标数据集的模型融合策略。

本发明实施例所提供的模型融合策略的选择方法中，可以获取目标数据集的目标数据集信息，进而将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略，以及从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。由于通过模型融合策略推荐模型，可以快速准确地推荐至少一推荐的模型融合策略，进而可以从至少一推荐的模型融合策略，选择适用于目标数据集的模型融合策略，避免相关技术中通过遍历的方式去选择最佳的模型融合策略。可见，通过本方案，可以提高模型融合策略的选择效率。

如图2所示，在图1所示模型融合策略的选择方法的基础上，本发明实施例还提供一种模型融合策略推荐模型的训练方法，以训练得到上述瞳孔亮斑消除方法中所涉及的模型融合策略推荐模型，可以包括如下步骤：

S201，获取样本数据集的样本数据集信息和样本数据集对应的标注适用信息；

可选的，在一种实现方式中，可以针对每一待选择的模型融合策略，利用样本数据集训练利用待选择的模型融合策略进行模型融合的机器学习模型，进而确定该训练后的机器学习模型的模型准确率，作为该待选择的模型融合策略对应的准确度。

进而基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，以得到样本数据集对应的标注适用信息。

可选的，在一种实现方式中，可以将各待选择的模型融合策略中，对应的准确率大于准确率阈值的模型融合策略，确定为适用于利用所述样本数据集，以及将准确率不大于准确率阈值的模型融合策略，确定为不适用于利用所述样本数据集。

S202，将样本数据集信息输入至待训练的机器学习模型，以得到待训练的机器学习模型输出的结果，并根据待训练的机器学习模型的输出结果，确定预测适用信息，其中，预测适用信息指示：各待选择的模型融合策略是否适用于样本数据集；

其中，待训练的待训练的机器学习模型可以为元学习(meta-learning)模型。其中，待训练的机器学习模型输出的各待选择的模型融合策略针对样本数据集的适用度，可以为待训练的机器学习模型输出的各待选择的模型融合策略的置信度。

根据待训练的机器学习模型类型的不同，训练的机器学习模型输出的结果也存在多种情况。

示例性的，待训练的机器学习模型输出的结果可以直接为各待选择的模型融合策略是否适用于样本数据集。例如各待选择的模型融合策略包括模型融合策略a1、模型融合策略a2以及模型融合策略a3，待训练的机器学习模型输出的结果可以为：模型融合策略a1适用于样本数据集、模型融合策略a2不适用于样本数据集，模型融合策略a3适用于样本数据集。

又如，待训练的机器学习模型输出的结果还可以为：各待选择的模型融合策略对样本数据集的适用度。例如各待选择的模型融合策略包括模型融合策略b1、模型融合策略b2以及模型融合策略b3，待训练的机器学习模型输出的结果可以为：模型融合策略b1对样本数据集的适用度为75％、模型融合策略b2对样本数据集的适用度为85％、模型融合策略b3对样本数据集的适用度为95％。

此时，若机器学习模型的输出结果为：各待选择的模型融合策略是否适用于样本数据集，则可以将待训练的机器学习模型的输出结果作为预测适用信息；

若机器学习模型的输出结果为：各待选择的模型融合策略对样本数据集的适用度，则可以针对每一待选择的模型融合策略，基于该待选择的模型融合策略对样本数据集的适用度，确定该待选择的模型融合策略是否适用于样本数据集，得到预测适用信息

可选的，可以将适用度大于适用度阈值的待选择的模型融合策略，确定为适用于利用所述样本数据集，而将适用度不大于适用度阈值的待选择的模型融合策略，确定为不适用于利用所述样本数据集。

在确定出各待选择的模型融合策略是否适用于利用所述样本数据集之后，将适用于利用所述样本数据集的模型融合策略设置为第一数值，例如1，而将不适用于利用所述样本数据集的模型融合策略设置为第二数值，例如0，从而生成预测适用信息。

S203，基于标注适用信息和预测适用信息，计算待训练的机器学习模型的损失函数值；

其中，可以统计预测适用信息所指示的不适用于利用所述样本数据集的模型融合策略与，标注信息所指示的不适用于利用所述样本数据集的模型融合策略之间数量的第一差值，以及统计预测适用信息所指示的适用于利用所述样本数据集的模型融合策略与，标注信息所指示的适用于利用所述样本数据集的模型融合策略之间数量的第二差值，进而计算第一差值与第二差值之和，作为待训练的机器学习模型的损失函数值。

S204，根据损失函数值，判断待训练的机器学习模型是否收敛，当待训练的机器学习模型未收敛时，调整待训练的机器学习模型的参数，并进行下一次训练，当待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

其中，可以判断损失函数值是否满足预设的损失条件的方式判断待训练的机器学习模型是否收敛。可选的，若损失函数值满足损失条件则，判定待训练的机器学习模型收敛，否则，判定待训练的机器学习模型收敛。

上述损失条件可以为根据需求和经验确定的。可选的，在一种实现方式中，上述损失条件可以为损失函数值是否小于预设的损失阈值，若损失函数值小于预设的损失阈值，则满足损失条件，否则，不满足损失条件。

当待训练的机器学习模型未收敛时，则说明待训练的待训练的机器学习模型输出的预测适用信息没有达到预期，需要调整待训练的机器学习模型参数后，继续进行训练。

当待训练的机器学习模型收敛时，则说明待训练的机器学习模型输出预测适用信息达到预期，则训练结束，得到训练完成的模型融合策略推荐模型。

本实施例所提供方案中，通过样本数据集信息和样本数据集对应的标注适用信息训练生成模型融合策略推荐模型，从而当需要选择模型融合策略时，可以利用模型融合策略推荐模型，确定至少一推荐的模型融合策略，进而方便选择适用于目标数据集的模型融合策略。可见，通过本实施例所提供方案，为提高模型融合策略的选择效率提供了实现基础。

相应于本发明实施例上述所提供的模型融合策略的选择方法，如图3所示，本发明实施例还提供了一种模型融合策略的选择装置，所述装置包括：

第一获取模块301，用于获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

信息输入模块302，用于将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

策略选择模块303，用于从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，所述装置还包括：

第二获取模块，用于获取样本数据集的样本数据集信息和所述样本数据集对应的标注适用信息；

信息确定模块，用于将所述样本数据集信息输入至待训练的机器学习模型，以得到所述待训练的机器学习模型输出的结果，并根据所述待训练的机器学习模型的输出结果，确定预测适用信息，其中，所述预测适用信息指示：各待选择的模型融合策略是否适用于所述样本数据集；

损失值计算模块，用于基于所述标注适用信息和所述预测适用信息，计算所述待训练的机器学习模型的损失函数值；

模型判断模块，用于根据所述损失函数值，判断所述待训练的机器学习模型是否收敛，当所述待训练的机器学习模型未收敛时，调整所述待训练的机器学习模型参数，并进行下一次训练，当所述待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

可选的，所述信息确定模块，具体用于若所述机器学习模型的输出结果为：各待选择的模型融合策略是否适用于所述样本数据集，则将所述待训练的机器学习模型的输出结果作为预测适用信息；若所述机器学习模型的输出结果为：各待选择的模型融合策略对所述样本数据集的适用度，则针对每一待选择的模型融合策略，基于该待选择的模型融合策略对所述样本数据集的适用度，确定该待选择的模型融合策略是否适用于所述样本数据集，得到预测适用信息。

可选的，所述第二获取模块，包括：

准确度确定子模块，用于针对每一待选择的模型融合策略，利用所述样本数据集训练利用待选择的模型融合策略进行模型融合的机器学习模型，进而确定该训练后的机器学习模型的模型准确率，作为该待选择的模型融合策略对应的准确度；

信息确定子模块，用于基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，以得到所述样本数据集对应的标注适用信息。

可选的，所述信息确定子模块，具体用于将各待选择的模型融合策略中，对应的准确率大于准确率阈值的模型融合策略，确定为适用于利用所述样本数据集，以及将准确率不大于所述准确率阈值的模型融合策略，确定为不适用于利用所述样本数据集。

可选的，所述策略选择模块，具体用于随机从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略；或者，按照各推荐的模型融合策略的置信度，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

可选的，每一数据集的数据集信息至少包括数据集基础信息、缺失值信息、特征信息、标签信息以及序列信息中的至少一种。

本发明实施例所提供的模型融合策略的选择装置中，可以获取目标数据集的目标数据集信息，进而将目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略，以及从至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于目标数据集的模型融合策略。由于通过模型融合策略推荐模型，可以快速准确地推荐至少一推荐的模型融合策略，进而可以从至少一推荐的模型融合策略，选择适用于目标数据集的模型融合策略，避免相关技术中通过遍历的方式去选择最佳的模型融合策略。可见，通过本方案，可以提高模型融合策略的选择效率。

本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，

存储器403，用于存放计算机程序；

处理器401，用于执行存储器403上所存放的程序时，实现本发明实施例所提供的模型融合策略的选择方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型融合策略的选择方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型融合策略的选择方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种模型融合策略的选择方法，其特征在于，所述方法包括：

获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

2.根据权利要求1所述的方法，其特征在于，按照以下方式训练所述模型融合策略推荐模型：

获取样本数据集的样本数据集信息和所述样本数据集对应的标注适用信息；

将所述样本数据集信息输入至待训练的机器学习模型，以得到所述待训练的机器学习模型输出的结果，并根据所述待训练的机器学习模型的输出结果，确定预测适用信息，其中，所述预测适用信息指示：各待选择的模型融合策略是否适用于所述样本数据集；

基于所述标注适用信息和所述预测适用信息，计算所述待训练的机器学习模型的损失函数值；

根据所述损失函数值，判断所述待训练的机器学习模型是否收敛，当所述待训练的机器学习模型未收敛时，调整所述待训练的机器学习模型参数，并进行下一次训练，当所述待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待训练的机器学习模型的输出结果，确定预测适用信息，包括：

若所述机器学习模型的输出结果为：各待选择的模型融合策略是否适用于所述样本数据集，则将所述待训练的机器学习模型的输出结果作为预测适用信息；

若所述机器学习模型的输出结果为：各待选择的模型融合策略对所述样本数据集的适用度，则针对每一待选择的模型融合策略，基于该待选择的模型融合策略对所述样本数据集的适用度，确定该待选择的模型融合策略是否适用于所述样本数据集，得到预测适用信息。

4.根据权利要求2所述的方法，其特征在于，按照以下方式获取所述样本数据集对应的标注适用信息：

针对每一待选择的模型融合策略，利用所述样本数据集训练利用待选择的模型融合策略进行模型融合的机器学习模型，进而确定该训练后的机器学习模型的模型准确率，作为该待选择的模型融合策略对应的准确度；

基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，以得到所述样本数据集对应的标注适用信息。

5.根据权利要求3所述的方法，其特征在于，所述基于每一待选择的模型融合策略对应的准确度，确定各待选择的模型融合策略，是否适用于利用所述样本数据集，包括：

将各待选择的模型融合策略中，对应的准确率大于准确率阈值的模型融合策略，确定为适用于利用所述样本数据集，以及将准确率不大于所述准确率阈值的模型融合策略，确定为不适用于利用所述样本数据集。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略，包括：

随机从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略；或者，

按照各推荐的模型融合策略的置信度，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

7.根据权利要求1-5任一项所述的方法，其特征在于，每一数据集的数据集信息至少包括数据集基础信息、缺失值信息、特征信息、标签信息以及序列信息中的至少一种。

8.一种模型融合策略的选择装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标数据集的目标数据集信息；其中，所述目标数据集为用于对机器学习模型进行训练的训练数据集，每一数据集的数据集信息为：用于描述该数据集的信息；

信息输入模块，用于将所述目标数据集信息，输入预先训练的模型融合策略推荐模型，得到至少一推荐的模型融合策略；其中，所述模型融合策略推荐模型为：基于各样本数据集的样本数据集信息、以及每一样本数据集对应的标注适用信息训练得到的，每一数据集对应的适用信息指示：各待选择的模型融合策略是否适用于该数据集；

策略选择模块，用于从所述至少一推荐的模型融合策略中，选择一模型融合策略，作为适用于所述目标数据集的模型融合策略。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取样本数据集的样本数据集信息和所述样本数据集对应的标注适用信息；

信息确定模块，用于将所述样本数据集信息输入至待训练的机器学习模型，以得到所述待训练的机器学习模型输出的结果，并根据所述待训练的机器学习模型的输出结果，确定预测适用信息，其中，所述预测适用信息指示：各待选择的模型融合策略是否适用于所述样本数据集；

损失值计算模块，用于基于所述标注适用信息和所述预测适用信息，计算所述待训练的机器学习模型的损失函数值；

模型判断模块，用于根据所述损失函数值，判断所述待训练的机器学习模型是否收敛，当所述待训练的机器学习模型未收敛时，调整所述待训练的机器学习模型参数，并进行下一次训练，当所述待训练的机器学习模型收敛时，得到训练完成的模型融合策略推荐模型。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

Images