CN110032551A

CN110032551A - 模型生成、方法及预测

Info

Publication number: CN110032551A
Application number: CN201910187606.3A
Authority: CN
Inventors: 江攀; 阮怀玉; 章鹏; 杨志雄
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2019-03-12
Filing date: 2019-03-12
Publication date: 2019-07-19
Anticipated expiration: 2039-03-12
Also published as: CN110032551B

Abstract

本发明实施例提供通用多源数据融合预测模型及训练方法与预测***，该方法包括：控制获取n个融合数据样本和属于所述特定业务的m个新增样本，其中1＜m＜＜n；利用n个样本中的至少一部分样本作为第一输入来训练全局模型以形成预测模型的第一级；从n个行业样本中分出符合特定应用场景的数据样本作为第二输入；利用全局模型处理第二输入以产生第一中间输出；利用第二输入以及第一中间输出来训练多个局部子模型以形成预测模型的第二级；利用第一级与第二级处理m个新增样本以产生多个第二中间输出，并利用多个第二中间输出来训练用于调整多个第二中间输出的注意力模型以形成预测模型的第三级。

Description

模型生成***、方法及预测***

技术领域

本发明涉及人工智能，尤其是适用于垂直应用领域的通用多源融合预测模型MMPM与应用。

背景技术

目前人工智能(AI)发展迅速，已经应用到不同的领域解决了现实中的问题。由于应用场景、客户业务及推广渠道等诸多方面因素的不同，势必会导致客户群体在某些特征空间的分布不一致，在实际应用的业务建模过程中，如果仅仅针对某个特定的客户群体进行建模，并利用该模型在相同或类似的客户群体上进行业务预测，则预测效果相对于建模时的客群并不会存在很大的衰减。但如果模型是在A客群上进行训练，却在B客户群上进行预测，由于数据的分布不一致，则预测效果会存在较大的衰减。因此，通常是针对不同的场景和客户分别建立相应的定制化业务模型。

然而，定制化为每个客户进行建模显然会增加人工建模及运营成本，难以满足现阶段市场发展的要求，因此如何保证解决方案在不同场景都能取得稳定准确的效果是一件重要且有意义的事情。

发明内容

本发明意在解决上述问题，通过数据融合和智能算法而建立一种通用模型架构，并在模型训练过程当中，既能够适应不同场景的差异性，又能够共享不同场景的共性。从而对于像风险预测这样的业务，可实现对行业下不同场景的风险进行稳定准确地防控。

按照本发明的一个方面，提供一种模型生成***，包括至少一个计算机以及存储有指令的存储设备，所述指令由所述至少一个计算机执行来生成一多源融合预测模型(MMPM)以提供对特定场景下特定业务的输入的预测输出，所述预测模型包括：具有全局模型的第一级，其中该全局模型利用来自多个应用场景的融合数据样本进行训练，其中所述多个应用场景包括所述特定场景；具有局部模型的第二级，其中该局部模型包括多个局部子模型且基于所述特定场景来选择，并且每个局部子模型利用所述融合数据样本中的属于该特定场景的数据样本及该特定场景的数据样本在所述第一级的输出进行训练；具有注意力模型的第三级，其中所述注意力模型利用所述特定业务下的数据样本在所述多个局部子模型的多个输出来训练所述注意力模型的权重系数。

按照本发明的另一个方面，提供一种针对特定应用场景下的特定业务训练多源融合预测模型(MMPM)的方法，其中所述通用多源融合预测模型(MMPM)包括第一级、第二级与第三级，所述方法包括：获取n个融合数据样本和属于所述特定业务的m个新增样本，其中1<m＜＜n，所述n个融合数据样本来自包括所述特定应用场景的多个应用场景；利用所述n个样本中的至少一部分样本作为第一输入来训练全局模型以形成所述第一级；从所述n个行业样本中分出符合所述特定应用场景的数据样本作为第二输入；利用经过训练的所述全局模型处理所述第二输入以产生第一中间输出；利用所述第二输入以及所述第一中间输出来训练所述多个局部子模型以形成所述第二级；利用经过训练的所述第一级与第二级处理所述m个新增样本以产生多个第二中间输出，并利用所述多个第二中间输出来训练用于调整所述多个第二中间输出的注意力模型以形成所述第三级。

按照本发明的另一个方面，提供一种业务预测***，包括：接收模块，用于接收属于一特定场景下特定业务的输入数据；预测模块，配置调用一经过训练的多源融合预测模型MMPM来处理所述输入数据以产生预测输出；其中所述经过训练的多源融合预测模型MMPM包括：第一级，利用全局模型处理所述输入数据以产生第一中间输出；第二级，利用包含与所述特定场景匹配的多个局部子模型的局部模型处理所述输入数据与所述第一中间输出以产生多个第二中间输出；第三级，用于利用注意力模型调整所述多个第二中间输出以产生所述预测输出；其中所述全局模型预先利用来自多个应用场景的融合数据样本训练，所述多个应用场景包括所述特定应用场景；每个局部子模型的模型参数利用该特定场景的数据样本及该特定场景的数据样本在经过训练的所述全局模型的输出来训练；所述注意力模型利用所述特定业务的数据样本进行训练。

根据本发明的再一个方面，提供一种具有指令的机器可读介质，所述指令在被一个或多个机器执行时，使所述机器执行根据本发明的方法。

根据本发明的再一个方面，提供一种业务预测***，包括：存储器，其上存储有指令；处理器，所述处理器可配置为执行所述指令以实现根据本发明的方法。

附图说明

图1示出了根据本发明的多源融合预测模型架构的示意图；

图2示出了根据本发明一个实施例的多源数据的示意图；

图3示出了根据本发明一个实施例的局部模型的示意图；

图4示出根据本发明一个实施例训练多源融合预测模型的流程示意图；

图5示出根据本发明的一个实施例业务预测***的示意图；

图6示出根据本发明的另一个实施例业务预测***的示意图；

图7示出根据本发明的一个实施例的***的实现示意图。

具体实施方式

下面结合附图对本发明实施例提供的模型、训练方法和业务预测***进行详细说明。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

通用预测模型架构

图1示出根据本发明的一个实施例的多源数据融合预测模型MMPM的架构，如图所示，该MMPM模型架构包括：由一个全局模型GM实现的第一级、由多个子模型构成的局部模型LM实现的第二级以及由注意力机制模型AM实现的第三级。

第一级：全局模型GM

在同一垂直行业下，可以从不同的渠道或应用场景下收集到各自的数据样本，这些数据样本中的某些变量通常会存在一定的共性特征，比如在汽车金融行业中，不同的细分场景下不同的客群中的还款逾期用户，大部分都会存在‘***困难’的特点。因此对于某些标记样本较难获取的特定应用场景的某些特定业务或更细分场景，本发明通过利用全局模型GM来学习垂直行业下其它领域的多个应用场景下的样本，由此可以学习到这些应用场景与特定应用场景的样本的共性特征。

为了能充分地学习这些共性特征，按照本发明，在获取了来自不同应用场景下丰富的数据样本之后，不对这些样本进行区分，即不考虑所采集的数据样本所属的场景，客群及业务类型，而是将这些数据样本进行融合。如图2所示，图中示意性示出采集了5个场景下的数据样本，进而将这5个场景下的数据样本混合，并作为输入样本来训练全局模型GM。

通过这样一个融合了多应用场景的数据样本训练一个全局模型GM，来对所每个数据样本进行分类学习。按照本实施例，该全局模型采用非线性模型实现，对输入样本进行拟合并输出一个预测分值。该非线性模型可以采用本领域已知的任何类型的树模型、神经网络实现。

以回归树模型作为全局模型GM为例，假设输入样本为则全局模型GM的每棵决策树的定义如下：

其中LOSS为损失函数，是所有树的空间，而是当前的已经确定的第1至i-1棵决策树构成的模型，其中的损失函数L()可以由下式决定：

式中，代表了输入样本X_j经由全局模型GM的输出，作为修正项代表了在采用正则化损失函数时该回归树模型的模型参数，即叶节点的个数的函数，用于避免过拟合。修正项考虑到了复杂度，设置得好可以避免出现完全树和根结点这类的极端情况，因此可以避免过拟合。

第二级：局部模型LM

如上所述，利用多源数据融合的样本训练全局模型GM可以获取行业中所有样本的共性，而在行业中不同细分场景却有着不同的客群分布，比如在汽车金融领域中又分成了‘融资租赁’、‘新车消费贷’、‘二手车抵贷’等业务，每种业务从客户的身份、资金、资产、消费、行为、风险等维度来看都存在一定的区别。除了共性之外，还需对不同样本之间的差异性进行区分，从而反映出特定应用场景的特征。为此，本发明采用反映特定应用场景的局部模型LM来学习获取个化性的特定场景的特征。

根据本发明，如图1所示，根据特定应用场景的数据分布类型，局部模型LM包含多个子模型即SLM₁～SLM_N以分别反映这些不同的分布类型。图3示出了以汽车金融场景为例，示出了多个子模型。如图所示，汽车金融的局部模型在业务分布上被分成了‘新车消费贷(以X表示)’与‘二手车抵押贷(以O表示)’；在客户群上被分成了‘一线城市’(以F表示)、‘二线城市’(以S表示)，而在风险分布上被分成了‘信用差’(以C表示)、‘团伙欺诈(以F表示)’二个维度。由此，对于作为个性场景的汽车消费场景，可构造8个子模型，包括：

SLM₁：“新车消费贷业务在一线城市信用差”的子模型XFC、

SLM₂：“新车消费贷业务在一线城市存在团伙欺诈”的子模型XFF、

SLM₃：新车消费贷业务在二线城市信用差”的子模型XSC、

SLM₄：“新车消费贷业务在二线城市存在团伙欺诈”的子模型XSF、

SLM₅：二手车抵押业务在一线城市信用差”的子模型OFC、

SLM₆：“二手车抵押业务在一线城市存在团伙欺诈”的子模型OFF、

SLM₇：二手车抵押业务在二线城市信用差”的子模型OSC、

SLM₈：“二手车抵押业务在二线城市存在团伙欺诈”的子模型OSF。

上面仅是以示例的方式示出的汽车金融场景的局部模型，用以说明局部模型中的子模型的设置，但所示的各子模型仅是示例性的而非限制性的。

按照本发明，局部模型的各个子模型SLM同样采用非线性模型实现，且可以采用本领域已知的任何类型的树模型、神经网络实现，在一个更优选实施例中采用GBDT(GradientBoosting Deision Tree,梯度提升决策树)来实现各子模型SLM。

为了反映个性化的特定应用场景的分布差异性，这里采用特定应用场景的数据样本来对局部模型的各子模型SLM进行训练。这里需要注意的是，在训练局部模型LM时，全局模型GM的模型参数已经固定下来。如图1所示，在训练局部模型LM时，利用特定应用场景的数据样本结合全局模型GM对特定应用场景的数据样本的处理结果一起来训练局部模型LM，且分别训练局部模型LM的每个子模型SLM的模型参数。

具体地，为了获得局部模型LM。首先根据不同的业务，不同的风险对从不同的渠道收集到的行业中的数据样本进行区分，以选取专门用于训练局部模型的输入样本。假定所选取的输入样本为首先利用全局模型GM处理这些样本以形成输出G₁,G₂……G_w，为了保证不同场景下样本之间的共性能被充分利用，将全局模型输出作为局部模型的输入，并结合输入样本来共同训练子模型SLM，如图1所示，即局部模型中每个子模型的输入为

在本发明的一个优选实施例中，为了提升模型的泛化能力，这里采用树模型GBDT对样本进行拟合，其中GBDT模型中各决策树的确定方式如下：

为便于表述，现假设w个样本被分成N个维度，由分别作为N个子模型的输入，则每个子模型表示为：

其中L为损失函数由下式确定：

其中i代表第i个子模型，代表了输入样本经由子模型F_i的输出，作为修正项代表了在采用正则化损失函数时该GBDT树模型的模型参数，即叶节点的个数的函数，用于避免过拟合。按照本发明，为了保证单个领域模型的差异性，对局部模型分别隔离训练，并利用它们的残差LOSS₁,LOSS₂……LOSS_N进行优化，因此能分别得到局部模型的各个子模型SLM，即F₁,F₂……F_N。

第三级：注意力机制模型

利用训练好的全局模型GM和局部模型LM可以保证学习到不同应用场景下数据样本的共性和差异性，因此能基本实现对行业下各特定应用场景的业务需求的预测，例如对汽车消费金融领域内风险客户的预测或风险决策。然而，具体到某一特定场景下的某些新业务或新客户群的新的特点，则利用全局模型GM与适用于特定场景的局部模型LM缺少对这些特点的数据的学习，因此会导致多源融合预测模型MMPM的预测效果出现偏差。为此，本发明设置第三级的注意力机制模型来自动学习局部模型的各个子模型的权重，从而实现对预测结果的调整。如图1所示，在局部模型LM顶层增加了注意力机制模型AM，图1示意性示出该模型AM包括一层‘抽象层’和‘输出层’，利用抽象层与输出层的权重联合对局部模型的各个子模型SLM的输出进行调整，以实现更精准的预测。

利用抽象层与输出层的权重联合对局部子模型SLM的权重进行学习，假设局部子模型的输出分别为L₁,L₂……L_N,则抽象层的输出和输出层的输出分别为：

其中，这里S是sigmoid函数，即代表抽象层的注意力权重向量，代表输出层的的注意力权重向量。这里需要指出的是，尽管上述实施例中应用的是sigmoid函数，但本发明并不限于此，可以利用现有技术中的其它技术实现，例如双曲正切tanh函数等。这里抽象层与输出层的权重向量与是对输入L进行联合训练得到的，例如可采用如下损失函数来优化权重向量与

按照本发明的一个实施例，抽象层与输出层可以由神经网络实现，且其中的各神经单元可以由现有技术已知的各种神经元实现，例如GRU等。此外不难理解，虽然这里的示出仅一层抽象层，但显然，该抽象层也可以实现为多层，例如可以由多连接的神经网络实现；或者为了简化结构，这里的注意力模型AM也可以仅由一个输出层来实现。因此，本发明的方案并不限于这里所示的特定实施例。

以上示出了根据本发明的通用多源融合预测模型MMPM的架构，该通用模型可以由一个计算设备或其它模型生成***来生成，并可在不同的特定场景下按照新的业务进行定制。以下结合图4说明该通用多源融合预测模型MMPM的训练。

模型训练

对于通用多源融合预测模型MMPM的训练，采用逐级训练方式进行，图4示出了由模型生成***针对特定应用场景下的特定业务即新增业务产生多源融合预测模型MMPM的流程。

如图4所示，首先在步骤301，获取n个融合数据行业样本和属于所述特定业务的m个新增样本，其中1<m＜＜n，所述n个融合数据样本来自包括所述特定应用场景的多个应用场景。以图2所示为例，期望针对场景1下的新业务来训练一个多源融合预测模型MMPM，为此，首先采集5个场景的数据样本，并进而将这些数据样本进行混合以便不再区分各自的场景。以下假定所获取的n个行业数据样本为属于新增业务的m个新增样本为

在步骤302，利用所述n个样本中的至少一部分样本作为第一输入来训练全局模型GM以形成所述第一级。例如随机从样本中取出部分样本其中n1<n，从而确定适用于所有应用场景的全局模型GM的参数。在一个示例中，在全局模型训练过程中对全局模型进行优化的损失函数表示如下：

式中，代表了输入样本X_j经由全局模型GM的输出，作为修正项代表了在采用正则化损失函数时该全局模型GM的模型参数。

其中是所有树的空间，而是当前的已经确定的第1至i-1棵决策树构成的模型。在回归树模型中，修正项是叶节点的个数的函数，设置修正项以避免出现完全树和根结点这类的极端情况。

在确定了全局模型GM的模型参数后，固定该全局模型GM的模型参数并进入步骤303。

在步骤303，利用特定业务所在的特定场景数据样本来训练与其匹配的局部模型LM，在本例中，对于新增业务所在的场景1，则训练与场景1对应的局部模型。例如，假定场景1是图3所示的汽车金融，则其局部模型包含8个局部子模型SLM₁～SLM₈。显然，对于其它的特定应用场景，所确定的子模型的数量及每个子模型的样本分布特征也是不同的。

为此，对所述n个行业样本中的至少另一部分样本即除了用于训练全局模型GM的n₁个样本之外的数据样本进行区分以形成第二输入样本。例如对于将汽车金融作为场景1的情况，可以按照汽车金融领域中的业务、信贷风险、客户群特征对另一部分样本进行区分。假定区分后获取场景1下的n₂个样本，这里n₁+n₂≤n。如果在另一部分样本中属于特定应用场景的样本量较少，则可以进一步从n₁个样本再进一步区分一定量的样本。

随后，利用经过训练的所述全局模型GM处理作为第二输入样本中的n₂个样本以产生n₂个第一中间输出然后这些第一中间输出连同n₂个数据样本一起构建为局部模型LM的训练样本分别输入给各个子模型SLM₁-SLM_N以分别训练出局部子模型SLM₁-SLM_N的模型参数。按照本发明，为了保证单个领域模型的差异性，对局部模型分别隔离训练，并利用它们的残差损失函数LOSS₁,LOSS₂……LOSS_N进行优化，如前所述，

由此分别得到局部模型的各个子模型SLM₁-SLM_N，即F₁,F₂……F_N。这里需要说明的是，虽然在步骤403中是利用了n个融合样本中的一部分来训练全局模型GM，并且利用剩余样本中的属于特定应用场景的样本来训练局部模型。但显然。也可以采用全部n个样本来训练全局模型及从n个行业样本中区分出属于特定应用场景的样本来训练局部模型。

在步骤303确定了局部模型LM(F₁,F₂……F_N)后，固定该局部模型参数并前进到步骤304。

在步骤304，利用固定的第一级的全局模型GM与第二级的局部模型LM处理m个新增样本。如图1所示，在针对选择定的应用场景确定了N个子模型的情况下，局部模型LM产生N个第二中间输出，在本例中对于汽车金融场景来说，共有8个子模型，因此产生8个第二中间输出。随后，利用这N个中间输出来训练所述第三级的注意力机制模型AM以得到用于调整所述N个第二中间输出的权重系数，从而确定注意力机制模型的参数。如前所述，假设局部子模型的输出分别为L₁,L₂……L_N,则注意力机制模型的抽象层的输出和输出层的输出分别为：

其中抽象层和输出层的模型参数可通过如下损失函数进行优化：

由此确定注意力模型的参数Wc与Ws，从而完成整个多源融合预测模型MMPM的训练。

利用本发明提出的通用多源融合预测模型MMPM以及训练方法，可以针对不同的应用场景分别训练适用于不同的场景的局部模型，例如，可以建立汽车金融领域的局部模型LM_汽车、可以建立个人消费金融领域的局部模型LM_个人等，并且这些不同的应用场景共享相同的全局模型GM。对于第三级的注意力机制模型AM，则可以在针对某一特定的场景的特定业务存在着至少少量的数据样本时进行事先训练，以提供给有些有特定业务需要的客户使用。不难理解，随着应用场景的不同，即局部模型的不同，所适用的注意力机制模型也不尽相同，因此，在存储预测模型MMPM的模型参数时，局部模型LM与注意力模型AM的参数是相关联存储的。

在另一个实施例中，注意力模型AM也可以由客户自己在已经训练好的全局模型GM与局部模型LM的基础上，利用自己掌握的少量特定业务的数据来自行训练第三级AM，即定制第三级的注意力模型参数，以备后续使用。

模型应用

示例1

图5示出根据本发明一个实施例的业务预测***100的示意图，如图所示该业务预测***包括接收模块101、预测模块102。接收模块101接收用户提供的属于一特定应用场景下一新增业务的输入数据例如对汽车金融的某一特定信贷客户提出的信贷请求，通过接收模块101可以从汽车金融的经营者接收有关该信贷客户的资料即输入数据预测模块102调用一经过训练的多源融合预测模型MMPM 103来处理所述输入数据以产生预测输出，该预测输出可以是针对该客户的信贷风险评估。这里预测模型103中的经过训练的局部模型LM与该特定应用场景相匹配，例如当特定应用场景是汽车消费时，则从事先训练并固定的多个局部模型中选择汽车消费模型LM_汽车，也由此确定了与第二级关联存储的第三级的注意力模型AM。由经过训练的预测模型103对新增业务的输入数据的处理包括：利用全局模型GM处理以产生第一中间输出；随后将第一中间输出及输入数据分别提供给N个子模型(例如图3所示训练好的汽车消费模型LM_汽车的8个子模型)，以产生N个第二中间输出；最后利用注意力机制模型对N个第二中间输出进行加权以产生信贷风险的预测输出。这里需要指出的是虽然在图5所示的图中预测模型103既可以位于业务预测***100本地，也可以位于预测***100的外部并由预测***100远程调用。

如5所示，在本发明的另一实施例中，预测***100还可以进一步包括解释模块104，可用于解释在预测模块102的预测输出中各局部子模型所对应的数据特征所占的贡献度，例如参照图3所示的各子模型，在对汽车金融的风险预测时，解释模块104可以确定某个客户在新车消费贷业务下在一线城市信用差子模型(以L_XFC表示)中对整个风险预测的贡献度，该贡献度值表示为：其中，N代表局部子模型的个数，M代表中间抽象层参数的个数，例如，对图1所示的预测模型，M＝4。

由此，预测***100通过输出预测模块102的预测输出以及解释模块104的对应各子模型的贡献度，可以直观地看出依据预测输出所做出的决策及样本中各特征对决策的贡献，其中通过将各贡献度按大小排序可以进一步观察到每个特征对决策的影响力。比如在汽车金融行业中，如图3所示，局部模型在业务上被分成了‘新车消费贷’、‘二手车抵押贷’；在客群上被分成了‘一线城市’、‘二线城市’；风险维度被分成了‘信用差’、‘团伙欺诈’维度。通过计算局部每个子模型的贡献度，预测***100能识别输入数据最有可能属于哪种业务背景，最有可能是哪种客群，最有可能是由于哪种原因被算法预测为某个特定类别的样本。此信息可以反馈与运营人员，运营人员可以结合该解释结果做一些运营工作。

示例2：

在另一实施例中，预测***200在调用预测模型103时还可以进一步根据客户自身的业务的特点而自行定制预测模型103。如图6所示，示出根据本发明另一个实施例的业务预测***200的示意图，如图所示该业务预测***200除了包括接收模块201、预测模块202，预测模型203、解释模块204之外，还包括训练模块205。其中预测模型203包括按照前述方法已经训练好了全部模型GM与局部模型LM，但在利用预测模块202对客户的实际业务请求进行预测之前，训练模块205接收客户自行提供的少量特定的数据样本对预测模型203的注意力模型AM进行训练，从而为客户定制注意力模型AM。然后将包含固定好的注意力模型AM、全局模型GM与局部模型LM的预测模型203提供给预测模块202调用。这里，接收模块201、预测模块202，预测模型203、解释模块204的操作与示例1中各模块操作相同，不再赘述。由此，客户可以利用本发明提出的通用预测模型来按照自身业务特点而自行定制，从而更好地适用于垂直细分场景。

利用本发明的通用预测模型及其预测***，解决了单一数据源训练的模型容易过拟合的问题，对于多场景下的数据，通用预测模型既能抓住不同场景中的共性，也能适应各场景之间差异性，从而有效稳定地泛化到不同的场景，因此具有如下优点：

自动适应场景的差异性。首先，结合专家领域知识，根据场景的多样性、数据的稀疏性、风险类型对行业融合数据进行划分和建模；其次，对于具体场景，能够自动调整不同子模型的权重，以适应不同场景。

共享不同场景的共性。本发明的预测模型自动抽取不同场景下数据的高层次具有共性的特征，最终将具有共性的特征与不同场景特征组合，使得算法能稳定预测不同场景下具有共性的特征，例如金融领域的信贷风险等。

而且，进一步地，根据本发明的预测***具有可解释性。通过模块化各模型，能计算不同子模型对应的子问题或数据特征的权重，对最终的决策结果给出一个具体的解释。

需要指出的是，虽然如上参照图1、图4-6，对根据本公开的模型、模型生成***、业务预测***及方法的实施例进行了描述，但本发明并不限于此。此外，图5-6中的各模块可以包括处理器、电子设备、硬件设备、电子部件、逻辑电路、存储器、软件代码、固件代码等，或者它们的任意组合。技术人员还将认识到的是，结合本文公开内容描述的各种说明性的逻辑方框、模块和方法步骤可以实现为电子硬件、计算机软件或二者的组合。以软件实现为例，作为一个逻辑意义上的模型生成***和业务预测***，是通过处理器将非易失性存储器中对应的计算机程序指令读取内存中运行形成的。从硬件层面而言，如图7所示，在一种实现方式中，根据本发明的模型生成***或业务预测***可以由一个或多个计算机实现，除了图7所示的处理器、内存、网络接口以及非易失性存储器之外，实施例中计算机通常根据其实际功能，还可以包括其它硬件，对此不再赘述。

本发明另一实施例提供的机器可读介质上存储有机器可读指令，该机器可读指令在被计算机执行时，使计算机执行本文公开的前述的任一种方法。具体地，可以提供配有机器可读介质的***或者装置，在该机器可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使机器读出并执行存储在该机器可读介质中的机器可读指令。在这种情况下，从机器可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的机器可读介质构成了本发明的一部分。机器可读介质的实施例包括软盘、硬盘、磁光盘、光盘、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

需要说明的是，上述***的结构图中不是所有模块都是必须的，可以根据实际的需要忽略某些步骤或模块。上述各实施例中描述的***结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims

1.一种模型生成***，包括至少一个计算机以及存储有指令的存储设备，所述指令由所述至少一个计算机执行来生成一多源融合预测模型(MMPM)以提供对特定场景下特定业务的输入的预测输出，所述预测模型包括：

具有全局模型的第一级，其中该全局模型利用来自多个应用场景的融合数据样本进行训练，其中所述多个应用场景包括所述特定场景；

具有局部模型的第二级，其中该局部模型包括多个局部子模型且基于所述特定场景来选择，并且每个局部子模型利用所述融合数据样本中的属于该特定场景的数据样本及该特定场景的数据样本在所述第一级的输出进行训练；

具有注意力模型的第三级，其中所述注意力模型利用所述特定业务下的数据样本在所述多个局部子模型的多个输出来训练所述注意力模型的权重系数。

2.如权利要求1的模型生成***，其中所述注意力模型包括：

至少一个第一层，用于利用第一权重向量对所述多个局部子模型的多个输出进行调整；以有

第二层，利用第二权重向量对所述至少一个第一层的输出进行调整。

3.如权利要求1或2的模型生成***，其中，

所述全局模型以及局部模型中的子模型是神经网络模型或树模型，

所述注意力模型是神经网络模型。

4.一种针对特定应用场景下的特定业务训练多源融合预测模型(MMPM)的方法，其中所述通用多源融合预测模型(MMPM)包括第一级、第二级与第三级，所述方法包括：

获取n个融合数据样本和属于所述特定业务的m个新增样本，其中1＜m＜＜n，所述n个融合数据样本来自包括所述特定应用场景的多个应用场景；

利用所述n个样本中的至少一部分样本作为第一输入来训练全局模型以形成所述第一级；

从所述n个行业样本中分出符合所述特定应用场景的数据样本作为第二输入；

利用经过训练的所述全局模型处理所述第二输入以产生第一中间输出；

利用所述第二输入以及所述第一中间输出来训练所述多个局部子模型以形成所述第二级；

利用经过训练的所述第一级与第二级处理所述m个新增样本以产生多个第二中间输出，并利用所述多个第二中间输出来训练用于调整所述多个第二中间输出的注意力模型以形成所述第三级。

5.如权利要求4的方法，其中利用所述n个样本中的至少一部分样本作为第一输入来训练全局模型包括：

利用所述n个样本中的全部样本作为所述第一输入来训练全局模型；

其中从所述n个行业样本中分出符合所述特定应用场景的数据样本作为第二输入包括：

从所述n个行业样本中的至少另一部分样本中区分出符合所述特定应用场景的数据样本作为所述第二输入。

6.如权利要求4或5的方法，其中所述注意力模型包括：至少一个第一层以及第二层，

其中利用所述多个第二中间输出来训练用于调整所述多个第二中间输出的注意力模型包括：

利用所述多个第二输出同步训练所述至少一个第一层与第二层以确定对所述第二输出进行调整的所述至少一个第一层的第一权重向量以及所述第二层的第二权重向量。

7.如权利要求6的方法，其中，

所述注意力模型是神经网络模型。

8.一种业务预测***，包括：

接收模块，用于接收属于一特定场景下特定业务的输入数据；

预测模块，配置调用一经过训练的多源融合预测模型MMPM来处理所述输入数据以产生预测输出；其中所述经过训练的多源融合预测模型MMPM包括：

第一级，利用全局模型处理所述输入数据以产生第一中间输出；

第二级，利用包含与所述特定场景匹配的多个局部子模型的局部模型处理所述输入数据与所述第一中间输出以产生多个第二中间输出；

第三级，用于利用注意力模型调整所述多个第二中间输出以产生所述预测输出；

其中所述全局模型预先利用来自多个应用场景的融合数据样本训练，所述多个应用场景包括所述特定应用场景；

每个局部子模型的模型参数利用该特定场景的数据样本及该特定场景的数据样本在经过训练的所述全局模型的输出来训练；

所述注意力模型利用所述特定业务的数据样本进行训练。

9.如权利要求8的业务预测***，还包括：

解析设备，配置为输出所述多个局部子模型的多个第二中间输出中的一个输出与所述注意力模型的权重向量的积以指示相应的局部子模型在所述预测输出中的贡献度。

10.如权利要求8或9的业务预测***，其中所述注意力模型包括：

至少一个第一层，具有第一权重向量，用于对所述多个局部子模型的所述多个第二中间输出进行调整；以及

第二层，具有第二权重向量，用于对所述至少一个第一层的输出进行调整以生成所述预测输出。

11.如权利要求10的业务预测***，其中，

所述注意力模型是神经网络模型。

12.一种业务预测***，包括至少一个计算机以及存储有指令的存储设备，所述指令由所述至少一个计算机执行以实现一个多源融合预测模型MMPM，用于处理特定场景下一特定业务的输入数据并产生该输入数据的预测输出，其中所述多源融合预测模型MMPM包括：

第一层，利用全局模型处理所述输入数据以产生第一中间输出；

第二级，利用包含与所述特定场景匹配的多个局部子模型的局部模型处理所述第一中间输出以及所述输入数据以产生多个第二中间输出；

第三级，用于利用注意力模型调整所述多个第二中间输出以产生所述预测输出，

所述注意力模型利用所述特定业务的数据样本进行训练。

13.如权利要求12的业务预测***，所述至少一个计算机进一步执行所述指令以：

输出所述多个局部子模型的多个第二中间输出中的一个输出与所述注意力模型的权重向量的积以指示相应的局部子模型在所述预测输出中的贡献度。

14.如权利要求12或13的业务预测***，其中所述所述注意力模型包括：

至少一个第一层，具有第一权重向量，用于对所述多个局部子模型的多个输出进行调整；以有

15.如权利要求14的业务预测***，其中，

所述注意力模型是神经网络模型。

16.一种具有指令的机器可读介质，所述指令在被一个或多个机器执行时，使所述机器执行根据权利要求4-7中的任一项所述的方法。

17.一种用于生成预测模型的***，包括：

存储器，其上存储有指令；

处理器，所述处理器可配置为执行所述指令以实现根据权利要求4-7中的任一项所述的方法。