CN113205189B - 训练预测模型的方法、预测方法及装置 - Google Patents

Abstract

本公开公开了一种训练预测模型的方法、预测方法及装置，涉及计算机技术领域，尤其涉及人工智能、深度学习技术领域。具体实现方案为：利用多个第一样本和第一标注信息来训练预测模型，得到经训练的预测模型；利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果；根据多个第一预测结果，确定多个第二标注信息和每个第二标注信息的权重；利用多个第二样本、第二标注信息和权重，训练经训练的预测模型，直到预测模型的训练误差小于第一阈值；以及在经训练的预测模型的训练误差大于第二阈值且小于第一阈值的情况下，获取新的多个第二样本，并返回对多个第二样本中的每个第二样本进行预测的步骤。

Description

训练预测模型的方法、预测方法及装置

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、深度学习技术领域。

背景技术

相关技术在训练预测模型的过程中，将数据样本由人工一一标注后，再利用标注后的数据样本对预测模型进行训练。这一过程成本较高，时间周期较长。

发明内容

本公开提供了一种训练预测模型的方法、预测方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种训练预测模型的方法，包括：利用多个第一样本和所述多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型；利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果；根据所述多个第一预测结果，确定所述多个第二样本各自的第二标注信息和每个第二标注信息的权重；利用所述多个第二样本、所述第二标注信息和所述权重，训练所述经训练的预测模型，直到所述预测模型的训练误差小于第一阈值；以及在所述经训练的预测模型的训练误差大于第二阈值且小于所述第一阈值的情况下，获取新的多个第二样本，并返回所述对所述多个第二样本中的每个第二样本进行预测的步骤，其中，所述第一阈值大于所述第二阈值。

根据本公开的另一方面，提供了一种预测方法，包括：获取行为数据；以及利用预测模型对所述行为数据执行预测，得到预测结果；其中，所述预测模型是利用根据本公开实施例所述的训练预测模型的方法训练的。

根据本公开的另一方面，提供了一种训练预测模型的装置，包括：第一训练模块，用于利用多个第一样本和所述多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型；第一预测模块，用于利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果；确定模块，用于根据所述多个第一预测结果，确定所述多个第二样本各自的第二标注信息和每个第二标注信息的权重；第二训练模块，用于利用所述多个第二样本、所述第二标注信息和所述权重，训练所述经训练的预测模型，直到所述预测模型的训练误差小于第一阈值；以及样本获取模块，用于在所述经训练的预测模型的训练误差大于第二阈值且小于所述第一阈值的情况下，获取新的多个第二样本，并返回所述对所述多个第二样本中的每个第二样本进行预测的步骤，其中，所述第一阈值大于所述第二阈值。

根据本公开的另一方面，提供了一种预测装置，包括：数据获取模块，用于获取行为数据；以及第二预测模块，用于利用预测模型对所述行为数据执行预测，得到预测结果，其中，所述预测模型是利用根据本公开实施例所述的训练预测模型的方法训练的。

本公开的另一个方面提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，计算机程序，所述计算机程序在被处理器执行时实现本公开实施例所示的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的对文本进行纠错的方法、装置、电子设备和存储介质的应用场景示意图；

图2示意性示出了根据本公开实施例的训练预测模型的方法的流程示意图；

图3示意性示出了根据本公开实施例的确定多个第二样本各自的第二标注信息的方法的流程示意图；

图4示意性示出了根据本公开实施例的确定第二标注信息的权重的方法的流程示意图；

图5示意性示出了根据本公开另一实施例的训练经训练的预测模型的方法的示意图；

图6示意性示出了根据本公开实施例的预测方法的流程示意图；

图7示意性示出了根据本公开实施例的训练预测模型的装置的示意性框图；

图8示意性示出了根据本公开实施例的预测装置的示意性框图；以及

图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以下将结合图1对本公开提供的训练预测方法、预测方法和装置的应用场景进行描述。

图1示意性示出了根据本公开实施例的训练预测模型的方法、预测方法和装置的应用场景示意图。需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。

如图1所示，该应用场景100包括用户110、终端设备120和服务器130。

终端设备120可以为提供有人机交互功能和处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。示例性地，终端设备120例如可以安装有客户端应用。用户110可以使用终端设备120通过网络与服务器130交互，以接收或发送消息等。

示例性地，服务器130可以是提供各种服务的服务器，例如对用户利用终端设备120所浏览的网站或客户端应用提供支持的后台管理服务器。该服务器130可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称〞VPS〞)中，存在的管理难度大，业务扩展性弱的缺陷。服务器130也可以为分布式***的服务器，或者是结合了区块链的服务器。

在一实施例中，服务器130可以用于训练预测模型。用户110可以通过终端设备120从服务器130获取预测模型的预测结果11，并对预测结果11是否正确进行选择，得到选择结果12。针对其中不正确的预测结果11，用户110可以通过终端设备120输入更正信息13，该更正信息13用于更正不正确的预测结果11。终端设备120可以将用户的选择结果12和更正信息13发送至服务器130。服务器130可以根据用户的选择结果12和更正信息13，确定样本的标注信息，并利用该标注信息，继续对预测模型进行训练。

需要说明的是，本公开所提供的训练预测模型的方法可以由服务器130执行。相应地，本公开所提供的训练预测模型的装置可以设置于服务器130中。本公开所提供的训练预测模型的方法也可以由不同于服务器130且能够与服务器130通信的服务器或服务器集群执行。相应地，本公开所提供的训练预测模型的装置也可以设置于不同于服务器130且能够与服务器130通信的服务器或服务器集群中。另外，本公开所提供的预测方法也可以由服务器130执行。相应地，本公开所提供的预测装置可以设置于服务器130中。本公开所提供的预测方法也可以由不同于服务器130且能够与服务器130通信的服务器或服务器集群执行。相应地，本公开所提供的预测装置也可以设置于不同于服务器130且能够与服务器130通信的服务器或服务器集群中。

应该理解，图1中的终端设备和服务器的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备和服务器。

以下将结合图2，对训练预测模型的方法进行详细描述。

图2示意性示出了根据本公开实施例的训练预测模型的方法的流程示意图。

如图2所示，该训练预测模型的方法200可以包括操作S210～操作S280。该方法例如可以应用于例如上文所述的服务器。

在操作S210，利用多个第一样本和多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型。

根据本公开的实施例，第一样本如可以从未经标注的原始行为数据中选取得到。其中，选取方法可以为原始行为数据中随机选取多个数据作为第一样本，也可以获取关键词，然后根据关键词，确定原始行为数据中与关键词匹配的多个数据，作为第一样本。其中，关键词可以根据实际需要进行设置。例如，若需要训练用于预测车辆类型的预测模型，则可以设置汽车、电动车等与车辆类型相关的词语作为将关键词。

根据本公开的实施例，在选取得到第一样本后，可以通过的人工标注得到每个第一样本的标注信息。在本公开的另一些实施例中，也可以通过机器标注得到每个第一样本的标注信息。

在操作S220，利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果。

根据本公开的实施例，第二样本可以从未经标注的原始行为数据中选取得到。选取方法与第一样本类似，可以参考上文选取第一样本的方法，在此不再赘述。需要说明的是，第一样本和第二样本可以采用同一种方法选取，也可以采用不同方法选取，本公开对此不做具体限定。

在操作S230，根据多个第一预测结果，确定多个第二样本各自的第二标注信息和每个第二标注信息的权重。

根据本公开的实施例，可以将每个第一预测结果发送给用户，以由用户确定每个第一预测结果是否正确。针对正确的第一预测结果，可以将第一预测结果作为与第一预测结果对应的第二标注信息。针对多个第一预测结果中被选择为不正确的第一预测结果，可以获取用户针对该第一预测结果的更正信息，作为与第一预测结果对应的第二标注信息。

根据本公开的实施例，在确定第二样本各自的第二标注信息之后，可以多个预设的评估模型对每个第二标注信息的一致性进行评估，根据评估结果来确定每个第二标注信息的权重。

在操作S240，判断预测模型的训练误差是否小于第一阈值。在预测模型的训练误差大于或等于第一阈值的情况下，执行操作S250。在预测模型的训练误差小于第一阈值的情况下，执行操作S260。

根据本公开的实施例，训练误差可以用于表示预测模型的预测结果和真实结果之间的差异。示例性地，本实施例中，可以计算预测模型的损失函数，将损失函数的值作为训练误差。

在操作S250，利用多个第二样本、第二标注信息和权重，训练经训练的预测模型。然后返回操作S240。

在操作S260，判断预测模型的训练误差是否大于第二阈值。其中，第一阈值大于第二阈值。在预测模型的训练误差大于第二阈值的情况下，执行操作S270。在预测模型的训练误差小于或等于第二阈值的情况下，执行操作S280。

根据本公开的实施例，第二阈值可以为模型的收敛阈值，第一阈值为比模型收敛阈值更宽松的阈值。通过将第一阈值设置得比第二阈值更宽松，可以减少一轮训练所需的时间，从而尽快进行下一轮的数据标注，而不用等待漫长的训练收敛过程。

在操作S270，获取新的多个第二样本，并返回对多个第二样本中的每个第二样本进行预测的步骤，即操作S220。

根据本公开的实施例，获取新的多个第二样本的操作可以参考上文，在此不再赘述。

在操作S280，结束针对预测模型的训练。

根据本公开的实施例的训练预测模型的方法是一个持续训练的过程，相较于相关技术可以减少训练成本和时间。更具体地，先利用已标注的样本训练模型。接着将未标注的样本输入经训练的模型，得到预测结果。再根据预测结果对未标注的样本进行标注，得到标注信息，并确定标注信息的权重。然后将利用样本、标注信息和对应的权重继续训练模型。在模型达到本次训练的目标之后，继续将另一批未标注的样本输入模型，重复上述步骤，直到模型收敛。采用这种训练方式，不需要用户对数据样逐一本进行标注，可以让用户较早地获取模型结果，减少了训练成本和时间。

另外，大量细粒度数据不便于分析。因此，需要对细粒度数据打上标签，使用标签对数据进行聚合，然后再进行分析。在这种情况下，如何确定数据的标签是一个亟需解决的问题。

以互联网广告的场景为例，不同行业的广告主关注的标签不同，例如，汽车行业的广告主想要了解目标对象对于油耗、汽车品牌是否关注，装修行业的广告主想要了解目标对象对于装修预算、装修风格是否关注。另外，同一个行业中不同体量的广告主对于标签粒度的要求也不同，大品牌的广告主由于关注人群较多，因此在对人群进行细分时需要有更细粒度的标签。

根据本公开的实施例，第一样本和/或第二样本的标签可以由用户自己设置，因此可支持的标签粒度更细，且灵活度更高。

以下将结合图3，对确定多个第二样本各自的第二标注信息的方法进行详细描述。

图3示意性示出了根据本公开实施例的确定多个第二样本各自的第二标注信息的方法的流程示意图。

如图3所示，该确定多个第二样本各自的第二标注信息的方法可以包括操作S310～操作S330。

在操作S310，将多个第一预测结果发送至用户，以使用户选择多个第一预测结果是否正确。

根据本公开的实施例，可以将第一预测结果发送至用户所使用的终端设备。用户可以通过终端设备查看每个第一预测结果，并对每个第一预测结果是否正确进行选择，并由终端设备将用户的选择结果发送至服务器。

在操作S320，针对多个第一预测结果中被选择为不正确的第一预测结果，获取用户输入的针对第一预测结果的更正信息，作为与第一预测结果对应的第二标注信息。

根据本公开的实施例，被选择为不正确的第一预测结果，用户可以通过终端设备输入相应的更正信息。该更正信息包括正确的预测结果。

在操作S330，针对多个第一预测结果中被选择为正确的第一预测结果，将第一预测结果作为与第一预测结果对应的第二标注信息。

根据本公开的实施例，用户只需对第一预测结果中不正确的第一预测结果进行更正，即可获得完成对第二样本的标注，不需要对第二样本逐一进行标注，因此减少了人工成本和标注时间。

以下将结合图4，对确定多个第二样本各自的第二标注信息的权重的方法进行详细描述。

图4示意性示出了根据本公开实施例的确定多个第二样本各自的第二标注信息的权重的方法的流程示意图。

如图4所示，该确定多个第二样本各自的第二标注信息的权重的方法可以包括操作S410～操作S420。

在操作S410，针对每个第二样本，利用经训练的多个评估模型对第二样本进行预测，得到多个第二预测结果。

根据本公开的实施例，评估模型可以是预先训练得到的预测模型。为了提高评估的准确性，这些多个评估模型可以通过彼此不同的训练方法预先训练。

在操作S420，根据多个第二预测结果的一致性，确定对应的第二标注信息的权重。

根据本公开的实施例，例如可以根据多个第二预测结果中与对应的第二标注信息一致的第二预测结果的数量，确定该第二标注信息的权重(也称一致性权重)。

示例性地，本实施例中，以根据以下公式计算权重：

w＝m/n

其中，w为权重，m为该多个第二预测结果中与第二标注信息一致的第二预测结果的数量，n为评估模型的总数量，也即第二预测结果的总数量。本领域技术人员可以理解的是，权重w的取值在0到1的区间内。

例如，如果该多个第二预测结果均与第二标注信息预测结果一致，则可以确定权重为1。如果该多个第二预测结果中有至少一个与第二标注信息预测结果不一致，则可以计算该多个第二预测结果中与第二标注信息一致的第二预测结果的数量与第二预测结果总数量的比值作为权重。

以下将结合图5，对训练经训练的预测模型的示例方法进行详细描述。

图5示意性示出了根据本公开另一实施例的训练经训练的预测模型的方法的示意图。

如图5所示，针对每个第二样本51，可以利用预测模型510对第二样本51进行预测，得到第三预测结果52。接下来，利用损失函数520确定第三预测结果52和对应的第二标注信息之间的差异53。然后，根据该差异53和该第二标注信息的权重54，调整预测模型510的参数。

根据本公开的实施例，针对每个第二样本51，可以根据与该第二样本51对应的差异53和权重54，确定预测错误的惩罚系数530，然后根据惩罚系数调整预测模型510的参数。本实施例中，一致性权重高的样本，预测错误的惩罚系数也高，一致性性权重低的样本，预测错误的惩罚系数较低。通过设置惩罚系数，可以使得影响较小的特征的系数衰减到0，只保留影响较大的特征，即重要的特征，从而可以提高预测模型的预测准确率。

示例性地，本实施例中，可以根据以下公式计算惩罚系数：

p＝loss_value*w

其中，p为惩罚系数，loss_value为利用损失函数确定的第三预测结果和对应的第二标注信息之间的差异，w为对应的第二标注信息的权重。

以下将结合图6，对预测方法进行详细描述。

图6示意性示出了根据本公开实施例的预测方法的流程示意图。

如图6所示，该预测方法600可以包括操作S610～操作S620。

在操作S610，获取行为数据。

根据本公开的实施例，行为数据可以用于记录目标对象在互联网中的行为。行为数据例如可以包括检索词、访问页面的url、访问页面的标题等等。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

在操作S620，利用预测模型对行为数据执行预测，得到预测结果。

根据本公开的实施例，通过预测模型，用户可以对行为数据进行较细粒度的分类，从而可以方便用户后续对数据的分析，满足了用户的个性化需求。

根据本公开的实施例，预测模型可以根据上述实施例所示的方法进行训练，预测模型的具体训练方法可以参考上文，在此不再赘述。

以下将结合图7，对训练预测模型的装置进行详细描述。

图7示意性示出了根据本公开实施例的训练预测模型的装置的示意性框图。

如图7所示，该训练预测模型的装置可以包括第一训练模块710、第一预测模块720、确定模块730、第二训练模块740和样本获取模块750。

第一训练模块710，可以用于利用多个第一样本和多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型。

第一预测模块720，可以用于利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果。

确定模块730，可以用于根据多个第一预测结果，确定多个第二样本各自的第二标注信息和每个第二标注信息的权重。

第二训练模块740，可以用于利用多个第二样本、第二标注信息和权重，训练经训练的预测模型，直到预测模型的训练误差小于第一阈值。

样本获取模块750，可以用于在经训练的预测模型的训练误差大于第二阈值且小于第一阈值的情况下，获取新的多个第二样本，并返回对多个第二样本中的每个第二样本进行预测的步骤，其中，第一阈值大于第二阈值。

以下将结合图8，对预测装置进行详细描述。

图8示意性示出了根据本公开实施例的预测装置的示意性框图。

如图8所示，该预测装置可以包括数据获取模块810和第二预测模块820。

数据获取模块810，可以用于获取行为数据。

第二预测模块820，可以用于利用预测模型对行为数据执行预测，得到预测结果，其中，预测模型是利用根据本公开实施例所示的的方法训练的。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如训练预测模型的方法和/或预测方法。例如，在一些实施例中，训练预测模型的方法和/或预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的训练预测模型的方法和/或预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行训练预测模型的方法和/或预测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种训练预测模型的方法，包括：

利用多个第一样本和所述多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型；

利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果，其中，所述第二样本是从原始行为数据中选取的与关键词匹配的数据；

将所述多个第一预测结果发送至用户，以使用户选择所述多个第一预测结果是否正确；其中，针对所述多个第一预测结果中被选择为不正确的第一预测结果，获取用户输入的针对所述第一预测结果的更正信息，作为与所述第一预测结果对应的第二标注信息；针对所述多个第一预测结果中被选择为正确的第一预测结果，将第一预测结果作为与所述第一预测结果对应的第二标注信息；

针对所述每个第二样本，利用经训练的多个评估模型对所述第二样本进行预测，得到多个第二预测结果；根据所述多个第二预测结果的一致性，确定对应的第二标注信息的权重；

利用所述多个第二样本、所述第二标注信息和所述权重，训练所述经训练的预测模型，直到所述预测模型的训练误差小于第一阈值；以及

在所述经训练的预测模型的训练误差大于第二阈值且小于所述第一阈值的情况下，获取新的多个第二样本，并返回所述对所述多个第二样本中的每个第二样本进行预测的步骤，其中，所述第一阈值大于所述第二阈值。

2.根据权利要求1所述的方法，其中，所述经训练的多个评估模型是通过彼此不同的训练方法训练得到的。

3.根据权利要求1所述的方法，其中，所述利用所述多个第二样本、所述第二标注信息和所述权重，训练所述经训练的预测模型，包括：

针对所述每个第二样本，

利用所述预测模型对所述第二样本进行预测，得到第三预测结果；

利用损失函数确定所述第三预测结果和对应的第二标注信息之间的差异；以及

根据所述差异和与所述对应的第二标注信息的权重，调整所述预测模型的参数。

4.根据权利要求1所述的方法，还包括获取多个第二样本，所述获取多个第二样本包括：

获取原始行为数据；以及

从所述原始行为数据中随机抽取多个数据，作为所述多个第二样本。

5.根据权利要求1所述的方法，还包括获取多个第二样本，所述获取多个第二样本包括：

获取原始行为数据和关键词；以及

根据所述关键词，确定所述原始行为数据中与所述关键词匹配的多个数据，作为所述多个第二样本。

6.一种预测方法，包括：

获取行为数据；以及

利用预测模型对所述行为数据执行预测，得到预测结果；

其中，所述预测模型是利用根据权利要求1至5中任一项所述的方法训练的。

7.一种训练预测模型的装置，包括：

第一训练模块，用于利用多个第一样本和所述多个第一样本各自的第一标注信息来训练预测模型，得到经训练的预测模型；

第一预测模块，用于利用经训练的预测模型分别对多个第二样本中的每个第二样本进行预测，得到多个第一预测结果，其中，所述第二样本是从原始行为数据中选取的与关键词匹配的数据；

第二标注信息确定模块，用于将所述多个第一预测结果发送至用户，以使用户选择所述多个第一预测结果是否正确；其中，针对所述多个第一预测结果中被选择为不正确的第一预测结果，获取用户输入的针对所述第一预测结果的更正信息，作为与所述第一预测结果对应的第二标注信息；针对所述多个第一预测结果中被选择为正确的第一预测结果，将第一预测结果作为与所述第一预测结果对应的第二标注信息；

权重确定模块，用于针对所述每个第二样本，利用经训练的多个评估模型对所述第二样本进行预测，得到多个第二预测结果；根据所述多个第二预测结果的一致性，确定对应的第二标注信息的权重；

第二训练模块，用于利用所述多个第二样本、所述第二标注信息和所述权重，训练所述经训练的预测模型，直到所述预测模型的训练误差小于第一阈值；以及

样本获取模块，用于在所述经训练的预测模型的训练误差大于第二阈值且小于所述第一阈值的情况下，获取新的多个第二样本，并返回所述对所述多个第二样本中的每个第二样本进行预测的步骤，其中，所述第一阈值大于所述第二阈值。

8.一种预测装置，包括：

数据获取模块，用于获取行为数据；以及

第二预测模块，用于利用预测模型对所述行为数据执行预测，得到预测结果，其中，所述预测模型是利用根据权利要求1至5中任一项所述的方法训练的。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。