CN114329207A - 多业务信息排序***、方法、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种多业务信息排序***、方法、存储介质及电子设备，其中，所述***包括特征计算模块，响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集；训练模块，用于采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型；线上排序模块，用于响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。上述方案能够对接多个业务，能够为多个业务提供有针对性的排序服务。

Description

多业务信息排序***、方法、存储介质及电子设备

技术领域

本申请涉及多业务信息排序技术领域，尤其涉及一种多业务信息排序***、方法、存储介质及电子设备。

背景技术

随着互联网的发展迅速以及普及，互联网已成为人们获取信息的主要方式之一。基于互联网的搜索在高效获取信息上发挥着不可或缺的作用。互联网用户往往通过输入关键词以及关键句在搜索***中匹配自己想要获取的答案。

通常情况下，经搜索召回的信息不唯一，则需要对召回的信息进行排序，以按照展示次序展示给用户。对用户而言，最直接的感受是展示次序中的前几位的信息是否符合用户的需求。也就是说，对召回的信息的排序结果，对用户体验构成了较大的影响。

发明内容

本说明书实施例提供一种多业务信息排序***、方法、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书实施例采用下述技术方案：

第一方面，本申请提供一种多业务信息排序***，包括：

特征计算模块，响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集；

训练模块，用于采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型；

线上排序模块，用于响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

在本说明书一个可选的实施例中，所述特征计算模块具体用于：确定所述目标业务的类型，作为目标类型；在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；根据所述第一参照业务的特征字段，确定所述目标业务的特征字段。

在本说明书一个可选的实施例中，所述***还包括：模型选择模块；

所述模型选择模块，用于：确定所述特征样本集中的样本的类型；基于预设的样本类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述样本的类型对应的备选模型，作为所述待训练模型；

其中，所述样本的类型是以下任一种：连续型、离散型、序列型。

第二方面，本说明书提供一种多业务信息排序方法，所述方法包括：

响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；

根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集；

采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型；

响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

在本说明书一个可选的实施例中，所述方法还包括：针对每个目标业务，将所述目标业务的业务标识、与对应于所述目标业务的排序模型的模型标识之间的对应关系，作为指定关系；基于各个目标业务各自对应的指定关系，构建指定关系集合。

在本说明书一个可选的实施例中，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：从指定关系集合中，选择出业务标识与目标业务的业务标识匹配的指定关系，作为目标关系；采用所述目标关系对应的模型标识所属的排序模型，对所述排序请求中携带的各待排序信息进行排序，得到排序结果。

在本说明书一个可选的实施例中，所述方法还包括：从所述业务接入请求中确定出所述目标业务的描述信息；基于预设的描述信息与业务类型之间的对应关系，确定出与所述业务描述信息匹配的业务类型，作为所述目标业务的类型。

在本说明书一个可选的实施例中，从所述业务接入请求中确定出所述目标业务的描述信息；在历史上已经完成接入的各历史业务中，确定出描述信息与所述目标业务的描述信息匹配的历史业务，作为第二参照业务；根据所述第二参照业务的类型，确定所述目标业务的类型。

在本说明书一个可选的实施例中，根据所述目标业务的类型，确定所述目标业务对应的特征字段，包括：

确定所述目标业务的类型，作为目标类型；

在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；

根据所述第一参照业务的特征字段，确定所述目标业务的特征字段。

在本说明书一个可选的实施例中，根据所述第一参照业务的特征字段，确定所述目标业务的特征字段，包括：

将所述第一参照业务的特征字段作为展示字段进行展示；

若检测到用户对所述展示字段的调整操作，则基于所述调整操作对所述展示字段进行调整；

若检测到用户的确认操作，则将当前展示的各字段作为所述目标业务的特征字段。

在本说明书一个可选的实施例中，所述方法还包括：

确定所述特征样本集中的样本的类型；其中，所述样本的类型是以下任一种：连续型、离散型、序列型；

基于预设的特征类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述特征的类型对应的备选模型，作为所述待训练模型。

在本说明书一个可选的实施例中，确定所述特征样本集中的样本的类型，包括：

针对所述特征样本集中的每个样本，从所述样本的各特征中确定出第一目标特征；将所述第一目标特征的类型作为所述样本的类型；其中，所述第一目标特征是各特征中对所述样本的表征能力最强的特征。

在本说明书一个可选的实施例中，确定所述特征样本集中的样本的类型，包括：

针对所述特征样本集中的每个样本，根据特征的类型对样本的各特征进行聚类；将目标类中特征的类型作为所述样本的类型；其中，所述目标类是聚类得到的各个类中，包含特征数量最多的类。

在本说明书一个可选的实施例中，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：

从本地数据中读取对应于所述目标业务的特征字段；

根据所述排序请求中携带的待排序信息中与所述特征字段匹配的信息，构建第二目标特征；

采用对应于所述目标业务的排序模型对所述第二目标特征进行处理，得到排序结果。

在本说明书一个可选的实施例中，所述待训练模型为至少两个；以及，

采用各排序模型中对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：采用对应于所述目标业务的至少两个排序模型，对所述排序请求中携带的待排序信息进行排序，得到所述至少两个排序模型各自对应的排序结果；

所述方法还包括：根据用户针对各所述排序结果的操作，确定各排序结果的排序效果评分；将所述至少两个排序模型中排序效果评分较高的排序模型确定为所述目标业务的最终排序模型。

在本说明书一个可选的实施例中，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：

采用对应于所述目标业务的排序模型，执行信息排序，得到中间结果；

根据各待排序信息的属性，对各待排序信息在所述中间结果中的次序进行调整，得到排序结果。

第三方面，本说明书提供一种多业务信息推荐***，包括：

召回模块，用于根据关键词召回待排序信息；以及，前述第一方面中的任一项中的多业务排序***，所述多业务排序***用于对所述召回模块召回的待排序信息进行排序，得到排序结果。

在本说明书一个可选的实施例中，多业务信息推荐***还包括显示模块；

所述显示模块，用于基于所述多业务排序***输出的排序结果，展示所述召回模块召回的信息。

第四方面，本说明书提供一种本说明书提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中的多业务信息排序方法。

第五方面，本说明书提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中的多业务信息排序方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

本说明书实施例中的多业务信息排序***、方法、存储介质及电子设备，采用多业务信息排序***对召回的信息进行排序，一方面，基于不同的业务采取不同的排序策略，能够使得排序得到的排序结果针对业务具有较好的针对性，排序结果能够更好的体现出业务的特点。另一方面，排序过程中采用的排序策略主要体现在：对业务有针对性的确定出与之匹配特征样本集，则经该特征样本集训练得到的排序模型针对该业务也能够输出较为合理的排序结果。此后，在线上使用的过程，若接收到针对该业务的排序请求，则基于此前训练得到的、针对该业务的排序模型进行排序，也能够得到更符合用户需求的排序结果。此外，上述方案能够对接多个业务，能够为多个业务提供有针对性的排序服务。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1a为本说明书实施例提供的多业务信息排序***的架构示意图；

图1b为本说明书实施例提供的多业务信息排序***的部件之间的通信关系示意图；

图2为本说明书实施例提供的多业务信息排序方法的流程示意图；

图3为本说明书实施例提供的多业务信息排序方法中选择待训练模型的流程示意图；

图4为本说明书实施例提供的多业务信息排序方法中线上排序的流程示意图；

图5为本说明书实施例提供的对应于图2的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1a为本说明书中的多业务信息排序***的架构示意图。如图1a所示，多业务信息排序***包括特征计算模块、训练模块和线上排序模块，其中特征计算模块分别与训练模块、线上排序模块通信连接；训练模块与线上排序模块通信连接。

在本说明书一个可选的实施例中，所述特征计算模块，用于响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集。训练模块，用于采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型。线上排序模块，用于响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

本说明书另一个可选的实施例中，所述特征计算模块具体用于：确定所述目标业务的类型，作为目标类型；在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；根据所述第一参照业务的特征字段，确定所述目标业务的特征字段。

本说明书另一个可选的实施例中，所述多业务信息排序***还包括：模型选择模块，所述模型选择模块用于确定所述特征样本集中的样本的类型；基于预设的样本类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述样本的类型对应的备选模型，作为所述待训练模型；其中，所述样本的类型是以下任一种：连续型、离散型、序列型。

如图1b所示，多业务信息排序***由以下一个部分构成：计算类资源服务器、存储服务器、业务管理后台、线上部署服务器和数据库。计算类资源服务器将模型文件(可以包括排序模型的参数)和编码文件(可以包括业务的特征字段)发送至存储服务器并存储。计算类资源服务器将离线指标模型分发路径存储至数据库。

本说明书中的多业务信息排序过程涉及两个阶段：离线阶段和线上阶段。在离线阶段，多业务信息排序***与排序服务需求方对接，从业务需求方获取其历史上采集的历史数据。此后，从历史数据中提取出特征样本集。基于特征样本集训练出与该业务匹配的模型。在线上阶段，多业务信息排序***从排序服务需求方获取排序请求，排序请求中携带有待排序信息。然后，对待排序信息进行排序，得到排序结果。可选地，此后，多业务信息排序***将排序结果返回至排序服务需求方，由排序服务需求方基于排序结果进行信息展示。

其中，特征计算模块既参与离线阶段又参与线上阶段。训练模块参与离线阶段。线上排序模块参与线上阶段。

如图2所示，本说明书中的多业务信息排序***执行的多业务信息排序过程，具体可以包括以下步骤中的一个或多个：

S200：响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段。

本说明书中的多业务信息排序***旨在为多个业务提供服务。其中，目标业务是由多业务信息排序***提供服务的各业务之一。与多业务信息排序***对接的任意一个业务均可以作为本说明书中的目标业务。具体地，本步骤可以由业务信息排序***的特征计算模块执行。

在本说明书一个可选的实施例中，业务接入请求中携带有目标业务所属的排序服务需求在历史上基于目标业务采集的历史信息集。特征字段用于从历史信息集中历史信息集中确定出用于对对应于目标业务的待排序信息进行排序的特征。

示例性地，业务1的类型是网购业务，业务1的历史信息集是历史上采集的用户网购信息集，业务1的特征字段是用户年龄、用户性别、用户职业。

本说明书中的多业务信息排序***可以通过以下的接入业务状态表维护。

数据决定模型的上限，设计特征选择是因为不是所有特征都对离线指标产生正反馈，相反一些特征会对模型造成较大的噪声。有鉴于此，本说明书通过特征计算模块确定特征字段，以降低其他数据的造成。

S202：根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集。

在本说明书一个可选的实施例中，特征计算模块可以采用字段匹配的方式，从历史信息集中确定出与特征字段匹配的信息，作为特性样本集。具体地，本步骤由业务信息排序***的特征计算模块执行。

在本说明书另一个可选的实施例中，特征计算模块可以采用字段匹配的方式，从历史信息集中确定出与特征字段匹配的信息之后。对从历史信息集中确定信息进行特征构建，得到从不同维度对历史数据就那些表征的特征。将各特征构建的集合作为特征样本集。在该实施例中，可以根据特征处理函数对信息进行里，得到特征样本集中的样本。示例性地，可以用tf-idf方法计算物料的关键词、计算物料在一定时间内的点击率，也可以用word2vec方法对多值类的id预训练成稠密的数值向量，作为特征样本集中的样本。

S204：采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型。

本说明书中的多业务信息排序***旨在对多个业务提供排序服务，则由多业务信息排序***训练得到的排序模型可能不唯一。在本说明书一个可选的实施例中，可以在离线阶段针对每个目标业务，将所述目标业务的业务标识、与对应于所述目标业务的排序模型的模型标识之间的对应关系，作为指定关系；基于各个目标业务各自对应的指定关系，构建指定关系集合。具体地，本步骤由业务信息排序***的训练模块执行。

可选地，指定关系结合可以通过以下业务模型表进行表征。

ID	名称	业务信息	请求地址	请求参数
					100	DeepFM	某电商业务	url	rank_method＝DeepFM
101	FM	某电商业务	url	rank_method＝FM
					...	…	…	…	...

在本说明书另一可选的实施例中，根据所述第一目标业务的业务标识、以及对应于所述第一目标业务的排序模型的模型信息，创建业务接口；采用各排序模型中对应于所述第二目标业务的排序模型，执行信息排序，得到排序结果，包括：从各业务接口中查询出业务标识与第二目标业务的业务标识匹配的业务接口，作为目标接口；采用所述目标接口对应的模型信息所属的排序模型，对所述排序请求中携带的各待排序信息进行排序，得到排序结果。在该实施例中，业务接口可以如下表所示：

接口参数	说明
		app_id	为每个业务分配的唯一标识
rank_method	排序模型
		user_id	搜索用户id
item_ids	召回文档id列表
		query	搜索关键句或关键词
context	上下文信息，如地点，时间，设备信息等

排序模型的模型文件中会包含一份用到的特征json文件。当模型文件被导入到线上服务器并进行加载时，读取特征json文件。当排序模型从特征计算模块请求实时特征时，对全量特征进行过滤，得到特征json文件指定的特征，因此离线训练的模型数据与线上预测输入数据就达到了一致。

S206：响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

在线上阶段，若接收到排序请求，则从排序请求中确定出该排序请求指向的目标业务的业务标识。然后，从指定关系集合中，选择出业务标识与目标业务的业务标识匹配的指定关系，作为目标关系；采用所述目标关系对应的模型标识所属的排序模型，对所述排序请求中携带的各待排序信息进行排序，得到排序结果。具体地，本步骤由业务信息排序***的线上排序模块执行。

排序服务需求方在实现一次搜索请求时，首先会通过ES(Elasticsearch，分布式搜索和分析引擎)从海量物料中召回一部分较为匹配的文档。这部分json格式的召回信息包括用户标识,query(查询词)，以及文档列表item_ids(对象ID)，部分还会返回搜索行为发生时的上下文信息。将这部分信息作为接口参数，并指定app_id(可作为业务ID)以及rank_method(排序方法)参数，向线上搜索排序接口发送请求，以实现对ES召回结果的排序。

本说明书实施例中的多业务信息排序***、方法，采用多业务信息排序***对召回的信息进行排序，一方面，基于不同的业务采取不同的排序策略，能够使得排序得到的排序结果针对业务具有较好的针对性，排序结果能够更好的体现出业务的特点。另一方面，排序过程中采用的排序策略主要体现在：对业务有针对性的确定出与之匹配特征样本集，则经该特征样本集训练得到的排序模型针对该业务也能够输出较为合理的排序结果。此后，在线上使用的过程，若接收到针对该业务的排序请求，则基于此前训练得到的、针对该业务的排序模型进行排序，也能够得到更符合用户需求的排序结果。此外，上述方案能够对接多个业务，能够为多个业务提供有针对性的排序服务。

一、确定特征字段。

由前述内容可知，本说明书中的多业务信息排序***能够为目标业务确定出特征字段。现就确定特征字段的过程进行说明。确定特征字段的过程可以是由多业务信息排序***的特征计算模块执行。

本说明书中的特征字段是基于目标业务的类型确定出的。在本说明书一个可选的实施例中，确定目标业务的类型的过程可以是：从所述业务接入请求中确定出所述目标业务的描述信息；基于预设的描述信息与业务类型之间的对应关系，确定出与所述业务描述信息匹配的业务类型，作为所述目标业务的类型。

在本说明书另一个可选的实施例中，确定目标业务的类型的过程可以是：从所述业务接入请求中确定出所述目标业务的描述信息；在历史上已经完成接入的各历史业务中，确定出描述信息与所述目标业务的描述信息匹配的历史业务，作为第二参照业务；根据所述第二参照业务的类型，确定所述目标业务的类型。

在确定出目标业务的类型之后，根据目标业务的类型确定特征字段。具体地，确定所述目标业务的类型，作为目标类型；在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；将所述第一参照业务的特征字段作为展示字段进行展示；若检测到用户对所述展示字段的调整操作，则基于所述调整操作对所述展示字段进行调整；若检测到用户的确认操作，则将当前展示的各字段作为所述目标业务的特征字段。

可选地，本说明书中的多业务信息排序***提供交互界面。用户可以通过交互界面对展示字段进行修改。该修改的方式可以是以下任一种：增加、删除、修改。

在确定出特征字段之后，可以基于特征字段从历史信息集中确定出特征样本集。

由于业务属性不同，收集到的历史信息也各式各样，因此针对特定业务，平台会与该业务研发人员确定需要提供打点的日志字段。如电商业务，需要提供商品的价格，销量等字段信息。新闻内容业务则需要提供新闻的字数，地域字段信息等。本说明书中的历史信息集中的信息可以包括以下至少一种：用户的历史搜索日志、用户日志表、物料日志表。

用户的历史搜索日志体现在搜索交互上，反映了一段时间内用户的主观偏好，每一次独立的搜索行为产生一条搜索日志。在搜索中，用户的行为通常包含检索，曝光以及点击。每一条行为日志会由一些必要的字段组成，如query,即检索的关键词或句、behavior_type(行为类型),具体的行为等。

用户的日志表记录注册用户在活跃期间填写或者备注的基础属性以及画像信息，比如年龄，所在地区，词条标签等。用户日志能够及时更新用户的信息，便于反映用户的一些基础状态。

物料日志在搜索业务中主要指的是召回的文档，日志记录文档创建后的一些信息，并能根据文档做出的修改及时更新日志。搜索的物料日志一般会记录文档的url，标题，内容等。

为了区分用户是否是通过搜索与推荐产生的行为，使得用户搜索的历史行为也能为推荐服务，同时搜索不会受到推荐数据的干扰。为此在行为日志上，用户对物料产生的点击等行为会分成两种，在搜索场景中产生的行为记录在搜索行为日志中；在所有场景下产生的行为会记录在通用的行为日志里，用于构造用于推荐训练的行为数据集。

搜索行为的日志字段需要通过特征平台经过关联，统计，转化和聚集等操作得到一系列可供训练的值。例如，对于电商业务，从用户行为日志，可以计算得到用户30天购买商品列表，最近一小时浏览商品列表，平均订单金额等特征。对于社区内容业务，可以计算得到内容的关键词，NLP处理得到标题或者摘要的特征向量等。

在本说明书一个可选的实施例中，获取历史信息集；其中，所述日志信息包括针对用户的搜索行为和非搜索行为采集的信息；根据所述日志信息中的搜索行为信息，构建第一信息集；根据所述日志信息中的非搜索行为信息，构建第二信息集；根据所述第一信息集和所述第二信息集，构建所述历史信息集。

在构建历史信息集之后，特征计算模块按照定时任务计算完成训练集文件(CSV文件)后，rsync工具至训练机指定文件夹。rsync工具需要设置配置文件，目标地址将由特定模块设定。根据业务标识和模型标识进行独立计算和文件管理。

由前述内容可知，本说明书中的多业务信息排序***能够为目标业务确定出与之匹配的特征字段。在本说明书进一步可选的实施例中，多业务信息排序***还包括模型选择模块，多业务信息排序***通过模型选择模块为目标业务从若干个备选模型中确定出最适于对该目标业务的对应的信息进行排序的模型。

二、选择待训练模型。

在本说明书一个可选的实施例中，多业务信息排序***本地预先的存储有若干个备选模型。可选地，本说明书中的模型是人工智能模型，例如LSTM(Long short-termmemory，长短期记忆)模型、K-Nearest Neighbors等。

在各备选模型中为目标业务确定出其对应待训练模型的过程可以由训练模块执行(如图1a所示)执行，该过程可以是：

S300：确定所述特征样本集中的样本的类型；其中，所述样本的类型是以下任一种：连续型、离散型、序列型。

对于一些模型来说，选取全量特征并不能起到更好的训练效果。比如，FM和LR就不擅长解析连续型数值特征，而对类别型离散特征能反映出更好的效果。同时提供模型选择训练，选取离线指标更好，在实际业务中更能表现泛化性能的模型和特征组合。这一部分功能将集成在业务模型分发管理后台。便于灵活测试及时调整效果。

在本说明书一个可选的实施例中，确定所述特征样本集中的样本的类型的可以是：针对所述特征样本集中的每个样本，从所述样本的各特征中确定出第一目标特征；将所述第一目标特征的类型作为所述样本的类型；其中，所述第一目标特征是各特征中对所述样本的表征能力最强的特征。本说明书中的表征能力可以通过特征在训练过程中对模型的收敛速度的正面贡献进行表征。对模型收敛速度的提高的程度越高，则特征的表征能力越强。表征能力可以是经验值。

在本说明书另一个可选的实施例中，针对所述特征样本集中的每个样本，根据特征的类型对样本的各特征进行聚类；将目标类中特征的类型作为所述样本的类型；其中，所述目标类是聚类得到的各个类中，包含特征数量最多的类。

连续型样本适用的模型包括：LightGBM，CatBoost等树模型，DNN。上述模型可识别出数值的大小关系。离散型样本适用的模型包括：FM，LR，SVM模型。序列型样本适用的模型包括：LSTM等RNN结构模型，TextCNN模型，或者池化模型。

S302：基于预设的特征类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述特征的类型对应的备选模型，作为所述待训练模型。

特征类型在平台上被分成三个类别：连续型、离散型、序列型，平台当前可选的模型对于三种特征类型也有不同的表现水平。连续型特征通常来源于浮点型的数值特征，比如统计型特征，身高等。对于连续型特征往往会采用分桶或者集成树模型训练进行处理。离散型特征一般为类别特征，是最常见的也是分布较多的特征，因为业界很多数据都以id进行表征。离散型特征能够反映独一无二性，但会造成输入维度过长和过分稀疏的问题，一般可以通过one-hot或者hash输入模型或者预训练为稠密向量。离散型特征在FM，LR等线性模型中往往表现比较友好。序列型特征又可以称为多值特征，常见的包含多值标签，时间序列等。序列特征解析往往比较复杂，常见的通过multi-onehot方法进行编码，也可以通过对其中每个元素初始化embedding并进行池化，一些场景考虑时间先后特征则需要用RNN结构模型进行预训练。因此每种类型的特征处理方式不一致，针对模型的表达效果也存在较大区别。因此，平台可针对每个特征得到其对应类型以及该类型下各模型表现的排序结果，也就是说，平台可以根据当前的特征给出特征类型的判断，并针对该类型特征给出模型优选的排序。

三、线上阶段。

在经前述步骤得到目标业务的排序模型之后，即可基于排序请求执行对待排序信息的排序。

具体地，线上排序模块包括实时采集子模块和排序子模块。实时采集子模块与排序服务需求方对接。

S400：从排序服务需求方接收排序请求，排序请求中携带有待排序信息，将待排序信息发送至特征计算模块。

本步骤可以由实时采集子模块执行。

S402：从本地数据中读取对应于所述目标业务的特征字段。

本步骤可以由特征计算模块执行。

S404：根据所述排序请求中携带的待排序信息中与所述特征字段匹配的信息，构建第二目标特征。

本步骤可以由特征计算模块执行。

S406：采用对应于所述目标业务的排序模型对所述第二目标特征进行处理，得到排序结果。

本步骤可以由排序子模块执行。

在本说明书一个可选的实施例中，在线上阶段中还基于待排序信息的属性输出排序结果。具体地，线上排序模块还包括运营位管理子模块。营位管理子模块包括业务规则输入接口，业务规则输入接口用于输入业务规则。业务规则包含若干个排序参考字段，各排序参考字段对应有字段权重。营位管理子模块接收排序子模块的输出作为中间结果。针对中间结果中的每个信息，确定出该信息的属性，信息的属性通过多个属性字段进行表征。

营位管理子模块针对每个排序参考字段，若该信息的各属性字段中存在与之匹配的属性信息，则将该排序参考字段作为指定字段。之后，将确定出的各指定字段的权重之和，作为该信息的第一权重。将该信息在中间结果中的次序，作为第二权重。将第一权重和第二权重之和，作为该信息的综合权重。基于综合权重对各信息进行排序，得到排序结果。

在本说明书进一步可选的实施例中，多业务信息排序***还能够对离线阶段得到的排序模型的排序效果进行分析，之后，基于分析的结果对离线训练的过程进行调整。具体地，在离线的阶段中，针对目标业务确定出至少两个待训练的模型，之后，分别各个待训练的模型进行训练，得到至少对应于目标业务的至少两个排序模型。此后，在线上阶段采用AB测试的方法为至少两个排序模型分配流量，得到至少两个排序模型各自的排序结果，采用排序结果对各信息进行展示。之后，针对每个排序结果，确定用户对以该排序结果展示的信息的排序效果评分。将所述至少两个排序模型中排序效果评分较高的排序模型确定为所述目标业务的最终排序模型。

其中，排序效果评分是根据点击率和NDCG(Normalized Discounted CumulativeGain，归一化折损累计增益)中的至少一个得到的。具体地，排序效果评分与点击率和NDCG中的至少一个正相关。

示例性地，对排序模型进行AB测试时可以通过以下的AB测试表记录测试数据。

策略ID	业务ID	业务模型ID	分流比例	状态
					1	10000	100	50％	启用
2	10000	101	50％	启用
					...	…	…	…

在线上阶段，为了能够提高响应速度，将特征计算模块提供的计算资源你分为多个特征处理进程(以下称为“worker”),并根据不同的业务接口进行输出。例如负责计算query特征的worker，计算doc特征的worker以及计算user特征的worker。进一步的，采用不同特征处理进程进行特征计算，能在业务接口请求时实现独立分开请求，提高数据的传输能力。

本说明书进一步提供一种多业务信息推荐***，该多业务信息推荐***包括召回模块和前述的多业务排序***。召回模块和前述的多业务排序***通信连接。召回模块，用于根据关键词召回待排序信息。多业务排序***用于对所述召回模块召回的待排序信息进行排序，得到排序结果。

可选地，召回模块响应于用户的信息获取请求，从信息获取请求中解析出关键词。然后将基于关键词召回的信息作为待排序信息。

在本说明书中的多业务信息推荐***还可以包括显示模块。显示模块用于基于所述多业务排序***输出的排序结果，展示所述召回模块召回的信息。

本说明书实施例还提供了计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1a提供的多业务信息排序的过程。

本说明书实施例还提出了图5所示的电子设备的示意结构图。如图5，在硬件层面，该电子设备可以包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述任一个多业务信息排序的过程。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件异或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (14)

1.一种多业务信息排序***，其特征在于，包括：

特征计算模块，响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集；

训练模块，用于采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型；

线上排序模块，用于响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

2.如权利要求1所述的***，其特征在于，

所述特征计算模块具体用于：确定所述目标业务的类型，作为目标类型；在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；根据所述第一参照业务的特征字段，确定所述目标业务的特征字段。

3.如权利要求1所述的***，其特征在于，所述***还包括：模型选择模块；

所述模型选择模块，用于：确定所述特征样本集中的样本的类型；基于预设的样本类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述样本的类型对应的备选模型，作为所述待训练模型；

其中，所述样本的类型是以下任一种：连续型、离散型、序列型。

4.一种多业务信息排序方法，其特征在于，包括：

响应于针对目标业务的业务接入请求，根据所述目标业务的类型，确定所述目标业务对应的特征字段；

根据从历史信息集中确定出的、与所述特征字段匹配信息，构建特征样本集；

采用所述特征样本集，对待训练模型进行训练，得到所述目标业务对应的排序模型；

响应于指向所述目标业务的排序请求，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果；其中，所述排序结果用于表征信息的展示次序。

5.如权利要求4所述的方法，其特征在于，

所述方法还包括：针对每个目标业务，将所述目标业务的业务标识、与对应于所述目标业务的排序模型的模型标识之间的对应关系，作为指定关系；基于各个目标业务各自对应的指定关系，构建指定关系集合；

采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：从指定关系集合中，选择出业务标识与目标业务的业务标识匹配的指定关系，作为目标关系；采用所述目标关系对应的模型标识所属的排序模型，对所述排序请求中携带的各待排序信息进行排序，得到排序结果。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

从所述业务接入请求中确定出所述目标业务的描述信息；基于预设的描述信息与业务类型之间的对应关系，确定出与所述业务描述信息匹配的业务类型，作为所述目标业务的类型；或者，

从所述业务接入请求中确定出所述目标业务的描述信息；在历史上已经完成接入的各历史业务中，确定出描述信息与所述目标业务的描述信息匹配的历史业务，作为第二参照业务；根据所述第二参照业务的类型，确定所述目标业务的类型。

7.如权利要求4所述的方法，其特征在于，根据所述目标业务的类型，确定所述目标业务对应的特征字段，包括：

确定所述目标业务的类型，作为目标类型；

在历史上已经完成接入的各历史业务中，确定出类型与所述目标类型匹配的历史业务，作为第一参照业务；

根据所述第一参照业务的特征字段，确定所述目标业务的特征字段。

8.如权利要求4所述的方法，其特征在于，所述方法还包括：

确定所述特征样本集中的样本的类型；其中，所述样本的类型是以下任一种：连续型、离散型、序列型；

基于预设的特征类型与备选模型之间的对应关系，从预设的各备选模型中，确定出与所述特征的类型对应的备选模型，作为所述待训练模型。

9.如权利要求8所述的方法，其特征在于，确定所述特征样本集中的样本的类型，包括：

针对所述特征样本集中的每个样本，从所述样本的各特征中确定出第一目标特征；将所述第一目标特征的类型作为所述样本的类型；其中，所述第一目标特征是各特征中对所述样本的表征能力最强的特征；或者，

针对所述特征样本集中的每个样本，根据特征的类型对样本的各特征进行聚类；将目标类中特征的类型作为所述样本的类型；其中，所述目标类是聚类得到的各个类中，包含特征数量最多的类。

10.如权利要求4所述的方法，其特征在于，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：

从本地数据中读取对应于所述目标业务的特征字段；

根据所述排序请求中携带的待排序信息中与所述特征字段匹配的信息，构建第二目标特征；

采用对应于所述目标业务的排序模型对所述第二目标特征进行处理，得到排序结果。

11.如权利要求4所述的方法，其特征在于，所述待训练模型为至少两个；以及，

采用各排序模型中对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：采用对应于所述目标业务的至少两个排序模型，对所述排序请求中携带的待排序信息进行排序，得到所述至少两个排序模型各自对应的排序结果；

所述方法还包括：根据用户针对各所述排序结果的操作，确定各排序结果的排序效果评分；将所述至少两个排序模型中排序效果评分较高的排序模型确定为所述目标业务的最终排序模型。

12.如权利要求4所述的方法，其特征在于，采用对应于所述目标业务的排序模型，执行信息排序，得到排序结果，包括：

采用对应于所述目标业务的排序模型，执行信息排序，得到中间结果；

根据各待排序信息的属性，对各待排序信息在所述中间结果中的次序进行调整，得到排序结果。

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求4-12任一项所述的多业务信息排序方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求4-12任一项所述的多业务信息排序方法的步骤。

Images