具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
示例性的,如图1所示,图1是本申请实施例提供的一种信息推荐***100的***架构图。该信息推荐***100的物理形态可以是服务器集群和/或云计算资源,此处不做唯一限定。该信息推荐***100具体包括线上***10和线下***20,线下***可以是服务器集群,线上***可以是云计算资源或者服务器集群,其中,线上***10包括训练好的目标模型11和预估器12,该训练好的目标模型11用于处理实时在线的推荐任务,预估器12用于结合训练好的目标模型11和推荐任务关联的参考特征数据生成预估先验结果,线下***20包括训练数据库21、待训练的目标模型22,线下***20会定时使用训练数据库21中的训练数据来训练待训练的目标模型22,得到训练好的目标模型11,并将该训练好的目标模型11推送给线上***10使用。
一般设计中,融合排序主要有两种:
1.位置固定排序:如在搜索结果页里面,有广告和自然结果两种数据源,前面几位固定是广告展位,其他位置是自然结果展位。固定位置缺陷是无法做到个性化,难以达到全局最优。
2.人工规则位置分配:通过一些人工干预手段,动态分配不同数据源位置;如在搜索结果页里,如果某些用户对广告比较反感,则少出广告,反之多出广告。人工规则动态位置分配相比于固定位置有优势,但依赖于个人经验只能涉及少量维度,无法精细控制,难以达到全局最优。
针对上述情况,本申请实施例提出一种融合数据处理方法,该方法中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
下面结合附图对本申请实施例进行介绍。
请参阅图2,图2是本申请实施例提供了一种融合数据处理方法的流程示意图,应用于信息推荐***,所述信息推荐***包括线上***,所述线上***包括价值模型集合和融合策略模型,如图所示,本融合数据处理方法包括:
S201,所述线上***获取多种异构数据源。
其中,所述异构数据源包括图片、网页图标icon、网页框等。
S202,所述线上***使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标。
其中,所述价值模型集合包括多个价值模型,该价值模型是线下***根据样本数据训练好的。
S203,所述线上***获取所述融合策略模型的损失量化评价指标。
S204,所述线上***将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果。
可以看出,本申请实施例中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
在一个可能的示例中,所述线上***使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标,包括:
所述线上***通过查询所述价值模型集合,获取所述每种异构数据源对应的价值模型,所述价值模型集合包括异构数据源的数据类型和价值模型之间的对应关系;所述线上***获取所述每种异构数据源对应的价值模型所需要的特征参数;所述线上***确定所述每种异构数据源对应的价值模型所关联的专属预估器;所述线上***将所述每种异构数据源的所述特征数据和所述价值模型输入所述专属预估器,得到所述每种异构数据源对应的统一评价指标。
其中,所述专属预估器可以关联到具体用户层级或者进一步关联到用户的具体场景层级,实现专属预估,准确度高。
可见,本示例中,线上***针对每一种异构数据源,能够找到对应的专属预估器,使用该专属预估器确定每种异构数据源对应的统一评价指标,由于专属预估器为预设工具,准确度高,计算稳定,提高确定统一评价指标的准确度和稳定性。
在一个可能的示例中,所述信息推荐***还包括线下***;所述线上***获取所述融合策略模型的损失量化评价指标,包括:
所述线上***获取所述融合策略模型处理预设推荐任务的预估先验结果;
所述线上***接收来自所述线下***的所述融合策略模型处理所述预设推荐任务的实际后验结果;
所述线上***根据所述预估先验结果和所述实际后验结果确定所述融合策略模型的损失量化评价指标。
其中,所述预设推荐任务为针对目标待推荐物品的推荐任务,如浏览器应用场景中,线上***推送新闻时,有一个广告需要推送,会生成针对该广告的推荐任务。
可见,本示例中,目标模型的损失反馈是结合预估先验结果和实际后验结果确定,符合实际用户群的使用习惯,准确度高。
在一个可能的示例中,所述线上***获取所述融合策略模型处理预设推荐任务的预估先验结果,包括:
所述线上***获取所述融合策略模型处理所述预设推荐任务所需要的特征参数;
所述线上***将所述特征参数和所述融合策略模型输入至预设的预估器,得到所述融合策略模型处理预设推荐任务的预估先验结果。
其中,所述特征参数包括用户画像信息(如偏好、兴趣、地理位置等),还包括待推荐物品的信息(如关键词、类别等),还包括场景信息(如节假日、旅游等)。实际后验结果可以是交互反馈的用户数量与推荐用户的总数量的比值。
举例来说,假设目标推荐任务中的待推荐物品推荐给了100个用户,其中由10个用户点击通过,则该目标推荐任务的实际后验结果为10/100即0.1。
可见,本示例中,预估先验结果可以由线上***的预估器得到,无需实时构建计算模型进行预估,计算效率和准确度高。
在一个可能的示例中,所述线上***将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果,包括:
所述线上***根据所述每种异构数据源的统一评价指标生成排序集合,所述排序结合包括多个数据源序列,每个数据源序列包括所述多种异构数据源,且任意两个数据源序列中的异构数据源的顺序不同;
所述线上***在所述融合策略模型的约束条件下,从所述排序集合中选择最优的一个排序作为所述多种异构数据源的所述融合排序推荐结果。
其中,所述融合策略模型中包括约束条件和位置竞争控制策略。该约束条件例如可以是以下任意一种:推荐结果中至少有一条自然结果,广告数量不能少于预设数量、推荐信息不能全是冷门信息,也不能全是热门信息、然结果在一天内的展示占比大于预设占比等。
可见,本示例中,线上***使用融合策略模型,从多个备选数据源序列中基于预设的约束条件选取最优的数据源序列,提高筛选准确度。
在一个可能的示例中,所述信息推荐***还包括线下***,所述线下***包括训练数据库和多个价值模型,所述线下***用于通过所述训练数据库中的训练数据训练每个价值模型,得到更新后的价值模型;所述方法还包括:
所述线上***接收来自所述线下***的更新后的所述价值模型,以及对应的数据类型;所述线上***根据接收到的更新后的所述价值模型和所述对应的数据类型,生成所述价值模型集合。
可见,本示例中,线下***能够针对价值模型进行更新,并及时推送给线上***使用,提高信息推荐***的稳定性。
与所述图2所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种融合数据处理方法的流程示意图,应用于信息推荐***,所述信息推荐***包括线上***,所述线上***包括价值模型集合和融合策略模型,如图所示,本融合数据处理方法包括:
S301,所述线上***获取多种异构数据源。
S302,所述线上***通过查询所述价值模型集合,获取所述每种异构数据源对应的价值模型,所述价值模型集合包括异构数据源的数据类型和价值模型之间的对应关系。
S303,所述线上***获取所述每种异构数据源对应的价值模型所需要的特征参数。
S304,所述线上***确定所述每种异构数据源对应的价值模型所关联的专属预估器。
S305,所述线上***将所述每种异构数据源的所述特征数据和所述价值模型输入所述专属预估器,得到所述每种异构数据源对应的统一评价指标。
S306,所述线上***获取所述融合策略模型的损失量化评价指标。
S307,所述线上***将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果。
可以看出,本申请实施例中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
此外,线上***针对每一种异构数据源,能够找到对应的专属预估器,使用该专属预估器确定每种异构数据源对应的统一评价指标,由于专属预估器为预设工具,准确度高,计算稳定,提高确定统一评价指标的准确度和稳定性。
与所述图2所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种融合数据处理方法的流程示意图,应用于信息推荐***,所述信息推荐***包括线上***和线下***,所述线上***包括价值模型集合和融合策略模型。如图所示,本融合数据处理方法包括:
S401,所述线上***获取多种异构数据源。
S402,所述线上***获取所述每种异构数据源对应的价值模型所需要的特征参数。
S403,所述线上***确定所述每种异构数据源对应的价值模型所关联的专属预估器。
S404,所述线上***将所述每种异构数据源的所述特征数据和所述价值模型输入所述专属预估器,得到所述每种异构数据源对应的统一评价指标。
S405,所述线上***获取所述融合策略模型处理预设推荐任务的预估先验结果。
S406,所述线上***接收来自所述线下***的所述融合策略模型处理所述预设推荐任务的实际后验结果。
S407,所述线上***根据所述预估先验结果和所述实际后验结果确定所述融合策略模型的损失量化评价指标。
S408,所述线上***将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果。
可以看出,本申请实施例中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
此外,线上***针对每一种异构数据源,能够找到对应的专属预估器,使用该专属预估器确定每种异构数据源对应的统一评价指标,由于专属预估器为预设工具,准确度高,计算稳定,提高确定统一评价指标的准确度和稳定性。
此外,目标模型的损失反馈是结合预估先验结果和实际后验结果确定,符合实际用户群的使用习惯,准确度高。
此外,预估先验结果可以由线上***的预估器得到,无需实时构建计算模型进行预估,计算效率和准确度高。
此外,线上***使用融合策略模型,从多个备选数据源序列中基于预设的约束条件选取最优的数据源序列,提高筛选准确度。
与所述图2至图4所示的实施例一致的,请参阅图5,图5是本申请实施例提供的一种线上***的结构示意图,该线上***运行有一个或多个应用程序和操作***,如图所示,该线上***包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序不同于所述一个或多个应用程序,且所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行以下步骤的指令;
获取多种异构数据源;
使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标;
获取所述融合策略模型的损失量化评价指标;
将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果。
可以看出,本申请实施例中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
在一个可能的示例中,在所述使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标方面,所述程序中的指令具体用于执行以下操作:通过查询所述价值模型集合,获取所述每种异构数据源对应的价值模型,所述价值模型集合包括异构数据源的数据类型和价值模型之间的对应关系;以及获取所述每种异构数据源对应的价值模型所需要的特征参数;以及确定所述每种异构数据源对应的价值模型所关联的专属预估器;以及将所述每种异构数据源的所述特征数据和所述价值模型输入所述专属预估器,得到所述每种异构数据源对应的统一评价指标。
在一个可能的示例中,所述信息推荐***还包括线下***;在所述获取所述融合策略模型的损失量化评价指标方面,所述程序中的指令具体用于执行以下操作:获取所述融合策略模型处理预设推荐任务的预估先验结果;以及接收来自所述线下***的所述融合策略模型处理所述预设推荐任务的实际后验结果;以及根据所述预估先验结果和所述实际后验结果确定所述融合策略模型的损失量化评价指标。
在一个可能的示例中,在所述获取所述融合策略模型处理预设推荐任务的预估先验结果方面,所述程序中的指令具体用于执行以下操作:获取所述融合策略模型处理所述预设推荐任务所需要的特征参数;以及将所述特征参数和所述融合策略模型输入至预设的预估器,得到所述融合策略模型处理预设推荐任务的预估先验结果。
在一个可能的示例中,在所述将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果方面,所述程序中的指令具体用于执行以下操作:根据所述每种异构数据源的统一评价指标生成排序集合,所述排序结合包括多个数据源序列,每个数据源序列包括所述多种异构数据源,且任意两个数据源序列中的异构数据源的顺序不同;以及在所述融合策略模型的约束条件下,从所述排序集合中选择最优的一个排序作为所述多种异构数据源的所述融合排序推荐结果。
在一个可能的示例中,所述信息推荐***还包括线下***,所述线下***包括训练数据库和多个价值模型,所述线下***用于通过所述训练数据库中的训练数据训练每个价值模型,得到更新后的价值模型;所述程序还包括用于执行以下操作的指令:接收来自所述线下***的更新后的所述价值模型,以及对应的数据类型;以及根据接收到的更新后的所述价值模型和所述对应的数据类型,生成所述价值模型集合。
图6示出了所述实施例中所涉及的融合数据处理装置的一种可能的功能单元组成框图。融合数据处理装置600应用于信息推荐***,所述信息推荐***包括线上***,所述线上***包括价值模型集合和融合策略模型,所述融合数据处理装置包括获取单元601、使用单元602和输入处理单元603,其中,
所述获取单元601,用于获取多种异构数据源;
所述使用单元602,用于使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标;
所述获取单元601,还用于获取所述融合策略模型的损失量化评价指标;
所述输入处理单元603,用于将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果。
可以看出,本申请实施例中,线上***首先获取多种异构数据源;其次,使用价值模型集合处理多种异构数据源,得到每种异构数据源的统一评价指标;再次,获取融合策略模型的损失量化评价指标;最后,将每种异构数据源的统一评价指标和损失量化评价指标输入融合策略模型,得到多种异构数据源的融合排序推荐结果。可见,线上***能够将多种数据源通过价值模型进行对齐,再结合融合策略模型进行融合排序,有效解决有约束下多种异构数据全局最优融合排序问题。
在一个可能的示例中,在所述使用所述价值模型集合处理所述多种异构数据源,得到每种异构数据源的统一评价指标方面,所述使用单元602具体用于:通过查询所述价值模型集合,获取所述每种异构数据源对应的价值模型,所述价值模型集合包括异构数据源的数据类型和价值模型之间的对应关系;以及获取所述每种异构数据源对应的价值模型所需要的特征参数;以及确定所述每种异构数据源对应的价值模型所关联的专属预估器;以及将所述每种异构数据源的所述特征数据和所述价值模型输入所述专属预估器,得到所述每种异构数据源对应的统一评价指标。
在一个可能的示例中,所述信息推荐***还包括线下***;在所述获取所述融合策略模型的损失量化评价指标方面,所述获取单元601具体用于:获取所述融合策略模型处理预设推荐任务的预估先验结果;以及接收来自所述线下***的所述融合策略模型处理所述预设推荐任务的实际后验结果;以及根据所述预估先验结果和所述实际后验结果确定所述融合策略模型的损失量化评价指标。
在一个可能的示例中,在所述获取所述融合策略模型处理预设推荐任务的预估先验结果方面,所述获取单元601具体用于:获取所述融合策略模型处理所述预设推荐任务所需要的特征参数;以及将所述特征参数和所述融合策略模型输入至预设的预估器,得到所述融合策略模型处理预设推荐任务的预估先验结果。
在一个可能的示例中,在所述将所述每种异构数据源的统一评价指标和所述损失量化评价指标输入所述融合策略模型,得到所述多种异构数据源的融合排序推荐结果方面,所述输入处理单元具体用于:根据所述每种异构数据源的统一评价指标生成排序集合,所述排序结合包括多个数据源序列,每个数据源序列包括所述多种异构数据源,且任意两个数据源序列中的异构数据源的顺序不同;以及在所述融合策略模型的约束条件下,从所述排序集合中选择最优的一个排序作为所述多种异构数据源的所述融合排序推荐结果。
在一个可能的示例中,所述信息推荐***还包括线下***,所述线下***包括训练数据库和多个价值模型,所述线下***用于通过所述训练数据库中的训练数据训练每个价值模型,得到更新后的价值模型;所述融合数据处理装置还包括接收单元和生成单元,
所述接收单元,用于接收来自所述线下***的更新后的所述价值模型,以及对应的数据类型;
所述生成单元,用于根据接收到的更新后的所述价值模型和所述对应的数据类型,生成所述价值模型集合。
需要注意的是,本申请装置实施例所描述的融合数据处理装置是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义,用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC,单个电路,用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器,组合逻辑电路,和/或提供实现上述功能的其他合适的组件。
其中,获取单元601可以是接收器,使用单元602和输入处理单元603可以是处理器。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如所述方法实施例中记载的任一方法的部分或全部步骤,所述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如所述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,所述计算机包括移动终端。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在所述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解所述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。