CN115293291A - 排序模型的训练方法、排序方法、装置、电子设备及介质 - Google Patents
排序模型的训练方法、排序方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115293291A CN115293291A CN202211058818.XA CN202211058818A CN115293291A CN 115293291 A CN115293291 A CN 115293291A CN 202211058818 A CN202211058818 A CN 202211058818A CN 115293291 A CN115293291 A CN 115293291A
- Authority
- CN
- China
- Prior art keywords
- sample data
- data set
- target
- tag
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000000638 solvent extraction Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种排序模型的训练方法、排序方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及机器学习技术、信息推荐技术领域。具体实现方案为：响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签集合，其中，样本数据集合是目标应用场景的样本数据集合，目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；根据与标签类型对应的标签处理策略，处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合；将样本数据集合划分为至少一个样本数据组；根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及机器学习、信息推荐技术领域。具体地，涉及一种排序模型的训练方法、排序方法、装置、电子设备及介质。
背景技术
随着计算机技术的不断发展，人工智能技术也得到了发展。例如，可以利用人工智能技术进行排序，以实现例如资源推荐场景、服务商选择、异常检测、故障溯源和安全隐患排查等。
发明内容
本公开提供了一种排序模型的训练方法、排序方法、装置、电子设备及介质。
根据本公开的一方面，提供了一种排序模型的训练方法，包括：响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签集合，其中，上述样本数据集合是目标应用场景的样本数据集合，上述目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；根据与标签类型对应的标签处理策略，处理上述样本数据集合的原始标签值集合，得到上述样本数据集合的目标标签值集合；将上述样本数据集合划分为至少一个样本数据组；以及根据上述至少一个样本数据组和上述至少一个样本数据组的目标标签值集合训练上述排序模型，得到目标排序模型。
根据本公开的另一方面，提供了一种排序方法，包括：获取待排序数据集；以及将上述待排序数据集输入目标排序模型，得到排序结果，其中，上述目标排序模型是利用根据本公开上述的方法训练的。
根据本公开的另一方面，提供了一种排序模型的训练装置，包括：第一获得模块，用于响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签集合，其中，上述样本数据集合是目标应用场景的样本数据集合，上述述目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；第二获得模块，用于根据与标签类型对应的标签处理策略，处理样本数据集合的原始标签值集合，得到上述样本数据集合的目标标签值集合，其中，上述样本数据集合是目标应用场景的样本数据集合，上述目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；划分模块，用于将上述样本数据集合划分为至少一个样本数据组；以及第三获得模块，用于根据上述至少一个样本数据组和上述至少一个样本数据组的目标标签值集合训练上述排序模型，得到目标排序模型。
根据本公开的另一方面，提供了一种排序装置，包括：获取模块，用于获取待排序数据集；以及第四获得模块，用于将上述待排序数据集输入目标排序模型，得到排序结果，其中，上述目标排序模型是利用根据本公开上述的装置训练的。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以排序模型的训练方法、排序方法及装置的示例性***架构；
图2示意性示出了根据本公开实施例的排序模型的训练方法的流程图；
图3A示意性示出了根据本公开实施例的排序模型的训练过程的示例示意图；
图3B示意性示出了根据本公开实施例的排序模型的示例示意图；
图4示意性示出了根据本公开实施例的排序方法的流程图；
图5示意性示出了根据本公开实施例的排序模型的训练装置的框图；
图6示意性示出了根据本公开实施例的排序装置的框图；以及
图7示意性示出了根据本公开实施例的适于实现排序模型的训练方法和排序方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示意性示出了根据本公开实施例的可以排序模型的训练方法、排序方法及装置的示例性***架构。
需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。例如，在另一实施例中，可以应用排序模型的训练方法、排序方法及装置的示例性***架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的排序模型的训练方法、排序方法及装置。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用。例如，知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和社交平台软件等中的至少之一。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备。例如，可以包括智能手机、平板电脑、膝上型便携计算机和台式计算机等中的至少之一。
服务器105可以是提供各种服务的各种类型的服务器。例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式***的服务器，或者是结合了区块链的服务器。
需要说明的是，本公开实施例所提供的排序模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的排序模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的排序模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的排序模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
备选地，本公开实施例所提供的排序模型的训练方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的排序模型的训练装置也可以设置于终端设备101、102、或103中。
需要说明的是，本公开实施例所提供的排序方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的排序装置也可以设置于终端设备101、102、或103中。
备选地，本公开实施例所提供的排序方法一般也可以由服务器105执行。相应地，本公开实施例所提供的排序装置一般可以设置于服务器105中。本公开实施例所提供的排序方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的排序装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的排序模型的训练方法的流程图。
如图2所示，该方法200包括操作S210～S240。
在操作S210，响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签集合。
在操作S220，根据与标签类型对应的标签处理策略，处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
在操作S230，将样本数据集合划分为至少一个样本数据组。
在操作S240，根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型。
根据本公开的实施例，样本数据集合可以是目标应用场景的样本数据集合。目标应用场景可以表征关注各个样本数据彼此之间的相对排序关系的应用场景。
根据本公开的实施例，样本集合可以包括样本数据集合和与样本数据集合对应的原始标签值集合。样本集合可以包括至少一个样本。样本数据集合可以包括至少一个样本数据。原始标签值集合可以包括至少一个原始标签值。样本具有与该样本对应的样本数据和原始标签值。样本数据可以用于表征样本。样本数据可以包括样本特征数据。样本特征数据可以包括样本特征向量。
根据本公开的实施例，样本数据集可以是与目标应用场景对应的数据集。目标应用场景可以指关注样本数据集中各个样本数据彼此之间的相对排序关系，而并不关注样本数据集中各个样本数据彼此之间的绝对排序关系的应用场景。绝对排序关系可以指根据与样本数据对应的绝对值确定的排序关系。与样本数据对应的绝对值可以是基于回归模型处理样本数据得到的值。相对排序关系可以指不依赖与样本数据对应的绝对值确定的排序关系。例如，目标应用场景可以包括以下至少之一：资源推荐场景、问答场景、奖励发放场景、人事录用场景、服务商选择场景、异常检测场景、故障溯源场景和安全隐患场景等。
根据本公开的实施例，根据资源的属性类型，资源推荐场景可以包括以下至少之一：视频资源推荐场景、音频资源推荐场景和文本资源推荐场景。根据资源的应用场景类型，资源推荐场景可以包括以下至少之一：金融产品推荐场景、路线推荐场景、对象推荐场景、音乐推荐场景、影视剧推荐场景、游戏推荐场景、美食推荐场景、景点推荐场景、住宿推荐场景和游戏推荐场景等。
根据本公开的实施例，问答场景可以包括以下至少之一：文本问答场景和图文问答场景等。奖励发放场景可以包括以下至少之一：优惠劵发放场景和绩效奖励发放场景等。优惠劵发放场景可以包括以下至少之一：美食优惠劵发放场景、服饰优惠劵发放场景、电影票优惠劵发放场景、景点门票优惠劵发放场景和应用程序会员优惠劵发放场景等。
根据本公开的实施例，人事录用场景可以包括以下至少之一：企业录用场景、事业单位录用场景和公务员单位录用场景等。服务商选择场景可以包括以下至少之一：供应链供应商选择场景。供应链供应商选择场景可以包括以下至少之一：原材料供应商选择场景、中间加工供应商选择场景、组装供应商选择场景、配送供应商选择场景和销售供应商选择场景等。异常检测场景可以包括以下至少之一：异常工业产品检测场景和智能电网调度控制***业务异常检测场景。
根据本公开的实施例，样本数据集合的类型可以根据目标应用场景进行选择，在此不作限定。例如，样本数据集合的类型可以包括以下至少之一：样本图像数据集合、样本音频数据集合和样本文本数据集合。
例如，针对视频资源推荐场景，样本数据集合的类型可以是样本图像数据集合。此外，样本数据集合的类型还可以包括样本音频数据集合和样本文本数据集合中的至少之一。针对音频资源推荐场景，样本数据集合的类型可以是样本音频数据集合。针对文本资源推荐场景，样本数据集合的类型可以是样本文本数据集合。
例如，针对文本问答场景，样本数据集合的类型可以是样本文本数据集合。针对图文问答场景，样本数据集合的类型可以包括样本文本数据集合和样本图像数据集合。
例如，针对异常工业产品检测场景，样本数据集合的类型可以包括样本图像数据集合和样本文本数据集合中的至少之一。针对智能电网调度控制***业务异常检测场景，样本数据集合的类型可以是样本文本数据集合。
根据本公开的实施例，标签类型可以指原始标签值集合的类型。原始标签值集合的预期取值可以包括一个或多个。例如，标签类型可以包括以下至少之一：连续型标签和离散型标签。例如，连续型标签可以包括消费资产数值。离散型标签可以包括信用等级。标签处理策略可以指用于处理原始标签值集合的策略。可以具有与标签类型对应的标签处理策略。例如，连续型标签可以具有与连续型标签对应的标签处理策略。离散型标签可以具有与离散型标签对应的标签处理策略。与连续型标签对应的标签处理策略可以包括将连续型标签离散化的标签处理策略。与离散型标签对应的标签处理策略可以包括将离散型标签数字化的标签处理策略。
根据本公开的实施例，至少一个样本数据组可以是将样本数据集合进行划分得到的。样本数据组可以包括至少一个样本数据。各个样本数据组彼此之间不存在同一样本数据。备选地，各个样本数据组中存在至少一个样本数据被划分至至少两个样本数据组。备选地，各个样本数据组中存在至少一个样本数据被划分至至少两个样本数据组且每个样本数据组的各个样本数据彼此不同。
根据本公开的实施例，排序模型可以指用于对样本数据集合包括的至少一个样本数据进行排序的模型。排序模型可以包括基于机器学习的排序模型。排序模型可以包括以下至少之一：基于点的排序模型、基于对的排序模型和基于列表的排序模型。排序模型的模型结构可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，可以响应于检测到数据获取指令，调用数据接口。数据获取指令可以是响应于检测到用户的数据获取操作生成的。利用数据接口从数据源获取样本数据集合和与样本数据集合对应的原始标签值集合。数据源可以包括以下至少之一：本地数据库、云数据库和互联网。可以确定原始标签值集合的标签类型。根据与标签类型对应的标签处理策略处理原始标签值集合，得到目标标签值集合。利用样本数据组划分策略处理样本数据集合，得到至少一个样本数据组。
根据本公开的实施例，针对至少一个样本数据组中的样本数据组，可以将样本文本数据组包括的样本数据输入排序模型，得到样本数据组包括的样本数据的排序评估值。利用至少一个样本数据组各自包括的样本数据的排序评估值和至少一个样本数据组各自的目标标签值集合训练排序模型，得到目标排序模型。
例如，在目标应用场景是金融产品推荐场景的情况下，样本数据可以包括以下至少之一：样本对象的对象流水数据、对象风险评估数据和金融产品数据等。对象流水数据可以包括以下至少之一：对象在预定时间段内的交易的交易时刻、交易资产数值和交易性质。金融产品数据可以包括以下至少之一：金融产品的风险等级、基金经理、资产规模、买入周期和赎回周期。与样本数据对应的原始标签值可以包括表征候选样本金融产品被推荐的标签值和表征候选样本金融产品未被推荐的标签值。本公开实施例提供的排序模型的训练方法通过根据与标签类型对应的标签处理策略处理样本数据集的原始标签值集合，得到样本数据集的目标标签值集合，提高了标签值的合理性，在此基础上，可以用于提高金融产品的推荐准确性。
例如，在目标应用场景是对象推荐场景的情况下，样本数据可以包括样本对象的对象社交互动数据。对象社交互动数据可以包括以下至少之一：对象的关注数据、打赏数据、评论数据、弹幕数据、点赞数据、收藏数据、分享数据和转发数据。与样本数据对应的原始标签值可以包括表征候选样本对象被推荐可能性的标签值。本公开实施例提供的排序模型的训练方法通过根据与标签类型对应的标签处理策略处理样本数据集的原始标签值集合，得到样本数据集的目标标签值集合，提高了标签值的合理性，在此基础上，可以用于提高对象的推荐准确性。
例如，在目标应用场景是供应商选择场景的情况下，样本数据可以包括以下至少之一：样本供应商的样本供应商数据和样本订单数据。样本供应商数据可以包括以下至少之一：样本供货效率数据、样本变更柔性数据、样本企业实力数据和合作潜力数据。样本订单数据可以包括以下至少之一：样本订单所需产能数据、样本订单地址位置数据、样本订单提前期数据、样本订单柔性数据和样本订单配额数据。与样本数据对应的原始标签值可以包括表征样本供应商被选择可能性的标签值。本公开实施例提供的排序模型的训练方法通过根据与标签类型对应的标签处理策略处理样本数据集的原始标签值集合，得到样本数据集的目标标签值集合，提高了标签值的合理性，在此基础上，可以用于提高供应商的选择准确性。
根据本公开的实施例，可以由电子设备执行本公开实施例的排序模型的训练方法。例如，电子设备可以是服务器或终端设备。电子设备可以包括至少一个处理器。处理器可以用于执行本公开实施例提供的排序模型的训练方法。例如，可以利用单个处理器执行本公开实施例提供的排序模型的训练方法，也可以利用多个处理器并行执行本公开实施例提供的排序模型的训练方法。
根据本公开的实施例，通过根据与标签类型对应的标签处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合，提高了标签值的合理性，再根据将样本数据集合划分得到的至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型，提高了目标排序模型针对全量样本数据的排序准确性和降低了资源消耗。由于提高了目标排序模型针对全量样本数据的排序准确性，因此，降低了模型迭代次数，提高了模型的训练速度，由此降低了电子设备例如处理器的数据处理量，提高了电子设备例如处理器的处理效率。此外，进而获得符合自然规律的电子设备内部性能改进的效果，从而提升电子设备的核心竞争力。
根据本公开的实施例，操作S220可以包括如下操作。
确定样本数据集合的原始标签值集合的标签类型。
在确定标签类型是连续型标签的情况下，利用离散化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。在确定标签类型是离散型标签的情况下，利用映射化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，标签类型可以包括以下至少之一：连续型标签和离散型标签。连续型标签可以表征原始标签值集合的预期取值为连续数值。例如，离散型标签可以表征原始标签值集合的预期取值为离散数值。
根据本公开的实施例，离散化处理策略可以指用于将连续型标签的原始标签值集合离散化的处理策略。映射化处理策略可以指用于将离散型标签的原始标签值集合映射化的处理策略。映射化可以指将原始标签值映射为预定数值。预定数值可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，利用离散化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合，可以包括如下操作。
利用分箱处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，离散化策略可以包括分箱处理策略。分箱处理策略可以包括以下至少之一：等距分箱处理策略和等频分箱处理策略。分箱处理策略可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，利用分箱处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合，可以包括如下操作。
确定与样本数据集合的原始标签值集合对应的全局边界标签值。根据全局边界标签值和预期区间数目，确定与至少一个区间对应的区间边界标签值。根据与至少一个区间对应的区间边界标签值和原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，全局边界标签值可以包括最大全局边界标签值和最小全局边界标签值。最大全局边界标签值可以指原始标签值的各个预期取值中的最大取值。最小全局边界标签值可以指原始标签值的各个预期取值中的最小取值。区间边界标签值可以包括最大区间边界标签值和最小区间边界标签值。预期区间数目可以根据实际业务需求进行配置，在此不作限定。例如，预期区别数目可以为4。
根据本公开的实施例，可以从与样本数据集合的原始标签值集合的预期取值中确定最大全局边界标签值和最小全局边界标签值。根据最大全局边界标签值、最小全局边界标签值和预期区间数目，确定与至少一个区间各自对应的区间数值范围。根据与至少一个区间各自对应的区间数值范围。根据与至少一个区间各自对应的区间数值范围，确定与至少一个区间各自对应的区间边界标签值。
根据本公开的实施例，针对原始标签值集合中的原始标签值，确定与原始标签值对应的区间边界标签值。根据第一映射关系集合，确定与区间边界标签值对应的第一预定数值。将原始标签值映射为与区间边界标签值对应的第一预定数值。第一预定数值可以根据实际业务需求进行配置，在此不作限定。第一映射关系集合可以包括至少一个第一映射关系。第一映射关系可以表征区间边界标签值和第一预定数值之间的关系。
例如，原始标签值集合的预期取值可以包括10、10.5和15。利用上述方式可以确定区间边界标签值Labels1可以包括10和13。区间边界标签值Labels2可以包括13和16。
根据本公开的实施例，利用映射化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合，可以包括如下操作。
利用映射化处理策略将样本数据集合的原始标签值集合映射为预定数值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，第二预定数值集合(即预定数值集合)可以包括至少一个第二预定数值(即预定数值)。映射化处理策略可以指用于将离散型标签的原始标签值映射为第二预定数值的处理策略。
根据本公开的实施例，可以根据第二映射关系集合，将样本数据集合的原始标签值集合映射为第二预定数值集合，得到样本数据集合的目标标签值集合。第二映射关系集合可以包括第二映射关系。第二映射关系可以表征原始标签值与第二预定数值之间的关系。例如，针对原始标签值集合中的原始标签值，根据第二映射关系集合，确定与原始标签值对应的第二预定数值。将原始标签值映射为与原始标签值对应的第二预定数值。
例如，原始标签表征信用等级。原始标签值集合的取值可以包括差、一般和优。可以利用映射化处理策略将“差”映射为“0”，将“一般”映射为“1”和将“优”映射为“2”。
根据本公开的实施例，至少一个样本数据组可以包括至少一个第一样本数据组和至少一个第二样本数据组中的至少之一。
根据本公开的实施例，操作S230可以包括以下之一：
利用无重复划分策略将样本数据集合划分为至少一个第一样本数据组。各个第一样本数据组彼此不同。利用重复划分策略将样本数据集合划分为至少一个第二样本数据组。至少一个第二样本数据组中存在至少一个样本数据被划分为至少两个第二样本数据组。
根据本公开的实施例，无重复划分策略可以用于实现将样本数据集合划分为彼此不同的各个第一样本数据组的策略。重复划分策略可以用于实现将样本数据集合划分为存在至少一个样本数据被划分为至少两个第二样本数据组的策略。此外，第二样本数据组包括的各个样本数据可以彼此不同。
根据本公开的实施例，至少一个样本数据组可以包括至少一个第一样本数据组。备选地，至少一个样本数据组可以包括至少一个第二样本数据组。备选地，至少一个样本数据组可以包括至少一个第一样本数据组和至少一个第二样本数据组。
根据本公开的实施例，在至少一个样本数据组包括至少一个第一样本数据组的情况下，根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型，可以包括：根据至少一个第一样本数据组和至少一个第一样本数据组的目标标签值集合训练排序模型，得到目标排序模型。
根据本公开的实施例，在至少一个样本数据组包括至少一个第二样本数据组的情况下，根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型，可以包括：根据至少一个第二样本数据组和至少一个第二样本数据组的目标标签值集合训练排序模型，得到目标排序模型。
根据本公开的实施例，至少一个第一样本数据组可以包括M个第一样本数据组。
根据本公开的实施例，利用无重复划分策略将样本数据集合划分为至少一个第一样本数据组，可以包括重复执行以下操作M次，第m次操作可以包括重复执行以下操作，直至第m个第一样本数据组中的样本数据的数目等于第m个第一预定数目阈值：
在确定第m个第一样本数据组中的样本数据的数目小于第m个第一预定数目阈值的情况下，从第(m-1)n-1个样本数据集中确定第n个样本数据。将第n个样本数据确定为第m个第一样本数据组的样本数据。从第(m-1)n-1个样本数据集合中删除第n个样本数据，得到第(m-1)n个样本数据集合。
根据本公开的实施例，M可以是大于或等于1的整数。n可以是大于或等于1且小于或等于P的整数。P可以是大于或等于1的整数。P可以表征样本数据集合包括的样本数据的数目。
根据本公开的实施例，m∈{1，2，……，M-1，M}。M个第一样本数据组彼此不同。第m个第一样本数据组可以包括与第m个第一预定数目阈值对应的样本数据。第1个第一预定数目阈值、第2个第一预定数目阈值、……、第m个第一预定数目阈值、……、第(M-1)个第一预定数目阈值和第M个第一预定数目阈值之和小于或等于P。
根据本公开的实施例，可以通过如下方式获得第m个第一样本数据组。确定第m个第一样本数据组中的样本数据的数目是否小于第m个第一预定数目阈值。如果确定第m个第一样本数据组中的样本数据的数目小于第m个第一预定数目阈值，则从第(m-1)n-1个样本数据集中确定第n个样本数据，并将第n个样本数据确定为第m个第一样本数据组的样本数据，再从第(m-1)n-1个样本数据集合中删除第n个样本数据，得到第(m-1)n个样本数据集合。重复执行上述操作直至确定第m个第一样本数据组中的样本数据等于第m个第一预定数目阈值。可以重复执行第m次操作过程M次来获得第1个第一样本数据组至第M个第一样本数据组。
根据本公开的实施例，至少一个第二样本数据组可以包括R个第二样本数据组。
根据本公开的实施例，利用重复划分策略将样本数据集合划分为至少一个第二样本数据组，可以包括重复执行以下操作R次，第r次操作可以包括重复执行以下操作，直至第r个第二样本数据组中的样本数据的数目等于第r个第二预定数目阈值：
在确定第r个第二样本数据组中的样本数据的数目小于第r个第二预定数目阈值的情况下，从第(s-1)个样本数据集合中确定第s个样本数据。第(s-1)个样本数据集合是从样本数据集合中删除(s-1)个样本数据得到的。将第s个样本数据确定为第r个第二样本数据组的样本数据。从第(s-1)个样本数据集合中删除第s个样本数据，得到第s个样本数据集合。
根据本公开的实施例，R可以是大于或等于1的整数。s可以是大于或等于1且小于或等于P的整数。P可以是大于或等于1的整数。P可以表征样本数据集合包括的样本数据的数目。
根据本公开的实施例，r∈{1，2，……，R-1，R}。第r个第二样本数据组可以包括与第r个第二预定数目阈值对应的样本数据。第1个第二预定数目阈值、第2个第一预定数目阈值、……、第r个第一预定数目阈值、……、第(R-1)个第一预定数目阈值和第R个第一预定数目阈值之和小于或等于P。
根据本公开的实施例，可以通过如下方式获得第r个第二样本数据组。确定第r个第二样本数据组中的样本数据的数目是否小于第r个第二预定数目阈值。如果确定第r个第二样本数据组中的样本数据的数目小于第r个第二预定数目阈值，则从样本数据集合中删除(s-1)个样本数据得到的第(s-1)个样本数据集合中确定第s个样本数据，并将第s个样本数据确定为第r个第二样本数据组的样本数据，再从第(s-1)个样本数据集合中删除第s个样本数据，得到第s个样本数据集合。重复执行上述操作直至确定第r个第二样本数据组中的样本数据等于第r个第二预定数目阈值。可以重复执行第r次操作过程R次来获得第1个第二样本数据组至第R个第二样本数据组。
根据本公开的实施例，操作S240可以包括重复以下操作，直至满足预定结束条件，得到包括G个树模型的目标排序模型：
利用前(g-1)个树模型的输出结果、至少一个样本数据组和至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果。
根据本公开的实施例，输出结果可以表征样本数据集包括的样本数据的排序输出值。g可以是大于或等于1且小于或等于G的整数。G可以是大于或等于1的整数。g∈{1，2，……，G-1，G}。
根据本公开的实施例，树模型可以包括以下之一：回归树和分类树。回归树可以包括基于决策树的回归树。回归树可以包括MART(Multiple Additive Regression Tree，多重增量回归树)(即GBDT(Gradient Boosting Decision Tree，梯度提升决策树))。分类树可以包括基于决策树的分类树。预定结束条件可以包括以下至少之一：达到完成预定数目的树模型的训练操作和目标损失函数值收敛。目标损失函数值可以根据样本数据的排序输出值和排序标签值确定的。目标损失函数的形式可以根据实际业务需求进行配置，在此不作限定。例如，目标损失函数可以包括交叉熵损失函数。
根据本公开的实施例，排序模型可以包括G个级联的树模型。第g个树模型可以用于拟合前(g-1)个树模型的残差值。残差值可以是根据目标损失函数对之前全部排序输出结果的偏导数。
根据本公开的实施例，样本数据组可以包括至少两个样本数据。
根据本公开的实施例，利用前(g-1)个树模型的输出结果、至少一个样本数据组和至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，可以包括如下操作。
针对至少一个样本数据组中的样本数据组，基于排序评估指标函数，根据至少两个样本数据，确定与至少两个样本数据各自对应的梯度值和权重值。利用前(g-1)个树模型的输出结果以及至少一个样本数据组中与至少两个样本数据各自对应的目标标签值、梯度值和权重值训练第g个树模型。
根据本公开的实施例，排序评估指标可以包括以下至少之一：归一化折扣累积收益平均(Normalized Discount Cumulative Gain，NDCG)、平均倒数等级(Mean ReciprocalRank，MRR)和准确度(Mean Average Precision，MAP)。
根据本公开的实施例，可以基于排序评估指标函数，确定偏序概率函数。根据偏序概率函数，确定梯度函数。针对每个样本数据组中的每个样本数据，利用梯度函数处理该样本数据和该样本数据与该样本数据组中的其他任意一个样本数据，得到该样本数据的梯度值。基于偏序概率函数对该样本数据的梯度进行求导，得到与该样本数据对应的权重值。偏序概率函数和梯度函数可以是针对该样本数据和该样本数据组中的其他任意一个样本数据的函数。
根据本公开的实施例，可以利用至少一个样本数据组和至少一个目标标签值集合训练LambdaMART模型。
下面参考图3A～图3B，结合具体实施例对根据本公开实施例所述的排序模型的训练方法做进一步说明。
图3A示意性示出了根据本公开实施例的排序模型的训练过程的示例示意图。
如图3A所示，在300A中，可以确定与样本数据集合305对应的原始标签值集合301的标签类型302。根据与标签类型302对应的标签处理策略303处理原始标签值集合301，得到目标标签值集合304。可以利用无重复划分策略和有重复划分策略中的之一将样本数据集合305划分为至少一个样本数据组306。利用至少一个样本数据组306和与至少一个样本数据组306各自对应的目标样本标签值集合304训练排序模型307，得到目标排序模型308。
图3B示意性示出了根据本公开实施例的排序模型的示例示意图。
如图3B所示，在300B中，排序模型309可以包括G个树模型，例如，树模型309_1、树模型309_2、……、树模型309_g、……、树模型309_G-1和树模型309_G。利用前(g-1)个树模型的输出结果、至少一个样本数据组310和至少一个样本数据组310的目标标签值集合训练第g个树模型(即树模型309_g)，得到树模型309_g的输出结果。
图4示意性示出了根据本公开实施例的排序方法的流程图。
如图4所示，该方法400包括操作S410～S420。
在操作S410，获取待排序数据集。
在操作S420，将待排序数据集输入目标排序模型，得到排序结果。
根据本公开的实施例，目标排序模型可以是利用根据本公开实施例所述的排序模型的训练方法训练得到的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他排序模型的训练方法和排序方法，只要能够提高标签值的合理性、提高目标排序模型针对全量样本数据的排序准确性和降低资源消耗即可。
图5示意性示出了根据本公开实施例的排序模型的训练装置的框图。
如图5所示，排序模型的训练装置500可以包括第一获得模块510、第二获得模块520、划分模块530和第三获得模块540。
第一获得模块510，用于利用数据接口从数据源获取样本数据集合和原始标签集合。样本数据集合是目标应用场景的样本数据集合。目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景。
第二获得模块520，用于根据与标签类型对应的标签处理策略，处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
划分模块530，用于将样本数据集合划分为至少一个样本数据组。
第二获得模块540，用于根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型。
根据本公开的实施例，标签类型包括以下至少之一：连续型标签和离散型标签。连续型标签表征原始标签值集合的预期取值为连续数值。离散型标签表征原始标签值集合的预期取值为离散数值。
根据本公开的实施例，第二获得模块520可以包括确定子模块、第一获得子模块和第二获得子模块。
确定子模块，用于确定样本数据集合的原始标签值集合的标签类型。
第一获得子模块，用于在确定标签类型是连续型标签的情况下，利用离散化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
第二获得子模块，用于在确定标签类型是离散型标签的情况下，利用映射化处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，第一获得子模块可以包括第一获得单元。
第一获得单元，用于利用分箱处理策略处理样本数据集合的原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，第一获得单元可以包括第一确定子单元、第二确定子单元和第一获得子单元。
第一确定子单元，用于确定与样本数据集合的原始标签值集合对应的全局边界标签值。
第二确定子单元，用于根据全局边界标签值和预期区间数目，确定与至少一个区间对应的区间边界标签值。
第一获得子单元，用于根据与至少一个区间对应的区间边界标签值和原始标签值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，第二获得子模块可以包括第二获得单元。
第二获得单元，用于利用映射化处理策略将样本数据集合的原始标签值集合映射为预定数值集合，得到样本数据集合的目标标签值集合。
根据本公开的实施例，至少一个样本数据组包括至少一个第一样本数据组和至少一个第二样本数据组中的至少之一。
根据本公开的实施例，划分模块530可以包括第一划分子模块和第二划分子模块中的之一。
第一划分子模块，用于利用无重复划分策略将样本数据集合划分为至少一个第一样本数据组。各个第一样本数据组彼此不同。
第二划分子模块，用于利用重复划分策略将样本数据集合划分为至少一个第二样本数据组。至少一个第二样本数据组中存在至少一个样本数据被划分为至少两个第二样本数据组。
根据本公开的实施例，至少一个第一样本数据组包括M个第一样本数据组。M是大于或等于1的整数。
根据本公开的实施例，所述利用无重复划分策略将样本数据集合划分为至少一个第一样本数据组，包括重复执行以下操作M次，第m次操作包括重复执行以下操作，直至第m个第一样本数据组中的样本数据的数目等于第m个第一预定数目阈值：
在确定第m个第一样本数据组中的样本数据的数目小于第m个第一预定数目阈值的情况下，从第(m-1)n-1个样本数据集中确定第n个样本数据，其中，n是大于或等于1且小于或等于P的整数，P是大于或等于1的整数，P表征样本数据集合包括的样本数据的数目。将第n个样本数据确定为第m个第一样本数据组的样本数据。从第(m-1)n-1个样本数据集合中删除第n个样本数据，得到第(m-1)n个样本数据集合。
根据本公开的实施例，至少一个第二样本数据组包括R个第二样本数据组。R是大于或等于1的整数。
根据本公开的实施例，所述利用重复划分策略将样本数据集合划分为至少一个第二样本数据组，包括重复执行以下操作R次，第r次操作包括重复执行以下操作，直至第r个第二样本数据组中的样本数据的数目等于第r个第二预定数目阈值：
在确定第r个第二样本数据组中的样本数据的数目小于第r个第二预定数目阈值的情况下，从第(s-1)个样本数据集合中确定第s个样本数据。第(s-1)个样本数据集合是从样本数据集合中删除(s-1)个样本数据得到的。s是大于或等于1且小于或等于P的整数。P是大于或等于1的整数。P表征样本数据集合包括的样本数据的数目。将第s个样本数据确定为第r个第二样本数据组的样本数据。从第(s-1)个样本数据集合中删除第s个样本数据，得到第s个样本数据集合。
根据本公开的实施例，根据至少一个样本数据组和至少一个样本数据组的目标标签值集合训练排序模型，得到目标排序模型，包括重复以下操作，直至满足预定结束条件，得到包括G个树模型的目标排序模型：
利用前(g-1)个树模型的输出结果、至少一个样本数据组和至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果。输出结果表征样本数据集包括的样本数据的排序输出值。g是大于或等于1且小于或等于G的整数。G是大于或等于1的整数。
根据本公开的实施例，样本数据组包括至少两个样本数据。
根据本公开的实施例，利用前(g-1)个树模型的输出结果、至少一个样本数据组和至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，可以包括如下操作。
针对至少一个样本数据组中的样本数据组，基于排序评估指标函数，根据至少两个样本数据，确定与至少两个样本数据各自对应的梯度值和权重值。利用前(g-1)个树模型的输出结果以及至少一个样本数据组中与至少两个样本数据各自对应的目标标签值、梯度值和权重值训练第g个树模型。
根据本公开的实施例，应用场景可以包括以下之一：资源推荐场景、问答场景、奖励发放场景、人事录用场景、服务商选择场景、异常检测场景、故障溯源场景和安全隐患场景。
图6示意性示出了根据本公开实施例的排序装置的框图。
如图6所示，排序装置600可以包括获取模块610和第四获得模块620。
获取模块610，用于获取待排序数据集。
第四获得模块620，用于将待排序数据集输入目标排序模型，得到排序结果。
根据本公开的实施例，目标排序模型是根据本公开实施例的排序模型的训练装置训练的。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
图7示意性示出了根据本公开实施例的适于实现排序模型的训练方法和排序方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如排序模型的训练方法和排序方法。例如，在一些实施例中，排序模型的训练方法和排序方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的排序模型的训练方法和排序方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行排序模型的训练方法和排序方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (27)
1.一种排序模型的训练方法，包括：
响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签集合，其中，所述样本数据集合是目标应用场景的样本数据集合，所述目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；
根据与标签类型对应的标签处理策略，处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合；
将所述样本数据集合划分为至少一个样本数据组；以及
根据所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练所述排序模型，得到目标排序模型。
2.根据权利要求1所述的方法，其中，所述标签类型包括以下至少之一：连续型标签和离散型标签，所述连续型标签表征所述原始标签值集合的预期取值为连续数值，所述离散型标签表征所述原始标签值集合的预期取值为离散数值；
其中，所述根据与标签类型对应的标签处理策略，处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合，包括：
确定所述样本数据集合的原始标签值集合的标签类型；
在确定所述标签类型是所述连续型标签的情况下，利用离散化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合；以及
在确定所述标签类型是所述离散型标签的情况下，利用映射化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合。
3.根据权利要求2所述的方法，其中，所述利用离散化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合，包括：
利用分箱处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合。
4.根据权利要求3所述的方法，其中，所述利用分箱处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合，包括：
确定与所述样本数据集合的原始标签值集合对应的全局边界标签值；
根据所述全局边界标签值和预期区间数目，确定与至少一个区间对应的区间边界标签值；以及
根据与所述至少一个区间对应的区间边界标签值和所述原始标签值集合，得到所述样本数据集合的目标标签值集合。
5.根据权利要求2～4中任一项所述的方法，其中，所述利用映射化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合，包括：
利用所述映射化处理策略将所述样本数据集合的原始标签值集合映射为预定数值集合，得到所述样本数据集合的目标标签值集合。
6.根据权利要求2～5中任一项所述的方法，其中，所述至少一个样本数据组包括至少一个第一样本数据组和至少一个第二样本数据组中的至少之一；
其中，所述将所述样本数据集合划分为至少一个样本数据组，包括以下之一：
利用无重复划分策略将所述样本数据集合划分为所述至少一个第一样本数据组，其中，各个所述第一样本数据组彼此不同；以及
利用重复划分策略将所述样本数据集合划分为所述至少一个第二样本数据组，其中，所述至少一个第二样本数据组中存在至少一个样本数据被划分为至少两个所述第二样本数据组。
7.根据权利要求6所述的方法，其中，所述至少一个第一样本数据组包括M个第一样本数据组，M是大于或等于1的整数；
其中，所述利用无重复划分策略将所述样本数据集合划分为所述至少一个第一样本数据组，包括重复执行以下操作M次，第m次操作包括重复执行以下操作，直至第m个第一样本数据组中的样本数据的数目等于第m个第一预定数目阈值：
在确定所述第m个第一样本数据组中的样本数据的数目小于所述第m个第一预定数目阈值的情况下，从第(m-1)n-1个样本数据集中确定第n个样本数据，其中，n是大于或等于1且小于或等于P的整数，P是大于或等于1的整数，P表征所述样本数据集合包括的样本数据的数目；
将所述第n个样本数据确定为所述第m个第一样本数据组的样本数据；以及
从所述第(m-1)n-1个样本数据集合中删除所述第n个样本数据，得到第(m-1)n个样本数据集合。
8.根据权利要求6或7所述的方法，其中，所述至少一个第二样本数据组包括R个第二样本数据组，R是大于或等于1的整数；
其中，所述利用重复划分策略将所述样本数据集合划分为所述至少一个第二样本数据组，包括重复执行以下操作R次，第r次操作包括重复执行以下操作，直至第r个第二样本数据组中的样本数据的数目等于第r个第二预定数目阈值：
在确定第r个第二样本数据组中的样本数据的数目小于所述第r个第二预定数目阈值的情况下，从第(s-1)个样本数据集合中确定第s个样本数据，其中，所述第(s-1)个样本数据集合是从所述样本数据集合中删除(s-1)个样本数据得到的，s是大于或等于1且小于或等于P的整数，P是大于或等于1的整数，P表征所述样本数据集合包括的样本数据的数目；
将所述第s个样本数据确定为所述第r个第二样本数据组的样本数据；以及
从所述第(s-1)个样本数据集合中删除所述第s个样本数据，得到第s个样本数据集合。
9.根据权利要求1～8中任一项所述的方法，其中，所述根据所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练所述排序模型，得到目标排序模型，包括重复以下操作，直至满足预定结束条件，得到包括G个树模型的目标排序模型：
利用前(g-1)个树模型的输出结果、所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，其中，所述输出结果表征所述样本数据集包括的样本数据的排序输出值，g是大于或等于1且小于或等于G的整数，G是大于或等于1的整数。
10.根据权利要求9所述的方法，其中，所述样本数据组包括至少两个样本数据；
其中，所述利用前(g-1)个树模型的输出结果、所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，包括：
针对所述至少一个样本数据组中的样本数据组，
基于排序评估指标函数，根据所述至少两个样本数据，确定与所述至少两个样本数据各自对应的梯度值和权重值；以及
利用所述前(g-1)个树模型的输出结果以及所述至少一个样本数据组中与所述至少两个样本数据各自对应的目标标签值、梯度值和权重值训练所述第g个树模型。
11.根据权利要求1～10中任一项所述的方法，其中，所述应用场景包括以下之一：资源推荐场景、问答场景、奖励发放场景、人事录用场景、服务商选择场景、异常检测场景、故障溯源场景和安全隐患场景。
12.一种排序方法，包括：
获取待排序数据集；以及
将所述待排序数据集输入目标排序模型，得到排序结果，
其中，所述目标排序模型是利用根据权利要求1～11中任一项所述的方法训练的。
13.一种排序模型的训练装置，包括：
第一获得模块，用于响应于检测到数据获取指令，利用数据接口从数据源获取样本数据集合和原始标签值集合，其中，所述样本数据集合是目标应用场景的样本数据集合，所述目标应用场景表征关注各个样本数据彼此之间的相对排序关系的应用场景；
第二获得模块，用于根据与标签类型对应的标签处理策略，处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合；
划分模块，用于将所述样本数据集合划分为至少一个样本数据组；以及
第三获得模块，用于根据所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练所述排序模型，得到目标排序模型。
14.根据权利要求13所述的装置，其中，所述标签类型包括以下至少之一：连续型标签和离散型标签，所述连续型标签表征所述原始标签值集合的预期取值为连续数值，所述离散型标签表征所述原始标签值集合的预期取值为离散数值；
其中，所述第二获得模块，包括：
确定子模块，用于确定所述样本数据集合的原始标签值集合的标签类型；
第一获得子模块，用于在确定所述标签类型是所述连续型标签的情况下，利用离散化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合；以及
第二获得子模块，用于在确定所述标签类型是所述离散型标签的情况下，利用映射化处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合。
15.根据权利要求14所述的装置，其中，所述第一获得子模块，包括：
第一获得单元，用于利用分箱处理策略处理所述样本数据集合的原始标签值集合，得到所述样本数据集合的目标标签值集合。
16.根据权利要求15所述的装置，其中，所述第一获得单元，包括：
第一确定子单元，用于确定与所述样本数据集合的原始标签值集合对应的全局边界标签值；
第二确定子单元，用于根据所述全局边界标签值和预期区间数目，确定与至少一个区间对应的区间边界标签值；以及
第一获得子单元，用于根据与所述至少一个区间对应的区间边界标签值和所述原始标签值集合，得到所述样本数据集合的目标标签值集合。
17.根据权利要求14～16中任一项所述的装置，其中，所述第二获得子模块，包括：
第二获得单元，用于利用所述映射化处理策略将所述样本数据集合的原始标签值集合映射为预定数值集合，得到所述样本数据集合的目标标签值集合。
18.根据权利要求14～17中任一项所述的装置，其中，所述至少一个样本数据组包括至少一个第一样本数据组和至少一个第二样本数据组中的至少之一；
其中，所述划分模块，包括以下之一：
第一划分子模块，用于利用无重复划分策略将所述样本数据集合划分为所述至少一个第一样本数据组，其中，各个所述第一样本数据组彼此不同；以及
第二划分子模块，用于利用重复划分策略将所述样本数据集合划分为所述至少一个第二样本数据组，其中，所述至少一个第二样本数据组中存在至少一个样本数据被划分为至少两个所述第二样本数据组。
19.根据权利要求18所述的装置，其中，所述至少一个第一样本数据组包括M个第一样本数据组，M是大于或等于1的整数；
其中，所述利用无重复划分策略将所述样本数据集合划分为所述至少一个第一样本数据组，包括重复执行以下操作M次，第m次操作包括重复执行以下操作，直至第m个第一样本数据组中的样本数据的数目等于第m个第一预定数目阈值：
在确定所述第m个第一样本数据组中的样本数据的数目小于所述第m个第一预定数目阈值的情况下，从第(m-1)n-1个样本数据集中确定第n个样本数据，其中，n是大于或等于1且小于或等于P的整数，P是大于或等于1的整数，P表征所述样本数据集合包括的样本数据的数目；
将所述第n个样本数据确定为所述第m个第一样本数据组的样本数据；以及
从所述第(m-1)n-1个样本数据集合中删除所述第n个样本数据，得到第(m-1)n个样本数据集合。
20.根据权利要求18或19所述的装置，其中，所述至少一个第二样本数据组包括R个第二样本数据组，R是大于或等于1的整数；
其中，所述利用重复划分策略将所述样本数据集合划分为所述至少一个第二样本数据组，包括重复执行以下操作R次，第r次操作包括重复执行以下操作，直至第r个第二样本数据组中的样本数据的数目等于第r个第二预定数目阈值：
在确定第r个第二样本数据组中的样本数据的数目小于所述第r个第二预定数目阈值的情况下，从第(s-1)个样本数据集合中确定第s个样本数据，其中，所述第(s-1)个样本数据集合是从所述样本数据集合中删除(s-1)个样本数据得到的，s是大于或等于1且小于或等于P的整数，P是大于或等于1的整数，P表征所述样本数据集合包括的样本数据的数目；
将所述第s个样本数据确定为所述第r个第二样本数据组的样本数据；以及
从所述第(s-1)个样本数据集合中删除所述第s个样本数据，得到第s个样本数据集合。
21.根据权利要求13～20中任一项所述的装置，其中，所述根据所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练所述排序模型，得到目标排序模型，包括重复以下操作，直至满足预定结束条件，得到包括G个树模型的目标排序模型：
利用前(g-1)个树模型的输出结果、所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，其中，所述输出结果表征所述样本数据集包括的样本数据的排序输出值，g是大于或等于1且小于或等于G的整数，G是大于或等于1的整数。
22.根据权利要求21所述的装置，其中，所述样本数据组包括至少两个样本数据；
其中，所述利用前(g-1)个树模型的输出结果、所述至少一个样本数据组和所述至少一个样本数据组的目标标签值集合训练第g个树模型，得到第g个树模型的输出结果，包括：
针对所述至少一个样本数据组中的样本数据组，
基于排序评估指标函数，根据所述至少两个样本数据，确定与所述至少两个样本数据各自对应的梯度值和权重值；以及
利用所述前(g-1)个树模型的输出结果以及所述至少一个样本数据组中与所述至少两个样本数据各自对应的目标标签值、梯度值和权重值训练所述第g个树模型。
23.根据权利要求13～22中任一项所述的装置，其中，所述应用场景包括以下之一：资源推荐场景、问答场景、奖励发放场景、人事录用场景、服务商选择场景、异常检测场景、故障溯源场景和安全隐患场景。
24.一种排序装置，包括：
获取模块，用于获取待排序数据集；以及
第四获得模块，用于将所述待排序数据集输入目标排序模型，得到排序结果，
其中，所述目标排序模型是利用根据权利要求13～23中任一项所述的装置训练的。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～11中任一项或权利要求12所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～11中任一项或权利要求12所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～11中任一项或权利要求12所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211058818.XA CN115293291B (zh) | 2022-08-31 | 2022-08-31 | 排序模型的训练方法、排序方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211058818.XA CN115293291B (zh) | 2022-08-31 | 2022-08-31 | 排序模型的训练方法、排序方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115293291A true CN115293291A (zh) | 2022-11-04 |
| CN115293291B CN115293291B (zh) | 2023-09-12 |
Family
ID=83832757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211058818.XA Active CN115293291B (zh) | 2022-08-31 | 2022-08-31 | 排序模型的训练方法、排序方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115293291B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076906A (zh) * | 2023-08-18 | 2023-11-17 | 云和恩墨(北京)信息技术有限公司 | 分布式智能故障诊断方法和***、计算机设备、存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021379A (zh) * | 2016-05-12 | 2016-10-12 | 深圳大学 | 一种基于用户偏好的个性化推荐方法及其*** |
| CN110442684A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于文本内容的类案推荐方法 |
| CN113312512A (zh) * | 2021-06-10 | 2021-08-27 | 北京百度网讯科技有限公司 | 训练方法、推荐方法、装置、电子设备以及存储介质 |
| WO2021195688A1 (en) * | 2020-04-03 | 2021-10-07 | Presagen Pty Ltd | Artificial intelligence (ai) method for cleaning data for training ai models |
| CN113642635A (zh) * | 2021-08-12 | 2021-11-12 | 百度在线网络技术（北京）有限公司 | 模型训练方法及装置、电子设备和介质 |
| CN113641896A (zh) * | 2021-07-23 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练以及推荐概率预测方法及装置 |
| CN113689928A (zh) * | 2021-08-24 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 保养及预防患病方案的推荐方法、装置、设备及存储介质 |
| US20210374344A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for resource sorting, method for training sorting model and corresponding apparatuses |
| CN114036398A (zh) * | 2021-11-30 | 2022-02-11 | 北京百度网讯科技有限公司 | 内容推荐和排序模型训练方法、装置、设备以及存储介质 |
| CN114092188A (zh) * | 2021-11-19 | 2022-02-25 | 上海国烨跨境电子商务有限公司 | 一种轻量级b2b电商平台的推荐***算法 |
| CN114330752A (zh) * | 2021-12-31 | 2022-04-12 | 维沃移动通信有限公司 | 排序模型训练方法和排序方法 |
| CN114417194A (zh) * | 2021-12-30 | 2022-04-29 | 北京百度网讯科技有限公司 | 推荐***排序方法、参数预测模型训练方法及装置 |
| CN114419397A (zh) * | 2022-01-20 | 2022-04-29 | 中山大学·深圳 | 基于数据清洗和数据生成的数据集构建方法及装置 |
| CN114443948A (zh) * | 2021-12-16 | 2022-05-06 | 贝壳找房网(北京)信息技术有限公司 | 基于多场景数据的排序模型训练方法、排序方法及装置 |
-
2022
- 2022-08-31 CN CN202211058818.XA patent/CN115293291B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021379A (zh) * | 2016-05-12 | 2016-10-12 | 深圳大学 | 一种基于用户偏好的个性化推荐方法及其*** |
| CN110442684A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于文本内容的类案推荐方法 |
| WO2021195688A1 (en) * | 2020-04-03 | 2021-10-07 | Presagen Pty Ltd | Artificial intelligence (ai) method for cleaning data for training ai models |
| US20210374344A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for resource sorting, method for training sorting model and corresponding apparatuses |
| CN113312512A (zh) * | 2021-06-10 | 2021-08-27 | 北京百度网讯科技有限公司 | 训练方法、推荐方法、装置、电子设备以及存储介质 |
| CN113641896A (zh) * | 2021-07-23 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练以及推荐概率预测方法及装置 |
| CN113642635A (zh) * | 2021-08-12 | 2021-11-12 | 百度在线网络技术（北京）有限公司 | 模型训练方法及装置、电子设备和介质 |
| CN113689928A (zh) * | 2021-08-24 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 保养及预防患病方案的推荐方法、装置、设备及存储介质 |
| CN114092188A (zh) * | 2021-11-19 | 2022-02-25 | 上海国烨跨境电子商务有限公司 | 一种轻量级b2b电商平台的推荐***算法 |
| CN114036398A (zh) * | 2021-11-30 | 2022-02-11 | 北京百度网讯科技有限公司 | 内容推荐和排序模型训练方法、装置、设备以及存储介质 |
| CN114443948A (zh) * | 2021-12-16 | 2022-05-06 | 贝壳找房网(北京)信息技术有限公司 | 基于多场景数据的排序模型训练方法、排序方法及装置 |
| CN114417194A (zh) * | 2021-12-30 | 2022-04-29 | 北京百度网讯科技有限公司 | 推荐***排序方法、参数预测模型训练方法及装置 |
| CN114330752A (zh) * | 2021-12-31 | 2022-04-12 | 维沃移动通信有限公司 | 排序模型训练方法和排序方法 |
| CN114419397A (zh) * | 2022-01-20 | 2022-04-29 | 中山大学·深圳 | 基于数据清洗和数据生成的数据集构建方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| GUANGLI LI 等: "Multi-modal visual adversarial Bayesian personalized ranking model for recommendation", 《INFORMATION SCIENCES》, pages 378 - 403 * |
| JIAXI TANG 等: "Ranking Distillation: Learning Compact Ranking Mo dels With High Performance for Re commender System", 《PROCEEDINGS OF THE 24TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》, pages 2289 * |
| 李金忠 等: "排序学习研究进展与展望", 《自动化学报》, vol. 44, no. 8, pages 1345 - 1369 * |
| 毕瀚元: "不完整数据分类算法及其在建筑能耗预测中的应用", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, pages 038 - 477 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076906A (zh) * | 2023-08-18 | 2023-11-17 | 云和恩墨(北京)信息技术有限公司 | 分布式智能故障诊断方法和***、计算机设备、存储介质 |
| CN117076906B (zh) * | 2023-08-18 | 2024-02-23 | 云和恩墨(北京)信息技术有限公司 | 分布式智能故障诊断方法和***、计算机设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115293291B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10679178B2 (en) | Big data sourcing simulator | |
| US20200234218A1 (en) | Systems and methods for entity performance and risk scoring | |
| CN109636430A (zh) | 对象识别方法及其*** | |
| US20230089850A1 (en) | Real-time product environmental impact scoring | |
| CN110674620A (zh) | 目标文案生成方法、装置、介质及电子设备 | |
| US20200074509A1 (en) | Business data promotion method, device, terminal and computer-readable storage medium | |
| CN113312512B (zh) | 训练方法、推荐方法、装置、电子设备以及存储介质 | |
| Weingarten et al. | Shortening delivery times by predicting customers’ online purchases: A case study in the fashion industry | |
| CN115293291B (zh) | 排序模型的训练方法、排序方法、装置、电子设备及介质 | |
| CN110059172B (zh) | 基于自然语言理解的推荐答案的方法和装置 | |
| CN115423555A (zh) | 一种商品推荐方法、装置、电子设备及存储介质 | |
| US10678800B2 (en) | Recommendation prediction based on preference elicitation | |
| CN111782850B (zh) | 一种基于手绘图的物品搜索方法和装置 | |
| CN112287208B (zh) | 用户画像生成方法、装置、电子设备及存储介质 | |
| WO2020150597A1 (en) | Systems and methods for entity performance and risk scoring | |
| CN110796520A (zh) | 商品推荐的方法、装置、计算设备以及介质 | |
| CN115827994A (zh) | 一种数据处理方法、装置、设备、存储介质 | |
| CN110880119A (zh) | 一种数据处理方法和装置 | |
| GB2608112A (en) | System and method for providing media content | |
| CN114818843A (zh) | 数据分析的方法、装置和计算设备 | |
| CN111738789A (zh) | 一种物品信息推送方法、装置、设备和存储介质 | |
| CN113672223B (zh) | 数据展示方法、装置、设备以及存储介质 | |
| US20180068249A1 (en) | Using customer profiling and analytics to understand, rank, score, and visualize best practices | |
| CN112035613B (zh) | 基于多轮对话的信息推送方法及装置、存储介质、电子装置 | |
| CN109949117B (zh) | 用于推送信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |