CN114692972A - 行为预测***的训练方法及装置 - Google Patents
行为预测***的训练方法及装置 Download PDFInfo
- Publication number
- CN114692972A CN114692972A CN202210335212.XA CN202210335212A CN114692972A CN 114692972 A CN114692972 A CN 114692972A CN 202210335212 A CN202210335212 A CN 202210335212A CN 114692972 A CN114692972 A CN 114692972A
- Authority
- CN
- China
- Prior art keywords
- behavior
- vector
- matrix
- target object
- output matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 165
- 239000011159 matrix material Substances 0.000 claims abstract description 161
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 225
- 230000009466 transformation Effects 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000012512 characterization method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种行为预测***的训练方法，包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测***。
Description
技术领域
本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种行为预测***的训练方法及装置。
背景技术
当今，人们越来越频繁地使用服务平台向用户提供的多种多样的服务，相应地，为了提高用户的服务体验，服务平台可以利用机器学***台可以通过预测某用户对各类视频的点击概率，确定向该用户推送视频流的类别和排序。又例如，购物网站可以通过预测某用户针对某一商品的喜好程度，确定是否向该用户推荐该商品。
显然，希望针对用户行为的预测结果越准确越好。然而，目前预测用户行为的方式较为单一，得到的预测结果准确度也十分有限。因此，需要提出一种方案，可以有效提高用户行为预测结果的准确性。
发明内容
本说明书一个或多个实施例描述行为预测***的训练方法及装置，可以更好地学习用户兴趣，从而提升针对用户行为的预测结果准确度。
根据第一方面，提供一种行为预测***的训练方法。该方法包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测***。
在一个实施例中，所述目标对象和多个历史对象为商品或用户。
在一个实施例中，所述编码器包括多个编码层；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵，包括：各个编码层分别基于本层中的键变换矩阵和值变换矩阵，处理由上一编码层输出的针对所述多个历史对象的对象表征矩阵，得到该编码层对应的键结果矩阵和值结果矩阵；基于所述多个编码层对应的多个键结果矩阵和多个值结果矩阵，确定所述键输出矩阵和值输出矩阵。
在一个实施例中，所述解码器基于所述键输出矩阵和值输出矩阵，确定针对所述第一用户针对所述目标对象的兴趣向量，包括：所述解码器利用其查询变换矩阵处理所述目标对象的嵌入向量，得到查询输出向量，并且，基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定所述兴趣向量。
根据第二方面，提供一种行为预测***的训练方法，包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测***。
在一个实施例中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器利用其查询变换矩阵处理目标对象的嵌入向量，得到所述查询输出向量。
在一个实施例中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器利用第一查询变换矩阵处理目标对象的嵌入向量，得到第一查询输出向量，并基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定针对所述目标对象的表征向量，再利用第二查询变换矩阵处理所述表征向量，第二查询输出向量，作为所述查询输出向量。
在一个实施例中，所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果，包括：所述预测层基于所述查询输出向量、键输出矩阵和值输出矩阵计算乘积结果，对所述乘积结果进行线性变换和/或非线性变换处理，得到变换结果，基于所述变换结果确定所述行为预测结果。
根据第三方面，提供一种行为预测***的训练装置，包括：样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；预测单元，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
根据第四方面，提供一种行为预测***的训练装置，包括：样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；预测单元，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
采用本说明书实施例提供的方法和装置，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到表征用户对目标对象兴趣倾向的兴趣向量，从而利用预测层根据该兴趣向量确定用户对目标对象的行为预测结果，进而根据此行为预测结果和行为标签更新行为预测***中的模型参数。如此，可以训练出预测精准、性能优良的行为预测***。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的行为预测***的训练架构示意图；
图2示出根据一个实施例的行为预测***的训练方法流程示意图；
图3示出Transformer机制中任意的第i个编码层的结构示意图；
图4示出Transformer机制中任意的第j个解码层的结构示意图；
图5示出根据另一个实施例的行为预测***的训练架构示意图；
图6示出根据另一个实施例的行为预测***的训练方法流程示意图；
图7示出根据一个实施例的行为预测***的训练装置结构示意图；
图8示出根据另一个实施例的行为预测***的训练装置结构示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
承前所述，需要一种方案，可以有效提高用户行为预测结果的准确性。由此，本说明书实施例披露一种行为预测***的训练方法，在行为预测***的构建中引入Transformer(或简称TF)，将TF的编码器(encoder)和解码器(decoder)作为范式，嵌套不同主体的不同序列，从而更好地学习用户兴趣，提升用户行为的预测准确度。
图1示出根据一个实施例的行为预测***的训练架构示意图，如图1所示，行为预测***100中包括基于TF机制的编码器110和解码器120，另外还设置预测层130。基于此，将训练样本中体现用户兴趣的历史对象序列作为编码器110的输入，进而将编码器110的输出和目标对象作为解码器120，得到学习到的用户针对目标对象的兴趣向量，进而利用预测层130处理兴趣向量，得到指示用户对目标对象做出特定行为概率的预测结果。如此，可以得到精准的行为预测结果。
下面结合具体的实施例，描述上述方案的实施步骤。图2示出根据一个实施例的行为预测***的训练方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置、服务器或设备集群。如图2所示，所述方法包括以下步骤：
步骤S210，获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出特定行为的行为标签；步骤S220，将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；步骤S230，利用所述行为预测结果和行为标签，训练所述行为预测***。
对以上步骤的展开描述如下：
首先，在步骤S210，获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出特定行为的行为标签。
需理解，文中将训练样本集中任意的一个训练样本称为第一训练样本。在一个实施例中，针对某个用户，获取其在某个历史时刻之前已做出特定行为的多个历史对象，形成对象序列，以及，获取在该某个历史时刻之后向其推送的目标对象，并根据采集到的该用户针对该目标对象是否做出特定行为的行为数据确定行为标签，进而，根据该多个历史对象和目标对象的对象特征，以及行为标签构建对应的训练样本。
上述多个历史对象和目标对象通常属于同一类业务对象，例如，商品或用户；业务对象的载体可以是文本、图片、视频或音频等。上述特定行为与业务对象相适应，例如，假定业务对象为广告，相应，特定行为可以为是否点击，又例如，假定业务对象是视频，相应，特定行为可以是播放时长是否达到总时长的预设百分比，再例如，假定业务对象为APP，相应，特定行为可以为是否注册。
在一个实施例中，训练样本中所涉及各个对象的对象特征可以包括对象ID。进一步，在一个例子中，训练样本涉及的业务对象是视频广告，相应，历史视频对象的特征可以包括视频简介和用户行为特征，目标视频对象的特征可以包括视频简介。示例性地，视频简介可以包括视频ID、视频类目信息(如出行、汽车等)、视频时长、视频作者等；用户行为特征可以包括用户ID、观看时长、视频评论、是否点赞、是否转发等。在一个实施例中，上述行为标签可以为1(指示做出特定行为)或0(指示未做出特定行为)。
另一方面，在一个实施例中，在构建训练样本的过程中，可以先对采集到的对象特征的多个特征项进行筛选，再将经过筛选被保留的特征项归入训练样本。在一个具体的实施例中，可以采用批标准化(Batch Normalization，简称BN)确定各个特征项的重要性，从而保留重要程度达到预定标准的特征项。在另一个具体的实施例中，可以采用自动特征交叉筛选(Automatic Feature Interaction Selection，简称AutoFIS)算法，进行特征筛选。具体，给每一个特征项设置一个可训练的参数，通过训练后该参数的大小来判断特征重要性，该参数通过一个专门的稀疏优化器进行优化，从而得到稀疏解。从而，可以根据该重要性参数进行特征项的筛选。在还一个具体的实施例中，可以采用打乱重排(shuffle)的方式，确定特征重要性。具体，通过采集到的训练数据，训练出一个模型，并且，在验证集上得到基准评估指标的指标值auc_0，在计算某一个特征a的特征重要性时，通过训练好的模型来评估验证集，在评估过程中，在每一个批次的训练数据中对特征a的取值进行打乱重排，从而得到指标值auc_a，进而根据auc_0和auc_a之间的差距确定特征a的重要程度，进一步，在该重要程度符合预设标准的情况下，保留该特征a，某则进行舍弃。如此，可以筛选出关键特征，构建训练样本，从而避免冗余特征带来的计算量和对训练的负面影响，使得构建出的训练样本具有更高的可用性。
由上，对获取到的第一训练样本进行介绍。然后，在步骤S220，将该第一训练样本输入行为预测***，参见图1，行为预测***100包括组件：编码器110、解码器120和预测层130。下面，对行为预测***利用这三个组件处理第一训练样本的过程依次进行介绍。
编码器110中包括一个或多个编码层，图3示出Transformer机制中任意的第i个编码层的结构示意图。如图3所示，第i个编码层中包括顺序连接的注意力层、残差模块1、前馈层和残差模块2，其中注意力层获取输入当前编码层的针对上述多个历史对象的表征矩阵Z(i)。需说明，若当前编码层为第1个编码层，此时，表征矩阵Z(1)由多个历史对象对应的多个对象嵌入向量堆叠而成，其中，各个对象嵌入向量是根据对应历史对象的对象特征进行嵌入处理而得到；否则，表征矩阵Z(i)为上一编码层(即第i-1个编码层)输出的表征矩阵。
上述注意力层先利用查询变换矩阵Wq、键变换矩阵Wk和值变换矩阵Wv，将输入当前编码层的表征矩阵Z(i)分别投射到查询(query)空间、键(key)空间和值(value)空间，得到查询结果矩阵Qi、键结果矩阵Ki和值结果矩阵Vi，然后，基于注意力机制，利用查询结果矩阵Qi和键结果矩阵Ki确定注意力，再利用该注意力对值输出矩阵Vi进行变换，并将变换结果作为注意力层的输出，残差模块1对该输出和矩阵Z(i)进行加和处理，再进行标准化(Normalization)处理，前馈层对残差模块1的输出进行线性变换和非线性变换，其输出交由残差模块2继续进行处理，并得到当前编码层的输出矩阵Z(i+1)。
如此，将训练样本中的多个历史对象作为编码器110的输入，可以得到任意的第i个编码层中确定出的键结果矩阵Ki和值结果矩阵Vi。进一步，在一个实施例中，可以从编码器的所有编码层产生的若干(指代一个或多个)键结果矩阵和若干值结果矩阵中，选取任意一组键、值结果矩阵，用作输入到解码器120中的键输出矩阵K和值输出矩阵V。在另一个实施例中，可以直接选取最后一个编码层产生的键、值结果矩阵。在还一个实施例中，可以分别确定若干键输出矩阵和若干值输出矩阵的均值矩阵，作为键输出矩阵K和值输出矩阵V。
于是，解码器120基于从编码器110获取的、基于多个历史对象而确定的键输出矩阵K和值输出矩阵V，确定第一用户针对目标对象的兴趣向量。解码器120中包括一个或多个解码层，需理解，解码层和编码层的结构具有一定程度的相似性。图4示出Transformer机制中任意的第j个解码层的结构示意图。如图4所示，第j个解码层中包括顺序连接的注意力层、残差模块3、前馈层和残差模块4，其中注意力层获取输入当前解码层的针对第一用户对目标商品兴趣的表征向量z(j)。需说明，若当前解码层为第1个解码层，此时，表征向量z(1)为目标对象对应的嵌入向量；否则，表征向量z(j)为上一解码层(即第j-1个解码层)输出的表征向量。
在第1个解码层中，注意力层利用查询变换矩阵Wq对表征向量z(1)进行线性变换，得到查询结果向量q1，并且，基于注意力机制，利用查询结果向量q1和从编码器接收的键输出矩阵K确定注意力，再利用此注意力对从编码器接收的值输出矩阵V进行变换，并将变换结果作为注意力层的输出，残差模块3对该输出和表征向量z(1)进行加和处理，再进行标准化处理，前馈层对残差模块3的输出进行线性变换和非线性变换，其输出交由残差模块4继续进行处理，并得到当前编码层的输出向量z(2)。
在第j(≥2)个解码层中，注意力层先利用查询变换矩阵Wq、键变换矩阵Wk和值变换矩阵Wv，对输入当前解码层的表征向量z(j)分别进行线性变换，得到查询结果向量qj、键结果向量kj和值结果向量vj，然后，基于注意力机制，利用查询结果向量qj和键结果向量kj确定注意力，再利用该注意力对值结果向量vj进行变换，并将变换结果作为注意力层的输出，残差模块3对该输出和向量z(j)进行加和处理，再进行标准化处理，前馈层对残差模块3的输出进行线性变换和非线性变换，其输出交由残差模块4继续进行处理，并得到当前解码层的输出向量z(j+1)。
由上，可以得到解码器中所有解码层的输出向量z。进一步，在一个实施例中，可以将最后一个解码层的输出向量直接确定为上述兴趣向量。在另一个实施例中，可以将多个解码层的多个输出向量的平均向量，确定为上述兴趣向量。
之后，预测层130可以基于由解码器输出的兴趣向量，确定第一用户针对目标对象的行为预测结果。在一个实施例中，预测层130中包括若干全连接层和sigmoid层，通过若干全连接层对兴趣向量进行线性变换处理并降低至1维，然后，利用sigmoid层将1维数值映射到0至1的概率区间，将映射后的概率值确定为行为预测结果。
以上，将第一训练样本输入引入TF实现的行为预测***，可以得到更为准确度的行为预测结果。接着，在步骤S230，利用该行为预测结果和行为标签，训练行为预测***。
具体，可以基于行为预测结果和行为标签，确定训练损失，再基于训练损失计算梯度，从而根据反向传播法更新行为预测***中各组件的模型参数。示例性地，其中训练损失的确定可以采用交叉熵损失函数或铰链损失函数。
通过重复执行上述步骤S210至步骤S230，可以实现对行为预测***的多次迭代更新。并且，在迭代达到预设收敛标准后，例如，达到预定迭代次数或迭代后模型的评价指标达到预定阈值，结束迭代，并将最后一次迭代后得到的行为预测***作为最终实际使用的行为预测***。
综上，采用本说明书实施例披露的行为预测***的训练方法，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到表征用户对目标对象兴趣倾向的兴趣向量，从而利用预测层根据该兴趣向量确定用户对目标对象的行为预测结果，进而根据此行为预测结果和行为标签更新行为预测***中的模型参数。如此，可以训练出预测精准、性能优良的行为预测***。
本说明书实施例还披露另一种行为预测***的训练方法，该行为预测***包括图5中示出的基于TF机制的编码器510和解码器520，以及预测层530。图6示出根据另一个实施例的行为预测***的训练方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置、服务器或设备集群。如图6所示，所述方法包括以下步骤：
步骤S610，获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出特定行为的行为标签；步骤S620，将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；步骤S630，利用所述行为预测结果和行为标签，训练所述行为预测***。
对以上步骤的展开描述如下：
首先，在步骤S610，获取第一训练样本。需说明，对步骤S610的描述，可以参见对步骤S210的介绍，在此不作赘述。
步骤S620，将第一训练样本输入行为预测***。参见图5，行为预测***500中包括编码器510、解码器520和预测层530。下面，对利用行为预测***500中的三个组件处理第一训练样本的过程依次进行介绍。
编码器510中包括一个或多个编码层。对编码器510的介绍，可以参见上述对编码器110的相关介绍。由此，将第一训练样本中的多个历史对象作为编码器510的输入，可以得到键输出矩阵K和值输出矩阵V，用作解码器520和预测层530的部分输入。需理解，用作解码器520输入的键、值输出矩阵和用作预测层530输入的键、值输出矩阵可以相同，也可以不同。
解码器520基于从编码器510获取的键输出矩阵K和值输出矩阵V，以及目标对象的特征，在其包含的若干解码层中，确定若干查询结果向量。进一步，可以基于此若干查询结果向量确定查询输出向量，用作预测层530的部分输入。在一个实施例中，可以将最后一个解码层输出的查询结果向量作为查询输出向量q。在另一个实施例中，可以将多个解码层输出的查询结果向量的平均向量作为查询输出向量。需说明，对解码器520的介绍还可以参见前述对解码器130的相关描述。
预测层530基于从编码器510获取的键输出矩阵K和值输出矩阵V，以及从解码器520获取的查询输出向量q，确定行为预测结果。具体，在预测层530中，先基于键输出矩阵K、值输出矩阵V和查询输出向量，计算第一用户针对目标对象的兴趣向量，再基于兴趣向量确定行为预测结果。在一个实施例中，可以计算查询输出向q与键输出矩阵K的乘积，得到注意力向量，再将注意力向量与值输出矩阵V的乘积向量，确定为兴趣向量。在另一个实施例中，预测层530可以设计为包括若干预测子层，其中各个预测子层具有与解码层具有相同的网络结构，由此，可以基于若干预测子层输出的若干表征向量确定上述兴趣向量。另一方面，在一个实施例中，预测层530还可以设计为包括若干全连接层和sigmoid层，用于基于兴趣向量确定第一用户对目标对象做出特定行为的概率，作为行为预测结果。
以上，将第一训练样本输入引入TF实现的行为预测***，可以得到更为准确度的行为预测结果。
步骤S630，利用所述行为预测结果和行为标签，训练所述行为预测***。具体，可以基于行为预测结果和行为标签，确定训练损失，再基于训练损失计算梯度，从而根据反向传播法更新行为预测***中各组件的模型参数。示例性地，其中训练损失的确定可以采用交叉熵损失函数或铰链损失函数。
通过重复执行上述步骤S610至步骤S630，可以实现对行为预测***的多次迭代更新。并且，在迭代达到预设收敛标准后，例如，达到预定迭代次数或迭代后模型的评价指标达到预定阈值，结束迭代，并将最后一次迭代后得到的行为预测***作为最终实际使用的行为预测***。
综上，采用本说明书实施例披露的行为预测***的训练方法，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到查询输出向量，从而利用预测层根据编码器输出的键输出向量和值输出向量以及解码器输出的查询输出向量确定行为预测结果，进而根据此行为预测结果和行为标签更新行为预测***中的模型参数。如此，可以训练出预测精准、性能优良的行为预测***。
与上述训练方法相对应的，本说明书实施例还披露训练装置。图7示出根据一个实施例的行为预测***的训练装置结构示意图，所述装置可以集成于任何具有计算、处理能力的服务器或设备集群等。如图7所示，所述装置700包括以下组成单元：
样本获取单元710，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签。预测单元720，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；训练单元730，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
在一个实施例中，所述目标对象和多个历史对象为商品或用户。
在一个实施例中，所述编码器包括多个编码层；所述预测单元720配置为利用所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵，具体包括：各个编码层分别基于本层中的键变换矩阵和值变换矩阵，处理由上一编码层输出的针对所述多个历史对象的对象表征矩阵，得到该编码层对应的键结果矩阵和值结果矩阵；基于所述多个编码层对应的多个键结果矩阵和多个值结果矩阵，确定所述键输出矩阵和值输出矩阵。
在一个实施例中，所述预测单元720配置为利用所述解码器基于所述键输出矩阵和值输出矩阵，确定针对所述第一用户针对所述目标对象的兴趣向量，具体包括：所述解码器利用其查询变换矩阵处理所述目标对象的嵌入向量，得到查询输出向量，并且，基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定所述兴趣向量。
综上，采用本说明书实施例披露的行为预测***的训练装置，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到表征用户对目标对象兴趣倾向的兴趣向量，从而利用预测层根据该兴趣向量确定用户对目标对象的行为预测结果，进而根据此行为预测结果和行为标签更新行为预测***中的模型参数。如此，可以训练出预测精准、性能优良的行为预测***。
图8示出根据另一个实施例的行为预测***的训练装置结构示意图，所述装置800可以集成于任何具有计算、处理能力的服务器或设备集群等。如图8所示，所述装置800包括以下组成单元：
样本获取单元810，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签。预测单元820，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；训练单元830，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
在一个实施例中，预测单元820配置为利用所述解码器确定针对所述目标对象的查询输出向量，具体包括：所述解码器利用其查询变换矩阵处理目标对象的嵌入向量，得到所述查询输出向量。
在一个实施例中，预测单元820配置为利用所述解码器确定针对所述目标对象的查询输出向量，具体包括：所述解码器利用第一查询变换矩阵处理目标对象的嵌入向量，得到第一查询输出向量，并基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定针对所述目标对象的表征向量，再利用第二查询变换矩阵处理所述表征向量，第二查询输出向量，作为所述查询输出向量。
在一个实施例中，预测单元820配置为利用所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果，包括：所述预测层基于所述查询输出向量、键输出矩阵和值输出矩阵计算乘积结果，对所述乘积结果进行线性变换和/或非线性变换处理，得到变换结果，基于所述变换结果确定所述行为预测结果。
综上，采用本说明书实施例披露的行为预测***的训练装置，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到查询输出向量，从而利用预测层根据编码器输出的键输出向量和值输出向量以及解码器输出的查询输出向量确定行为预测结果，进而根据此行为预测结果和行为标签更新行为预测***中的模型参数。如此，可以训练出预测精准、性能优良的行为预测***。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图6所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图6所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (12)
1.一种行为预测***的训练方法，包括：
获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；
将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；
利用所述行为预测结果和行为标签，训练所述行为预测***。
2.根据权利要求1所述的方法，其中，所述目标对象和多个历史对象为商品或用户。
3.根据权利要求1所述的方法，其中，所述编码器包括多个编码层；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵，包括：
各个编码层分别基于本层中的键变换矩阵和值变换矩阵，处理由上一编码层输出的针对所述多个历史对象的对象表征矩阵，得到该编码层对应的键结果矩阵和值结果矩阵；
基于所述多个编码层对应的多个键结果矩阵和多个值结果矩阵，确定所述键输出矩阵和值输出矩阵。
4.根据权利要求1所述的方法，其中，所述解码器基于所述键输出矩阵和值输出矩阵，确定针对所述第一用户针对所述目标对象的兴趣向量，包括：
所述解码器利用其查询变换矩阵处理所述目标对象的嵌入向量，得到查询输出向量，并且，基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定所述兴趣向量。
5.一种行为预测***的训练方法，包括：
获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；
将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；
利用所述行为预测结果和行为标签，训练所述行为预测***。
6.根据权利要求5所述的方法，其中，所述解码器确定针对所述目标对象的查询输出向量，包括：
所述解码器利用其查询变换矩阵处理目标对象的嵌入向量，得到所述查询输出向量。
7.根据权利要求5所述的方法，其中，所述解码器确定针对所述目标对象的查询输出向量，包括：
所述解码器利用第一查询变换矩阵处理目标对象的嵌入向量，得到第一查询输出向量，并基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定针对所述目标对象的表征向量，再利用第二查询变换矩阵处理所述表征向量，第二查询输出向量，作为所述查询输出向量。
8.根据权利要求5所述的方法，其中，所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果，包括：
所述预测层基于所述查询输出向量、键输出矩阵和值输出矩阵计算乘积结果，对所述乘积结果进行线性变换和/或非线性变换处理，得到变换结果，基于所述变换结果确定所述行为预测结果。
9.一种行为预测***的训练装置，包括：
样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；
预测单元，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；
训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
10.一种行为预测***的训练装置，包括：
样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；
预测单元，配置为将所述第一训练样本输入所述行为预测***，该行为预测***包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；
训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测***。
11.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。
12.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210335212.XA CN114692972A (zh) | 2022-03-31 | 2022-03-31 | 行为预测***的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210335212.XA CN114692972A (zh) | 2022-03-31 | 2022-03-31 | 行为预测***的训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114692972A true CN114692972A (zh) | 2022-07-01 |
Family
ID=82141888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210335212.XA Pending CN114692972A (zh) | 2022-03-31 | 2022-03-31 | 行为预测***的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114692972A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116578925A (zh) * | 2022-07-18 | 2023-08-11 | 北京芯盾时代科技有限公司 | 基于特征画像的行为预测方法、装置及存储介质 |
| CN117273241A (zh) * | 2023-11-17 | 2023-12-22 | 北京京东乾石科技有限公司 | 一种处理数据的方法和装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160151668A1 (en) * | 2014-11-30 | 2016-06-02 | WiseWear Corporation | Exercise behavior prediction |
| US20160247065A1 (en) * | 2006-02-14 | 2016-08-25 | Power Analytics Corporation | Systems and Methods for Real-Time Forecasting and Predicting of Electrical Peaks and Managing the Energy, Health, Reliability, and Performance of Electrical Power Systems Based on an Artificial Adaptive Neural Network |
| CN111339415A (zh) * | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 一种基于多交互式注意力网络的点击率预测方法与装置 |
| CN112288042A (zh) * | 2020-12-18 | 2021-01-29 | 蚂蚁智信(杭州)信息技术有限公司 | 行为预测***的更新方法及装置、存储介质和计算设备 |
| CN112381581A (zh) * | 2020-11-17 | 2021-02-19 | 东华理工大学 | 一种基于改进Transformer的广告点击率预估方法 |
| CN112581191A (zh) * | 2020-08-14 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 行为预测模型的训练方法及装置 |
| US20210142189A1 (en) * | 2019-11-13 | 2021-05-13 | Walmart Apollo, Llc | Systems and methods for proactively predicting user intents in personal agents |
| US20210201149A1 (en) * | 2020-09-21 | 2021-07-01 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for embedding user app interest |
| KR102291193B1 (ko) * | 2020-10-08 | 2021-08-20 | 주식회사 에코시안 | 인공지능 기반의 위험 정보 자동화 추천 장치 및 방법 |
| CN113283986A (zh) * | 2021-04-28 | 2021-08-20 | 南京大学 | 算法交易***及基于该***的算法交易模型的训练方法 |
| EP3910571A1 (en) * | 2020-05-13 | 2021-11-17 | MasterCard International Incorporated | Methods and systems for server failure prediction using server logs |
| CN113988961A (zh) * | 2021-09-26 | 2022-01-28 | 阿里巴巴（中国）有限公司 | 目标对象预测方法及装置 |
-
2022
- 2022-03-31 CN CN202210335212.XA patent/CN114692972A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247065A1 (en) * | 2006-02-14 | 2016-08-25 | Power Analytics Corporation | Systems and Methods for Real-Time Forecasting and Predicting of Electrical Peaks and Managing the Energy, Health, Reliability, and Performance of Electrical Power Systems Based on an Artificial Adaptive Neural Network |
| US20160151668A1 (en) * | 2014-11-30 | 2016-06-02 | WiseWear Corporation | Exercise behavior prediction |
| US20210142189A1 (en) * | 2019-11-13 | 2021-05-13 | Walmart Apollo, Llc | Systems and methods for proactively predicting user intents in personal agents |
| CN111339415A (zh) * | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 一种基于多交互式注意力网络的点击率预测方法与装置 |
| EP3910571A1 (en) * | 2020-05-13 | 2021-11-17 | MasterCard International Incorporated | Methods and systems for server failure prediction using server logs |
| CN112581191A (zh) * | 2020-08-14 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 行为预测模型的训练方法及装置 |
| US20210201149A1 (en) * | 2020-09-21 | 2021-07-01 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for embedding user app interest |
| KR102291193B1 (ko) * | 2020-10-08 | 2021-08-20 | 주식회사 에코시안 | 인공지능 기반의 위험 정보 자동화 추천 장치 및 방법 |
| CN112381581A (zh) * | 2020-11-17 | 2021-02-19 | 东华理工大学 | 一种基于改进Transformer的广告点击率预估方法 |
| CN112288042A (zh) * | 2020-12-18 | 2021-01-29 | 蚂蚁智信(杭州)信息技术有限公司 | 行为预测***的更新方法及装置、存储介质和计算设备 |
| CN113283986A (zh) * | 2021-04-28 | 2021-08-20 | 南京大学 | 算法交易***及基于该***的算法交易模型的训练方法 |
| CN113988961A (zh) * | 2021-09-26 | 2022-01-28 | 阿里巴巴（中国）有限公司 | 目标对象预测方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116578925A (zh) * | 2022-07-18 | 2023-08-11 | 北京芯盾时代科技有限公司 | 基于特征画像的行为预测方法、装置及存储介质 |
| CN116578925B (zh) * | 2022-07-18 | 2023-09-26 | 北京芯盾时代科技有限公司 | 基于特征画像的行为预测方法、装置及存储介质 |
| CN117273241A (zh) * | 2023-11-17 | 2023-12-22 | 北京京东乾石科技有限公司 | 一种处理数据的方法和装置 |
| CN117273241B (zh) * | 2023-11-17 | 2024-04-05 | 北京京东乾石科技有限公司 | 一种处理数据的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11770571B2 (en) | Matrix completion and recommendation provision with deep learning | |
| US9990558B2 (en) | Generating image features based on robust feature-learning | |
| CN110717099B (zh) | 一种推荐影片的方法及终端 | |
| CN110555469B (zh) | 处理交互序列数据的方法及装置 | |
| CN108520470B (zh) | 用于生成用户属性信息的方法和装置 | |
| KR102133825B1 (ko) | 단어자질을 강화한 음성 대화 방법 및 시스템 | |
| CN114692972A (zh) | 行为预测***的训练方法及装置 | |
| CN110110139B (zh) | 一种对推荐结果进行解释的方法、装置及电子设备 | |
| CN112115257A (zh) | 用于生成信息评估模型的方法和装置 | |
| CN111950692B (zh) | 用于改进的通用化的基于汉明距离的稳健输出编码 | |
| CN112085293B (zh) | 训练交互预测模型、预测交互对象的方法及装置 | |
| CN110825969A (zh) | 数据处理方法、装置、终端和存储介质 | |
| CN113515690A (zh) | 内容召回模型的训练方法、内容召回方法、装置及设备 | |
| CN115098789B (zh) | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 | |
| WO2022047304A1 (en) | Machine-learning prediction or suggestion based on object identification | |
| CN115618101A (zh) | 基于负反馈的流媒体内容推荐方法、装置及电子设备 | |
| CN110704668B (zh) | 基于网格的协同注意力vqa方法和装置 | |
| CN112015788A (zh) | 向目标用户展示目标对象序列的方法和装置 | |
| CN111368189B (zh) | 货源排序推荐方法、装置、电子设备、存储介质 | |
| CN116401522A (zh) | 一种金融服务动态化推荐方法和装置 | |
| CN112307310A (zh) | 一种推荐方法及装置、设备、存储介质 | |
| CN111221896A (zh) | 用户行为预测方法及装置、电子设备、存储介质 | |
| CN110659759A (zh) | 基于神经网络的趋势预测 | |
| CN115269998A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
| CN109063934B (zh) | 基于人工智能的组合优化结果获取方法、设备及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |