CN116703531A - 物品数据处理方法、装置、计算机设备和存储介质 - Google Patents
物品数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116703531A CN116703531A CN202310969888.9A CN202310969888A CN116703531A CN 116703531 A CN116703531 A CN 116703531A CN 202310969888 A CN202310969888 A CN 202310969888A CN 116703531 A CN116703531 A CN 116703531A
- Authority
- CN
- China
- Prior art keywords
- article
- item
- target
- training
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 349
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 39
- 230000003993 interaction Effects 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 14
- 238000005295 random walk Methods 0.000 description 12
- 238000012163 sequencing technique Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种物品数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:将训练物品标识序列输入初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征得到在目标位置上的物品标识所对应的预测概率;基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。采用本方法能够提高模型训练效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种物品数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
互联网的出现和普及给用户带来了海量信息,满足了用户在信息时代的信息需求。然而,随着信息量的大幅增长,用户在面对海量信息时,难以从海量的信息中快速获取想要的或者感兴趣的内容,此时推荐功能应运而生。
针对物品的推荐,通常是基于机器学习模型预测用户感兴趣的物品,将预测得到的物品推荐给用户。传统方法中,通常是获取具有训练标签的训练样本,基于训练样本和训练标签对用于预测用户感兴趣物品的机器学习模型进行有监督训练。然而,训练标签的标注费时费力,容易导致模型训练效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型训练效率的物品数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种物品数据处理方法。所述方法包括:
获取训练物品标识序列,将所述训练物品标识序列输入初始物品预测模型;所述训练物品标识序列包括依次关联的物品标识;
通过所述初始物品预测模型,在预设语义嵌入特征集中,查询所述训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于所述目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征,基于所述目标位置对应的预测物品特征,得到在所述目标位置上的物品标识所对应的预测概率;所述目标位置是从所述训练物品标识序列对应的各个物品标识位置中确定的,所述预测概率表征在所述目标位置上的物品标识所属的物品和所述目标位置对应的前向物品序列的预测关联度,所述前向物品序列包括处于所述目标位置之前的各个物品标识对应的物品;
基于所述训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;
基于所述模型损失调整所述初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
本申请还提供了一种物品数据处理装置。所述装置包括:
训练数据获取模块,用于获取训练物品标识序列,将所述训练物品标识序列输入初始物品预测模型;所述训练物品标识序列包括依次关联的物品标识;
模型数据处理模块,用于通过所述初始物品预测模型,在预设语义嵌入特征集中,查询所述训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于所述目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征,基于所述目标位置对应的预测物品特征,得到在所述目标位置上的物品标识所对应的预测概率;所述目标位置是从所述训练物品标识序列对应的各个物品标识位置中确定的,所述预测概率表征在所述目标位置上的物品标识所属的物品和所述目标位置对应的前向物品序列的预测关联度,所述前向物品序列包括处于所述目标位置之前的各个物品标识对应的物品;
模型损失确定模块,用于基于所述训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;
模型参数调整模块,用于基于所述模型损失调整所述初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述物品数据处理方法所述的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述物品数据处理方法所述的步骤。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述物品数据处理方法所述的步骤。
上述物品数据处理方法、装置、计算机设备、存储介质和计算机程序产品,获取训练物品标识序列,将训练物品标识序列输入初始物品预测模型;训练物品标识序列包括依次关联的物品标识;通过初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率;目标位置是从训练物品标识序列对应的各个物品标识位置中确定的;预测概率表征在目标位置上的物品标识所属的物品和目标位置对应的前向物品序列的预测关联度,前向物品序列包括处于目标位置之前的各个物品标识对应的物品;基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。这样,在模型训练时,模型基于训练物品标识序列中目标位置之前的各个物品标识的相关特征生成目标位置上的物品标识对应的预测概率,也就是,模型基于训练物品标识序列中历史物品标识的相关特征生成下一个物品的预测概率,进而基于训练物品标识序列中各个物品标识分别对应的预测概率生成模型损失,基于模型损失调整模型参数,使得模型能够提高目标位置上的物品标识对应的预测概率,从而提高物品预测能力,从而能够基于依次关联的历史物品准确预测下一物品。本申请方法无需对训练物品标识序列标注训练标签,基于训练物品标识序列对初始物品预测模型进行无监督训练,即可得到准确的目标物品预测模型,能够有效提高模型训练效率。
附图说明
图1为一个实施例中物品数据处理方法的应用环境图;
图2为一个实施例中物品数据处理方法的流程示意图;
图3为一个实施例中语义塔的结构示意图;
图4为一个实施例中双塔模型的结构示意图;
图5为一个实施例中物品预测模型的结构示意图;
图6为一个实施例中对目标物品预测模型进行训练的流程示意图;
图7为一个实施例中确定目标对象对应的推荐物品集的流程示意图;
图8为一个实施例中应用目标物品预测模型的示意图;
图9为一个实施例中提取目标节点对应的综合嵌入特征的流程示意图;
图10为另一个实施例中应用目标物品预测模型的示意图;
图11为一个实施例中本申请方法应用于物品推荐场景的示意图;
图12为一个实施例中本申请方法应用于物品搜索场景的示意图;
图13为一个实施例中物品数据处理装置的结构框图;
图14为一个实施例中计算机设备的内部结构图;
图15为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的方案涉及人工智能的计算机视觉技术、自然语言处理、机器学习等技术,具体通过如下实施例进行说明:
本申请实施例提供的物品数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以单独设置,可以集成在服务器104上,也可以放在云上或其他服务器上。其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
终端和服务器均可单独用于执行本申请实施例中提供的物品数据处理方法。
例如,服务器获取训练物品标识序列,训练物品标识序列包括依次关联的物品标识,将训练物品标识序列输入初始物品预测模型。通过初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率。其中,目标位置是从训练物品标识序列对应的各个物品标识位置中确定的,预测概率表征在目标位置上的物品标识所属的物品和目标位置对应的前向物品序列的预测关联度,前向物品序列包括处于目标位置之前的各个物品标识对应的物品。服务器基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失,基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
终端和服务器也可协同用于执行本申请实施例中提供的物品数据处理方法。
例如,服务器从终端获取训练物品标识序列,服务器将训练物品标识序列输入初始物品预测模型。通过初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率。服务器基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失,基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。服务器可以通过目标物品预测模型处理终端的有关任务,例如,向终端进行物品推荐的推荐任务,终端触发的搜索任务。服务器也可以将目标物品预测模型发送至终端,终端基于目标物品预测模型自行处理有关任务。
在一个实施例中,如图2所示,提供了一种物品数据处理方法,以该方法应用于计算机设备来举例说明,计算机设备可以是终端或服务器。该方法可以由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。参考图2,物品数据处理方法包括以下步骤:
步骤S202,获取训练物品标识序列,将训练物品标识序列输入初始物品预测模型。
其中,物品标识是一种标识,用于唯一标识物品。例如,物品标识可以是物品名称,物品标识可以是物品序列号。可以理解,物品可以是视频、图像、文本、音频等各种类型的媒体资源,物品也可以是商品。
训练物品标识序列是作为模型训练数据的物品标识序列,用于对初始物品预测模型进行训练。训练物品标识序列包括依次关联的物品标识。可以理解,训练物品标识序列包括有序排列的至少两个物品标识,相邻的物品标识之间存在关联。物品标识之间存在关联可以是物品标识所属物品之间在用户操作上存在关联。例如,训练物品标识序列是基于用户针对物品的历史浏览操作生成的,训练物品标识序列包括按照浏览时间排序的多个已浏览物品的物品标识。物品标识之间存在关联也可以是物品标识所属物品之间在内容上存在关联。例如,训练物品标识序列包括多个物品标识,相邻的物品标识所属物品之间存在相同的物品属性。
物品预测模型是机器学习模型。在模型训练时,物品预测模型的输入数据为物品标识序列,输出数据为物品标识对应的预测概率。初始物品预测模型是指待训练的物品预测模型。
可以理解,若物品预测模型应用于视频场景,则训练物品标识序列为包括视频标识的视频标识序列。若物品预测模型应用于电商商品场景,则训练物品标识序列为包括电商商品标识的视频标识序列。
具体地,计算机设备可以在本地或从其他设备上获取训练物品标识序列,基于训练物品标识序列对初始物品预测模型进行无监督训练,得到目标物品预测模型。
步骤S204,通过初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率。
其中,物品预测模型中包括预设语义嵌入特征集。预设语义嵌入特征集包括候选物品集中各个物品分别对应的语义嵌入特征。语义嵌入特征是预先针对候选物品集中物品提取的嵌入表征,用于反映物品的语义信息。在预设语义嵌入特征集中,物品对应的语义嵌入特征和物品对应的物品标识可以是关联存储的。
语义嵌入特征可以是物品的内容特征,内容特征是对物品的自身内容进行特征提取得到的。例如,可以对物品对应的物品属性集进行特征提取,得到物品对应的语义嵌入特征。
在一个实施例中,可以通过预训练模型提取物品对应的语义嵌入特征。例如,可以将物品对应的文本类型的物品属性输入预训练语言模型,预训练语言模型输出物品的内容特征。预训练语言模型是指预先经过大规模数据训练得到的语言模型,例如,预训练语言模型可以是BERT(Bidirectional Encoder Representations from Transformers,基于Transformer构建的双向语义编码表征模型)、GPT(Generative Pre-TrainedTransformer,生成式预训练Transformer模型)等。可以将物品对应的图像类型的物品属性输入预训练图像模型,预训练图像模型输出物品的内容特征。预训练图像模型是指预先经过大规模数据训练得到的图像模型,例如,预训练图像模型可以是ResNet(Deep Residual Network,深度残差网络)、Swin Transformer(一种基于Transformer架构和Shifted Windows(移动窗口)的视觉处理模型)、VIT(Vision Transformer,一种基于Transformer架构的视觉处理模型)等。
物品标识位置用于表征物品标识在物品标识序列中的位置。可以理解,物品标识序列包括有序排列的至少两个物品标识,各个物品标识存在各自对应的物品标识位置。目标位置是从训练物品标识序列对应的各个物品标识位置中确定的。例如,可以将训练物品标识序列对应的各个物品标识位置分别作为目标位置;也可以从训练物品标识序列对应的各个物品标识位置中,获取除第一个物品标识位置之外的各个物品标识位置分别作为目标位置;也可以从训练物品标识序列对应的各个物品标识位置中,随机获取若干个物品标识位置分别作为目标位置。
特征解码用于基于历史物品的语义嵌入特征对下一物品进行特征表示。目标位置对应的预测物品特征是对训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码得到的。例如,在模型训练时,若目标位置为第二个物品标识位置,则基于训练物品标识序列中第一个物品标识对应的语义嵌入特征对第二个物品标识所属物品进行特征表示,得到第二个物品标识位置对应的预测物品特征;若目标位置为第三个物品标识位置,则基于训练物品标识序列中第一个物品标识、第二个物品标识对应的语义嵌入特征对第三个物品标识所属物品进行特征表示,得到第三个物品标识位置对应的预测物品特征。预测物品特征用于表征针对下一个物品预测得到的特征表示。
目标位置对应的预测概率是基于目标位置对应的预测物品特征得到的。目标位置对应的预测概率表征在目标位置上的物品标识所属的物品和目标位置对应的前向物品序列的预测关联度。目标位置对应的前向物品序列包括处于目标位置之前的各个物品标识对应的物品。也就是,目标位置对应的预测概率可以表征,训练物品标识序列中在目标位置上的物品标识所属的物品和处于目标位置之前的各个物品标识对应的物品的预测关联度。可以理解,预测关联度表示物品和前向物品序列的关联程度,预测概率越高表示预测关联度越高、关联程度越高。例如,若目标位置为第二个物品标识位置,基于第二个物品标识位置对应的预测物品特征得到第二个物品标识位置所属物品对应的预测概率,该预测概率表征第二个物品标识位置所属物品和第一个物品标识位置所属物品之间的预测关联度,表征基于第一个物品标识位置所属物品的语义嵌入特征预测下一个物品为第二个物品标识位置所属物品的概率。
具体地,计算机设备将训练物品标识序列输入初始物品预测模型,初始物品预测模型输出训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率。在初始物品预测模型中,从预设语义嵌入特征集中查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到训练物品标识序列中在目标位置上的物品标识所对应的预测概率。可以理解,若目标位置有多个,则分别得到训练物品标识序列中在各个目标位置上的物品标识所对应的预测概率。
在一个实施例中,基于目标位置对应的预测物品特征得到目标位置对应的物品分布特征,物品分布特征包括候选物品集中各个物品分别对应的预测概率,候选物品集中包括训练物品标识序列中各个物品标识所属的物品,从物品分布特征中获取训练物品标识序列中在目标位置上的物品标识所对应的预测概率。
例如,候选物品集包括十个物品,分别用A、B、C、D、E、F、G、H、I、J表示,训练物品标识序列包括有序排列的三个物品,用A-E-H表示。若目标位置为第二个物品标识位置,则对A对应的语义嵌入特征进行特征编码,得到第二个物品标识位置对应的预测物品特征,基于第二个物品标识位置对应的预测物品特征,得到第二个物品标识位置对应的物品分布特征,第二个物品标识位置对应的物品分布特征包括A、B、C、D、E、F、G、H、I、J分别对应的预测概率。在训练物品标识序列中,第二个物品标识位置上的物品为E,因此,从第二个物品标识位置对应的物品分布特征中获取E对应的预测概率。
若目标位置为第三个物品标识位置,则对A、E对应的语义嵌入特征进行特征编码,得到第三个物品标识位置对应的预测物品特征,基于第三个物品标识位置对应的预测物品特征,得到第三个物品标识位置对应的物品分布特征,第三个物品标识位置对应的物品分布特征包括A、B、C、D、E、F、G、H、I、J分别对应的预测概率。在训练物品标识序列中,第三个物品标识位置上的物品为H,因此,从第三个物品标识位置对应的物品分布特征中获取H对应的预测概率。
步骤S206,基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失。
具体地,在得到训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率后,计算机设备基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失。例如,可以基于各个预测概率的平均值得到模型损失;可以基于各个预测概率的加权平均值得到模型损失;可以基于各个预测概率中的中位值得到模型损失;等等。可以理解,模型的训练目标是使得在目标位置上的物品标识所对应的预测概率越大越好,在目标位置上的物品标识所对应的预测概率越大,说明模型基于训练物品标识序列中处于目标位置之前的各个物品标识的相关特征能够准确预测出目标位置上的物品标识,说明模型基于历史物品能够越准确预测下一物品,模型逐渐具备物品预测能力。
在一个实施例中,训练物品标识序列包括T个物品标识,用表示,模型损失的计算公式如下:
其中,L表示模型损失。表示训练物品标识序列中第t个位置上的物品标识,/>表示由训练物品标识序列中第1到t-1个位置上的物品标识组成的序列。/>表示在的基础上预测下一物品,下一物品为/>的预测概率。也就是,t表示目标位置,/>表示训练物品标识序列中处于目标位置之前的各个物品标识,/>表示基于训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,得到的训练物品标识序列中在目标位置上的物品标识所对应的预测概率。可以理解,模型损失L与预测概率呈负相关,/>越大,L越小。
步骤S208,基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
具体地,目标物品预测模型是指完成训练的物品预测模型。计算机设备可以将模型损失进行反向传播来调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
可以理解,在基于模型损失调整模型参数时,无需对初始物品预测模型中存储的预设语义嵌入特征集进行调整,可以对其他模型参数进行调整。可以通过梯度下降算法基于模型损失调整初始物品预测模型的模型参数。
其中,第一收敛条件是指判断物品预测模型是否达到收敛的条件,收敛条件包括但不限于模型损失小于预设损失值、模型迭代次数大于预设迭代次数、或模型损失的变化率小于预设变化率等中的至少一者。
例如,计算机设备获取训练物品标识序列,将训练物品标识序列输入初始物品预测模型,得到训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率计算模型损失,基于模型损失调整初始物品预测模型的模型参数,得到中间物品预测模型,将中间物品预测模型作为新的初始物品预测模型,获取新的训练物品标识序列,将新的训练物品标识序列输入新的初始物品预测模型,得到新的训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,基于新的训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率计算得到新的模型损失,基于新的模型损失调整新的初始物品预测模型得到新的中间物品预测模型,将中间物品预测模型作为初始物品预测模型,返回获取训练物品标识序列的步骤执行,继续进行迭代训练。若预设迭代次数为 50,则获取第 51次调整得到的中间物品预测模型作为目标物品预测模型。
上述物品数据处理方法中,在模型训练时,模型基于训练物品标识序列中目标位置之前的各个物品标识的相关特征生成目标位置上的物品标识对应的预测概率,也就是,模型基于训练物品标识序列中历史物品标识的相关特征生成下一个物品的预测概率,进而基于训练物品标识序列中各个物品标识分别对应的预测概率生成模型损失,基于模型损失调整模型参数,使得模型能够提高目标位置上的物品标识对应的预测概率,从而提高物品预测能力,从而能够基于依次关联的历史物品准确预测下一物品。本申请方法无需对训练物品标识序列标注训练标签,基于训练物品标识序列对初始物品预测模型进行无监督训练,即可得到准确的目标物品预测模型,能够有效提高模型训练效率。
在一个实施例中,物品数据处理方法还包括:
获取候选物品集中各个物品分别对应的初始嵌入特征,将各个物品分别对应的初始嵌入特征输入目标语义塔;针对各个初始嵌入特征中任意的初始嵌入特征,通过目标语义塔,对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征,对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征;基于各个物品分别对应的语义嵌入特征,得到预设语义嵌入特征集。
其中,语义塔是机器学习模型,用于提取物品对应的语义嵌入特征。语义塔的输入数据为物品对应的初始嵌入特征,语义塔的输出数据为物品对应的语义嵌入特征。目标语义塔是指完成训练的语义塔。
特征编码用于将初始嵌入特征映射到一个低维表示,这个低维表示可以被视为对原始数据的一种抽象,并且通常具有更好的可解释性和更强的表达能力。也就是,中间嵌入特征比初始嵌入特征具有更强的语义表达能力。例如,可以通过机器学习中的编码器来进行特征编码。
特征压缩用于将中间嵌入特征压缩到长度统一的特征表示。例如,特征压缩用于将几百维的中间嵌入特征压缩到几十维的语义嵌入特征。
具体地,预设语义嵌入特征集包括候选物品集中各个候选物品分别对应的语义嵌入特征,可以通过语义塔来提取物品对应的语义嵌入特征。计算机设备获取候选物品集中各个物品分别对应的初始嵌入特征,将各个物品分别对应的初始嵌入特征输入目标语义塔,得到各个物品分别对应的语义嵌入特征。将物品对应的初始嵌入特征输入目标语义塔,在目标语义塔中,对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征,对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征,目标语义塔输出物品对应的语义嵌入特征。最终,计算机设备基于各个物品分别对应的语义嵌入特征组成预设语义嵌入特征集。
在一个实施例中,参考图3,语义塔包括输入层、编码层和语义层。输入层用于接收物品对应的初始嵌入特征,将物品对应的初始嵌入特征输入编码层。编码层用于对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征。例如,编码层可以是一个多层感知器(MLP,Multilayer Perceptron),多层感知器是由多个全连接层堆叠在一起组成的。通过编码层可以学习到每个物品语义的有效嵌入表征。语义层用于对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征。例如,语义层可以是一个多层感知器,多层感知器是由多个全连接层堆叠在一起组成的。通过语义层可以调节每个物品语义的嵌入表征长度,统一每个物品语义的嵌入表征长度。
在一个实施例中,可以通过预训练模型提取物品对应的初始嵌入特征,再将物品对应的初始嵌入特征输入目标语义塔,得到物品对应的语义嵌入特征。
上述实施例中,通过目标语义塔先对物品对应的初始嵌入特征进行特征编码,能够得到语义表达能力更强的中间嵌入特征,再对中间嵌入特征进行特征压缩,得到数据量更小的语义嵌入特征,这样的语义嵌入特征有助于提高后续针对物品预测模型的训练速度。
在一个实施例中,获取候选物品集中各个物品分别对应的初始嵌入特征,包括:
获取候选物品集中各个物品分别对应的物品属性集;针对各个物品属性集中任意的物品属性集,对物品属性集中的各个物品属性进行特征提取,得到各个物品属性分别对应的物品属性特征,拼接各个物品属性分别对应的物品属性特征,得到物品属性集所属物品对应的初始嵌入特征。
其中,物品属性集包括物品对应的至少一个物品属性。例如,物品属性可以是物品的标题、标签、简介、图像等。
具体地,计算机设备获取候选物品集中各个物品分别对应的物品属性集,基于物品对应的物品属性集得到物品对应的初始嵌入特征。对一个物品属性集中的各个物品属性进行特征提取,得到各个物品属性分别对应的物品属性特征,拼接各个物品属性分别对应的物品属性特征,得到该物品属性集所属物品对应的初始嵌入特征。
上述实施例中,物品对应的初始嵌入特征包括物品对应的物品属性集中各个物品属性分别对应的物品属性特征,能够保障物品对应的初始嵌入特征包含比较丰富的信息,具有一定的准确性,有助于提高语义嵌入特征的准确性,提高后续针对物品预测模型的训练质量。
在一个实施例中,物品数据处理方法还包括:
获取训练物品对;将训练物品对中的第一物品输入待训练的第一语义塔,得到第一物品对应的语义嵌入特征,将训练物品对中的第二物品输入待训练的第二语义塔,得到第二物品对应的语义嵌入特征;基于第一物品对应的语义嵌入特征和第二物品对应的语义嵌入特征之间的特征相似度,得到训练物品对所对应的物品关系预测标签;基于训练物品对所对应的物品关系训练标签和物品关系预测标签之间的差异,调整待训练的第一语义塔和第二语义塔的模型参数,直至满足第二收敛条件,得到完成训练的第一语义塔和第二语义塔;目标语义塔是从完成训练的第一语义塔和第二语义塔中确定的。
其中,训练物品对包括两个物品,训练物品对中的一个物品称为第一物品,另一个物品称为第二物品。训练物品对所对应的物品关系训练标签用于表示训练物品对中第一物品和第二物品之间真实的物品关系。物品关系表示物品之间是否有关联。例如,若训练物品对中的第一物品和第二物品被同一用户浏览过,则训练物品对所对应的物品关系训练标签为正标签,正标签表示第一物品和第二物品之间存在关联;若训练物品对中的第一物品和第二物品没有被同一用户浏览过,则训练物品对所对应的物品关系训练标签为负标签,负标签表示第一物品和第二物品目前没有关联。又例如,若训练物品对中的第一物品和第二物品共有的物品属性的数量大于预设数量,则训练物品对所对应的物品关系训练标签为正标签;若训练物品对中的第一物品和第二物品共有的物品属性的数量小于或等于预设数量,则训练物品对所对应的物品关系训练标签为负标签。预设数量可以根据实际需要进行设置。训练物品对所对应的物品关系预测标签用于表示训练物品对中第一物品和第二物品之间预测出来的物品关系。
两个特征之间的特征相似度用于表示两个特征之间的相似程度。两个特征之间的特征相似度越大,表明两个特征之间越相似。可以采用各种相似度计算算法来计算两个特征之间的特征相似度,例如,可以计算两个特征之间的余弦距离或欧式距离等表示两个特征之间距离的数据作为特征相似度;可以计算两个特征之间的交集元素和并集元素的比值作为特征相似度;等等。
具体地,计算机设备可以获取训练物品对,基于训练物品对和对应的物品关系训练标签,对待训练的第一语义塔和第二语义塔进行有监督训练,得到完成训练的第一语义塔和第二语义塔,从完成训练的第一语义塔和第二语义塔中,获取任意的语义塔作为目标语义塔。
在模型训练时,将训练物品对中的第一物品输入待训练的第一语义塔,得到第一物品对应的语义嵌入特征,将训练物品对中的第二物品输入待训练的第二语义塔,得到第二物品对应的语义嵌入特征,计算第一物品对应的语义嵌入特征和第二物品对应的语义嵌入特征之间的特征相似度,基于特征相似度确定训练物品对所对应的物品关系预测标签。例如,可以将特征相似度直接作为节点关系预测标签,特征相似度越大表示第一节点和第二节点相关性越高;也可以将特征相似度和预设相似度进行比较来确定节点关系预测标签,若特征相似度大于预设相似度,则确定节点关系预测标签为正标签,若特征相似度大于预设相似度,则确定节点关系预测标签为负标签。可以基于训练物品对所对应的物品关系训练标签和物品关系预测标签之间的差异计算语义塔损失,将语义塔损失进行反向传播来调整待训练的第一语义塔和第二语义塔的模型参数,直至满足第二收敛条件,得到完成训练的第一语义塔和第二语义塔。
其中,第二收敛条件是指判断语义塔是否达到收敛的条件,收敛条件包括但不限于语义塔损失小于预设损失值、模型迭代次数大于预设迭代次数、或语义塔损失的变化率小于预设变化率等中的至少一者。
在一个实施例中,参考图4,第一语义塔和第二语义塔构成双塔模型,第一语义塔和第二语义塔的模型参数是共享的,也就是,第一语义塔和第二语义塔是权重共享的模型。第一语义塔和第二语义塔相当于孪生神经网络、双生神经网络,孪生神经网络是指两个结构相同、权重共享的神经网络。语义塔包括输入层、编码层和语义层。输入层用于接收物品对应的初始嵌入特征,将物品对应的初始嵌入特征输入编码层。编码层用于对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征。语义层用于对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征。将训练物品对中的第一物品输入待训练的第一语义塔,得到第一物品对应的语义嵌入特征,将训练物品对中的第二物品输入待训练的第二语义塔,得到第二物品对应的语义嵌入特征。将第一物品对应的语义嵌入特征和第二物品对应的语义嵌入特征输入匹配层,匹配层输出第一物品和第二物品之间的物品关系预测标签,即输出训练物品对所对应的物品关系预测标签。匹配层用于计算特征相似度,例如,匹配层可以使用余弦函数计算两个特征向量的余弦相似度作为特征相似度。基于多个训练物品对所对应的物品关系训练标签和物品关系预测标签计算语义塔损失,将语义塔损失进行反向传播来调整双塔模型的模型参数,直至满足第二收敛条件,得到完成训练的第一语义塔和第二语义塔。
上述实施例中,基于训练物品对和对应的物品关系训练标签,对待训练的第一语义塔和第二语义塔进行有监督训练,可以快速得到完成训练的第一语义塔和第二语义塔,第一语义塔和第二语义塔可以用于提取物品对应的准确的语义嵌入特征。
在一个实施例中,物品数据处理方法还包括:
通过初始物品预测模型,获取处于目标位置之前的各个物品标识位置分别对应的位置嵌入特征,将物品标识对应的语义嵌入特征和物品标识所属物品标识位置对应的位置嵌入特征进行融合,分别得到训练物品标识序列中处于目标位置之前的各个物品标识对应的融合嵌入特征。
对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,包括:
对处于目标位置之前的各个物品标识对应的融合嵌入特征进行特征解码,得到目标位置对应的预测物品特征。
其中,位置嵌入特征是指物品标识位置对应的嵌入表征。位置嵌入特征用于为模型提供关于物品标识在物品标识序列中位置的信息。在模型训练过程中,各个物品标识位置分别对应的位置嵌入特征是可调整的,在模型训练结束后,各个物品标识位置分别对应的位置嵌入特征是稳定的。例如,可以为各个物品标识位置初始化对应的位置嵌入特征,在模型训练过程中,将模型损失反向传播来调整模型参数的时候,初始化的位置嵌入特征会随之调整,在模型训练结束后,位置嵌入特征就固定下来了。
物品标识对应的融合嵌入特征是将物品标识对应的语义嵌入特征和物品标识的物品标识位置对应的位置嵌入特征进行融合得到的。例如,将语义嵌入特征和位置嵌入特征相加,得到融合嵌入特征。
具体地,为了让模型在处理输入序列时更好地考虑到物品标识的位置顺序,进一步引入位置嵌入特征。计算机设备将训练物品标识序列输入初始物品预测模型,在初始物品预测模型中,获取训练物品标识序列中处于目标位置之前的各个物品标识位置分别对应的位置嵌入特征,从预设语义嵌入特征集中查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,将物品标识对应的语义嵌入特征和物品标识所属物品标识位置对应的位置嵌入特征进行融合,分别得到训练物品标识序列中处于目标位置之前的各个物品标识对应的融合嵌入特征,进而对处于目标位置之前的各个物品标识对应的融合嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到训练物品标识序列中在目标位置上的物品标识所对应的预测概率。
上述实施例中,融合嵌入特征中融合有语义嵌入特征和位置嵌入特征,通过融合嵌入特征,模型不仅能够学习到输入序列中物品标识所属物品的语义信息,而且能够捕捉到输入序列中物品标识的位置信息,从而更好地理解和生成与历史物品相关的下一物品的相关特征。
在一个实施例中,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率,包括:
将目标位置对应的预测物品特征进行线性变换,得到目标位置对应的初始物品分布特征;初始物品分布特征包括候选物品集中各个物品分别对应的特征值;对初始物品分布特征进行特征值压缩,得到目标位置对应的目标物品分布特征;目标物品分布特征包括候选物品集中各个物品分别对应的预测概率;候选物品集包括训练物品标识序列中各个物品标识分别对应的物品;从目标物品分布特征中确定在目标位置上的物品标识所对应的预测概率。
其中,线性变换用于将预测物品特征映射到预设维度的向量空间。将预测物品特征进行线性变换得到初始物品分布特征,初始物品分布特征的维度为预设维度,初始物品分布特征的维度等于候选物品集的大小,候选物品集的大小反映候选物品集中物品的数量。
特征值压缩用于将特征值的数值压缩到预设范围内。例如,可以是将特征值的数值压缩到[0,1]中,从而得到预测概率,可以通过Softmax函数(归一化指数函数)进行特征值压缩。
具体地,在基于目标位置对应的预测物品特征得到在目标位置上的物品标识所对应的预测概率时,先基于目标位置对应的预测物品特征得到候选物品集中各个物品分别对应的预测概率,候选物品集包括训练物品标识序列中各个物品标识分别对应的物品,再从候选物品集中各个物品分别对应的预测概率中,获取在目标位置上的物品标识所对应的预测概率。
先将目标位置对应的预测物品特征进行线性变换,得到目标位置对应的初始物品分布特征,初始物品分布特征为向量维度等于候选物品集大小的向量,初始物品分布特征包括候选物品集中各个物品分别对应的特征值。然后,对初始物品分布特征进行特征值压缩,得到目标位置对应的目标物品分布特征,目标物品分布特征为向量维度等于候选物品集大小的向量,目标物品分布特征包括候选物品集中各个物品分别对应的预测概率。最终,从目标物品分布特征中获取训练物品标识序列在目标位置上的物品标识所属物品对应的预测概率,作为在目标位置上的物品标识所对应的预测概率。
上述实施例中,通过线性变换和特征值压缩可以将预测物品特征转换为候选物品集中各个物品分别对应的预测概率,通过预测概率可以直观得到候选物品集中各个物品分别和前向物品序列的预测关联度,通过预测概率可以直观得到候选物品集中各个物品属于下一物品的概率。
在一个实施例中,基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型,包括:
基于模型损失调整初始物品预测模型中第二子嵌入层、解码层和输出层的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
其中,初始物品预测模型包括嵌入层、解码层和输出层。嵌入层包括第一子嵌入层和第二子嵌入层。第一子嵌入层用于查询语义嵌入特征。第一子嵌入层中存储有预设语义嵌入特征集,第一子嵌入层用于基于物品标识从预设语义嵌入特征集中查询相应的语义嵌入特征。第二子嵌入层用于获取位置嵌入特征,即用于生成位置嵌入特征。例如,第二子嵌入层可以是通过学习可训练的嵌入矩阵来实现的,该矩阵的维度与模型输入序列的维度相同。例如,第二子嵌入层可以采用正弦余弦位置编码(Sine-Cosine Positional Encoding)来生成位置嵌入特征,对于模型输入序列中的每个位置,第二子嵌入层会为其生成一个固定长度的向量,其中每个维度对应一个正弦或余弦函数,这样,每个位置都会有一个唯一的位置嵌入向量(即位置嵌入特征)用于表示其在序列中的位置信息。将第一子嵌入层和第二子嵌入层输出的嵌入特征进行融合,将融合得到的嵌入特征输入解码层。解码层用于对输入特征进行特征解码。输出层用于输出预测概率。将解码层输出的特征输入输出层,输出层对输入特征进行数据处理,得到物品标识对应的预测概率,输出层输出物品标识对应的预测概率。
具体地,初始物品预测模型包括嵌入层、解码层和输出层。嵌入层包括第一子嵌入层和第二子嵌入层,第一子嵌入层用于查询语义嵌入特征,第一子嵌入层无需调整参数,第二子嵌入层用于生成位置嵌入特征,第二子嵌入层需要调整参数,解码层用于进行特征解码,输出层用于输出预测概率,解码层和输出层需要调整参数。因此,计算机设备基于模型损失调整初始物品预测模型的模型参数时,主要是将模型损失进行反向传播来调整初始物品预测模型中第二子嵌入层、解码层和输出层的模型参数。
在一个实施例中,参考图5,初始物品预测模型包括输入层、嵌入层(包括语义嵌入层和位置嵌入层)、解码层和输出层。输入层用于接收输入的训练物品标识序列,将训练物品标识序列输入至嵌入层。可以理解,训练物品标识序列一般需要包括k个物品标识,若训练物品标识序列中物品标识的个数不足k个,则将后续不满的位置用掩码进行填充。语义嵌入层(即第一子嵌入层)用于从预设语义嵌入特征集中查询相应的语义嵌入特征。位置嵌入层(即第二子嵌入层)用于生成训练物品标识序列中各个物品标识位置分别对应的位置嵌入特征。
将训练物品标识序列输入初始物品预测模型,输入层将训练物品标识序列输入嵌入层中的语义嵌入层和位置嵌入层,语义嵌入层查询训练物品标识序列中各个物品标识分别对应的语义嵌入特征,输出语义嵌入特征序列,位置嵌入层生成训练物品标识序列中各个物品标识位置分别对应的位置嵌入特征,输出位置嵌入特征序列,将语义嵌入特征序列和位置嵌入特征序列进行融合,得到融合嵌入特征序列,融合嵌入特征序列包括各个物品标识分别对应的融合嵌入特征。将融合嵌入特征序列输入解码层。解码层用于对融合嵌入特征进行特征解码。例如,解码层可以是Transformer层,Transformer层主要是由带掩码机制的N个Transformer的解码块(decoding block)堆叠构建的更深层次的解码器,以提高模型的性能和泛化能力。每个解码块(decoding block)包含三个部分,第一部分为带掩码机制的多头自注意力机制(Masked Multi-Head Self-Attention),第二部分为前馈神经网络(Feedforward Neural Network),第三部分为残差连接(Residual Connection)和层归一化(Layer Normalization)。第一部分通过对输入序列进行多头自注意力计算,来捕捉输入序列中不同位置之间的依赖关系。掩码机制是用于在自注意力机制中避免使用未来信息。例如,若目标位置为第三个物品标识位置,则通过掩码机制对输入序列中第三个物品标识及其之后的融合嵌入特征进行屏蔽,使得解码层对输入序列中前两个融合嵌入特征进行特征解码。第二部分通过对每个位置的表示进行全连接层的计算,来增强每个位置的特征表达能力。第三部分通过将前面两个部分的输出与输入序列进行残差连接,并对残差连接后的结果进行层归一化,来加速模型的训练和提高模型的性能。解码层可以输出各个目标位置分别对应的预测物品特征。
解码层将预测物品特征输入输出层,输出层将解码层的输出映射到一个维度等于候选物品集大小的向量空间,再通过Softmax函数将这个向量空间中的每个元素转换为一个概率值(表示属于下一物品的预测概率),得到目标物品分布特征。输出层可以输出各个目标位置分别对应的目标物品分布特征。
将训练物品标识序列输入初始物品预测模型,得到训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失,基于模型损失调整初始物品预测模型中位置嵌入层、解码层和输出层的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
上述实施例中,在调整初始物品预测模型的模型参数时,无需调整初始物品预测模型中的第一子嵌入层,只需调整初始物品预测模型中的第二子嵌入层、解码层和输出层,通过有针对性地调整能够在保障模型训练质量的基础上有效提高模型训练速度。
在一个实施例中,如图6所示,物品数据处理方法还包括:
步骤S602,在得到目标物品预测模型后,当候选物品集加入了补充物品时,在预设语义嵌入特征集中加入补充物品对应的语义嵌入特征,将参考物品标识序列输入目标物品预测模型,得到扩充后的候选物品集中各个物品针对各个目标位置的预测概率。
步骤S604,从扩充后的候选物品集中各个物品针对各个目标位置的预测概率中,确定参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率。
步骤S606,基于参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到参考损失。
步骤S608,基于参考损失调整目标物品预测模型中输出层的模型参数,直至满足第三收敛条件,得到与扩充后的候选物品集匹配的目标物品预测模型。
其中,目标物品预测模型的输出层用于基于解码层的输出数据得到候选物品集中各个物品分别对应的预测概率。将解码层输出的目标位置对应的预测物品特征输入输出层,输出层输出目标位置对应的目标物品分布特征,目标物品分布特征包括候选物品集中各个物品分别对应的预测概率。
补充物品是指新增物品。在对初始物品预测模型训练得到目标物品预测模型后,若候选物品集中增加了其他物品,则可以对目标物品预测模型进行微调来提高目标物品预测模型的预测准确性。参考物品标识序列是作为模型训练数据的物品标识序列,用于对目标物品预测模型进行训练、进行微调。可以理解,训练物品标识序列和参考物品标识序列可以是相同的序列,也可以是不同的序列。
第三收敛条件是指判断目标物品预测模型是否达到收敛的条件,收敛条件包括但不限于参考损失小于预设损失值、模型迭代次数大于预设迭代次数、或参考损失的变化率小于预设变化率等中的至少一者。
具体地,在得到目标物品预测模型后,将目标物品标识序列输入目标物品预测模型,目标物品预测模型基于目标物品标识序列预测下一关联物品,目标物品预测模型可以输出候选物品集中各个物品分别对应的预测概率,预测概率可以反映属于下一关联物品的概率。例如,目标物品标识序列包括用户历史浏览的五个物品的物品标识,目标物品预测模型基于用户历史浏览的物品预测用户下一可能浏览物品,目标物品预测模型可以输出候选物品集中各个物品分别对应的预测概率,预测概率可以反映物品被用户浏览的概率。然而,在得到目标物品预测模型后,若候选物品集加入了补充物品,目标物品预测模型可能无法基于输入序列准确预测补充物品对应的预测概率,因此需要对目标物品预测模型进行微调,使得目标物品预测模型可以适应补充物品。
在得到目标物品预测模型后,若想要在候选物品集中加入补充物品,则计算机设备可以获取补充物品对应的语义嵌入特征,在预设语义嵌入特征集中加入补充物品对应的语义嵌入特征,使得后续目标物品预测模型在处理补充物品的相关数据时可以查询到补充物品对应的语义嵌入特征。
进一步的,计算机设备可以获取参考物品标识序列,基于参考物品标识序列对目标物品预测模型进行微调,使得后续目标物品预测模型可以输出补充物品对应的准确的预测概率。在模型微调时,可以将参考物品标识序列输入目标物品预测模型,在扩充后的预设语义嵌入特征集中,查询参考物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率。每针对一个目标位置,目标物品预测模型可以输出扩充后的候选物品集中各个物品对应的预测概率,因此可以得到扩充后的候选物品集中各个物品针对各个目标位置的预测概率。每针对一个目标位置,从扩充后的候选物品集中各个物品对应的相应的预测概率中,确定参考物品标识序列中在目标位置上的物品标识对应的预测概率,因此可以得到参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率。参考模型损失的计算方式,计算机设备基于参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到参考损失,将参考损失反向传播来调整目标物品预测模型中输出层的模型参数,直至满足第三收敛条件,得到与扩充后的候选物品集匹配的目标物品预测模型。将目标物品标识序列输入目标物品预测模型,与扩充后的候选物品集匹配的目标物品预测模型可以输出扩充后的候选物品集中各个物品对应的预测概率。
可以理解,目标物品预测模型对输入数据的数据处理过程可以参考前述各个相关实施例的内容,此处不再赘述。
在一个实施例中,若收敛条件包括模型迭代次数大于预设迭代次数,第一收敛条件对应的预设迭代次数大于第三收敛条件对应的预设迭代次数。可以理解,初始物品预测模型中较多的模型参数需要调整,而目标物品预测模型中较少的模型参数需要调整,目标物品预测模型经过少量次数的模型迭代即可快速收敛。
上述实施例中,在得到目标物品预测模型后,若候选物品集加入了补充物品,无需重新从头开始训练,只要在目标物品预测模型中的预设语义嵌入特征集中加入补充物品对应的语义嵌入特征,基于参考物品标识序列对目标物品预测模型中的输出层进行微调,就可以快速得到与扩充后的候选物品集匹配的目标物品预测模型,使得目标物品预测模型在应用时可以输出补充物品对应的准确的预测概率。
在一个实施例中,如图7所示,物品数据处理方法还包括:
步骤S702,获取目标对象对应的目标物品标识序列,将目标物品标识序列输入目标物品预测模型;目标物品标识序列是将目标对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的。
步骤S704,通过目标物品预测模型,在预设语义嵌入特征集中查询目标物品标识序列中各个物品标识各自对应的语义嵌入特征,对目标物品标识序列中各个物品标识对应的语义嵌入特征进行特征解码,得到目标预测物品特征,基于目标预测物品特征,得到候选物品集中各个物品分别对应的目标概率。
步骤S706,基于候选物品集中各个物品分别对应的目标概率,确定目标对象对应的推荐物品集。
其中,对象是指用户。对象对应的历史交互物品是指与对象在过去存在交互信息的物品,是指与对象互动、交互过的物品。例如,若物品代表视频,则对象对应的历史交互物品可以是被用户播放过的视频,可以是被用户收藏过的视频;若物品代表商品,则对象对应的历史交互物品可以是被用户消费过的商品。交互时间是指对象对物品进行交互操作的操作事件。
训练物品标识序列是将训练对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的,训练物品标识序列用于模型训练。例如,历史交互物品为训练对象浏览过的文章,则训练物品标识序列可以是将训练对象浏览过的k个文章的文章标识按照文章的浏览时间从早到晚进行排序得到的。目标物品标识序列是将目标对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的,目标物品标识序列用于模型应用。
可以理解,训练对象的相关数据用于模型训练,目标对象是指待接收推荐数据的用户。训练对象和目标对象均可以是任意的用户。推荐物品集包括至少一个推荐物品。目标对象对应的推荐物品是指待推荐给目标对象的物品。
具体地,计算机设备可以获取训练物品标识序列,训练物品标识序列是将训练对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的,基于训练物品标识序列对初始物品预测模型进行训练,得到目标物品预测模型。训练得到的目标物品预测模型可以用于基于输入序列预测下一物品。在模型应用时,计算机设备可以获取目标对象对应的目标物品标识序列,目标物品标识序列是将目标对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的,将目标物品标识序列输入目标物品预测模型,得到候选物品集中各个物品分别对应的目标概率。
将目标物品标识序列输入目标物品预测模型,目标物品预测模型从预设语义嵌入特征集中,查询目标物品标识序列中各个物品标识各自对应的语义嵌入特征,对目标物品标识序列中各个物品标识对应的语义嵌入特征进行特征解码,得到目标预测物品特征,基于目标预测物品特征,得到候选物品集中各个物品分别对应的目标概率。目标概率可以反映物品作为下一物品的概率,可以反映目标对象会和物品发生交互的概率。例如,参考图8,目标物品预测模型包括输入层、嵌入层、解码层和输出层,将目标物品标识序列输入目标物品预测模型,输出层输出候选物品集中各个物品分别对应的目标概率。
最终,计算机设备基于候选物品集中各个物品分别对应的目标概率,确定目标对象对应的推荐物品集。例如,可以按照目标概率从大到小对各个物品进行排序,获取排序靠前的若干个物品分别作为目标对象对应的推荐物品,将各个推荐物品组成目标对象对应的推荐物品集。
上述实施例中,若训练物品标识序列是将训练对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的,基于训练物品标识序列对初始物品预测模型训练得到目标物品预测模型,训练得到的目标物品预测模型可以用于基于目标对象对应的目标物品标识序列预测目标对象下一个可能交互的物品,将通过目标物品预测模型预测得到的下一个可能交互的物品作为目标对象的推荐物品,能够有效提高向目标对象推荐物品的推荐有效性。
在一个实施例中,基于候选物品集中各个物品分别对应的目标概率,确定目标对象对应的推荐物品集,包括:
将候选物品集中最大目标概率对应的物品作为目标物品标识序列对应的推荐物品;将目标物品标识序列作为当前物品标识序列;在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列,将更新物品标识序列输入目标物品预测模型,得到更新物品标识序列对应的推荐物品;将更新物品标识序列作为当前物品标识序列,返回在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列的步骤执行,直至满足结束条件,得到多个推荐物品;将各个推荐物品组成目标对象对应的推荐物品集。
具体地,在确定目标对象对应的推荐物品集时,可以多次使用目标物品预测模型。计算机设备将目标对象对应的目标物品标识序列输入目标物品预测模型,得到候选物品集中各个物品分别对应的目标概率,从候选物品集中将最大目标概率对应的物品作为目标物品标识序列对应的推荐物品,得到目标对象对应的一个推荐物品。接着,可以将目标物品标识序列对应的推荐物品添加到目标物品标识序列的尾部,得到新的物品标识序列,将新的物品标识序列输入目标物品预测模型,得到候选物品集中各个物品分别对应的新的目标概率,再次从候选物品集中将最大目标概率对应的物品作为新的物品标识序列对应的推荐物品,得到目标对象对应的另一个推荐物品。以此类推,直至满足结束条件,不再通过目标物品预测模型预测新的推荐物品,当前已经得到目标对象对应的多个推荐物品,将各个推荐物品组成目标对象对应的推荐物品集。
其中,结束条件可以根据实际需要进行设置。例如,结束条件可以是当前得到的推荐物品的总数大于预设的数量阈值;也可以是目标物品预测模型基于输入序列输出表示结束符的特征向量;等等。
上述实施例中,在目标对象的目标物品标识序列的基础上,通过目标物品预测模型不断预测下一物品,能够逐步预测出目标对象可能有序交互的多个物品,将这些物品作为目标对象对应的推荐物品,能够进一步有效提高向目标对象推荐物品的推荐有效性。
在一个实施例中,如图9所示,物品数据处理方法还包括:
步骤S902,从物品关系图包括的各个物品节点中确定目标节点,确定目标节点对应的物品标识序列。
其中,物品关系图是一种图,用于反映物品和物品之间的关系。物品关系图可以是由物品节点和边构成的图,不同的物品节点代表不同的物品,物品节点和物品节点之间存在连边表示物品节点和物品节点之间存在联系,物品节点和物品节点之间不存在连边表示物品节点和物品节点之间暂时没有联系。可以根据物品和物品之间的内容相关性将相关的物品节点相连接,得到物品关系图。两个物品之间的内容相关性可以是基于两个物品各自的物品属性集确定的,物品属性集中的物品属性可以反映物品的内容。例如,物品属性包括语义标签,如果两个物品共同命中的语义标签的标签数目大于预设阈值,则将这两个物品对应的物品节点相连接;物品属性包括作者,如果两个物品是同一作者创作的,则认为这两个物品有一定的相关性,将这两个物品对应的物品节点相连接。两个物品之间的内容相关性也可以是基于用户操作确定的,例如,将同一用户在同一时间窗口内交互过的各个物品对应的物品节点相连接。
从物品关系图中确定训练节点,基于训练节点在物品关系图中进行轨迹采样,得到训练物品标识序列。训练节点是从物品关系图中随机选取的节点。轨迹采样是指从物品关系图中以训练节点为起点,采样节点路径,节点路径中直接相邻的两个物品节点之间存在连边。在一个实施例中,从物品关系图中随机选取一个节点作为训练节点,在物品关系图中从训练节点出发通过随机游走算法进行随机游走,得到训练节点对应的随机游走路径,将随机游走路径包含的各个物品节点所对应的物品标识按照随机游走路径中的顺序排序,得到训练物品标识序列。其中,随机游走算法可以是Deepwalk(深度游走算法)、Node2Vec(在Deepwalk上扩展的随机游走算法)等。
目标节点是从物品关系图中随机选取的节点。目标节点对应的物品标识序列包括目标节点对应的物品标识和预设标识。预设标识是预先设置的标识,预设标识不代表任何的物品,用于调节序列长度。预设标识可以根据实际需要进行设置,例如,预设标识可以是0。目标节点对应的物品标识序列与训练物品标识序列具有相同数量的标识,也就是,目标节点对应的物品标识序列与训练物品标识序列具有相同的序列长度。
举例说明,训练节点用A表示,在物品关系图中从A节点出发进行随机游走,得到训练物品标识序列,训练物品标识序列用A-B-C-R-X表示。从训练物品标识序列可以看出,在物品关系图中,A节点和B节点相连接,B节点和C节点相连接, C节点和R节点相连接, R节点和X节点相连接。目标节点用Q表示,目标节点对应的物品标识序列用A-0-0-0-0表示。
具体地,计算机设备可以获取训练物品标识序列,训练物品标识序列是基于从物品关系图中确定的训练节点,在物品关系图中进行轨迹采样得到的,基于训练物品标识序列对初始物品预测模型进行训练,得到目标物品预测模型。训练得到的目标物品预测模型可以用于提取物品关系图中物品节点的综合嵌入特征。可以理解,综合嵌入特征是比语义嵌入特征更准确的嵌入表征。在模型训练时,初始物品预测模型用于基于训练物品标识序列中一部分物品预测下一物品。在模型应用时,目标物品预测模型可以用于提取物品节点对应的综合嵌入特征。
在模型应用时,计算机设备可以从物品关系图包含的各个物品节点中确定目标节点,例如,将各个物品节点分别作为目标节点,通过目标物品预测模型确定各个目标节点分别对应的综合嵌入特征。在确定目标节点后,计算机设备基于目标节点对应的物品标识和预设标识生成目标节点对应的物品标识序列,目标节点对应的物品标识序列和训练物品标识序列具有相同的序列长度。
步骤S904,将目标节点对应的物品标识序列输入目标物品预测模型,得到目标节点对应的预测物品特征。
步骤S906,对目标节点对应的预测物品特征进行池化处理,得到目标节点对应的综合嵌入特征。
其中,池化处理是指对特征进行汇聚,降低数据冗余。例如,可以通过最大池化层进行池化处理;通过全局平均池化层进行池化处理;等等。
具体地,计算机设备,将目标节点对应的物品标识序列输入目标物品预测模型,目标物品预测模型从预设语义嵌入特征集中,查询目标节点对应的物品标识序列中各个物品标识对应的语义嵌入特征,对各个物品标识对应的语义嵌入特征进行特征解码,得到目标节点对应的预测物品特征,目标物品预测模型输出目标节点对应的预测物品特征。例如,参考图10,目标物品预测模型包括输入层、嵌入层、解码层和输出层,将目标节点对应的物品标识序列输入目标物品预测模型,解码层输出目标节点对应的预测物品特征。计算机设备对目标节点对应的预测物品特征进行池化处理,得到目标节点对应的综合嵌入特征。
可以理解,目标节点对应的预测物品特征包括与目标节点对应的物品标识序列的标识数量匹配的子特征,通过池化处理将预测物品特征包含的各个子特征融合为一个特征,将融合得到的特征作为目标节点对应的综合嵌入特征。例如,目标节点对应的物品标识序列用A-0-0-0-0表示,将目标节点对应的物品标识序列输入目标物品预测模型,得到目标节点对应的预测物品特征,目标节点对应的预测物品特征用(X1,X2,X3,X4,X5)表示,X1、X2、X3、X4、X5分别为向量,计算X1、X2、X3、X4、X5的平均值得到Y,将Y作为目标节点对应的综合嵌入特征。
可以理解,通过目标物品预测模型提取得到的综合嵌入表征能方便地应用于下游的具体任务,例如,推荐任务、搜索任务、分类任务等。针对推荐任务,可以实现使用用户已交互的物品推荐相似物品的召回任务(即item-to-item,简称I2I)。例如,基于用户已交互物品对应的综合嵌入特征分别和其他物品的综合嵌入特征之间的特征相似度,从其他物品中确定用户已交互物品对应的相似物品,将相似物品推荐给用户。针对搜索任务,可以实现将用户输入的物品信息(物品的图片、名称等)作为搜索词搜索相似物品的任务。例如,基于搜索词对应的物品的综合嵌入特征分别和其他物品的综合嵌入特征之间的特征相似度,从其他物品中确定搜索词对应的相似物品,将相似物品推荐给用户。针对分类任务,可以实现物品分类。例如,基于物品对应的综合嵌入特征,将大量物品进行聚类,得到多个聚类簇,同一聚类簇中的物品为相似物品。
上述实施例中,若训练物品标识序列是基于从物品关系图中确定的训练节点,在物品关系图中进行轨迹采样得到的,基于训练物品标识序列对初始物品预测模型训练得到目标物品预测模型,训练得到的目标物品预测模型可以用于提取物品节点对应的综合嵌入特征,物品节点对应的综合嵌入特征能方便地应用于下游的具体任务。
在一个实施例中,物品数据处理方法还包括:
将物品关系图中与目标对象存在交互信息的物品节点作为参考节点;基于参考节点对应的综合嵌入特征分别和物品关系图中各个其他物品节点对应的综合嵌入特征之间的特征相似度,从各个其他物品节点中确定与参考节点匹配的匹配节点;将匹配节点对应的物品作为目标对象对应的推荐物品。
其中,目标对象是指待接收推荐数据的用户。与目标对象存在交互信息的物品节点是指目标对象与物品节点代表的物品互动、交互过。例如,若物品节点代表视频,则与目标对象存在交互信息的物品节点可以是被目标对象播放过的视频,与目标对象存在交互信息的物品节点可以是被目标对象收藏过的视频。
具体地,物品节点通过目标物品预测模型提取到的综合嵌入特征可以用于物品推荐。若想要向目标对象进行物品推荐,则需要从物品关系图中查找目标对象可能感兴趣的物品节点,向目标对象推送可能感兴趣的物品节点对应的物品,以保障物品推荐的有效性,避免向目标对象推荐不感兴趣的数据而导致多次推荐浪费计算机资源。
计算机设备可以将物品关系图中与目标对象存在交互信息的物品节点作为参考节点,参考节点隐含目标对象的个性化信息,从物品关系图中查找与参考节点在综合嵌入特征上相似的物品节点作为参考节点的匹配节点。参考节点和匹配节点相似,目标对象和参考节点交互过,那么目标对象与匹配节点的交互概率通常也会比较高,匹配节点可以认为是目标对象可能感兴趣的物品节点,最终将匹配节点对应的物品作为目标对象对应的推荐物品,向目标对象进行物品推荐。在查找匹配节点时,计算参考节点对应的综合嵌入特征分别和物品关系图中各个其他物品节点对应的综合嵌入特征之间的特征相似度,基于特征相似度从各个其他物品节点中确定与目标节点匹配的匹配节点,例如,将特征相似度大于一定阈值的其他物品节点作为与参考节点匹配的匹配节点;按照特征相似度从小到大将各个其他物品节点进行排序,从排序结果中获取排序靠前的若干个物品节点作为与参考节点匹配的匹配节点。
上述实施例中,通过目标模型提取到的节点的综合嵌入特征可以用于向目标对象进行物品推荐,能够保障物品推荐的有效性、准确性。
在一个具体的实施例中,本申请方法可以应用于物品推荐场景下,基于历史物品浏览记录训练用于预测下一物品的模型,基于完成训练的模型进行物品推荐。
本申请方法可以由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。参考图11,本申请方法包括以下内容:
1、基于历史物品浏览记录构建训练数据。
获取多个用户各自的历史物品浏览记录。从一个用户的历史物品浏览记录中获取k个历史浏览物品的物品标识和浏览时间,将k个历史浏览物品的物品标识按照浏览时间进行排序,得到训练物品标识序列。若从历史物品浏览记录中获取到的物品标识的个数不足k个,在生成训练物品标识序列时将后续不满的位置用掩码进行填充。基于一个用户的历史物品浏览记录可以得到至少一个训练物品标识序列。基于多个用户各自的历史物品浏览记录可以得到多个训练物品标识序列,训练物品标识序列用于作为模型的训练数据。
2、提取语义嵌入特征。
通过预训练模型提取候选物品集中各个物品对应的初始嵌入特征。将物品对应的初始嵌入特征输入目标语义塔,得到物品对应的语义嵌入特征。将候选物品集中各个物品对应的语义嵌入特征组成预设语义嵌入特征集,将预设语义嵌入特征集加入到初始物品预测模型中。
3、基于训练数据训练模型。
基于训练物品标识序列对初始物品预测模型进行无监督训练,得到目标物品预测模型。在模型训练时,模型用于基于输入序列中前i个物品标识的相关特征预测候选物品集中各个物品属于输入序列中第i个位置的概率,模型的训练目标是最大化训练物品标识序列中第i个物品标识对应的概率。0<i≤k。
将训练物品标识序列输入初始物品预测模型,初始物品预测模型从预设语义嵌入特征集中查询输入序列中各个物品标识对应的语义嵌入特征,生成各个物品标识对应的位置嵌入特征,融合同一物品标识对应的语义嵌入特征和位置嵌入特征,得到各个物品标识对应的融合嵌入特征,对前i个物品标识所对应的融合嵌入特征进行特征解码,得到第i个位置对应的预测物品特征,基于第i个位置对应的预测物品特征得到第i个位置对应的物品分布特征,物品分布特征包括候选物品集中各个物品属于第i个位置的概率,初始物品预测模型输出第i个位置对应的物品分布特征。从物品分布特征中获取训练物品标识序列中第i个物品标识对应的概率,基于训练物品标识序列中第i个物品标识对应的概率生成模型损失,基于模型损失调整初始物品预测模型的模型参数,直至满足收敛条件,得到目标物品预测模型。
4、基于训练完成的模型预测下一物品。
获取目标用户的历史物品浏览记录,从目标用户的历史物品浏览记录中获取k个历史浏览物品的物品标识和浏览时间,将k个历史浏览物品的物品标识按照浏览时间进行排序,得到目标物品标识序列。将目标物品标识序列输入目标物品预测模型,得到第k+1个位置对应的预测物品特征,基于第k+1个位置对应的预测物品特征得到第k+1个位置对应的物品分布特征,物品分布特征包括候选物品集中各个物品属于第k+1个位置的概率,目标物品预测模型输出第k+1个位置对应的物品分布特征。从物品分布特征中获取概率最大值对应的物品作为第一个推荐物品。
将第一个推荐物品对应的物品标识添加到目标物品标识序列中,得到更新物品标识序列。更新物品标识序列包括k+1个物品标识。将更新物品标识序列输入目标物品预测模型,得到第k+2个位置对应的物品分布特征,目标物品预测模型输出第k+2个位置对应的物品分布特征。从物品分布特征中获取概率最大值对应的物品作为第二个推荐物品。
重复上述过程,直至满足结束条件,得到目标用户对应的多个推荐物品。
5、推荐物品。
将目标用户对应的多个推荐物品推荐给目标用户。
通过本申请方法训练得到的模型是一种自回归物品序列模型,可以极大提升在物品推荐场景中的推荐效率和推荐有效性。并且,本申请方法可以有效应对在推荐领域中由于新、旧物品的新增与失效而引起的物品标识变化问题,本申请方法无需因为新、旧物品的新增与失效而不断对模型进行从头开始的训练。因为物品标识对应的语义嵌入特征是预先提取的,无需模型自己提取,如果有的物品标识失效了,则无需对模型进行再次训练,可以直接使用模型进行下一物品的预测,如果增加新的物品标识,只需更新在模型中的预设语义嵌入特征集,将新增的物品标识的语义嵌入特征放入预设语义嵌入特征集中,并且对模型进行微调即可。
在一个具体的实施例中,本申请方法可以应用于物品搜索场景下,基于物品关系图训练用于提取物品的综合嵌入特征的模型,基于物品的综合嵌入特征进行物品搜索。
本申请方法可以由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。参考图12,本申请方法包括以下内容:
1、构建物品关系图。
根据物品搜索场景的需要构建相应的物品关系图。图中的节点都是物品节点,图中的边表示物品和物品之间具有相关性,图中的边可以根据场景需要进行设置,例如,图中的边可以是表示在物品属性上相关,也可以是表示在用户操作上相关。
2、构建训练数据
从物品关系图中随机选取物品节点作为训练节点,在物品关系图中从训练节点出发通过随机游走算法进行随机游走,得到训练节点对应的随机游走路径,将随机游走路径包含的各个物品节点所对应的物品标识按照随机游走路径中的顺序排序,得到训练物品标识序列。基于物品关系图可以得到多个训练物品标识序列。训练物品标识序列用于作为模型的训练数据。训练物品标识序列包括k个物品标识。
3、提取语义嵌入特征。
通过预训练模型提取候选物品集中各个物品对应的初始嵌入特征。将物品对应的初始嵌入特征输入目标语义塔,得到物品对应的语义嵌入特征。将候选物品集中各个物品对应的语义嵌入特征组成预设语义嵌入特征集,将预设语义嵌入特征集加入到初始物品预测模型中。候选物品集包括物品关系图中涉及的各个物品。
4、训练模型
基于训练物品标识序列对初始物品预测模型进行无监督训练,得到目标物品预测模型。在模型训练时,模型用于基于输入序列中前i个物品标识的相关特征预测候选物品集中各个物品属于输入序列中第i个位置的概率,模型的训练目标是最大化训练物品标识序列中第i个物品标识对应的概率。0<i≤k。
将训练物品标识序列输入初始物品预测模型,初始物品预测模型从预设语义嵌入特征集中查询输入序列中各个物品标识对应的语义嵌入特征,生成各个物品标识对应的位置嵌入特征,融合同一物品标识对应的语义嵌入特征和位置嵌入特征,得到各个物品标识对应的融合嵌入特征,对前i个物品标识所对应的融合嵌入特征进行特征解码,得到第i个位置对应的预测物品特征,基于第i个位置对应的预测物品特征得到第i个位置对应的物品分布特征,物品分布特征包括候选物品集中各个物品属于第i个位置的概率,初始物品预测模型输出第i个位置对应的物品分布特征。从物品分布特征中获取训练物品标识序列中第i个物品标识对应的概率,基于训练物品标识序列中第i个物品标识对应的概率生成模型损失,基于模型损失调整初始物品预测模型的模型参数,直至满足收敛条件,得到目标物品预测模型。
5、提取综合嵌入特征
将物品关系图中的各个物品节点分别作为目标节点,基于目标节点对应的物品标识和k-1个预设标识生成目标节点对应的物品标识序列。将目标节点对应的物品标识序列输入目标物品预测模型,从预设语义嵌入特征集中查询输入序列中各个标识对应的语义嵌入特征,生成各个标识对应的位置嵌入特征,融合同一物品标识对应的语义嵌入特征和位置嵌入特征,得到各个标识对应的融合嵌入特征,对各个标识对应的融合嵌入特征进行特征解码,得到预测物品特征,目标物品预测模型输出预测物品特征。预测物品特征包括k个向量,取k个向量的平均值得到目标节点对应的综合嵌入特征。
6、搜索物品
基于物品关系图中各个物品节点的综合嵌入特征查找相似的物品节点来进行物品搜索。例如,在电商平台中,物品节点代表电商商品,将用户作为搜索词的电商商品作为参考商品,从物品关系图中找到综合嵌入特征与参考商品的综合嵌入特征的特征距离最近的物品节点作为相似节点,将相似节点代表的电商商品作为搜索结果返回给目标用户。
通过本申请方法训练得到的模型是一种自回归物品序列模型,可以极大提升在物品搜索场景中的搜索效率和搜索有效性。并且,本申请方法可以有效应对在搜索领域中由于新、旧物品的新增与失效而引起的物品标识变化问题,本申请方法无需因为新、旧物品的新增与失效而不断对模型进行从头开始的训练。因为物品标识对应的语义嵌入特征是预先提取的,无需模型自己提取,如果有的物品标识失效了,则无需对模型进行再次训练,可以直接使用模型进行综合嵌入特征的提取,如果增加新的物品标识,也无需对模型进行再次训练,只需更新在模型中的预设语义嵌入特征集,将新增的物品标识的语义嵌入特征放入预设语义嵌入特征集中即可。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的物品数据处理方法的物品数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个物品数据处理装置实施例中的具体限定可以参见上文中对于物品数据处理方法的限定,在此不再赘述。
在一个实施例中,如图13所示,提供了一种物品数据处理装置,包括:训练数据获取模块1302、模型数据处理模块1304、模型损失确定模块1306和模型参数调整模块1308,其中:
训练数据获取模块1302,用于获取训练物品标识序列,将训练物品标识序列输入初始物品预测模型;训练物品标识序列包括依次关联的物品标识。
模型数据处理模块1304,用于通过初始物品预测模型,在预设语义嵌入特征集中,查询训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到目标位置对应的预测物品特征,基于目标位置对应的预测物品特征,得到在目标位置上的物品标识所对应的预测概率;目标位置是从训练物品标识序列对应的各个物品标识位置中确定的,预测概率表征在目标位置上的物品标识所属的物品和目标位置对应的前向物品序列的预测关联度,前向物品序列包括处于目标位置之前的各个物品标识对应的物品。
模型损失确定模块1306,用于基于训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失。
模型参数调整模块1308,用于基于模型损失调整初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
在一个实施例中,物品数据处理装置还用于:
获取候选物品集中各个物品分别对应的初始嵌入特征,将各个物品分别对应的初始嵌入特征输入目标语义塔;
针对各个初始嵌入特征中任意的初始嵌入特征,通过目标语义塔,对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征,对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征;
基于各个物品分别对应的语义嵌入特征,得到预设语义嵌入特征集。
在一个实施例中,物品数据处理装置还用于:
获取候选物品集中各个物品分别对应的物品属性集;
针对各个物品属性集中任意的物品属性集,对物品属性集中的各个物品属性进行特征提取,得到各个物品属性分别对应的物品属性特征,拼接各个物品属性分别对应的物品属性特征,得到物品属性集所属物品对应的初始嵌入特征。
在一个实施例中,物品数据处理装置还用于:
获取训练物品对;
将训练物品对中的第一物品输入待训练的第一语义塔,得到第一物品对应的语义嵌入特征,将训练物品对中的第二物品输入待训练的第二语义塔,得到第二物品对应的语义嵌入特征;
基于第一物品对应的语义嵌入特征和第二物品对应的语义嵌入特征之间的特征相似度,得到训练物品对所对应的物品关系预测标签;
基于训练物品对所对应的物品关系训练标签和物品关系预测标签之间的差异,调整待训练的第一语义塔和第二语义塔的模型参数,直至满足第二收敛条件,得到完成训练的第一语义塔和第二语义塔;目标语义塔是从完成训练的第一语义塔和第二语义塔中确定的。
在一个实施例中,模型数据处理模块1304还用于:
通过初始物品预测模型,获取处于目标位置之前的各个物品标识位置分别对应的位置嵌入特征,将物品标识对应的语义嵌入特征和物品标识所属物品标识位置对应的位置嵌入特征进行融合,分别得到训练物品标识序列中处于目标位置之前的各个物品标识对应的融合嵌入特征。
模型数据处理模块1304还用于:
对处于目标位置之前的各个物品标识对应的融合嵌入特征进行特征解码,得到目标位置对应的预测物品特征。
在一个实施例中,模型数据处理模块1304还用于:
将目标位置对应的预测物品特征进行线性变换,得到目标位置对应的初始物品分布特征;初始物品分布特征包括候选物品集中各个物品分别对应的特征值;
对初始物品分布特征进行特征值压缩,得到目标位置对应的目标物品分布特征;目标物品分布特征包括候选物品集中各个物品分别对应的预测概率;候选物品集包括训练物品标识序列中各个物品标识分别对应的物品;
从目标物品分布特征中确定在目标位置上的物品标识所对应的预测概率。
在一个实施例中,初始物品预测模型包括嵌入层、解码层和输出层,嵌入层包括第一子嵌入层和第二子嵌入层,第一子嵌入层用于查询语义嵌入特征,第二子嵌入层用于获取位置嵌入特征,解码层用于进行特征解码,输出层用于输出预测概率。模型参数调整模块1308还用于:
基于模型损失调整初始物品预测模型中第二子嵌入层、解码层和输出层的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
在一个实施例中,输出层用于基于解码层的输出数据得到候选物品集中各个物品分别对应的预测概率。物品数据处理装置还用于:
在得到目标物品预测模型后,当候选物品集加入了补充物品时,在预设语义嵌入特征集中加入补充物品对应的语义嵌入特征,将参考物品标识序列输入目标物品预测模型,得到扩充后的候选物品集中各个物品针对各个目标位置的预测概率;
从扩充后的候选物品集中各个物品针对各个目标位置的预测概率中,确定参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率;
基于参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到参考损失;
基于参考损失调整目标物品预测模型中输出层的模型参数,直至满足第三收敛条件,得到与扩充后的候选物品集匹配的目标物品预测模型。
在一个实施例中,训练物品标识序列是将训练对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的。物品数据处理装置还用于:
获取目标对象对应的目标物品标识序列,将目标物品标识序列输入目标物品预测模型;目标物品标识序列是目标对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的;
通过目标物品预测模型,在预设语义嵌入特征集中查询目标物品标识序列中各个物品标识各自对应的语义嵌入特征,对目标物品标识序列中各个物品标识对应的语义嵌入特征进行特征解码,得到目标预测物品特征,基于目标预测物品特征,得到候选物品集中各个物品分别对应的目标概率;
基于候选物品集中各个物品分别对应的目标概率,确定目标对象对应的推荐物品集。
在一个实施例中,物品数据处理装置还用于:
将候选物品集中最大目标概率对应的物品作为目标物品标识序列对应的推荐物品;
将目标物品标识序列作为当前物品标识序列;
在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列,将更新物品标识序列输入目标物品预测模型,得到更新物品标识序列对应的推荐物品;
将更新物品标识序列作为当前物品标识序列,返回在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列的步骤执行,直至满足结束条件,得到多个推荐物品;
将各个推荐物品组成目标对象对应的推荐物品集。
在一个实施例中,训练物品标识序列是基于从物品关系图中确定的训练节点,在物品关系图中进行轨迹采样得到的。物品数据处理装置还用于:
从物品关系图包括的各个物品节点中确定目标节点,确定目标节点对应的物品标识序列;目标节点对应的物品标识序列包括目标节点对应的物品标识和预设标识,目标节点对应的物品标识序列与训练物品标识序列具有相同数量的标识;
将目标节点对应的物品标识序列输入目标物品预测模型,得到目标节点对应的预测物品特征;
对目标节点对应的预测物品特征进行池化处理,得到目标节点对应的综合嵌入特征。
在一个实施例中,物品数据处理装置还用于:
将物品关系图中与目标对象存在交互信息的物品节点作为参考节点;
基于参考节点对应的综合嵌入特征分别和物品关系图中各个其他物品节点对应的综合嵌入特征之间的特征相似度,从各个其他物品节点中确定与参考节点匹配的匹配节点;
将匹配节点对应的物品作为目标对象对应的推荐物品。
上述物品数据处理装置,在模型训练时,模型基于训练物品标识序列中目标位置之前的各个物品标识的相关特征生成目标位置上的物品标识对应的预测概率,也就是,模型基于训练物品标识序列中历史物品标识的相关特征生成下一个物品的预测概率,进而基于训练物品标识序列中各个物品标识分别对应的预测概率生成模型损失,基于模型损失调整模型参数,使得模型能够提高目标位置上的物品标识对应的预测概率,从而提高物品预测能力,从而能够基于依次关联的历史物品准确预测下一物品。本申请方法无需对训练物品标识序列标注训练标签,基于训练物品标识序列对初始物品预测模型进行无监督训练,即可得到准确的目标物品预测模型,能够有效提高模型训练效率。
上述物品数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储物品标识序列、物品预测模型等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物品数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种物品数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图14、15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (15)
1.一种物品数据处理方法,其特征在于,所述方法包括:
获取训练物品标识序列,将所述训练物品标识序列输入初始物品预测模型;所述训练物品标识序列包括依次关联的物品标识;
通过所述初始物品预测模型,在预设语义嵌入特征集中,查询所述训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于所述目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征,基于所述目标位置对应的预测物品特征,得到在所述目标位置上的物品标识所对应的预测概率;所述目标位置是从所述训练物品标识序列对应的各个物品标识位置中确定的,所述预测概率表征在所述目标位置上的物品标识所属的物品和所述目标位置对应的前向物品序列的预测关联度,所述前向物品序列包括处于所述目标位置之前的各个物品标识对应的物品;
基于所述训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;
基于所述模型损失调整所述初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取候选物品集中各个物品分别对应的初始嵌入特征,将所述各个物品分别对应的初始嵌入特征输入目标语义塔;
针对各个初始嵌入特征中任意的初始嵌入特征,通过目标语义塔,对物品对应的初始嵌入特征进行特征编码,得到物品对应的中间嵌入特征,对物品对应的中间嵌入特征进行特征压缩,得到物品对应的语义嵌入特征;
基于所述各个物品分别对应的语义嵌入特征,得到所述预设语义嵌入特征集。
3.根据权利要求2所述的方法,其特征在于,所述获取候选物品集中各个物品分别对应的初始嵌入特征,包括:
获取候选物品集中各个物品分别对应的物品属性集;
针对各个物品属性集中任意的物品属性集,对物品属性集中的各个物品属性进行特征提取,得到各个物品属性分别对应的物品属性特征,拼接各个物品属性分别对应的物品属性特征,得到物品属性集所属物品对应的初始嵌入特征。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取训练物品对;
将所述训练物品对中的第一物品输入待训练的第一语义塔,得到所述第一物品对应的语义嵌入特征,将所述训练物品对中的第二物品输入待训练的第二语义塔,得到所述第二物品对应的语义嵌入特征;
基于所述第一物品对应的语义嵌入特征和所述第二物品对应的语义嵌入特征之间的特征相似度,得到所述训练物品对所对应的物品关系预测标签;
基于所述训练物品对所对应的物品关系训练标签和物品关系预测标签之间的差异,调整所述待训练的第一语义塔和第二语义塔的模型参数,直至满足第二收敛条件,得到完成训练的第一语义塔和第二语义塔;所述目标语义塔是从所述完成训练的第一语义塔和第二语义塔中确定的。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述初始物品预测模型,获取处于所述目标位置之前的各个物品标识位置分别对应的位置嵌入特征,将物品标识对应的语义嵌入特征和物品标识所属物品标识位置对应的位置嵌入特征进行融合,分别得到所述训练物品标识序列中处于所述目标位置之前的各个物品标识对应的融合嵌入特征;
所述对处于所述目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征,包括:
对处于所述目标位置之前的各个物品标识对应的融合嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征。
6.根据权利要求1所述的方法,其特征在于,所述基于所述目标位置对应的预测物品特征,得到在所述目标位置上的物品标识所对应的预测概率,包括:
将所述目标位置对应的预测物品特征进行线性变换,得到所述目标位置对应的初始物品分布特征;所述初始物品分布特征包括候选物品集中各个物品分别对应的特征值;
对所述初始物品分布特征进行特征值压缩,得到所述目标位置对应的目标物品分布特征;所述目标物品分布特征包括所述候选物品集中各个物品分别对应的预测概率;所述候选物品集包括所述训练物品标识序列中各个物品标识分别对应的物品;
从所述目标物品分布特征中确定在所述目标位置上的物品标识所对应的预测概率。
7.根据权利要求1所述的方法,其特征在于,所述初始物品预测模型包括嵌入层、解码层和输出层,所述嵌入层包括第一子嵌入层和第二子嵌入层,所述第一子嵌入层用于查询语义嵌入特征,所述第二子嵌入层用于获取位置嵌入特征,所述解码层用于进行特征解码,所述输出层用于输出预测概率;
所述基于所述模型损失调整所述初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型,包括:
基于所述模型损失调整所述初始物品预测模型中所述第二子嵌入层、所述解码层和所述输出层的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
8.根据权利要求7所述的方法,其特征在于,所述输出层用于基于所述解码层的输出数据得到候选物品集中各个物品分别对应的预测概率,所述方法还包括:
在得到所述目标物品预测模型后,当所述候选物品集加入了补充物品时,在所述预设语义嵌入特征集中加入所述补充物品对应的语义嵌入特征,将参考物品标识序列输入所述目标物品预测模型,得到扩充后的候选物品集中各个物品针对各个目标位置的预测概率;
从所述扩充后的候选物品集中各个物品针对各个目标位置的预测概率中,确定所述参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率;
基于所述参考物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到参考损失;
基于所述参考损失调整所述目标物品预测模型中所述输出层的模型参数,直至满足第三收敛条件,得到与所述扩充后的候选物品集匹配的目标物品预测模型。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述训练物品标识序列是将训练对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的;所述方法还包括:
获取目标对象对应的目标物品标识序列,将所述目标物品标识序列输入所述目标物品预测模型;所述目标物品标识序列是所述目标对象对应的多个历史交互物品的物品标识按照交互时间进行排序得到的;
通过所述目标物品预测模型,在所述预设语义嵌入特征集中查询所述目标物品标识序列中各个物品标识各自对应的语义嵌入特征,对所述目标物品标识序列中各个物品标识对应的语义嵌入特征进行特征解码,得到目标预测物品特征,基于所述目标预测物品特征,得到候选物品集中各个物品分别对应的目标概率;
基于所述候选物品集中各个物品分别对应的目标概率,确定所述目标对象对应的推荐物品集。
10.根据权利要求9所述的方法,其特征在于,所述基于所述候选物品集中各个物品分别对应的目标概率,确定所述目标对象对应的推荐物品集,包括:
将所述候选物品集中最大目标概率对应的物品作为所述目标物品标识序列对应的推荐物品;
将所述目标物品标识序列作为当前物品标识序列;
在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列,将更新物品标识序列输入所述目标物品预测模型,得到更新物品标识序列对应的推荐物品;
将更新物品标识序列作为当前物品标识序列,返回所述在当前物品标识序列的尾部添加对应的推荐物品的物品标识,得到更新物品标识序列的步骤执行,直至满足结束条件,得到多个推荐物品;
将各个推荐物品组成所述目标对象对应的推荐物品集。
11.根据权利要求1至8中任一项所述的方法,其特征在于,所述训练物品标识序列是基于从物品关系图中确定的训练节点,在所述物品关系图中进行轨迹采样得到的;所述方法还包括:
从所述物品关系图包括的各个物品节点中确定目标节点,确定所述目标节点对应的物品标识序列;所述目标节点对应的物品标识序列包括所述目标节点对应的物品标识和预设标识,所述目标节点对应的物品标识序列与所述训练物品标识序列具有相同数量的标识;
将所述目标节点对应的物品标识序列输入所述目标物品预测模型,得到所述目标节点对应的预测物品特征;
对所述目标节点对应的预测物品特征进行池化处理,得到所述目标节点对应的综合嵌入特征。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
将所述物品关系图中与目标对象存在交互信息的物品节点作为参考节点;
基于所述参考节点对应的综合嵌入特征分别和所述物品关系图中各个其他物品节点对应的综合嵌入特征之间的特征相似度,从所述各个其他物品节点中确定与所述参考节点匹配的匹配节点;
将所述匹配节点对应的物品作为所述目标对象对应的推荐物品。
13.一种物品数据处理装置,其特征在于,所述装置包括:
训练数据获取模块,用于获取训练物品标识序列,将所述训练物品标识序列输入初始物品预测模型;所述训练物品标识序列包括依次关联的物品标识;
模型数据处理模块,用于通过所述初始物品预测模型,在预设语义嵌入特征集中,查询所述训练物品标识序列中处于目标位置之前的各个物品标识对应的语义嵌入特征,对处于所述目标位置之前的各个物品标识对应的语义嵌入特征进行特征解码,得到所述目标位置对应的预测物品特征,基于所述目标位置对应的预测物品特征,得到在所述目标位置上的物品标识所对应的预测概率;所述目标位置是从所述训练物品标识序列对应的各个物品标识位置中确定的,所述预测概率表征在所述目标位置上的物品标识所属的物品和所述目标位置对应的前向物品序列的预测关联度,所述前向物品序列包括处于所述目标位置之前的各个物品标识对应的物品;
模型损失确定模块,用于基于所述训练物品标识序列中在各个目标位置上的物品标识分别对应的预测概率,得到模型损失;
模型参数调整模块,用于基于所述模型损失调整所述初始物品预测模型的模型参数,直至满足第一收敛条件,得到目标物品预测模型。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310969888.9A CN116703531B (zh) | 2023-08-03 | 2023-08-03 | 物品数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310969888.9A CN116703531B (zh) | 2023-08-03 | 2023-08-03 | 物品数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116703531A true CN116703531A (zh) | 2023-09-05 |
CN116703531B CN116703531B (zh) | 2023-10-13 |
Family
ID=87826116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310969888.9A Active CN116703531B (zh) | 2023-08-03 | 2023-08-03 | 物品数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116703531B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118133046A (zh) * | 2024-04-30 | 2024-06-04 | 江苏中天互联科技有限公司 | 产业数据匹配方法及相关设备 |
CN118172146A (zh) * | 2024-05-14 | 2024-06-11 | 腾讯科技(深圳)有限公司 | 物品数据处理方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040207700A1 (en) * | 2003-04-07 | 2004-10-21 | Silverbrook Research Pty Ltd. | Stabilized dithiolene inkjet inks |
US20190236525A1 (en) * | 2018-01-29 | 2019-08-01 | Maplebear, Inc. (Dba Instacart) | Machine-learned model for optmizing selection sequence for items in a warehouse |
CN113240177A (zh) * | 2021-05-13 | 2021-08-10 | 北京百度网讯科技有限公司 | 训练预测模型的方法、预测方法、装置、电子设备及介质 |
CN113516524A (zh) * | 2020-04-10 | 2021-10-19 | 北京沃东天骏信息技术有限公司 | 用于推送信息的方法和装置 |
CN114741540A (zh) * | 2022-03-31 | 2022-07-12 | 北京达佳互联信息技术有限公司 | 一种多媒体序列推荐方法、操作预测模型训练方法、装置、设备及存储介质 |
CA3177585A1 (en) * | 2021-04-16 | 2022-10-16 | Strong Force Vcn Portfolio 2019, Llc | Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks |
CN116010684A (zh) * | 2021-10-20 | 2023-04-25 | 华为技术有限公司 | 物品推荐方法、装置及存储介质 |
-
2023
- 2023-08-03 CN CN202310969888.9A patent/CN116703531B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040207700A1 (en) * | 2003-04-07 | 2004-10-21 | Silverbrook Research Pty Ltd. | Stabilized dithiolene inkjet inks |
US20190236525A1 (en) * | 2018-01-29 | 2019-08-01 | Maplebear, Inc. (Dba Instacart) | Machine-learned model for optmizing selection sequence for items in a warehouse |
CN113516524A (zh) * | 2020-04-10 | 2021-10-19 | 北京沃东天骏信息技术有限公司 | 用于推送信息的方法和装置 |
CA3177585A1 (en) * | 2021-04-16 | 2022-10-16 | Strong Force Vcn Portfolio 2019, Llc | Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks |
CN113240177A (zh) * | 2021-05-13 | 2021-08-10 | 北京百度网讯科技有限公司 | 训练预测模型的方法、预测方法、装置、电子设备及介质 |
CN116010684A (zh) * | 2021-10-20 | 2023-04-25 | 华为技术有限公司 | 物品推荐方法、装置及存储介质 |
CN114741540A (zh) * | 2022-03-31 | 2022-07-12 | 北京达佳互联信息技术有限公司 | 一种多媒体序列推荐方法、操作预测模型训练方法、装置、设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118133046A (zh) * | 2024-04-30 | 2024-06-04 | 江苏中天互联科技有限公司 | 产业数据匹配方法及相关设备 |
CN118172146A (zh) * | 2024-05-14 | 2024-06-11 | 腾讯科技(深圳)有限公司 | 物品数据处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116703531B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Joint image-text hashing for fast large-scale cross-media retrieval using self-supervised deep learning | |
CN105912611B (zh) | 一种基于cnn的快速图像检索方法 | |
CN111581510A (zh) | 分享内容处理方法、装置、计算机设备和存储介质 | |
CN104462199B (zh) | 一种网络环境下的近似重复图像搜索方法 | |
CN113177141B (zh) | 基于语义嵌入软相似性的多标签视频哈希检索方法及设备 | |
CN113127632A (zh) | 基于异质图的文本摘要方法及装置、存储介质和终端 | |
Anuranji et al. | A supervised deep convolutional based bidirectional long short term memory video hashing for large scale video retrieval applications | |
CN116703531B (zh) | 物品数据处理方法、装置、计算机设备和存储介质 | |
CN112131261B (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
Lian et al. | Product quantized collaborative filtering | |
Kan et al. | Zero-shot learning to index on semantic trees for scalable image retrieval | |
CN112035689A (zh) | 一种基于视觉转语义网络的零样本图像哈希检索方法 | |
Ma et al. | Graph convolutional dictionary selection with l₂, ₚ norm for video summarization | |
Meng et al. | Concept-concept association information integration and multi-model collaboration for multimedia semantic concept detection | |
CN114637846A (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
Mingyong et al. | CLIP-based fusion-modal reconstructing hashing for large-scale unsupervised cross-modal retrieval | |
CN113095901A (zh) | 推荐方法和相关模型的训练方法、电子设备、存储装置 | |
Zhang et al. | Learning a probabilistic topology discovering model for scene categorization | |
Su et al. | Semantically guided projection for zero-shot 3D model classification and retrieval | |
CN116975651A (zh) | 相似度确定模型处理方法、目标对象搜索方法和装置 | |
CN114168804B (zh) | 一种基于异质子图神经网络的相似信息检索方法和*** | |
CN116842934A (zh) | 一种基于持续学习的多文档融合深度学习标题生成方法 | |
CN116975359A (zh) | 资源处理方法、资源推荐方法、装置和计算机设备 | |
CN117688390A (zh) | 内容匹配方法、装置、计算机设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |