CN116340552B - 一种标签排序方法、装置、设备及存储介质 - Google Patents
一种标签排序方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116340552B CN116340552B CN202310016743.7A CN202310016743A CN116340552B CN 116340552 B CN116340552 B CN 116340552B CN 202310016743 A CN202310016743 A CN 202310016743A CN 116340552 B CN116340552 B CN 116340552B
- Authority
- CN
- China
- Prior art keywords
- sample
- model
- label
- tag
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000000605 extraction Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 35
- 230000000873 masking effect Effects 0.000 claims description 28
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种标签排序方法、装置、设备及存储介质,涉及互联网技术领域,可以实现对多媒体资源的多个标签进行准确排序。该方法包括:获取目标资源,以及目标资源的多个标签;将目标资源和多个标签输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度;目标模型是根据样本数据训练初始模型得到的;样本数据包括:样本资源,以及样本资源的多个样本标签;根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及一种标签排序方法、装置、设备及存储介质。
背景技术
随着网络技术飞速发展,各种多媒体资源已经成为大数据的主体。标签可以精确提炼多媒体资源的内容,利用标签可以实现为订阅标签的用户精准推送多媒体资源。
但是,多媒体资源通常对应多个标签,例如,打篮球的视频,对应的标签可以包括:运动、男生、操场、篮球等。由于不同的标签与多媒体资源的关联程度不同,当关联程度越高时,多媒体资源更容易引起订阅该标签的用户的兴趣。因此,对多媒体资源的多个标签进行排序,是多媒体资源的推广过程中可以改进的地方。
发明内容
本公开提供一种标签排序方法、装置、设备及存储介质,可以实现对多媒体资源的多个标签进行准确排序。
本公开实施例的技术方案如下:
根据本公开实施例的第一方面,提供一种标签排序方法,包括:获取目标资源,以及目标资源的多个标签;将目标资源和多个标签输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度;目标模型是根据样本数据训练初始模型得到的;样本数据包括:样本资源,以及与样本资源对应的多个样本标签;根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。
可选的,初始模型包括第一特征提取模型、第二特征提取模型;标签排序方法,还包括:获取样本数据;将样本资源输入第一特征提取模型,得到样本资源的样本资源特征;将每个样本标签输入第二特征提取模型,得到每个样本标签的样本标签特征;当第二特征提取模型为多层神经网络模型时,样本标签特征包括多层神经网络模型中的多个隐含层数据。
可选的,每个样本标签包括:多个字符;第二特征提取模型包括:BERT模型;标签排序方法,还包括:对输入的每个样本标签的至少一个字符进行遮蔽,得到每个样本标签对应的遮蔽训练数据;遮蔽训练数据包括:每个样本标签中,与至少一个字符一一对应的至少一个遮蔽位置;将遮蔽训练数据输入BERT模型,得到遮蔽位置的字符的预测值。
可选的,标签排序方法,还包括:获取第一损失和第二损失;第一损失用于表征样本资源特征与样本标签特征的差异;第二对比损失用于表征字符的预测值与字符的真实值的差异;根据模型整体损失训练初始模型,直至满足收敛条件,得到目标模型;模型整体损失是根据损失集合得到的;损失集合包括:第一损失和第二损失。
可选的,初始模型还包括:判别模型;损失集合,还包括:判别模型的对抗损失;标签排序方法,还包括:将样本数据输入判别模型,得到样本数据的数据类型的预测值;数据类型用于表征样本数据为样本资源或者样本标签;对抗损失用于表征数据类型的预测值与数据类型的真实值的差异。
可选的,根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型的方法,包括:将训练数据输入初始模型,确定软目标标签,以及模型整体损失;训练数据包括样本数据;软目标标签包括:多个样本标签中,对应的样本标签特征与样本资源特征的相关度大于预设阈值的标签;当模型整体损失不满足收敛条件时,更新初始模型的模型参数,并将软目标标签和样本资源作为训练数据,输入更新后的初始模型中,直至更新后的初始模型对应的模型整体损失满足收敛条件。
可选的,标签信息包括:标签的维度信息和/或属性信息;维度信息用于表征标签的类型特征;属性信息用于表征标签的数据来源、出现位置、相互关系中的至少一种;根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列的方法,包括:根据目标相似度,对多个标签进行排序,得到初始序列;根据标签信息和预设优先级策略,更新初始序列,得到标签序列。
根据本公开实施例的第二方面,提供一种标签排序装置,包括:获取单元和第一处理单元;获取单元,被配置为执行获取目标资源,以及目标资源的多个标签;第一处理单元,被配置为执行将目标资源和多个标签输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度;目标模型是根据样本数据训练初始模型得到的;样本数据包括:样本资源,以及与样本资源对应的多个样本标签;第一处理单元,还被配置为执行根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。
可选的,初始模型包括第一特征提取模型、第二特征提取模型;该标签排序装置,还包括:第二处理单元;第二处理单元,被配置为执行获取样本数据;将样本资源输入第一特征提取模型,得到样本资源的样本资源特征;将每个样本标签输入第二特征提取模型,得到每个样本标签的样本标签特征;当第二特征提取模型为多层神经网络模型时,样本标签特征包括多层神经网络模型中的多个隐含层数据。
可选的,每个样本标签包括:多个字符;第二特征提取模型包括:BERT模型;第二处理单元,还被配置为执行对输入的每个样本标签的至少一个字符进行遮蔽,得到每个样本标签对应的遮蔽训练数据;遮蔽训练数据包括:每个样本标签中,与至少一个字符一一对应的至少一个遮蔽位置;将遮蔽训练数据输入BERT模型,得到遮蔽位置的字符的预测值。
可选的,第二处理单元,还被配置为执行获取第一损失和第二损失;第一损失用于表征样本资源特征与样本标签特征的差异;第二对比损失用于表征字符的预测值与字符的真实值的差异;根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型;模型整体损失是根据损失集合得到的;损失集合包括:第一损失和第二损失。
可选的,初始模型还包括:判别模型;损失集合,还包括:判别模型的对抗损失;第二处理单元,还被配置为执行将样本数据输入判别模型,得到样本数据的数据类型的预测值;数据类型用于表征样本数据为样本资源或者样本标签;对抗损失用于表征数据类型的预测值与数据类型的真实值的差异。
可选的,第二处理单元,具体被配置为执行将训练数据输入初始模型,确定软目标标签,以及模型整体损失;训练数据包括样本数据;软目标标签包括:多个样本标签中,对应的样本标签特征与样本资源特征的相关度大于预设阈值的标签;当模型整体损失不满足收敛条件时,更新初始模型的模型参数,并将软目标标签和样本资源作为训练数据,输入更新后的初始模型中,直至更新后的初始模型对应的模型整体损失满足收敛条件。
可选的,标签信息包括:标签的维度信息和/或属性信息;维度信息用于表征标签的类型特征;属性信息用于表征标签的数据来源、出现位置、相互关系中的至少一种;第一处理单元,具体被配置为执行根据目标相似度,对多个标签进行排序,得到初始序列;根据标签信息和预设优先级策略,更新初始序列,得到标签序列。
根据本公开实施例的第三方面,提供一种电子设备,可以包括:处理器和用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述第一方面中任一种可选的标签排序方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面中任一种可选的标签排序方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包含指令,当其在电子设备的处理器上运行时,使得电子设备执行上述第一方面中任一种可选的标签排序方法。
本公开提供的技术方案至少带来以下有益效果:
基于上述任一方面,本公开中,在获取到目标资源,以及目标资源的多个标签之后,可以将目标资源和多个标签,输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度。其中,目标模型是根据样本数据训练初始模型得到的。样本数据包括:样本资源,以及与样本资源的多个样本标签。然后,可以根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。由于本公开融合了考虑标签与资源的相似度,以及标签自身的标签信息,因此,可以实现对目标资源的多个标签的合理排序,进而使得目标资源的推广可以更精准地契合用户的兴趣标签,提高推广效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1为本公开实施例提供的一种标签排序***示意图;
图2示出了本公开实施例提供的一种标签排序方法的流程示意图一;
图3示出了本公开实施例提供的一种标签排序方法的流程示意图二;
图4示出了本公开实施例提供的一种训练初始模型的示意图;
图5示出了本公开实施例提供的一种标签排序方法的流程示意图三;
图6示出了本公开实施例提供的一种标签排序方法的流程示意图四;
图7示出了本公开实施例提供的一种标签排序方法的流程示意图五;
图8示出了本公开实施例提供的一种标签排序方法的流程示意图六;
图9示出了本公开实施例提供的一种标签排序方法的流程示意图七;
图10示出了本公开实施例提供的一种标签参数的示例图;
图11示出了本公开实施例提供的一种标签排序装置的结构示意图一;
图12示出了本公开实施例提供的一种标签排序装置的结构示意图二。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还应当理解的是,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
以下对本公开涉及到的现有技术进行解释。
一、对比文本-图像预训练模型(contrastive language-image pre-training,CLIP)
在目前图像分类领域中,训练的模型通常会遇到以下问题:模型需要用到大量的格式化标注数据,这些标注数据获取通常成本高昂;模型在当前数据集的效果比较好,但是可能模型的泛化能力较差,同时迁移到新的训练任务也比较困难等。与此同时,互联网上面已经存在了大量的图像文本对(在网页中,开发者一般都会为图片添加一段文字备注),实际上这些素材可以作为已经标注好的数据集,利用这些数据集进行训练,既能解决获取标注数据成本高昂的问题,同时也因为互联网上的数据量比较大和数据本身差异较大,更容易获得泛化能力较强的模型。
CLIP模型就是基于上述概念,使用图像文本对,分别将文本和图像进行编码,之后进行训练,得到的用于匹配图像和文本的预训练神经网络模型。其目标是将图像与文本的相似度提高,核心流程比较简洁。
二、BERT(bidirectional encoder representations from transformers)模型
1、BERT模型是一种双向编码器,旨在通过在左右上下文中共有的条件计算来预先训练来自无标号文本的深度双向表示。因此,经过预先训练的BERT模型只需一个额外的输出层就可以进行微调,从而为各种自然语言处理任务生成最新模型。
2、MLM(mask language model)和NSP(next sentence prediction)
为了能够更好训练BERT网络,在BERT的训练过程中引入两个任务,MLM和NSP。对于MLM任务来说,其做法是随机掩盖掉输入序列中的随机标识Token(即用“[MASK]”替换掉原有的Token),然后在BERT的输出结果中取对应掩盖位置上的向量进行真实值预测。
一些如问答、自然语言推断等任务需要理解两个句子之间的关系,而MLM任务倾向于抽取Token层次的表征,因此不能直接获取句子层次的表征。为了使模型能够有能力理解句子间的关系,BERT使用了NSP任务来预训练,简单来说就是预测两个句子是否连在一起。具体的做法是:对于每一个训练样例,在语料库中挑选出句子A和句子B来组成,50%的时候句子B就是句子A的下一句(标注为Is Next),剩下50%的时候句子B是语料库中的随机句子(标注为Not Next)。接下来把训练样例输入到BERT模型中,进行二分类的预测。
三、独热编码(one-hot)
One-Hot编码,又称为一位有效编码,主要是用来解决类别型数据的离散值问题,采用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候只有一位有效。
One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后,每个整数值被表示为二进制向量,除了整数的索引之外,它都是零值,它被标记为1。
使用one-hot编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。将离散特征通过one-hot编码映射到欧式空间,是因为,在回归,分类,聚类等机器学习算法中,特征之间距离的计算或相似度的计算是非常重要的,而我们常用的距离或相似度的计算都是在欧式空间的相似度计算,计算余弦相似性,基于的就是欧式空间将离散型特征使用one-hot编码,确实会让特征之间的距离计算更加合理。
独热编码解决了分类器不好处理属性数据的问题,在一定程度上也起到了扩充特征的作用。它的值只有0和1,不同的类型存储在垂直的空间。
四、交叉熵(cross entropy)
交叉熵主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度(perplexity)来衡量。交叉熵的意义是用该模型对文本识别的难度,或者从压缩的角度来看,每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数,其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值,以保证词序列总能通过语言模型得到一个概率值。
五、软目标(soft targets)更新
为了保证目标模型的模型参数在每次迭代中都会更新,相当于更新间隔为1。软目标更新依赖一个动量更新的编码器(encoder),将当前模型参数输入目标算法,得到更新后的模型参数。
如背景技术中所描述,多媒体资源通常对应多个标签,例如,打篮球的视频,对应的标签可以包括:运动、男生、操场、篮球等。由于不同的标签与多媒体资源的关联程度不同,当关联程度越高时,多媒体资源更容易引起订阅该标签的用户的兴趣。因此,对多媒体资源的多个标签进行排序,是多媒体资源的推广过程中可以改进的地方。
基于此,本公开实施例提供一种标签排序方法,在获取到目标资源,以及目标资源的多个标签之后,可以将目标资源和多个标签,输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度。其中,目标模型是根据样本数据训练初始模型得到的。样本数据包括:样本资源,以及与样本资源的多个样本标签。然后,可以根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。由于本公开融合了考虑标签与资源的相似度,以及标签自身的标签信息,因此,可以实现对目标资源的多个标签的合理排序,进而使得目标资源的推广可以更精准地契合用户的兴趣标签,提高推广效率。
以下结合附图对本公开实施例提供的标签排序方法进行示例性说明:
图1为本公开实施例提供的一种标签排序***示意图,如图1所示,该标签排序***中可以包括:平台服务器110和标签排序设备120。
其中,平台服务器110和标签排序设备120之间可以通过有线网络或者无线网络连接。
平台服务器110可以是一些应用平台的数据服务器。例如,应用平台可以是短视频应用服务平台、新闻服务平台、直播服务平台、购物服务平台、外卖服务平台、共享服务平台、功能性网站等。其中,短视频应用服务平台提供的多媒体资源可以为一些短视频作品,新闻服务平台提供的多媒体资源可以为一些新闻信息,直播服务平台提供的多媒体资源可以为直播作品等,其余不再一一赘述。本公开对多媒体资源服务平台的具体类型并不作限制。
一些实施例中,平台服务器110可以是单独的一个服务器,或者,也可以是由多个服务器构成的服务器集群。部分实施方式中,服务器集群还可以是分布式集群。本公开对平台服务器110的具体实现方式也不作限制。
标签排序设备120可以是为资源的标签进行排序的设备,标签排序设备120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。
在一些实施例中,标签排序设备120还可以包含有数据库或与数据库连接,数据库中存储有资源的资源数据和标识数据,其中,资源可以包括视频、图片、广告、新闻等可以在互联网上传播的内容。
具体的,标签排序设备120对目标资源的多个标签进行排序后,可以将标签序列发送给平台服务器110。平台服务器110根据标签序列,向对应的用户推广目标资源。
应理解的,图1所示的标签排序***仅为示例,在实际应用中,可以由终端或者服务器独立执行本公开实施例的标签排序方法,也可以由终端和服务器配合执行本公开实施例的标签排序方法,本公开实施例对具体的标签排序***不作限定。
需要说明的是,上述平台服务器110和标签排序设备120均可以称为电子设备。
本公开实施例提供的标签排序方法可以应用于前述图1所示的应用场景中的标签排序设备120。
如图2所示,该标签排序方法可以包括:
S201、标签排序设备获取目标资源,以及目标资源的多个标签。
可选的,目标资源可以包括:图像资源、文字资源、音频资源、视频资源等,例如短视频平台推送的视频、购物平台推送的商品等。
可选的,标签可以是由多个字符组成的文本。
在一种可以实现的方式中,平台服务器可以向标签排序设备发送待排序的目标资源和多个标签,相应的,标签排序设备可以对目标资源的多个标签进行排序。
S202、标签排序设备将目标资源和多个标签输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度。
其中,目标模型是根据样本数据训练初始模型得到的。样本数据包括:样本资源,以及样本资源的多个样本标签。
可选的,目标模型和初始模型可以为CLIP模型、或者基于CLIP模型的改进模型。
可选的,目标模型和初始模型中均可以包括:判别模型、第一特征提取模型、第二特征提取模型。其中,判别模型用于识别输入数据的数据类型,第一特征提取模型用于提取资源特征,第二特征提取模型用于提取标签特征。
可选的,第一特征提取模型可以为多模的嵌入模型。例如,河图(HeTu)模型。当目标资源为视频资源时,第一特征提取模型可以从视频封面、视频帧识别、语音识别等多方面提取资源数据。
可选的,第二特征提取模型可以包括:BERT模型、注意力模型。
在一种可以实现的方式中,标签排序设备可以将输入目标模型的数据先输入判别模型,划分出目标资源和标签。然后,分别将目标资源输入第一特征提取模型,得到目标资源特征,将标签输入第二特征提取模型,得到目标标签特征。后续,匹配目标资源特征与目标标签特征,得到每个标签与目标资源的目标相似度。
S203、标签排序设备根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。
可选的,标签信息可以包括:标签的维度信息和/或属性信息。维度信息用于表征标签的类型特征。属性信息用于表征标签的数据来源、出现位置、相互关系中的至少一种。
可选的,粒度特征包括:标签的数据来源、出现位置、相互关系中的至少一种。
可选的,标签的相互关系包括:相似关系、同义关系、上下位关系等。
示例性的,相似关系例如美妆与彩妆,同义关系例如日光与阳光,上下位关系例如爵士舞与古风爵士。
可选的,数据来源包括:通过模型、检索、以及切词等得到的。出现位置表示标签出现在文本中的位置,以及文本前后特殊字符,例如标签首次出现的顺序,在文本中是否出现书名号等特殊形式等。相互关系表示文本结构中标签的相互关系,例如游戏英雄属于游戏等。
上述实施例提供的技术方案至少带来以下有益效果:由S201-S203可知,在获取到目标资源,以及目标资源的多个标签之后,可以将目标资源和多个标签,输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度。其中,目标模型是根据样本数据训练初始模型得到的。样本数据包括:样本资源,以及与样本资源的多个样本标签。然后,可以根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。由于本公开融合了考虑标签与资源的相似度,以及标签自身的标签信息,因此,可以实现对目标资源的多个标签的合理排序,进而使得目标资源的推广可以更精准地契合用户的兴趣标签,提高推广效率。
在一种可选的实施例中,当初始模型包括第一特征提取模型、第二特征提取模型时,在图2示出的方法实施例的基础上,本实施例提供一种可能实现方式。如图3所示,该标签排序方法,还包括:
S301、标签排序设备获取样本数据。
在一种可以实现的方式中,结合现有技术,标签排序设备可以获取到网络中大量的图像文本对或者视频文本对,将图像或者视频作为样本资源,描述资源的文本作为样本标签,得到样本数据。
S302、标签排序设备将样本资源输入第一特征提取模型,得到样本资源的样本资源特征。
在一种可以实现的方式中,标签排序设备可以通过第一特征提取模型可以对样本资源执行光学字符识别(optical character recognition,OCR)、自动语音识别(automatic speech recognition,ASR)等操作,得到样本资源特征。
S303、标签排序设备将每个样本标签输入第二特征提取模型,得到每个样本标签的样本标签特征。
可选的,当第二特征提取模型为多层神经网络模型时,样本标签特征包括多层神经网络模型中的多个隐含层数据。
在一种可以实现的方式中,标签排序设备可以针对标签进行从输入层到隐含层的转换并提取对应的隐含层数据。
可选的,多层神经网络模型包括多个隐含层,本公开实施例以12个隐含层为例进行说明,隐含层的层数不作限定。
在一种可以实现的方式中,当第二特征提取模型包括:BERT模型和注意力模型时,标签排序设备可以将样本标签输入BERT模型,得到表征向量,然后对表征向量进行注意力学习,得到样本标签特征。
示例性的,如图4所示,标签排序设备获取到的样本数据包括:短视频01与标签(tag)001、短视频02与标签002。
短视频01通过HeTu模型进行特征提取,得到样本资源特征,即河图嵌入值(HeTuembedding)A。标签001通过BERT模型,得到表征向量:[CLS]天、上、飞……[SEP],然后对表征向量进行注意力学习,得到样本标签特征,即标签嵌入值(Tag embedding)a。
短视频02通过HeTu模型进行特征提取,得到样本资源特征,即河图嵌入值B。标签002通过BERT模型,得到表征向量:[CLS]星、辰、大……[SEP],然后对表征向量进行注意力学习,得到样本标签特,即标签嵌入值b。
在一种可以实现的方式中,标签排序设备可以将样本资源特征与样本标签特征配对得到样本对。
在一种可以实现的方式中,标签排序设备可以与样本资源特征对应的样本标签特征确定为正样本对,并将样本数据中,除正样本对以外的其他样本对确定为负样本对。
结合上述示例,标签排序设备可以将样本资源特征(河图嵌入值A、河图嵌入值B),分别与样本标签特征(标签嵌入值a、标签嵌入值b)分别配对,得到样本对,包括:样本对A-a、样本对A-b、样本对B-a、样本对B-b。
其中,样本对A-a与短视频01对应,样本数据B-b与短视频02对应。因此,标签排序设备可以将样本对A-a、样本对B-b确定为正样本对,样本对A-b、样本对B-a确定为负样本对。
上述实施例提供的技术方案至少带来以下有益效果:由S301-S303可知,标签排序设备可以在获取到样本数据之后,将样本资源输入第一特征提取模型,得到样本资源特征,将每个样本标签输入第二特征提取模型,得到样本标签特征。本公开实施例提供一种对输入的数据进行特征提取的方法,以使得后续可以提取后的特征进行匹配,确定资源与标签的相似度。
同时,当第二特征提取模型为多层神经网络模型时,样本标签特征包括多层神经网络模型中的多个隐含层数据。因此,本公开实施例可以保留隐含层数据,以使得对标签提取出来的样本标签特征更丰富,进一步提高了模型的泛化能力。
在一种可选的实施例中,当每个样本标签包括多个字符、第二特征提取模型包括:BERT模型时,在图3示出的方法实施例的基础上,本实施例提供一种可能实现方式。如图5所示,该标签排序方法,还包括:
S501、标签排序设备对输入的每个样本标签的至少一个字符进行遮蔽,得到每个样本标签对应的遮蔽训练数据。
其中,遮蔽训练数据包括:每个样本标签中,与至少一个字符一一对应的至少一个遮蔽位置。
S502、标签排序设备将遮蔽训练数据输入BERT模型,得到遮蔽位置的字符的预测值。
具体的,为了能够更好训练BERT网络,在BERT的训练过程中引入两个任务,MLM和NSP。对于MLM任务来说,其做法是随机遮蔽掉至少一个字符对应的随机标识Token(即用“[M]”替换掉原有的Token),然后在BERT的输出结果中取对应遮蔽位置上的向量进行真实值预测。
示例性的,结合图4,标签排序设备可以对“天”、“星”进行遮蔽,然后输入注意力模型进行学习。
上述实施例提供的技术方案至少带来以下有益效果:由S501-S502可知,标签排序设备对输入的每个样本标签的至少一个字符进行遮蔽,得到每个样本标签对应的遮蔽训练数据,然后,标签排序设备可以将遮蔽训练数据输入BERT模型,得到遮蔽位置的字符的预测值。本公开提供了一种对模型进行预训练的方法,可以通过遮蔽样本标签的字符,训练模型得到完整标签,实现模型的深度学习,进一步提高了模型的准确性。
在一种可选的实施例中,在图5示出的方法实施例的基础上,本实施例提供一种可能实现方式。结合图3,如图6所示,该标签排序方法,还包括:
S601、标签排序设备确定第一损失和第二损失。
其中,第一损失用于表征样本资源特征与样本标签特征的差异。
在一种可以实现的方式中,可以通过损失函数得到第一损失。可选的,损失函数可以为公式(1)。
其中,Lcon为第一损失,qi为第i个样本资源特征,kj为第j个样本标签特征,τ为可训练的温度系数,B为样本数据的个数。
可选的,公式(1)中的向量内积可以通过公式(2)得到。
Sim(zi,Zj)=l2(zi)·l2(zj) (2)
其中,l2范数定义为向量所有元素的平方和的开平方,zi、zj为任意元素。
在一种可以实现的方式中,考虑到实际应用中的模型损失(loss),第一损失的损失值可以通过交叉熵的形式得到。此时,第一损失如公式(3)所示。
Lcon=LC(S(q,k),y(q,k)) (3)
其中,LC表示交叉熵公式,y(q,k)表示样本数据的独热编码(one hot)。当样本数据为正样本数据时,独热编码为1,当样本数据为负样本数据时,独热编码为0。
S(q,k)为样本数据的归一化函数指数,满足公式(4)。
在一种可以实现的方式中,第二对比损失用于表征字符的预测值与字符的真实值的差异,如公式(5)。
其中,Lce为第二损失。
S602、标签排序设备根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型。
其中,模型整体损失是根据损失集合得到的,损失集合包括:第一损失和第二损失。
可选的,收敛条件包括:当样本数据为正样本对时,模型整体损失小于预设上限值,对应的样本资源特征与样本标签特征的差异值小,即相似度高。反之,当样本数据为负样本对时,模型整体损失大于预设下限值,对应的样本资源特征与样本标签特征的差异值大,即相似度低。
当模型整体损失不满足收敛条件时,表示模型未达到训练目标,此时,需要调整模型参数。
在一种可以实现的方式中,可以按照公式(6)调整模型参数。
ftarget=m*ftarget+(1-m)*fonline (6)
其中,ftarget为更新后的目标(target)参数,fonline为当前模型的在线(online)参数,m为调整系数。
可以得到更新后的样本数据的独热编码如公式(7)所示。
其中,km表示将样本标签输入动量更新的编码器后,得到的样本标签特征。
然后,将公式(7)得到的独热编码代入公式(3),得到调整后的第一损失,然后进一步确定调整后的模型整体损失。
当模型整体损失满足收敛条件时,表示模型达到训练目标,可以将训练后的初始模型确定为目标模型。
上述实施例提供的技术方案至少带来以下有益效果:由S601-S602可知,标签排序设备确定第一损失和第二损失。然后,标签排序设备可以根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型。本公开提供了一种训练初始模型得到目标模型的具体实现方法,以使得目标模型可以达到训练目标,可以提高通过目标模型得到标签与资源的相似度的精准度。
在一种可选的实施例中,当初始模型还包括判别模型时,损失集合,还包括判别模型的对抗损失。在图6示出的方法实施例的基础上,本实施例提供一种可能实现方式。结合图6,如图7所示,该标签排序方法,还包括:
S701、标签排序设备将样本数据输入判别模型,得到样本数据的数据类型的预测值。
其中,数据类型用于表征样本数据为样本资源或者样本标签。对抗损失用于表征数据类型的预测值与数据类型的真实值的差异。
具体的,为了进一步减少资源和标签的差异,可以通过标签排序设备识别样本数据的数据类型。
此时,需要引入判别模型的对抗损失,如公式(8)所示。
Ladv=-(log(σ(qi))+log(1-σ(ki))) (8)
其中,σ为数据判别模型的识别概率,Ladv为对抗损失。
此时,模型整体损失如公式(9)所示。
上述实施例提供的技术方案至少带来以下有益效果:由S701可知,标签排序设备可以将样本数据输入判别模型,得到样本数据的数据类型的预测值。相较于人工标识数据类型,本公开可以进一步降低数据处理成本。
在一种可选的实施例中,在图6或图7示出的方法实施例的基础上,本实施例提供一种可能实现方式。结合图6,如图8所示,S602中,标签排序设备根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型的方法,包括:
S801、标签排序设备将训练数据输入初始模型,确定软目标标签,以及模型整体损失。
其中,训练数据包括样本数据。
具体的,在模型训练过程中,需要进行多次迭代更新模型参数。每次迭代时,模型可以得到样本资源特征与样本标签特征的相似度的预测值。当相似度小于或者等于预设阈值时们可以认为该样本标签与样本资源的相关程度较低,对应的参考价值较低,此时,可以筛除该样本标签。因此,可以将多个样本标签中,对应的所述样本标签特征与样本资源特征的相似度大于预设阈值的标签确定为软目标标签,用于下一次对模型进行训练。
S802、当模型整体损失不满足收敛条件时,标签排序设备更新初始模型的模型参数,并将软目标标签和样本资源作为训练数据,输入更新后的初始模型中,直至更新后的初始模型对应的模型整体损失满足所述收敛条件。
上述实施例提供的技术方案至少带来以下有益效果:由S801-S802可知,标签排序设备可以将训练数据输入初始模型,确定样本标签对应的软目标标签,以及模型整体损失。当模型整体损失不满足收敛条件时,标签排序设备可以更新初始模型的模型参数,并将软目标标签和样本资源作为训练数据,输入更新后的初始模型中,直至更新后的初始模型对应的模型整体损失满足所述收敛条件。本公开提供了一种训练初始模型得到目标模型的具体实现方法,可以筛除迭代过程中参考价值较低的样本标签特征,避免了算力资源的浪费,提高了模型训练效率。
在一种可选的实施例中,当标签信息包括标签的维度信息和/或属性信息时,在图2示出的方法实施例的基础上,本实施例提供一种可能实现方式。结合图2,如图9所示,S203中,标签排序设备根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列的方法,包括:
S901、标签排序设备根据目标相似度,对多个标签进行排序,得到初始序列。
在一种可以实现的方式中,标签排序设备可以将多个标签,按照对应的相似度从大到小进行排序。这样一来,标签在标签序列越靠前,意味着与目标资源的资源内容的关联程度越高。
S902、标签排序设备根据标签信息和预设优先级策略,更新初始序列,得到标签序列。
在一种可以实现的方式中,为了能够将标签粒度越细(即标签描述越详细)的标签靠前展示,标签排序设备可以根据标签的维度信息或者属性信息中的一种信息,对初始序列进行一次调整,得到标签序列。
在另一种可以实现的方式中,为了进一步细化标签粒度,标签排序设备可以依次基于维度信息和属性信息对初始序列进行两次调整。本公开实施例对基于维度信息和属性信息的调整顺序不作限定。
本公开实施例以先考虑标签的维度信息为例进行说明。
标签排序设备可以先考虑标签的维度信息,例如主题标签、元素标签、知识产权(intellectual property,IP)标签、风格标签,形式标签等,基于类型特征的预先设定的重要程度对初始序列进行第一次调整。
然后,在第一次调整之后,发现类型特征的标签还有不同的属性信息,例如,同样是人脸IP,有的根据人脸模型检测检索,有的来源图文校验人脸IP。因此,还可以根据粒度特征对第一次调整后的初始序列进行第二次调整。
示例性的,如图10所示,标签的维度信息的优先级顺序可以包括:第一维度、第二维度、第三维度和第四维度。其中,第一维度包括:兴趣点(point of interest,POI)等。第二维度包括:主题标签、形式标签、类目、商品标签等。第三维度包括:明星IP、网红IP、名人IP等。第四维度包括:影视综IP、菜品IP、音乐IP、动漫IP、游戏IP等。
一个美食视频的标签可以包括:主题标签为“美食分享”、形式标签为“烹饪教学”、类目为“美食分享”、网红IP为“网红A”、菜品IP为“烤乳猪”。
可以理解的,在实际实施时,本公开实施例所述的标签排序装置可以包含有用于实现前述对应标签排序方法的一个或多个硬件结构和/或软件模块,这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
基于这样的理解,本公开实施例还对应提供一种标签排序装置。图11示出了本公开实施例提供的标签排序装置的结构示意图一。如图11所示,该标签排序装置包括:获取单元1101和第一处理单元1102。
获取单元1101,被配置为执行获取目标资源,以及目标资源的多个标签。
第一处理单元1102,被配置为执行将目标资源和多个标签输入预先训练好的目标模型中,得到每个标签与目标资源的目标相似度;目标模型是根据样本数据训练初始模型得到的;样本数据包括:样本资源,以及与样本资源对应的多个样本标签。
第一处理单元1102,还被配置为执行根据目标相似度和多个标签的标签信息,对多个标签进行排序,得到标签序列。
可选的,初始模型包括第一特征提取模型、第二特征提取模型;该标签排序装置,还包括:第二处理单元1103。
第二处理单元1103,被配置为执行获取样本数据;将样本资源输入第一特征提取模型,得到样本资源的样本资源特征;将每个样本标签输入第二特征提取模型,得到每个样本标签的样本标签特征;当第二特征提取模型为多层神经网络模型时,样本标签特征包括多层神经网络模型中的多个隐含层数据。
可选的,每个样本标签包括:多个字符;第二特征提取模型包括:BERT模型;第二处理单元1103,还被配置为执行对输入的每个样本标签的至少一个字符进行遮蔽,得到每个样本标签对应的遮蔽训练数据;遮蔽训练数据包括:每个样本标签中,与至少一个字符一一对应的至少一个遮蔽位置;将遮蔽训练数据输入BERT模型,得到遮蔽位置的字符的预测值。
可选的,第二处理单元1103,还被配置为执行获取第一损失和第二损失;第一损失用于表征样本资源特征与样本标签特征的差异;第二对比损失用于表征字符的预测值与字符的真实值的差异;根据样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型;模型整体损失是根据损失集合得到的;损失集合包括:第一损失和第二损失。
可选的,初始模型还包括:判别模型;损失集合,还包括:判别模型的对抗损失;第二处理单元1103,还被配置为执行将样本数据输入判别模型,得到样本数据的数据类型的预测值;数据类型用于表征样本数据为样本资源或者样本标签;对抗损失用于表征数据类型的预测值与数据类型的真实值的差异。
可选的,第二处理单元1103,具体被配置为执行将训练数据输入初始模型,确定软目标标签,以及模型整体损失;训练数据包括样本数据;软目标标签包括:多个样本标签特征中,对应的样本标签特征与样本资源特征的相关度大于预设阈值的标签;当模型整体损失不满足收敛条件时,更新初始模型的模型参数,并将软目标标签和样本资源作为训练数据,输入更新后的初始模型中,直至更新后的初始模型对应的模型整体损失满足收敛条件。
可选的,标签信息包括:标签的维度信息和/或属性信息;维度信息用于表征标签的类型特征;属性信息用于表征标签的数据来源、出现位置、相互关系中的至少一种;第一处理单元1102,具体被配置为执行根据目标相似度,对多个标签进行排序,得到初始序列;根据标签信息和预设优先级策略,更新初始序列,得到标签序列。
如上所述,本公开实施例可以根据上述方法示例对存储设备进行功能模块的划分。其中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,还需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的标签排序装置,其中各个模块执行操作的具体方式、以及具备的有益效果,均已经在前述方法实施例中进行了详细描述,此处不再赘述。
本公开实施例还提供一种标签排序装置。图12示出了本公开实施例提供的标签排序装置的结构示意图二。该标签排序装置可以包括至少一个处理器221,通信总线222,存储器223以及至少一个通信接口224。
处理器221可以是一个中央处理器(central processing units,CPU),微处理单元,ASIC,或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线222可包括一通路,在上述组件之间传送信息。
通信接口224,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如电子设备、以太网,无线接入网(radio access network,RAN),无线局域网(wirelesslocal area networks,WLAN)等。
存储器223可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中,存储器223用于存储执行本公开方案的应用程序代码,并由处理器221来控制执行。处理器221用于执行存储器223中存储的应用程序代码,从而实现本公开方法中的功能。
在具体实现中,作为一种实施例,处理器221可以包括一个或多个中央处理器,例如图12中的中央处理器0和中央处理器1。
在具体实现中,作为一种实施例,标签排序装置可以包括多个处理器,例如图12中的处理器221和处理器225。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,标签排序装置还可以包括输入设备226和输出设备227。输入设备226和输出设备227通信,可以以多种方式接受用户的输入。例如,输入设备226可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备227和处理器221通信,可以以多种方式来显示信息。例如,输出设备227可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备等。
本领域技术人员可以理解,图12中示出的结构并不构成对标签排序装置的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开还提供了一种包括指令的计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述计算机可读存储介质中的指令由标签排序装置的处理器执行时,使得标签排序装置能够执行上述所示实施例提供的标签排序方法。例如,计算机可读存储介质可以为包括指令的存储器223,上述指令可由标签排序装置的处理器221执行以完成上述方法。
可选的,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本公开还提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备执行上述所示实施例提供的标签排序方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (7)
1.一种标签排序方法,其特征在于,包括:
获取样本数据;所述样本数据包括:样本资源,以及所述样本资源的多个样本标签;每个所述样本标签包括:多个字符;
根据所述样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型;所述模型整体损失是根据损失集合得到的;所述损失集合包括:第一损失和第二损失;所述第一损失用于表征所述样本资源的样本资源特征与所述样本标签的样本标签特征的差异;所述第二损失用于表征所述字符的预测值与所述字符的真实值的差异;所述初始模型包括第一特征提取模型、第二特征提取模型;所述根据所述样本数据训练初始模型,包括:将所述样本资源输入所述第一特征提取模型,得到所述样本资源的样本资源特征;将每个所述样本标签输入所述第二特征提取模型,得到每个所述样本标签的样本标签特征;当所述第二特征提取模型为多层神经网络模型时,所述样本标签特征包括所述多层神经网络模型中的多个隐含层数据;每个所述样本标签包括:多个字符;所述第二特征提取模型包括:BERT模型;对输入的每个所述样本标签的至少一个所述字符进行遮蔽,得到每个所述样本标签对应的遮蔽训练数据;所述遮蔽训练数据包括:每个所述样本标签中,与至少一个所述字符一一对应的至少一个遮蔽位置;将所述遮蔽训练数据输入所述BERT模型,得到所述遮蔽位置的字符的预测值;
获取目标资源,以及所述目标资源的多个标签;
将所述目标资源和多个所述标签输入所述目标模型中,得到每个所述标签与所述目标资源的目标相似度;
根据所述目标相似度和多个所述标签的标签信息,对多个所述标签进行排序,得到标签序列。
2.根据权利要求1所述的标签排序方法,其特征在于,所述初始模型还包括:判别模型;所述损失集合,还包括:所述判别模型的对抗损失;所述标签排序方法,还包括:
将所述样本数据输入所述判别模型,得到所述样本数据的数据类型的预测值;所述数据类型用于表征所述样本数据为所述样本资源或者所述样本标签;所述对抗损失用于表征所述数据类型的预测值与所述数据类型的真实值的差异。
3.根据权利要求1所述的标签排序方法,其特征在于,所述根据所述样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型,包括:
将训练数据输入所述初始模型,确定软目标标签,以及所述模型整体损失;所述训练数据包括所述样本数据;所述软目标标签包括:多个所述样本标签中,对应的所述样本标签特征与所述样本资源特征的相似度大于预设阈值的标签;
当所述模型整体损失不满足所述收敛条件时,更新所述初始模型的模型参数,并将所述软目标标签和所述样本资源作为所述训练数据,输入更新后的初始模型中,直至所述更新后的初始模型对应的模型整体损失满足所述收敛条件。
4.根据权利要求1所述的标签排序方法,其特征在于,所述标签信息包括:所述标签的维度信息和/或属性信息;所述维度信息用于表征所述标签的类型特征;所述属性信息用于表征所述标签的数据来源、出现位置、相互关系中的至少一种;
所述根据所述目标相似度和多个所述标签的标签信息,对多个所述标签进行排序,得到标签序列,包括:
根据所述目标相似度,对多个所述标签进行排序,得到初始序列;
根据所述标签信息和预设优先级策略,更新所述初始序列,得到所述标签序列。
5.一种标签排序装置,其特征在于,包括:获取单元和第一处理单元、第二处理单元;
所述第二处理单元,被配置为执行获取样本数据;所述样本数据包括:样本资源,以及所述样本资源的多个样本标签;每个所述样本标签包括:多个字符;
所述第二处理单元,还被配置为执行根据所述样本数据训练初始模型,直至模型整体损失满足收敛条件,得到目标模型;所述模型整体损失是根据损失集合得到的;所述损失集合包括:第一损失和第二损失;所述第一损失用于表征所述样本资源的样本资源特征与所述样本标签的样本标签特征的差异;所述第二损失用于表征所述字符的预测值与所述字符的真实值的差异;所述初始模型包括第一特征提取模型、第二特征提取模型;所述第二处理单元,具体被配置为执行:将所述样本资源输入所述第一特征提取模型,得到所述样本资源的样本资源特征;将每个所述样本标签输入所述第二特征提取模型,得到每个所述样本标签的样本标签特征;当所述第二特征提取模型为多层神经网络模型时,所述样本标签特征包括所述多层神经网络模型中的多个隐含层数据;每个所述样本标签包括:多个字符;所述第二特征提取模型包括:BERT模型;对输入的每个所述样本标签的至少一个所述字符进行遮蔽,得到每个所述样本标签对应的遮蔽训练数据;所述遮蔽训练数据包括:每个所述样本标签中,与至少一个所述字符一一对应的至少一个遮蔽位置;将所述遮蔽训练数据输入所述BERT模型,得到所述遮蔽位置的字符的预测值;
所述获取单元,被配置为执行获取目标资源,以及所述目标资源的多个标签;
所述第一处理单元,被配置为执行将所述目标资源和多个所述标签输入所述目标模型中,得到每个所述标签与所述目标资源的目标相似度;
所述第一处理单元,还被配置为执行根据所述目标相似度和多个所述标签的标签信息,对多个所述标签进行排序,得到标签序列。
6.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-4中任一项所述的标签排序方法。
7.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-4中任一项所述的标签排序方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310016743.7A CN116340552B (zh) | 2023-01-06 | 2023-01-06 | 一种标签排序方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310016743.7A CN116340552B (zh) | 2023-01-06 | 2023-01-06 | 一种标签排序方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116340552A CN116340552A (zh) | 2023-06-27 |
CN116340552B true CN116340552B (zh) | 2024-07-02 |
Family
ID=86881120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310016743.7A Active CN116340552B (zh) | 2023-01-06 | 2023-01-06 | 一种标签排序方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116340552B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274494A (zh) * | 2020-01-20 | 2020-06-12 | 重庆大学 | 结合深度学习和协同过滤技术的复合标签推荐方法 |
CN115374278A (zh) * | 2022-08-09 | 2022-11-22 | 中国平安人寿保险股份有限公司 | 文本处理模型蒸馏方法、装置、计算机设备及介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291183B (zh) * | 2020-01-16 | 2021-08-03 | 支付宝(杭州)信息技术有限公司 | 利用文本分类模型进行分类预测的方法及装置 |
CN111291185B (zh) * | 2020-01-21 | 2023-09-22 | 京东方科技集团股份有限公司 | 信息抽取方法、装置、电子设备及存储介质 |
CN114077831B (zh) * | 2020-08-21 | 2024-07-16 | 北京金山数字娱乐科技有限公司 | 一种问题文本分析模型的训练方法及装置 |
CN112560427B (zh) * | 2020-12-16 | 2023-09-22 | 平安银行股份有限公司 | 问题扩展方法、装置、电子设备及介质 |
CN113392317A (zh) * | 2021-01-07 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种标签配置方法、装置、设备及存储介质 |
CN113627530B (zh) * | 2021-08-11 | 2023-09-15 | 中国平安人寿保险股份有限公司 | 相似问题文本生成方法、装置、设备及介质 |
CN113420128B (zh) * | 2021-08-23 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 文本匹配方法、装置、存储介质及计算机设备 |
CN113806540B (zh) * | 2021-09-18 | 2023-08-08 | 平安银行股份有限公司 | 文本打标签方法、装置、电子设备及存储介质 |
CN113935554B (zh) * | 2021-12-15 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 投放***中的模型训练方法、资源投放方法及装置 |
CN114492601A (zh) * | 2022-01-10 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 资源分类模型的训练方法、装置、电子设备及存储介质 |
CN114443899A (zh) * | 2022-01-28 | 2022-05-06 | 腾讯科技(深圳)有限公司 | 视频分类方法、装置、设备及介质 |
CN114639044A (zh) * | 2022-03-17 | 2022-06-17 | 北京达佳互联信息技术有限公司 | 标签确定方法、装置、电子设备及存储介质 |
CN114612728A (zh) * | 2022-03-25 | 2022-06-10 | Oppo广东移动通信有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
CN115204142A (zh) * | 2022-07-29 | 2022-10-18 | 河北科技大学 | 开放关系抽取方法、设备及存储介质 |
CN115186764A (zh) * | 2022-08-03 | 2022-10-14 | 腾讯科技(北京)有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN115310443A (zh) * | 2022-09-06 | 2022-11-08 | 上海浦东发展银行股份有限公司 | 模型训练方法、信息分类方法、装置、设备及存储介质 |
-
2023
- 2023-01-06 CN CN202310016743.7A patent/CN116340552B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274494A (zh) * | 2020-01-20 | 2020-06-12 | 重庆大学 | 结合深度学习和协同过滤技术的复合标签推荐方法 |
CN115374278A (zh) * | 2022-08-09 | 2022-11-22 | 中国平安人寿保险股份有限公司 | 文本处理模型蒸馏方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116340552A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
CN111488931B (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
CN113627447B (zh) | 标签识别方法、装置、计算机设备、存储介质及程序产品 | |
CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN111539197A (zh) | 文本匹配方法和装置以及计算机***和可读存储介质 | |
KR20170004154A (ko) | 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템 | |
CN116664719B (zh) | 一种图像重绘模型训练方法、图像重绘方法及装置 | |
CN110619051A (zh) | 问题语句分类方法、装置、电子设备及存储介质 | |
CN115438674B (zh) | 实体数据处理、实体链接方法、装置和计算机设备 | |
CN110717038A (zh) | 对象分类方法及装置 | |
CN114186013A (zh) | 实体识别模型热更新方法及其装置、设备、介质、产品 | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN113688951A (zh) | 视频数据处理方法以及装置 | |
CN115659008A (zh) | 大数据信息反馈的信息推送***、方法、电子设备及介质 | |
CN114997288A (zh) | 一种设计资源关联方法 | |
CN113821592A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CN116955707A (zh) | 内容标签的确定方法、装置、设备、介质及程序产品 | |
CN114329051B (zh) | 数据信息识别方法、装置、设备、存储介质及程序产品 | |
CN115269781A (zh) | 模态关联度预测方法、装置、设备、存储介质及程序产品 | |
CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
CN114282528A (zh) | 一种关键词提取方法、装置、设备及存储介质 | |
CN112925983A (zh) | 一种电网资讯信息的推荐方法及*** | |
CN116340552B (zh) | 一种标签排序方法、装置、设备及存储介质 | |
CN113822065A (zh) | 关键词召回方法、装置、电子设备以及存储介质 | |
CN114330296A (zh) | 新词发现方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |