CN113869060A - 语义数据的处理方法及搜索方法、装置 - Google Patents
语义数据的处理方法及搜索方法、装置 Download PDFInfo
- Publication number
- CN113869060A CN113869060A CN202111115438.0A CN202111115438A CN113869060A CN 113869060 A CN113869060 A CN 113869060A CN 202111115438 A CN202111115438 A CN 202111115438A CN 113869060 A CN113869060 A CN 113869060A
- Authority
- CN
- China
- Prior art keywords
- training
- sequence
- data
- sequences
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 234
- 230000006870 function Effects 0.000 claims abstract description 57
- 239000013598 vector Substances 0.000 claims description 58
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000002864 sequence alignment Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 27
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种语义数据的处理方法及搜索方法、装置，涉及人工智能领域，进一步涉及智能搜索、深度学习、自然语言处理等领域。具体实现方案为：将语义数据的处理方法分为两个阶段，第一阶段，在大量目标领域的无监督语料上进行对比学习，提升预训练编码模型的序列表示效果；第二阶段，基于搜索历史数据挖掘构建模型难分与易分的半监督训练数据，训练领域文本语义匹配模型，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数。由此，该语义数据的处理方法能提升目标领域的语义匹配的效果，降低有监督数据的人工标注成本。
Description
技术领域
本申请涉及人工智能领域，进一步涉及智能搜索、深度学习、自然语言处理等领域，具体涉及一种语义数据的处理方法及搜索方法、装置。
背景技术
企业内部用户进行搜索的过程，可以看做是用户输入问题(query)和企业已有文章的匹配过程，用户搜索的目的就是获取到自己想要找的文章，因此，一般搜索过程会整体分为召回和排序两个大的模块，召回模块常见的方法是文本字面召回和文本语义召回。
文本语义匹配模型用于文本语义召回模块，文本语义匹配模型效果越好，召回的文章和query越相关，用户就越快的能找到自己想要的文章；因此提升文本语义匹配模型效果对提升用户搜索满意度有非常大的帮助。
发明内容
本申请提供了一种语义数据的处理方法及搜索方法、装置、设备及存储介质，以提升目标领域的文本语义匹配的效果。
根据本申请的第一方面，提供了一种语义数据的处理方法，应用于智能搜索***，包括：
根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
根据本申请的第二方面，提供了一种搜索方法，包括：
接收终端的搜索请求，获取所述搜索请求中的搜索问题；
将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为如第一方面所述的文本语义匹配模型中的预训练编码模型；
获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为如第一方面所述的文本语义匹配模型中的预训练编码模型；
计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
将所述目标文章主题对应的文章返回给所述终端。
根据本申请的第三方面，提供了一种语义数据的处理装置，包括：
第一构建模块，用于根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
第一训练模块，用于通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
第二构建模块，用于根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
第二训练模块，用于通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
根据本申请的第四方面，提供了一种搜索装置，包括：
接收模块，用于接收终端的搜索请求，获取所述搜索请求中的搜索问题；
编码模块，用于将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为第一方面所述的文本语义匹配模型中的预训练编码模型；
获取模块，用于获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为第一方面所述的文本语义匹配模型中的预训练编码模型；
计算模块，用于计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
返回模块，用于将所述目标文章主题对应的文章返回给所述终端
根据本申请的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法，或者以使所述至少一个处理器能够执行第二方面所述的方法。
根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法，或者以使所述至少一个处理器能够执行第二方面所述的方法。
根据本申请的第七方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面所述方法的步骤，或者以使所述至少一个处理器能够执行第二方面所述的方法。
根据本申请实施例的语义数据的处理方法及搜索方法、装置、设备及存储介质，能提升目标领域的语义匹配的效果，降低有监督数据的人工标注成本。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例的语义数据的处理方法的流程示意图；
图2是根据本申请一实施例的语义数据的处理框图；
图3是SimCSE模型的结构图；
图4是根据本申请一实施例的文本语义匹配模型的结构框图；
图5是根据本申请另一实施例的语义数据的处理方法的流程示意图；
图6是根据本申请一实施例的搜索方法的流程示意图；
图7是根据本申请一实施例的语义数据的处理装置的框图；
图8是根据本申请一实施例的语义数据的处理装置的框图；
图9是用来实现本申请实施例的语义数据的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。
目前作用于语义召回模块的语义匹配模型主要通过2种方式构建：第一种是，直接使用预训练模型作为语义匹配模型；第二种是，使用人工标注的有监督的领域语料对深度模型(包括预训练模型)进行训练得到语义匹配模型。
上述第一种直接使用预训练模型作为语义匹配模型存在的问题包括：
语义匹配的实现方式，是将2个序列表示成2个向量，通过计算2个向量的相似度来衡量2个序列语义上的相关程度，但直接使用预训练模型获得的序列表示会出现”坍缩”现象(即所有的序列都倾向于编码到一个较小的空间区域，这使得即使是语义完全无关的序列对，都会具有较高的相似度分数)，因此，如果直接使用预训练模型作为语义匹配模型，会召回较多语义完全无关的序列对；还有，预训练模型是在大量通用的语料上进行训练的，通用语料与企业领域的语料分布差异较大，因此直接使用预训练模型，在领域内的语义匹配效果会比较差。
上述第二种使用人工标注的有监督的领域语料对深度模型进行训练得到语义匹配模型的存在的问题包括：
有监督领域语料获取昂贵，需要昂贵的人工标注成本。
要想提升文本语义匹配模型效果，需要有监督的数据进行领域微调(fine-tune)，但有监督的数据获取成本较大；如果不进行领域fine-tune的话，预训练模型的效果又不能够满足我们的需求。因此，为了解决上述问题，本申请实施例提供了一种用于企业内部搜索的语义数据的处理方法，该方法既能大幅提升语义匹配模型效果，又极大地降低了有监督数据的人工标注成本。
本申请实施例提供的语义数据的处理方法，应用于智能搜索***，所述智能搜索***，所述智能搜索***可以是企业知识搜索***、企业知识问答***、知识推荐***等。所述方法首先在大量目标领域的无监督语料上进行对比学习，得到更适合目标领域的句向量后，再进一步通过企业内部搜索的点展日志，挖掘出模型难分与易分的半监督训练样本后，基于优化的pair-wise(成对组合)的损失函数训练得到泛化性更强、更适用于企业领域的文本语义匹配模型。图1是根据本申请实施例的语义数据的处理方法的流程图。需要说明的是，本申请实施例的语义数据的处理方法可应用于本申请实施例的语义数据的处理装置。该语义数据的处理装置可被配置于电子设备上。如图1所示，所述语义数据的处理方法可以包括如下步骤。
S101，根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
本申请实施例的语义数据的处理方法的第一阶段的目的是提升预训练编码模型领域内的序列表示效果。通过对比学习将同批次内的样本进行数据扩增，同一条数据与该条数据扩增后的数据视为正样本，而batch(一批)内所有其他样本与该条数据视为负样本。
S102，通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
通过S101获取的无监督训练数据对预训练编码模型进行训练，通过预训练编码模型的数据扩增功能，提升预训练编码模型的目标领域内的句子表示效果。即通过获取的无监督训练数据进行对比学习，以提升所述预训练编码模型的目标领域内的句子表示效果。
需要说明的是，该数据扩增的方式有很多种，作为一个示例，输入一个序列A，通过各种变化生成相同的序列A1，各种变化可以是，例如回译、删减、dropout等。
其中，dropout可以作为训练深度神经网络的一种trick(技巧)供选择。在每个训练批次中，通过忽略一部分的特征检测器(让一部分的隐层节点值为0)，可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。
dropout说的简单一点就是：在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。
作为一种可能的实现方式，采用dropout的方式进行数据扩增，然后通过训练的loss来缩小正样本的距离、拉大负样本的距离，进而去提升预训练模型的序列表示效果。
可选的，所述预训练编码模型包括具有dropout功能的SimCSE(SimpleContrastive Learning of Sentence Embeddings，通过对比学习获得句子向量)模型，通过无监督训练数据对所述SimCSE模型进行训练，得到训练好的SimCSE模型。无监督的SimCSE模型的结构如图3所示，sent_1代表一个batch(一批样本)里的“序列1”，由于SimCSE模型是带有dropout功能的，所以相同的2个“序列1”经过带dropout的SimCSE模型后，得到的2个embedding向量是不一样的，从而实现了数据扩增的目的，为了区分2个embedding向量的不一致性，将得到的2个embedding向量分别表示为h1’和h1”。
无监督的SimCSE模型的损失函数如下：
其中，τ是一个超参数，
S103，根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
本申请实施例的语义数据的处理的第二阶段是对文本语义匹配模型进行训练，因此，需要获取用于训练文本语义匹配模型的多个第二训练样本。S104，通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
作为一种可能的实现方式，将训练好的预训练编码模型和损失函数的组成作为文本语义匹配模型。通过所述第二训练样本训练所述文本语义匹配模型，根据所述损失函数的输出值不断调整所述训练好的预训练编码模型的参数，最终得到训练好的文本语义匹配模型。
可选的，所述损失函数为pair-wise的损失函数。
所述Pair-wise的损失函数表示如下：
L＝max{0,Si(Q,title-)-Si(Q,title+)+m}
其中，Si(Q,title-)表示序列对负样本向量，Si(Q,title+)表示序列对正样本向量，m表示损失函数的边界margin值。
如图4所示，所述文本语义匹配模型包括所述训练好的预训练编码模型和Pair-wise loss(pair-wise的损失函数)。
Pair-wise的损失函数的最终的输出就是一个0-1的一个相似度得分。
Pair-wise实际是用于排序里面的一个损失函数。因为在具体的应用场景中，召回环节得到的预测结果会进一步进入排序，因此这里选择用排序里面的一个损失函数的话，后面排序的效果会更好。
本申请实施例的语义数据的处理方法，如图2所示，包括两个阶段，第一阶段通过无监督训练数据进行对比学习，提升预训练编码模型的目标领域内的句子表达效果。第二阶段首先挖掘半监督训练数据，通过半监督训练数据训练由训练好的预训练编码模型和损失函数组成文本语义匹配模型，最终提升目标领域的文本语义匹配的效果。
需要说明的是，可以利用历史搜索数据构建无监督训练数据，其中，该无监督训练数据可以包括多个第一训练样本。作为一种可能的实现方式，上述根据目标领域的历史搜索数据，构建无监督训练数据的实现方式可如下：根据历史搜索数据确定多个搜索问题和多个文章主题，从多个搜索问题中获取多个第一序列，将多个第一序列之中当前第一序列与其本身或者与其他第一序列构成第一训练样本；从多个文章主题中获取多个第二序列，将多个第二序列之中当前第二序列与其本身或者与其他第二序列构成第一训练样本。
需要说明的是，本申请中提到的序列可以是词语，也可以是短语或者是句子等。
举例而言，在实际的应用场景中，如图2所示，可以通过企业内部用户搜索的点击日志，提取用户搜索的搜索问题(query)和用户点击的文章标题(title)作为训练数据，即训练样本可以包括用户输入的query和用户点击的title。将获取的query和title数据做简单的清洗后，例如去除无意义的query和title等，构成无监督训练数据。将query和title单独作为样本，将query与其本身作为正样本，而该query与其他query就构成负样本。同理，将title与其本身作为正样本，而该title与其他title就构成负样本。
需要说明的是，可以利用历史搜索数据构建半监督训练数据，其中，该半监督训练数据可以包括多个第二训练样本。作为一种可能的实现方式，上述根据目标领域的历史搜索数据，构建半监督训练数据的实现方式可如下：根据历史搜索数据确定多个搜索问题、多个文章主题、以及所述多个搜索问题和多个文章主题之间的点击关系，从所述多个搜索问题中获取多个第一序列，并从所述多个文章主题中获取多个第二序列，根据所述点击关系，将所述第一序列和所述第二序列构成的序列对作为第二训练样本。
需要说明的是，所述第二训练样本包括序列对正样本、序列对负样本。
作为一种可能的实现方式，所述序列对正样本的获取方法，包括：
获取所述第一序列与第二序列存在点击关系的多个序列对；
确定所述多个序列对中满足点击频率范围的第二目标序列对；
对所述第二目标序列对进行清洗，将清洗后的第二目标序列对作为序列对正样本。
作为一种可能的实现方式，所述序列对负样本的获取方法，包括：
将所述多个第二训练样本中除序列对正样本之外的第二训练样本作为简单序列对负样本。
举例而言，在实际的应用场景中，可以通过企业内部用户搜索的点击日志，提取用户搜索的query和用户点击的title作为训练数据，将query和title组成序列对(query,title)，将序列对(query,title)作为第二训练样本。如图4所示，将query和对应点击的title组成的(query，title+)作为序列对正样本，将query和其他title组成的(query，title-)作为序列对负样本。优选的，将点击频率高的query和对应点击的title作为序列对正样本。
图5是根据本申请另一实施例的语义数据的处理方法的流程图。本实施例是对图1所示实施例的进一步优化。如图5所示，所述语义数据的处理方法可以包括如下步骤。
S501，根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本。
S502，通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能。
需要说明的是，步骤S501-S502与步骤S101-S102的具体实现过程及原理相同，不再赘述。
S503，根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本，所述半监督训练数据包括序列对正样本、序列对负样本和序列对难分负样本。
步骤S503在步骤S103的基础上进一步优化，在一些实施例中，可选的，所述负样本包括简单序列对负样本和难分序列对负样本，即所述第二训练样本还包括序列对难分负样本。
可选的，所述序列对难分负样本的获取方法，包括：
通过预训练模型计算每个所述序列对中两个序列的相似度得分，并筛选出所述相似度得分满足预设范围的第一目标序列对；
分别对所述第一目标序列对中的两个序列进行切词，将拥有相同切词的第一目标序列对作为序列对难分负样本。
在筛选出所述相似度得分满足预设范围的目标序列对时，作为一个示例，预设范围可选[0.7,0.9]。
作为一个示例，难分序列对负样本和简单序列对负样本的比例为1:100，总体序列对负样本与序列对正样本的比例约为1:1。
需要说明的是，所述预训练模型可选择任意的可将文本序列转化为向量的预训练模型，例如BERT、百度的ERINE等这些预训练模型。预训练模型实现输入一个序列，会生成一个向量。不是传统意义的语义匹配，不是输入两个序列输出一个得分。例如将query输入得到一个向量，将title输入得到一个向量，这两个向量得到一个相似度得分。这里可以用更多的模型实现，不做限制。
既挖掘出模型易分的简单序列对负样本，还挖掘出模型难分的难分序列对负样本，能够有效地提升文本语义匹配模型的泛化效果。
S504，通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入；所述损失函数针对简单负样本和难分负样本设置不同的参数值。
步骤S504在步骤S104的基础上进一步优化，在一些实施例中，针对所述序列对负样本和序列对难分负样本，所述pair-wise的损失函数的边界参数m(margin值)选择不同的取值。使得模型对于难分序列对负样本和简单序列对负样本给予不同的关注度，进而提升模型的泛化效果。
例如，对于简单序列对负样本，m值设置的小一点，对于难分序列对负样本，m值设置的大一点。m值大的话，损失函数就大，损失loss值变大，则模型在更新参数的时候就会更关注难分负样本。本申请实施例的语义数据的处理方法，如图2所示，包括两个阶段，第一阶段通过无监督训练数据进行对比学习，提升预训练编码模型的目标领域内的句子表达效果。第二阶段首先挖掘半监督训练数据，通过半监督训练数据训练由训练好的预训练编码模型和损失函数组成文本语义匹配模型，最终提升目标领域的文本语义匹配的效果。进一步的，第二阶段既挖掘出模型易分的样本，还挖掘出模型难分的样本，能够有效地提升语义匹配模型的泛化效果。还并对文本语义匹配模型的结构进行优化，对难分和易分的样本设置不同margin值，使文本语义匹配模型对于难分与易分的样本给予不同的关注度，进而进一步提升了语义匹配模型的效果。
本申请实施例的语义数据的处理方法不依赖于产品，主要提升语义匹配模型领域内的效果，构建的领域内语义匹配模型可以应用于企业知识搜索、企业知识问答、知识推荐等多个方面。
采用上述实施例的语义数据的处理方法，得到的训练好的文本语义匹配模型，可以应用于智能搜索***。根据本申请实施例提供了一种搜索方法，其中，所述方法采用根据上述语义数据的处理方法得到的训练好的文本语义匹配模型中的预训练编码模型，根据搜索请求召回对应的搜索信息。
根据上述语义数据的处理方法，得到的训练好的文本语义匹配模型，将训练好的文本语义匹配模型中的预训练编码模型可以应用于搜索过程的文本语义召回模块。图6是根据本申请另一实施例的搜索方法的流程图。需要说明的是，所述搜索方法的执行主体可以是服务器等电子设备。如图6所示，所述搜索方法可以包括如下步骤。
S601，接收终端的搜索请求，获取所述搜索请求中的搜索问题；
S602，将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为上述实施例的训练好的文本语义匹配模型中的预训练编码模型。
通过上述实施例的训练好的文本语义匹配模型中的预训练编码模型，对所述搜索问题进行编码得到所述第一向量。
S603，获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为上述实施例的训练好的文本语义匹配模型中的预训练编码模型；
作为一种可能的实现方式，所述多个文章主题各自的第二向量是预先获取并进行存储的，搜索过程中获取第二向量时，只需要从所述第二向量的存储路径上获取所述第二向量。
S604，计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
作为一种可能的实现方式，采用余弦相似度方法计算所述第一向量与所述第二向量之间的相似度，也可以采用其他相似度计算方法，这里不做具体限制。
S605，将所述目标文章主题对应的文章返回给所述终端。
本申请实施例的搜索方法，采用上述实施例的训练好的文本语义匹配模型中的预训练编码模型，对搜索问题和文章主题进行编码，提升了所述搜索问题和文章主题的匹配度，对提升用户搜索满意度有非常大的帮助。
与上述实施例提供的语义数据的处理方法相对应，本申请实施例还提供一种语义数据的处理装置。图7是根据本申请一个实施例的语义数据的处理装置的结构示意图。如图7所示，该语义数据的处理装置700可以包括：第一构建模块710、第一训练模块720、第二获取模块730和第二训练模块740。
具体地，第一构建模块710，用于根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
第一训练模块720，用于通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
第二构建模块730，用于根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
第二训练模块740，用于通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
在本申请的一些实施例中，所述第一构建模块710具体用于：
根据所述历史搜索数据确定多个搜索问题和多个文章主题，从所述多个搜索问题中获取多个第一序列，将所述多个第一序列之中当前第一序列与其本身或者与其他第一序列构成第一训练样本；
从所述多个文章主题中获取多个第二序列，将所述多个第二序列之中当前第二序列与其本身或者与其他第二序列构成第一训练样本。
在本申请的一些实施例中，所述第二构建模块730具体用于：
根据历史搜索数据确定多个搜索问题、多个文章主题、以及所述多个搜索问题和多个文章主题之间的点击关系，从所述多个搜索问题中获取多个第一序列，并从所述多个文章主题中获取多个第二序列，根据所述点击关系，将所述第一序列和所述第二序列构成的序列对作为第二训练样本。
在本申请的一些实施例中，所述第二训练样本包括序列对难分负样本，所述第二构建模块730获取序列对难分负样本时，具体用于：
通过预训练模型计算每个所述序列对中两个序列的相似度得分，并筛选出所述相似度得分满足预设范围的第一目标序列对；
分别对所述第一目标序列对中的两个序列进行切词，将拥有相同切词的第一目标序列对作为序列对难分负样本。
在本申请的一些实施例中，所述第二训练样本包括序列对正样本和序列对负样本，所述第二构建模块730获取序列对正样本时，具体用于：
获取所述第一序列与第二序列存在点击关系的多个序列对；
确定所述多个序列对中满足点击频率范围的第二目标序列对；
对所述第二目标序列对进行清洗，将清洗后的第二目标序列对作为序列对正样本；以及，
所述第二构建模块730获取序列对负样本时，具体用于：
将所述多个第二训练样本中除序列对正样本之外的第二训练样本作为简单序列对负样本。
在本申请的一些实施例中，所述损失函数为pair-wise的损失函数，所述第二训练模块740还用于：
针对所述序列对负样本和序列对难分负样本，所述pair-wise的损失函数的边界参数m选择不同的取值。
本申请实施例的语义数据的处理方法，包括两个阶段，第一阶段，基于无监督数据进行对比学习，提升预训练模型的序列表示效果；第二阶段，基于企业内部搜索的点展日志，挖掘构建模型难分与易分的半监督训练数据，基于优化的pair-wise损失函数训练领域语义匹配模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式及效果已经在有关该构建方法的实施例中进行了详细描述，此处将不做详细阐述说明。
采用上述实施例的语义数据的处理方法，得到的训练好的文本语义匹配模型，可以应用于智能搜索***。根据本申请实施例提供了一种搜索***，所述***包括搜索单元，所述搜索单元用于采用根据上述语义数据的处理方法得到的训练好的文本语义匹配模型中的预训练编码模型，根据搜索请求召回对应的搜索信息。
与上述实施例提供的搜索方法相对应，本申请实施例还提供一种搜索装置。图8是根据本申请一个实施例的搜索装置的结构示意图。如图8所示，该搜索装置800可以包括：接收模块801、编码模块802、获取模块803、计算模块804和返回模块805。
具体的，所述接收模块801，用于接收终端的搜索请求，获取所述搜索请求中的搜索问题；
编码模块802，用于将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为上述构建方法实施例的训练好的文本语义匹配模型中的预训练编码模型；
获取模块803，用于获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为上述方法实施例的训练好的文本语义匹配模型中的预训练编码模型；
计算模块804，用于计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
返回模块805，用于将所述目标文章主题对应的文章返回给所述终端。
关于上述实施例中的搜索装置，其中各个模块执行操作的具体方式及效果已经在有关该搜索方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的语义数据的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语义数据的处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语义数据的处理方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语义数据的处理方法对应的程序指令/模块(例如，附图7所示的第一获取模块710、第一训练模块720、第二获取模块730和第一训练模块740，或者，例如，附图8所示的接收模块801、编码模块802、获取模块803、计算模块804和返回模块805)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语义数据的处理方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据语义数据的处理电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至语义数据的处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语义数据的处理方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与语义数据的处理电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (17)
1.一种语义数据的处理方法，应用于智能搜索***，所述方法包括：
根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
2.根据权利要求1所述的方法，其中，所述根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本，包括：
根据所述历史搜索数据确定多个搜索问题和多个文章主题，从所述多个搜索问题中获取多个第一序列，将所述多个第一序列之中当前第一序列与其本身或者与其他第一序列构成第一训练样本；
从所述多个文章主题中获取多个第二序列，将所述多个第二序列之中当前第二序列与其本身或者与其他第二序列构成第一训练样本。
3.根据权利要求1所述的方法，其中，所述根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本，包括：
根据历史搜索数据确定多个搜索问题、多个文章主题、以及所述多个搜索问题和多个文章主题之间的点击关系，从所述多个搜索问题中获取多个第一序列，并从所述多个文章主题中获取多个第二序列，根据所述点击关系，将所述第一序列和所述第二序列构成的序列对作为第二训练样本。
4.根据权利要求3所述的方法，其中，所述第二训练样本包括序列对难分负样本，所述序列对难分负样本的获取方法，包括：
通过预训练模型计算每个所述序列对中两个序列的相似度得分，并筛选出所述相似度得分满足预设范围的第一目标序列对；
分别对所述第一目标序列对中的两个序列进行切词，将拥有相同切词的第一目标序列对作为序列对难分负样本。
5.根据权利要求4所述的方法，其中，所述第二训练样本包括序列对正样本和序列对负样本；
所述序列对正样本的获取方法，包括：
获取所述第一序列与第二序列存在点击关系的多个序列对；
确定所述多个序列对中满足点击频率范围的第二目标序列对；
对所述第二目标序列对进行清洗，将清洗后的第二目标序列对作为序列对正样本；
所述序列对负样本的获取方法，包括：
将所述多个第二训练样本中除序列对正样本之外的第二训练样本作为序列对负样本。
6.根据权利要求5所述的方法，其中，所述损失函数为pair-wise的损失函数，针对所述序列对负样本和序列对难分负样本，所述pair-wise的损失函数的边界参数m选择不同的取值。
7.一种搜索方法，包括：
接收终端的搜索请求，获取所述搜索请求中的搜索问题；
将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为如权利要求1-6任一所述的文本语义匹配模型中的预训练编码模型；
获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为如权利要求1-6任一所述的文本语义匹配模型中的预训练编码模型；
计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
将所述目标文章主题对应的文章返回给所述终端。
8.一种语义数据的处理装置，包括：
第一构建模块，用于根据目标领域的历史搜索数据，构建无监督训练数据，所述无监督训练数据包括多个第一训练样本；
第一训练模块，用于通过所述无监督训练数据训练预训练编码模型，得到训练好的预训练编码模型，其中，所述预训练编码模型具有数据扩增功能；
第二构建模块，用于根据目标领域的历史搜索数据，构建半监督训练数据，所述半监督训练数据包括多个第二训练样本；
第二训练模块，用于通过所述半监督训练数据训练文本语义匹配模型，得到训练好的文本语义匹配模型，其中，所述文本语义匹配模型包括所述训练好的预训练编码模型和损失函数，所述训练好的预训练编码模型输出的向量作为所述损失函数的输入。
9.根据权利要求8所述的装置，其中，所述第一构建模块具体用于：
根据所述历史搜索数据确定多个搜索问题和多个文章主题，从所述多个搜索问题中获取多个第一序列，将所述多个第一序列之中当前第一序列与其本身或者与其他第一序列构成第一训练样本；
从所述多个文章主题中获取多个第二序列，将所述多个第二序列之中当前第二序列与其本身或者与其他第二序列构成第一训练样本。
10.根据权利要求8所述的装置，其中，所述第二构建模块具体用于：
根据历史搜索数据确定多个搜索问题、多个文章主题、以及所述多个搜索问题和多个文章主题之间的点击关系，从所述多个搜索问题中获取多个第一序列，并从所述多个文章主题中获取多个第二序列，根据所述点击关系，将所述第一序列和所述第二序列构成的序列对作为第二训练样本。
11.根据权利要求8所述的装置，其中，所述第二训练样本包括序列对难分负样本，所述第二构建模块获取序列对难分负样本时，具体用于：
通过预训练模型计算每个所述序列对中两个序列的相似度得分，并筛选出所述相似度得分满足预设范围的第一目标序列对；
分别对所述第一目标序列对中的两个序列进行切词，将拥有相同切词的第一目标序列对作为序列对难分负样本。
12.根据权利要求11所述的装置，其中，所述第二训练样本包括序列对正样本和序列对负样本，所述第二构建模块获取序列对正样本时，具体用于：
获取所述第一序列与第二序列存在点击关系的多个序列对；
确定所述多个序列对中满足点击频率范围的第二目标序列对；
对所述第二目标序列对进行清洗，将清洗后的第二目标序列对作为序列对正样本；以及，
所述第二构建模块获取序列对负样本时，具体用于：
将所述多个第二训练样本中除序列对正样本之外的第二训练样本作为简单序列对负样本。
13.根据权利要求12所述的方法，其中，所述损失函数为pair-wise的损失函数，所述第二训练模块还用于：
针对所述序列对负样本和序列对难分负样本，所述pair-wise的损失函数的边界参数m选择不同的取值。
14.一种搜索装置，包括：
接收模块，用于接收终端的搜索请求，获取所述搜索请求中的搜索问题；
编码模块，用于将所述搜索问题输入预先训练好的预训练编码模型，得到第一向量；所述预训练编码模型为如权利要求1－6任一所述的文本语义匹配模型中的预训练编码模型；
获取模块，用于获取多个文章主题各自的第二向量；其中，所述第二向量通过将所述文章主题输入预先训练好的预训练编码模型得到，所述预训练编码模型为如权利要求1－6任一所述的文本语义匹配模型中的预训练编码模型；
计算模块，用于计算所述第一向量与所述第二向量之间的相似度，并从所述多个文章主题中，确定出所述相似度满足预设条件的目标文章主题；
返回模块，用于将所述目标文章主题对应的文章返回给所述终端。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－6中任一项所述的方法，或者以使所述至少一个处理器能够执行权利要求7所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－6中任一项所述的方法，或者以使所述至少一个处理器能够执行权利要求7所述的方法。
17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1－6中任一项所述方法的步骤，或者以使所述至少一个处理器能够执行权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111115438.0A CN113869060A (zh) | 2021-09-23 | 2021-09-23 | 语义数据的处理方法及搜索方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111115438.0A CN113869060A (zh) | 2021-09-23 | 2021-09-23 | 语义数据的处理方法及搜索方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113869060A true CN113869060A (zh) | 2021-12-31 |
Family
ID=78993399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111115438.0A Pending CN113869060A (zh) | 2021-09-23 | 2021-09-23 | 语义数据的处理方法及搜索方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869060A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707516A (zh) * | 2022-03-29 | 2022-07-05 | 北京理工大学 | 一种基于对比学习的长文本语义相似度计算方法 |
| CN115329749A (zh) * | 2022-10-14 | 2022-11-11 | 成都数之联科技股份有限公司 | 一种语义检索的召回和排序联合训练方法及*** |
| CN115545121A (zh) * | 2022-11-25 | 2022-12-30 | 北京红棉小冰科技有限公司 | 一种模型训练方法及装置 |
| CN116127020A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法以及基于模型的搜索方法 |
| CN116910377A (zh) * | 2023-09-14 | 2023-10-20 | 长威信息科技发展股份有限公司 | 一种网格事件分类搜索推荐方法及*** |
-
2021
- 2021-09-23 CN CN202111115438.0A patent/CN113869060A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707516A (zh) * | 2022-03-29 | 2022-07-05 | 北京理工大学 | 一种基于对比学习的长文本语义相似度计算方法 |
| CN115329749A (zh) * | 2022-10-14 | 2022-11-11 | 成都数之联科技股份有限公司 | 一种语义检索的召回和排序联合训练方法及*** |
| CN115329749B (zh) * | 2022-10-14 | 2023-01-10 | 成都数之联科技股份有限公司 | 一种语义检索的召回和排序联合训练方法及*** |
| CN115545121A (zh) * | 2022-11-25 | 2022-12-30 | 北京红棉小冰科技有限公司 | 一种模型训练方法及装置 |
| CN116127020A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法以及基于模型的搜索方法 |
| CN116910377A (zh) * | 2023-09-14 | 2023-10-20 | 长威信息科技发展股份有限公司 | 一种网格事件分类搜索推荐方法及*** |
| CN116910377B (zh) * | 2023-09-14 | 2023-12-08 | 长威信息科技发展股份有限公司 | 一种网格事件分类搜索推荐方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560912B (zh) | 分类模型的训练方法、装置、电子设备和存储介质 | |
| CN111125335B (zh) | 问答处理方法、装置、电子设备和存储介质 | |
| CN112507715B (zh) | 确定实体之间关联关系的方法、装置、设备和存储介质 | |
| CN111079442B (zh) | 文档的向量化表示方法、装置和计算机设备 | |
| CN113869060A (zh) | 语义数据的处理方法及搜索方法、装置 | |
| US20220383190A1 (en) | Method of training classification model, method of classifying sample, and device | |
| CN111198940B (zh) | Faq方法、问答检索***、电子设备和存储介质 | |
| CN111832292A (zh) | 文本识别处理方法、装置、电子设备和存储介质 | |
| CN111078865B (zh) | 文本标题生成方法和装置 | |
| CN111967262A (zh) | 实体标签的确定方法和装置 | |
| KR102573637B1 (ko) | 엔티티 링킹 방법, 장치, 전자 기기 및 기록 매체 | |
| CN111831821B (zh) | 文本分类模型的训练样本生成方法、装置和电子设备 | |
| CN111177355B (zh) | 基于搜索数据的人机对话交互方法、装置和电子设备 | |
| CN111274407B (zh) | 知识图谱中三元组置信度计算方法和装置 | |
| US11907671B2 (en) | Role labeling method, electronic device and storage medium | |
| CN112560479A (zh) | 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 | |
| CN111539209B (zh) | 用于实体分类的方法和装置 | |
| CN111797216B (zh) | 检索项改写方法、装置、设备以及存储介质 | |
| CN111859953B (zh) | 训练数据的挖掘方法、装置、电子设备及存储介质 | |
| CN112163405A (zh) | 问题的生成方法和装置 | |
| CN112507091A (zh) | 检索信息的方法、装置、设备以及存储介质 | |
| CN111651578B (zh) | 人机对话方法、装置及设备 | |
| CN112541076A (zh) | 目标领域的扩充语料生成方法、装置和电子设备 | |
| JP2022091986A (ja) | インテリジェント対話方法、装置、電子機器及び記憶媒体 | |
| CN111783861A (zh) | 数据分类方法、模型训练方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |