CN107729300A - 文本相似度的处理方法、装置、设备和计算机存储介质 - Google Patents
文本相似度的处理方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN107729300A CN107729300A CN201710841945.XA CN201710841945A CN107729300A CN 107729300 A CN107729300 A CN 107729300A CN 201710841945 A CN201710841945 A CN 201710841945A CN 107729300 A CN107729300 A CN 107729300A
- Authority
- CN
- China
- Prior art keywords
- similarity
- text
- text pair
- characteristic vector
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种文本相似度的处理方法、装置、设备和计算机存储介质,其中所述文本相似度的处理方法包括:获取由多种相似度确定方法得到的文本对的相似度确定结果;将所述文本对的相似度确定结果进行拼接,得到拼接特征;将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;其中,所述相似度确定模型是预先训练得到的。通过本发明所提供的技术方案,能够实现对多种相似度确定方法所得到的相似度确定结果进行集成处理,并提高确定文本对的文本相似度的准确性,使得集成处理后的相似度计算准确性高于任何一种单一的相似度计算方式。
Description
【技术领域】
本发明涉及自然语言处理技术,尤其涉及一种文本相似度的处理方法、装置、设备和计算机存储介质。
【背景技术】
多种互联网应用(例如搜索引擎、问答平台等)都需要依赖准确的文本相似度的计算方法,从而向用户提供与所输入的查询或者与所提出的问题相匹配的内容,因此文本相似度计算一直以来都是亟待解决和提高的研发课题。现有技术中存在多种文本相似度的计算方法,仍然停留在传统自然语言学的词法、词性分析、句法模板提取的层面进行文本相似度的计算,需要使用例如切词工具、词性鉴别、文本匹配模板等方式对文本进行处理。然而,各种单一的相似度计算方法因其算法的限制往往在计算准确性上具有一定局限。
【发明内容】
有鉴于此,本发明提供了一种文本相似度的处理方法、装置、设备和计算机存储介质,用于实现对文本对的多种相似度确定结果进行集成处理,并提高文本对相似度的计算准确性。
本发明为解决技术问题所采用的技术方案是提供一种文本相似度的处理方法,所述方法包括:获取由多种相似度确定方法得到的文本对的相似度确定结果;将所述文本对的相似度确定结果进行拼接,得到拼接特征;将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;其中,所述相似度确定模型是预先训练得到的。
根据本发明一优选实施例,所述相似度确定模型是采用如下方式预先训练得到的:获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果;将所述各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征;将所述各文本对的拼接特征与所述各文本对的标注相似度作为训练样本,训练分类模型,以得到相似度确定模型。
根据本发明一优选实施例,所述分类模型的训练目标为最小化所述分类模型的损失值;在所述训练分类模型的过程中,利用所述损失值对所述分类模型进行参数调整。
根据本发明一优选实施例,所述损失值为所述分类模型输出的文本对的文本相似度与所述文本对的标注相似度之间的误差。
根据本发明一优选实施例,所述由多种相似度确定方式得到的文本对的相似度确定结果包括:文本对的相似度特征向量与相似度得分。
根据本发明一优选实施例,所述将所述文本对的相似度确定结果进行拼接之前,还包括:对所述相似度特征向量进行随机采样,得到采样特征向量;将所述采样特征向量与所述相似度得分进行拼接,得到所述拼接特征。
根据本发明一优选实施例,所述对所述相似度特征向量进行随机采样,得到采样特征向量包括:按照预设概率对所述相似度特征向量中的特征值进行随机采样,并将所述相似度特征向量中未被采样的特征值设置为0,得到采样特征向量。
根据本发明一优选实施例,所述相似度确定模型为基于神经网络的分类模型。
本发明为解决技术问题所采用的技术方案是提供一种文本相似度的处理装置,所述装置包括:获取单元,用于获取由多种相似度确定方法得到的文本对的相似度确定结果;拼接单元,用于将所述文本对的相似度确定结果进行拼接,得到拼接特征;处理单元,用于将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;其中,所述相似度确定模型是预先训练得到的。
根据本发明一优选实施例,所述装置还包括:训练单元,用于采用如下方式预先训练得到所述相似度确定模型:获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果;将所述各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征;将所述各文本对的拼接特征与所述各文本对的标注相似度作为训练样本,训练分类模型,以得到相似度确定模型。
根据本发明一优选实施例,所述分类模型的的训练目标为最小化所述分类模型的损失值;在所述训练分类模型的过程中,利用所述损失值对所述分类模型进行参数调整。
根据本发明一优选实施例,所述损失值为所述分类模型输出的文本对的文本相似度与所述文本对的标注相似度之间的误差。
根据本发明一优选实施例,所述由多种相似度确定方式得到的文本对的相似度确定结果包括:文本对的相似度特征向量与相似度得分。
根据本发明一优选实施例,所述拼接单元将所述文本对的相似度确定结果进行拼接之前,还执行:对所述相似度特征向量进行随机采样,得到采样特征向量;将所述采样特征向量与所述相似度得分进行拼接,得到所述拼接特征。
根据本发明一优选实施例,所述拼接单元对所述相似度特征向量进行随机采样,得到采样特征向量时具体执行:按照预设概率对所述相似度特征向量中的特征值进行随机采样,并将所述相似度特征向量中未被采样的特征值设置为0,得到采样特征向量。
根据本发明一优选实施例,所述相似度确定模型为基于神经网络的分类模型。
由以上技术方案可以看出,本发明通过对由多种相似度确定方法得到的文本对的相似度确定结果进行拼接,将拼接特征作为相似度确定模型的输入,从而实现对文本对的多种相似度确定结果进行集成处理,并提高文本对的文本相似度的计算准确性,使得集成处理后的相似度计算准确性高于任何一种单一的相似度计算方式。
【附图说明】
图1为本发明一实施例提供的文本相似度的处理方法的流程图。
图2为本发明一实施例提供的文本相似度的处理装置的结构图。
图3为本发明一实施例提供的计算机***/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明所提出的用于文本相似度的处理方法的核心思想在于:提供一种对文本相似度的多种相似度确定结果进行集成处理的方法,使得该集成处理方法能够对由多种单一的文本相似度确定方法所得到的相似度确定结果进行集成计算,并使得由该集成处理方法所得到的文本相似度能够比任一单一相似度确定方法所得到的文本相似度更加准确。在本发明中,以文本对的相似度特征向量与文本对的相似度得分这两种文本相似度确定结果为例进行说明。可以理解的是,无论是相似度特征向量还是相似度得分,都能够反映其所对应文本对的相似性情况。
图1为本发明一实施例提供的文本相似度的处理方法的流程图,如图1中所示,所述方法包括:
在101中,获取由多种相似度确定方法得到的文本对的相似度确定结果。
在本步骤中,获取由多种相似度确定方法得到的同一文本对的相似度确定结果。多种相似度确定方式可以为两种、三种或者更多种,因此所得到的文本对的相似度确定结果也相应地为两种、三种或者更多种。
在本实施例中,所获取的文本对的相似度确定结果为文本对的相似度特征向量与相似度得分。可选地,在本实施例的一个具体实现过程中,可以使用既有的文本相似度计算***获取文本对的相似度得分,也可以使用余弦相似度计算方法、BM25相似度计算方法等获取文本对的相似度得分。可以使用基于神经网络或者深度学习模型的文本相似度计算方法获取文本对的相似度特征向量,例如将某文本对输入基于卷积神经网络的文本匹配算法后,该算法会输出对应该文本对的特征向量,则将该特征向量作为该文本对的相似度特征向量。本发明对神经网络或者学习模型的种类不进行限定,能够根据所输入的文本对输出特征向量的神经网络或者学习模型均可。
例如,对于一对文本P和Q,在获取文本对的相似度得分时,可以通过既有的文本相似度计算***A获取,该既有***A可以被封装为一个可调用接口,通过调用该接口便可以直接得到该文本对的相似度得分,由于该既有***A被封装,因此其内部参数或者代码不可更改。在获取文本对的相似度特征向量时,可以通过新研制的基于神经网络的相似度计算方法B获取,由于该计算方法B是新研制的,因此可以对其内部参数或者进行更改。可以将本步骤中所获取的相似度得分记为XA,相似度特征向量记为XB。
可以理解的是,本步骤中所获取的文本对的相似度确定结果也可以为由不同的相似度确定方法所获取的文本对的相似度特征向量,从而作为该文本对的多种相似度确定结果进行后续处理。
在102中,将所述文本对的相似度确定结果进行拼接,得到拼接特征。
在本步骤中,对步骤101中所获取的多种相似度确定结果进行拼接,从而得到多种相似度确定结果的拼接特征。
其中,若步骤101中所获取的多种相似度确定结果中有相似度特征向量时,还可以对相似度特征向量进行以下处理:对相似度特征向量进行随机采样后,将采样特征向量与其他的相似度确定结果进行拼接,从而得到文本对的拼接特征。
具体地,在对相似度特征向量进行随机采样时,可以采用以下方式:按照预设概率对相似度特征向量中的特征值进行随机采样,并将相似度特征向量中未被采样的特征值设置为0,从而得到采样特征向量。
例如,若由步骤101所获取的相似度特征向量的维度为5,预设概率为0.6时,则会随机保留相似度特征向量的5个维度中3个(5×0.6)维度的特征值,而其他两个维度的特征值设置为0。若所得到的相似度特征向量为XB=[8.0,6.0,3.0,4.0,5.0],预设概率为0.6,则对相似度特征向量中任意3个维度的特征值进行采样,另外两个维度的特征值置为0。若采样特征向量为XB'=[8.0,6.0,0.0,0.0,5.0],则表明该次采样是对索引号为0、1和4的特征值进行的采样,索引号为2和3的特征值设置为0;若XB'=[8.0,0.0,0.0,4.0,5.0],则表明该次采样是对索引号为0、3和4的特征值进行的采样,索引号为1和2的特征值设置为0。其中,预设概率可以根据实际情况进行设置。
在本步骤中,在对相似度特征向量进行随机采样得到采样特征向量之后,将所得到的采样特征向量与步骤101中所获取的文本相似度得分进行拼接。在对采样特征向量与文本相似度得分进行拼接时,可以通过以下公式进行:
在公式中:XC为拼接特征,XA为文本相似度得分,为行向量拼接运算符,XB'为采样特征向量,T为向量转置运算符。
在进行拼接时,还可以使用预设函数对步骤101中所获取的多种相似度确定结果进行拼接。例如,若步骤101中所获取的多种相似度确定结果均为相似度特征向量时,在对各相似度特征向量进行随机采样得到采样特征向量后,可以采用matlab里的[]函数,对各采样相似度特征向量进行拼接,以得到多种相似度确定结果的拼接特征。
优选地,在本步骤中,在对文本对的相似度特征向量进行随机采样时,可以将预设概率设置为1,即可以不对所获取的相似度特征向量进行随机采样,将步骤101中所获取的相似度特征向量与相似度得分进行直接拼接,以得到拼接特征。
在103中,将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度。
在本步骤中,将在步骤102中所得到的拼接特征作为相似度确定模型的输入,将相似度计算模型的输出作为该文本对的文本相似度。
在本步骤中,所使用的相似度确定模型可以采用如下方式预先训练得到:
1)获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果。
在本步骤中,预先对各文本对的相似度进行标注,即通过标注的相似度能够得知该文本对是否相似。例如,若某文本对所标注的相似度为1,则表明该文本对相似;若为0,则表明不相似。
其中,所获取的文本对的相似度确定结果为文本对的相似度特征向量与文本对的相似度得分。同样地,在获取由不同相似度确定方法得到的已标注相似度的文本对的相似度特征向量与相似度得分时,与步骤101中的过程一致,在此不再进行赘述。
2)对所获取的各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征。
在本步骤中,将获取的已标注相似度的文本对的相似度特征向量与相似度得分进行拼接,得到对应各文本对的拼接特征。在拼接之前,还可以对文本对的相似度特征向量进行随机采样后,将采样特征向量与相似度得分进行拼接,以得到该文本对的拼接特征。本步骤的随机采样过程、拼接过程与步骤102中的一致,在此不进行赘述。优选地,在本步骤中,在进行对相似度特征向量的随机采样时,将进行采样的预设概率设置为小于1。
3)将各文本对的拼接特征与各文本对的标注相似度作为训练样本,训练分类模型,得到相似度确定模型。
在本步骤中,将各文本对的拼接特征作为分类模型的输入,各文本对的标注相似度作为分类模型的输出,对分类模型进行训练。其中,分类模型的训练目标是最小化该分类模型的损失值。具体地,该损失值可以为分类模型输出的文本对的计算相似度与该文本对的标注相似度之间的误差。
其中,分类模型输出的文本对的计算相似度与该文本对的标注相似度之间的误差,可以使用如下公式进行获取:
在公式中:L为文本对的计算相似度与标注相似度的误差,y为文本对的标注相似度,为文本对的计算相似度。
具体地,最小化该分类模型的损失值,即为最小化文本对输出的计算相似度与文本对的标注相似度之间的误差L。可选地,在本实施例的一个具体实现过程中,若在预设次数内所得到的误差收敛,则认为该分类模型的损失值最小化;也可以为若所得到的误差收敛到预设值,则认为该分类模型的损失值最小化;还可以为若训练次数超过预设次数时,则认为该分类模型的损失值最小化。当分类模型的损失值最小化时,即认为分类模型的训练过程完成,得到相似度确定模型。其中,分类模型为基于神经网络的分类模型,可以为卷积神经网络,还可以为循环神经网络,本发明对此不进行限定。
在对分类模型的训练过程中,最小化损失值的过程实际上是利用损失值进行反馈对分类模型进行调参的过程。其中,调整的参数包括分类模型中采用的多种相似度确定方法得到的相似度确定结果的权重。经过循环迭代后,最终得到的分类模型所采用的参数使得损失值最小,从而实现自动地对不同相似度确定方法进行权重调配。
同时,在对分类模型进行训练时,还可以依据分类模型的损失值对各相似度确定方法的参数进行调整。例如,在上述描述中的基于神经网络的相似度计算方法B,由于其内部参数可以更改,因此可以根据分类模型的损失值对该基于神经网络的相似度计算方法中的参数进行更改,使得该计算方法的参数逐渐达到最优值。当在训练分类模型所得到的损失值最小化时,分类模型中的参数达到最优,方法B中的参数也达到最优。因此,方法B会根据所输入的文本对输出一个更加准确的表示该文本对相似性的特征向量,从而进一步提升相似度确定模型所输出的文本相似度的准确性。
在训练得到相似度确定模型之后,便可以由该模型得到文本对的文本相似度。即在步骤103中,将步骤102所得到的文本对的拼接特征输入相似度确定模型,相似度确定模型所得到的输出即为该文本对的文本相似度。
由于在相似度确定模型的训练过程中,已经将该模型内的参数、各相似度确定方法的权重参数以及各相似度确定方法内的参数优化到最优值,因此能够根据所输入的对应文本对的拼接特征,输出该文本对的更加准确的文本相似度的确定结果。
对上述描述进行举例说明:
若所使用的文本相似度确定方法为文本相似度计算***A与基于神经网络的文本匹配算法B,所获取的文本相似度确定结果分别为相似度得分与相似度特征向量。在进行相似度确定模型的训练时,将分类模型所得到的计算相似度与标注相似度之间的误差作为损失值,来更新分类模型中的参数、以及方法B中的参数。当损失值最小化时,分类模型中的参数达到最优,从而得到相似度确定模型;同时,方法B中的参数也达到最优,能够得到更加准确的表示文本对相似性的相似度特征向量。对于待评估文本对,通过A获取该文本对的相似度得分,通过参数更新后的B得到相似度特征向量,进行拼接后将拼接特征输入相似度确定模型,从而得到待评估文本对的文本相似度。因此通过上述方法,能够进一步提升对文本对相似度的计算准确性。
图2为本发明一实施例提供的文本相似度的处理装置的结构图,如图2中所示,所述装置包括:获取单元21、拼接单元22、训练单元23以及处理单元24。
获取单元21,用于获取由多种相似度确定方法得到的文本对的相似度确定结果。
由获取单元21获取由多种相似度确定方法得到的同一文本对的相似度确定结果。多种相似度确定方式可以为两种、三种或者更多种,因此获取单元21所得到的文本对的相似度确定结果也相应地为两种、三种或者更多种。
在本实施例中,获取单元21所获取的文本对的相似度确定结果为文本对的相似度特征向量与相似度得分。可选地,在本实施例的一个具体实现过程中,获取单元21可以使用既有的文本相似度计算***获取文本对的相似度得分,也可以使用余弦相似度计算方法、BM25相似度计算方法等获取文本对的相似度得分。可以使用基于神经网络或者深度学习模型的文本相似度计算方法获取文本对的相似度特征向量,例如将某文本对输入基于卷积神经网络的文本匹配算法后,该算法会输出对应该文本对的特征向量,则获取单元21将该特征向量作为该文本对的相似度特征向量。本发明对神经网络或者学习模型的种类不进行限定,能够根据所输入的文本对输出特征向量的神经网络或者学习模型均可。
例如,对于一对文本P和Q,在获取单元21获取文本对的相似度得分时,可以通过既有的文本相似度计算***A获取,该既有***A可以被封装为一个可调用接口,通过调用该接口便可以直接得到该文本对的相似度得分,由于该既有***A被封装,因此其内部参数或者代码不可更改。在获取单元21获取文本对的相似度特征向量时,可以通过新研制的基于神经网络的相似度计算方法B获取,由于该计算方法B是新研制的,因此可以对其内部参数或者进行更改。可以将本步骤中所获取的相似度得分记为XA,相似度特征向量记为XB。
可以理解的是,获取单元21所获取的文本对的相似度确定结果也可以为由不同的相似度确定方法所获取的文本对的相似度特征向量,从而作为该文本对的多种相似度确定结果进行后续处理。
拼接单元22,用于将所述文本对的相似度确定结果进行拼接,得到拼接特征。
拼接单元22对由获取单元21所获取的多种相似度确定结果进行拼接,从而得到多种相似度确定结果的拼接特征。
其中,若获取单元21所获取的多种相似度确定结果中有相似度特征向量时,拼接单元22还可以对相似度特征向量进行以下处理:对相似度特征向量进行随机采样后,将采样特征向量与其他的相似度确定结果进行拼接,从而得到文本对的拼接特征。
具体地,拼接单元22在对相似度特征向量进行随机采样时,可以采用以下方式:按照预设概率对相似度特征向量中的特征值进行随机采样,并将相似度特征向量中未被采样的特征值设置为0,从而得到采样特征向量。
例如,若由获取单元21所获取的相似度特征向量的维度为5,预设概率为0.6时,则拼接单元22会随机保留相似度特征向量的5个维度中3个(5×0.6)维度的特征值,而其他两个维度的特征值设置为0。若所得到的相似度特征向量为XB=[8.0,6.0,3.0,4.0,5.0],预设概率为0.6,则对相似度特征向量中任意3个维度的特征值进行采样,另外两个维度的特征值置为0。若采样特征向量为XB'=[8.0,6.0,0.0,0.0,5.0],则表明该次采样是对索引号为0、1和4的特征值进行的采样,索引号为2和3的特征值设置为0;若XB'=[8.0,0.0,0.0,4.0,5.0],则表明该次采样是对索引号为0、3和4的特征值进行的采样,索引号为1和2的特征值设置为0。其中,预设概率可以根据实际情况进行设置。
拼接单元22在对相似度特征向量进行随机采样得到采样特征向量之后,将所得到的采样特征向量与由获取单元21所获取的文本相似度得分进行拼接。在对采样特征向量与文本相似度得分进行拼接时,拼接单元22可以通过以下公式进行:
在公式中:XC为拼接特征,XA为文本相似度得分,为行向量拼接运算符,XB'为采样特征向量,T为向量转置运算符。
在进行拼接时,拼接单元22还可以使用预设函数对由获取单元21所获取的多种相似度确定结果进行拼接。例如,若获取单元21所获取的多种相似度确定结果均为相似度特征向量时,拼接单元22在对各相似度特征向量进行随机采样得到采样特征向量后,可以采用matlab里的[]函数,对各采样相似度特征向量进行拼接,以得到多种相似度确定结果的拼接特征。
优选地,拼接单元22在对文本对的相似度特征向量进行随机采样时,可以将预设概率设置为1,即拼接单元22可以不对所获取的相似度特征向量进行随机采样,将获取单元21中所获取的相似度特征向量与相似度得分进行直接拼接,以得到拼接特征。
训练单元23,用于预先训练得到相似度确定模型。
训练单元23预先训练得到的相似度确定模型用于确定待评估文本对的文本相似度。具体地,训练单元23可以采用如下方式预先训练得到相似度确定模型:
1)获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果。
训练单元23所使用的文本对为预先标注相似度的各文本对,即通过标注的相似度能够得知该文本对是否相似。例如,若某文本对所标注的相似度为1,则表明该文本对相似;若为0,则表明不相似。
其中,所获取的文本对的相似度确定结果为文本对的相似度特征向量与文本对的相似度得分。同样地,在获取由不同相似度确定方法得到的已标注相似度的文本对的相似度特征向量与相似度得分时,与获取单元21获取的过程一致,在此不再进行赘述。
2)对所获取的各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征。
训练单元23将获取的已标注相似度的文本对的相似度特征向量与相似度得分进行拼接,得到对应各文本对的拼接特征。在拼接之前,训练单元23还可以对文本对的相似度特征向量进行随机采样后,将采样特征向量与相似度得分进行拼接,以得到该文本对的拼接特征。训练单元23进行的随机采样过程、拼接过程与拼接单元22所进行的过程一致,在此不进行赘述。优选地,在训练单元23进行对文本对的相似度特征向量的随机采样时,将采样的预设概率设置为小于1。
3)将各文本对的拼接特征与各文本对的标注相似度作为训练样本,训练分类模型,得到相似度确定模型。
训练单元23将各文本对的拼接特征作为分类模型的输入,各文本对的标注相似度作为分类模型的输出,对分类模型进行训练。其中,分类模型的训练目标是最小化该分类模型的损失值。具体地,该损失值可以为分类模型输出的文本对的计算相似度与该文本对的标注相似度之间的误差。
其中,分类模型输出的文本对的计算相似度与该文本对的标注相似度之间的误差,可以使用如下公式进行获取:
在公式中:L为文本对的计算相似度与标注相似度的误差,y为文本对的标注相似度,为文本对的计算相似度。
具体地,训练单元23最小化该分类模型的损失值,即为最小化文本对输出的计算相似度与文本对的标注相似度之间的误差L。可选地,在本实施例的一个具体实现过程中,若训练单元23在预设次数内所得到的误差收敛,则认为该分类模型的损失值最小化;也可以为若训练单元23所得到的误差收敛到预设值,则认为该分类模型的损失值最小化;还可以为若训练单元23的训练次数超过预设次数时,则认为该分类模型的损失值最小化。当分类模型的损失值最小化时,即认为训练单元23对分类模型的训练过程完成,得到相似度确定模型。其中,分类模型为基于神经网络的分类模型,可以为卷积神经网络,还可以为循环神经网络,本发明对此不进行限定。
在训练单元23对分类模型的训练过程中,最小化损失值的过程实际上是利用损失值进行反馈,以对分类模型进行调参的过程。其中,调整的参数包括分类模型中采用的多种相似度确定方法得到的相似度确定结果的权重。经过循环迭代后,最终得到的分类模型所采用的参数使得损失值最小,从而实现自动地对不同相似度确定方法进行权重调配。
同时,在训练单元23对分类模型进行训练时,还可以依据分类模型的损失值对各相似度确定方法的参数进行调整。例如,在上述描述中的基于神经网络的相似度计算方法B,由于其内部参数可以更改,因此可以根据分类模型的损失值对该基于神经网络的相似度计算方法中的参数进行更改,使得该计算方法的参数逐渐达到最优值。当在训练分类模型所得到的损失值最小化时,分类模型中的参数达到最优,方法B中的参数也达到最优。因此,方法B会根据所输入的文本对输出一个更加准确的表示该文本对相似性的特征向量,从而进一步提升相似度确定模型所输出的文本相似度的准确性。
处理单元24,用于将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度。
处理单元24将在拼接单元22中所得到的拼接特征作为训练单元23所训练得到的相似度确定模型的输入,将相似度计算模型的输出作为该文本对的文本相似度。
在训练单元23训练得到相似度确定模型之后,处理单元24便可以由该模型得到文本对的文本相似度。即处理单元24将拼接单元22所得到的文本对的拼接特征输入相似度确定模型,相似度确定模型所得到的输出即为该文本对的文本相似度。
由于在相似度确定模型的训练过程中,已经将该模型内的参数以及各相似度确定方法内的参数优化到最优值,因此能够根据所输入的对应文本对的拼接特征,输出该文本对的更加准确的文本相似度的确定结果。
图3示出了适于用来实现本发明实施方式的示例性计算机***/服务器012的框图。图3显示的计算机***/服务器012仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,计算机***/服务器012以通用计算设备的形式表现。计算机***/服务器012的组件可以包括但不限于:一个或者多个处理器或者处理单元016,***存储器028,连接不同***组件(包括***存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器012典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器028可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机***/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***034可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040,可以存储在例如存储器028中,这样的程序模块042包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信,在本发明中,计算机***/服务器012与外部雷达设备进行通信,还可与一个或者多个使得用户能与该计算机***/服务器012交互的设备通信,和/或与使得该计算机***/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且,计算机***/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器020通过总线018与计算机***/服务器012的其它模块通信。应当明白,尽管图中未示出,可以结合计算机***/服务器012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元016通过运行存储在***存储器028中的程序,从而执行各种功能应用以及数据处理,例如实现一种文本相似度的处理方法,可以包括:
获取由多种相似度确定方法得到的文本对的相似度确定结果;
将所述文本对的相似度确定结果进行拼接,得到拼接特征;
将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;
其中,所述相似度确定模型是预先训练得到的。
上述的计算机程序可以设置于计算机存储介质中,即该计算机存储介质被编码有计算机程序,该程序在被一个或多个计算机执行时,使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如,被上述一个或多个处理器执行的方法流程,可以包括:
获取由多种相似度确定方法得到的文本对的相似度确定结果;
将所述文本对的相似度确定结果进行拼接,得到拼接特征;
将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;
其中,所述相似度确定模型是预先训练得到的。
随着时间、技术的发展,介质含义越来越广泛,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案,通过对所获取的多种相似度确定方法得到的文本对的相似度确定结果进行拼接,将拼接特征作为相似度确定模型的输入,从而实现对多种相似度确定结果的集成处理,并提高文本对相似度的准确性,使得集成处理后的相似度计算准确性高于任何一种单一的相似度计算方式。
在本发明所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (18)
1.一种文本相似度的处理方法,其特征在于,所述方法包括:
获取由多种相似度确定方法得到的文本对的相似度确定结果;
将所述文本对的相似度确定结果进行拼接,得到拼接特征;
将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;
其中,所述相似度确定模型是预先训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述相似度确定模型是采用如下方式预先训练得到的:
获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果;
将所述各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征;
将所述各文本对的拼接特征与所述各文本对的标注相似度作为训练样本,训练分类模型,以得到相似度确定模型。
3.根据权利要求2所述的方法,其特征在于,所述分类模型的训练目标为最小化所述分类模型的损失值;
在所述训练分类模型的过程中,利用所述损失值对所述分类模型进行参数调整。
4.根据权利要求3所述的方法,其特征在于,所述损失值为所述分类模型输出的文本对的文本相似度与所述文本对的标注相似度之间的误差。
5.根据权利要求1或2所述的方法,其特征在于,所述由多种相似度确定方式得到的文本对的相似度确定结果包括:文本对的相似度特征向量与相似度得分。
6.根据权利要求5所述的方法,其特征在于,所述将所述文本对的相似度确定结果进行拼接之前,还包括:
对所述相似度特征向量进行随机采样,得到采样特征向量;
将所述采样特征向量与所述相似度得分进行拼接,得到所述拼接特征。
7.根据权利要求6所述的方法,其特征在于,所述对所述相似度特征向量进行随机采样,得到采样特征向量包括:
按照预设概率对所述相似度特征向量中的特征值进行随机采样,并将所述相似度特征向量中未被采样的特征值设置为0,得到采样特征向量。
8.根据权利要求1所述的方法,其特征在于,所述相似度确定模型为基于神经网络的分类模型。
9.一种文本相似度的处理装置,其特征在于,所述装置包括:
获取单元,用于获取由多种相似度确定方法得到的文本对的相似度确定结果;
拼接单元,用于将所述文本对的相似度确定结果进行拼接,得到拼接特征;
处理单元,用于将所述拼接特征作为相似度确定模型的输入,根据所述相似度确定模型的输出得到所述文本对的文本相似度;
其中,所述相似度确定模型是预先训练得到的。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:训练单元,用于采用如下方式预先训练得到所述相似度确定模型:
获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果;
将所述各文本对的相似度确定结果进行拼接,得到各文本对的拼接特征;
将所述各文本对的拼接特征与所述各文本对的标注相似度作为训练样本,训练分类模型,以得到相似度确定模型。
11.根据权利要求10所述的装置,其特征在于,所述分类模型的训练目标为最小化所述分类模型的损失值;
在所述训练分类模型的过程中,利用所述损失值对所述分类模型进行参数调整。
12.根据权利要求11所述的装置,其特征在于,所述损失值为所述分类模型输出的文本对的文本相似度与所述文本对的标注相似度之间的误差。
13.根据权利要求9或10所述的装置,其特征在于,所述由多种相似度确定方式得到的文本对的相似度确定结果包括:文本对的相似度特征向量与相似度得分。
14.根据权利要求13所述的装置,其特征在于,所述拼接单元将所述文本对的相似度确定结果进行拼接之前,还执行:
对所述相似度特征向量进行随机采样,得到采样特征向量;
将所述采样特征向量与所述相似度得分进行拼接,得到所述拼接特征。
15.根据权利要求14所述的装置,其特征在于,所述拼接单元对所述相似度特征向量进行随机采样,得到采样特征向量时具体执行:
按照预设概率对所述相似度特征向量中的特征值进行随机采样,并将所述相似度特征向量中未被采样的特征值设置为0,得到采样特征向量。
16.根据权利要求9所述的装置,其特征在于,所述相似度确定模型为基于神经网络的分类模型。
17.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710841945.XA CN107729300B (zh) | 2017-09-18 | 2017-09-18 | 文本相似度的处理方法、装置、设备和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710841945.XA CN107729300B (zh) | 2017-09-18 | 2017-09-18 | 文本相似度的处理方法、装置、设备和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107729300A true CN107729300A (zh) | 2018-02-23 |
CN107729300B CN107729300B (zh) | 2021-12-24 |
Family
ID=61207603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710841945.XA Active CN107729300B (zh) | 2017-09-18 | 2017-09-18 | 文本相似度的处理方法、装置、设备和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107729300B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101489A (zh) * | 2018-07-18 | 2018-12-28 | 武汉数博科技有限责任公司 | 一种文本自动摘要方法、装置及一种电子设备 |
CN109992772A (zh) * | 2019-03-13 | 2019-07-09 | 众安信息技术服务有限公司 | 一种文本相似度计算方法及装置 |
CN110059180A (zh) * | 2019-03-13 | 2019-07-26 | 百度在线网络技术(北京)有限公司 | 文章作者身份识别及评估模型训练方法、装置及存储介质 |
CN110083834A (zh) * | 2019-04-24 | 2019-08-02 | 北京百度网讯科技有限公司 | 语义匹配模型训练方法、装置、电子设备及存储介质 |
CN110532267A (zh) * | 2019-08-28 | 2019-12-03 | 北京明略软件***有限公司 | 字段的确定方法、装置、存储介质及电子装置 |
WO2020020287A1 (zh) * | 2018-07-25 | 2020-01-30 | 中兴通讯股份有限公司 | 一种获取文本相似度的方法、装置、设备及可读存储介质 |
CN110851546A (zh) * | 2019-09-23 | 2020-02-28 | 京东数字科技控股有限公司 | 一种验证、模型的训练、模型的共享方法、***及介质 |
CN110874526A (zh) * | 2018-12-29 | 2020-03-10 | 北京安天网络安全技术有限公司 | 一种文件相似性检测方法、装置、电子设备及存储介质 |
CN110929499A (zh) * | 2019-10-15 | 2020-03-27 | 平安科技(深圳)有限公司 | 文本相似度获取方法、装置、介质及电子设备 |
CN111027994A (zh) * | 2018-10-09 | 2020-04-17 | 百度在线网络技术(北京)有限公司 | 相似对象确定方法、装置、设备和介质 |
CN111400462A (zh) * | 2019-01-02 | 2020-07-10 | 珠海格力电器股份有限公司 | 问答机器人训练方法、***及问答机器人 |
CN111680136A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN112329430A (zh) * | 2021-01-04 | 2021-02-05 | 恒生电子股份有限公司 | 一种模型训练方法、文本相似度确定方法及装置 |
CN112966708A (zh) * | 2021-01-27 | 2021-06-15 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2379055A1 (en) * | 1999-07-14 | 2001-01-25 | Transgenic Inc. | Trap vectors and gene trapping using the same |
CN101887443A (zh) * | 2009-05-13 | 2010-11-17 | 华为技术有限公司 | 一种文本的分类方法及装置 |
CN102646091A (zh) * | 2011-02-22 | 2012-08-22 | 日电(中国)有限公司 | 依存关系标注方法、装置和*** |
CN103268346A (zh) * | 2013-05-27 | 2013-08-28 | 翁时锋 | 半监督分类方法及*** |
CN103605694A (zh) * | 2013-11-04 | 2014-02-26 | 北京奇虎科技有限公司 | 一种相似文本检测装置和方法 |
CN104462060A (zh) * | 2014-12-03 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 通过计算机实现的计算文本相似度和搜索处理方法及装置 |
CN104699763A (zh) * | 2015-02-11 | 2015-06-10 | 中国科学院新疆理化技术研究所 | 多特征融合的文本相似性度量*** |
CN104899188A (zh) * | 2015-03-11 | 2015-09-09 | 浙江大学 | 一种基于问题主题和焦点的问题相似度计算方法 |
JP5810240B1 (ja) * | 2015-04-10 | 2015-11-11 | 株式会社ソリトンシステムズ | 電子メール誤送信判定装置、電子メール送信システム及びプログラム |
CN105045781A (zh) * | 2015-08-27 | 2015-11-11 | 广州神马移动信息科技有限公司 | 查询词相似度计算方法及装置、查询词搜索方法及装置 |
US20160283452A1 (en) * | 2010-06-22 | 2016-09-29 | Akamai Technologies, Inc. | Method and system for automated analysis and transformation of web pages |
CN106250858A (zh) * | 2016-08-05 | 2016-12-21 | 重庆中科云丛科技有限公司 | 一种融合多种人脸识别算法的识别方法及*** |
CN106484678A (zh) * | 2016-10-13 | 2017-03-08 | 北京智能管家科技有限公司 | 一种短文本相似度计算方法及装置 |
CN106502989A (zh) * | 2016-10-31 | 2017-03-15 | 东软集团股份有限公司 | 情感分析方法及装置 |
CN106815593A (zh) * | 2015-11-27 | 2017-06-09 | 北京国双科技有限公司 | 中文文本相似度的确定方法和装置 |
CN106815311A (zh) * | 2016-12-21 | 2017-06-09 | 杭州朗和科技有限公司 | 一种问题匹配方法和装置 |
CN106844346A (zh) * | 2017-02-09 | 2017-06-13 | 北京红马传媒文化发展有限公司 | 基于深度学习模型Word2Vec的短文本语义相似性判别方法和*** |
CN106874258A (zh) * | 2017-02-16 | 2017-06-20 | 西南石油大学 | 一种基于汉字属性向量表示的文本相似性计算方法及*** |
CN107066555A (zh) * | 2017-03-26 | 2017-08-18 | 天津大学 | 面向专业领域的在线主题检测方法 |
CN107133202A (zh) * | 2017-06-01 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的文本校验方法和装置 |
-
2017
- 2017-09-18 CN CN201710841945.XA patent/CN107729300B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2379055A1 (en) * | 1999-07-14 | 2001-01-25 | Transgenic Inc. | Trap vectors and gene trapping using the same |
CN101887443A (zh) * | 2009-05-13 | 2010-11-17 | 华为技术有限公司 | 一种文本的分类方法及装置 |
US20160283452A1 (en) * | 2010-06-22 | 2016-09-29 | Akamai Technologies, Inc. | Method and system for automated analysis and transformation of web pages |
CN102646091A (zh) * | 2011-02-22 | 2012-08-22 | 日电(中国)有限公司 | 依存关系标注方法、装置和*** |
CN103268346A (zh) * | 2013-05-27 | 2013-08-28 | 翁时锋 | 半监督分类方法及*** |
CN103605694A (zh) * | 2013-11-04 | 2014-02-26 | 北京奇虎科技有限公司 | 一种相似文本检测装置和方法 |
CN104462060A (zh) * | 2014-12-03 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 通过计算机实现的计算文本相似度和搜索处理方法及装置 |
CN104699763A (zh) * | 2015-02-11 | 2015-06-10 | 中国科学院新疆理化技术研究所 | 多特征融合的文本相似性度量*** |
CN104899188A (zh) * | 2015-03-11 | 2015-09-09 | 浙江大学 | 一种基于问题主题和焦点的问题相似度计算方法 |
JP5810240B1 (ja) * | 2015-04-10 | 2015-11-11 | 株式会社ソリトンシステムズ | 電子メール誤送信判定装置、電子メール送信システム及びプログラム |
CN105045781A (zh) * | 2015-08-27 | 2015-11-11 | 广州神马移动信息科技有限公司 | 查询词相似度计算方法及装置、查询词搜索方法及装置 |
CN106815593A (zh) * | 2015-11-27 | 2017-06-09 | 北京国双科技有限公司 | 中文文本相似度的确定方法和装置 |
CN106250858A (zh) * | 2016-08-05 | 2016-12-21 | 重庆中科云丛科技有限公司 | 一种融合多种人脸识别算法的识别方法及*** |
CN106484678A (zh) * | 2016-10-13 | 2017-03-08 | 北京智能管家科技有限公司 | 一种短文本相似度计算方法及装置 |
CN106502989A (zh) * | 2016-10-31 | 2017-03-15 | 东软集团股份有限公司 | 情感分析方法及装置 |
CN106815311A (zh) * | 2016-12-21 | 2017-06-09 | 杭州朗和科技有限公司 | 一种问题匹配方法和装置 |
CN106844346A (zh) * | 2017-02-09 | 2017-06-13 | 北京红马传媒文化发展有限公司 | 基于深度学习模型Word2Vec的短文本语义相似性判别方法和*** |
CN106874258A (zh) * | 2017-02-16 | 2017-06-20 | 西南石油大学 | 一种基于汉字属性向量表示的文本相似性计算方法及*** |
CN107066555A (zh) * | 2017-03-26 | 2017-08-18 | 天津大学 | 面向专业领域的在线主题检测方法 |
CN107133202A (zh) * | 2017-06-01 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的文本校验方法和装置 |
Non-Patent Citations (6)
Title |
---|
冯艳红 等: "基于词向量和条件随机场的领域术语识别方法", 《计算机应用》 * |
李丹 等: "一种改进的KAZE特征检测算法", 《四川大学学报(自然科学版)》 * |
李亮: "三维模型检索中的特征提取、比较及融合方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
蒋振超 等: "基于词语关系的词向量模型", 《中文信息学报》 * |
钟巍 等: "基于分数倒谱变换的取证语音拼接特征提取与分析", 《数据采集与处理》 * |
陈晓阳: "基于深度学习的短文本语义相似度计算", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101489B (zh) * | 2018-07-18 | 2022-05-20 | 武汉数博科技有限责任公司 | 一种文本自动摘要方法、装置及一种电子设备 |
CN109101489A (zh) * | 2018-07-18 | 2018-12-28 | 武汉数博科技有限责任公司 | 一种文本自动摘要方法、装置及一种电子设备 |
WO2020020287A1 (zh) * | 2018-07-25 | 2020-01-30 | 中兴通讯股份有限公司 | 一种获取文本相似度的方法、装置、设备及可读存储介质 |
CN111027994A (zh) * | 2018-10-09 | 2020-04-17 | 百度在线网络技术(北京)有限公司 | 相似对象确定方法、装置、设备和介质 |
CN110874526A (zh) * | 2018-12-29 | 2020-03-10 | 北京安天网络安全技术有限公司 | 一种文件相似性检测方法、装置、电子设备及存储介质 |
CN110874526B (zh) * | 2018-12-29 | 2024-03-01 | 北京安天网络安全技术有限公司 | 一种文件相似性检测方法、装置、电子设备及存储介质 |
CN111400462A (zh) * | 2019-01-02 | 2020-07-10 | 珠海格力电器股份有限公司 | 问答机器人训练方法、***及问答机器人 |
CN109992772A (zh) * | 2019-03-13 | 2019-07-09 | 众安信息技术服务有限公司 | 一种文本相似度计算方法及装置 |
CN110059180A (zh) * | 2019-03-13 | 2019-07-26 | 百度在线网络技术(北京)有限公司 | 文章作者身份识别及评估模型训练方法、装置及存储介质 |
CN110083834A (zh) * | 2019-04-24 | 2019-08-02 | 北京百度网讯科技有限公司 | 语义匹配模型训练方法、装置、电子设备及存储介质 |
CN110532267A (zh) * | 2019-08-28 | 2019-12-03 | 北京明略软件***有限公司 | 字段的确定方法、装置、存储介质及电子装置 |
CN110851546B (zh) * | 2019-09-23 | 2021-06-29 | 京东数字科技控股有限公司 | 一种验证、模型的训练、模型的共享方法、***及介质 |
CN110851546A (zh) * | 2019-09-23 | 2020-02-28 | 京东数字科技控股有限公司 | 一种验证、模型的训练、模型的共享方法、***及介质 |
CN110929499B (zh) * | 2019-10-15 | 2022-02-11 | 平安科技(深圳)有限公司 | 文本相似度获取方法、装置、介质及电子设备 |
CN110929499A (zh) * | 2019-10-15 | 2020-03-27 | 平安科技(深圳)有限公司 | 文本相似度获取方法、装置、介质及电子设备 |
CN111680136A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN111680136B (zh) * | 2020-04-28 | 2023-08-25 | 平安科技(深圳)有限公司 | 一种口语语义匹配的方法及装置 |
CN112329430B (zh) * | 2021-01-04 | 2021-03-16 | 恒生电子股份有限公司 | 一种模型训练方法、文本相似度确定方法及装置 |
CN112329430A (zh) * | 2021-01-04 | 2021-02-05 | 恒生电子股份有限公司 | 一种模型训练方法、文本相似度确定方法及装置 |
CN112966708A (zh) * | 2021-01-27 | 2021-06-15 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
CN112966708B (zh) * | 2021-01-27 | 2024-05-28 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107729300B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107729300A (zh) | 文本相似度的处理方法、装置、设备和计算机存储介质 | |
CN107797985A (zh) | 建立同义鉴别模型以及鉴别同义文本的方法、装置 | |
CN107180628A (zh) | 建立声学特征提取模型的方法、提取声学特征的方法、装置 | |
CN109147810B (zh) | 建立语音增强网络的方法、装置、设备和计算机存储介质 | |
US11238306B2 (en) | Generating vector representations of code capturing semantic similarity | |
CN107133202A (zh) | 基于人工智能的文本校验方法和装置 | |
CN107221320A (zh) | 训练声学特征提取模型的方法、装置、设备和计算机存储介质 | |
CN111951805A (zh) | 一种文本数据处理方法及装置 | |
CN106683680A (zh) | 说话人识别方法及装置、计算机设备及计算机可读介质 | |
CN107103903A (zh) | 基于人工智能的声学模型训练方法、装置及存储介质 | |
CN107193973A (zh) | 语义解析信息的领域识别方法及装置、设备及可读介质 | |
CN108171260A (zh) | 一种图片识别方法及*** | |
CN110378346A (zh) | 建立文字识别模型的方法、装置、设备和计算机存储介质 | |
CN108121800A (zh) | 基于人工智能的信息生成方法和装置 | |
CN112329696A (zh) | 人脸活体检测方法、***、设备及存储介质 | |
CN106815311A (zh) | 一种问题匹配方法和装置 | |
CN111542841A (zh) | 一种内容识别的***和方法 | |
CN109522395A (zh) | 自动问答方法及装置 | |
CN107221328A (zh) | 修改源的定位方法及装置、计算机设备及可读介质 | |
CN110459207A (zh) | 唤醒语音关键短语分割 | |
CN113298152B (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
CN109523995B (zh) | 语音识别方法、语音识别装置、可读存储介质和电子设备 | |
CN110134967A (zh) | 文本处理方法、装置、计算设备及计算机可读存储介质 | |
CN107909088A (zh) | 获取训练样本的方法、装置、设备和计算机存储介质 | |
CN111862945A (zh) | 一种语音识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |