CN110457692B - 复合词表示学习方法及装置 - Google Patents
复合词表示学习方法及装置 Download PDFInfo
- Publication number
- CN110457692B CN110457692B CN201910684807.4A CN201910684807A CN110457692B CN 110457692 B CN110457692 B CN 110457692B CN 201910684807 A CN201910684807 A CN 201910684807A CN 110457692 B CN110457692 B CN 110457692B
- Authority
- CN
- China
- Prior art keywords
- vector representation
- compound word
- component
- representation
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 150000001875 compounds Chemical class 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 227
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 34
- 239000002131 composite material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 238000003058 natural language processing Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000013329 compounding Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种复合词表示学习方法及装置,方法包括:学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。本发明使得复合词的表示中包含复合词所有成分更细粒度的语义特征,提高复合词下游应用的效果,具有良好的实用性。
Description
技术领域
本发明属于自然语言处理技术领域,尤其涉及一种复合词表示学习方法及装置。
背景技术
在语言学中,语义组合指的是复合语言单元的语义由其组成成分的语义组合而成的现象,这一现象被许多语言学家认为是语义学的基本事实。语义组合在许多的自然语言处理任务中都有重要的应用,比如语言模型、情感分析。
复合词的表示学习是语义组合的主要研究问题,尤其是双语素复合词。现有的复合词表示学习方法关注于使用更复杂的组合函数来进行建模,事实上,还可以在语义组合模型中引入外部语言知识来提高复合词表示学习的效果,比如义原知识。义原是人类语言中最小的不可再分的语义单位,一些语言学家认为所有词的语义以及其他的概念都可以用一个有限的义原集合来表示。事实上,引入义原知识可以对词的语义进行更细粒度的表示和分析,进一步可以帮助我们更好地建模语义组合、学习更好的复合词表示。知网是常用的义原知识库,可以作为很好的义原知识来源。
现有的复合词表示学习方法仅用复合词的成分信息,即基础表示对复合词进行表示学习,即使使用更复杂的组合函数,但是其生成的复合词表示在下游自然语言处理任务中,如复合词匹配和分类,仍然效果不佳。
发明内容
为克服上述现有的复合词表示学习方法仅用复合词成分的向量表示,导致下游任务效果不佳的问题或者至少部分地解决上述问题,本发明实施例提供一种复合词表示学习方法及装置。
根据本发明实施例的第一方面,提供一种复合词表示学习方法,包括:
学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
根据本发明实施例第二方面提供一种复合词表示学习装置,包括:
学习模块,用于学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
增强模块,用于对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
获取模块,用于根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
根据本发明实施例的第三个方面,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的复合词表示学习方法。
根据本发明实施例的第四个方面,还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的复合词表示学习方法。
本发明实施例提供一种复合词表示学习方法及装置,该方法通过学习复合词中每个成分的基础向量表示和每个成分的各义原的向量表示,然后基于互注意力机制获取各成分的义原增强向量表示,根据所有成分的基础向量表示和义原增强向量表示获取复合词的最终向量表示,从而使得复合词的表示中包含复合词所有成分更细粒度的语义特征,即基础向量表示和义原增强向量表示,提高复合词下游应用的效果,具有良好的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的复合词表示学习方法整体流程示意图;
图2为本发明又一实施例提供的复合词表示学习方法流程示意图;
图3为本发明实施例提供的复合词表示学习装置整体结构示意图;
图4为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种复合词表示学习方法,图1为本发明实施例提供的复合词表示学习方法整体流程示意图,该方法包括:S101,学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
其中,复合词是指由多个语素(词)复合形成的词语,构成复合词的各个词称为复合词的成分。利用大规模语料中词和词共同出现的性质,将复合词中的每个成分转化为低维实值的语义分布式表示,即词向量,使得意义相近的词有相似的词向量,便于迁移利用。将每个成分的这种词向量作为基本向量表示。同时,将每个成分的所有义原映射到低维实值的分布式空间,得到各义原的向量表示。优选地,本实施例基于GloVe模型学习每个所述成分的基础向量表示和基于SAT模型学习每个所述成分的各义原的向量表示。SAT(SememeAttention over Target Model)是基于目标词语的义原注意力模型。
S102,对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
由于复合词中的成分可能是多义的,即在不同复合词中同一成分会表现不同的语义,例如成分“参”在复合词“参考”和复合词“参加”中有着不同的意思,而具体表现哪个语义和复合词中的其他成分紧密相关。本实施例使用互注意力机制来建模这种语言现象。通过互注意力机制在当前复合词语境下对复合词每个成分的义原信息建模,得到复合词成分的义原增强向量表示,便于进一步增强对复合词成分的语义建模。
S103,根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
将复合词中所有成分的基础向量表示和义原增强向量表示进行融合,获取复合词的最终向量表示。复合词的最终向量表示可以用于下游自然语言处理任务。如在进行复合词匹配时,根据本实施例获取需要匹配的两个复合词的最终向量表示,然后计算两个最终向量表示之间的距离,若距离小于预设阈值,则获知这两个复合词匹配,否则不匹配。
本实施例通过学习复合词中每个成分的基础向量表示和每个成分的各义原的向量表示,然后基于互注意力机制获取各成分的义原增强向量表示,根据所有成分的基础向量表示和义原增强向量表示获取复合词的最终向量表示,从而使得复合词的表示中包含复合词所有成分更细粒度的语义特征,即基础向量表示和义原增强向量表示,提高复合词表示下游应用的效果,具有良好的实用性。
在上述实施例的基础上,本实施例中所述复合词为双语素复合词;相应地,对于任一所述成分,通过以下公式根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示:
e1=tanh(Waw1+b1);
e2=tanh(Wbw2+b2);
其中,w1为所述复合词中第一个成分的基础向量表示,w2为所述复合词中第二个成分的基础向量表示,e1为w1的非线性变换结果,e2为w2的非线性变换结果,Wa和Wb为变换矩阵,b1和b2为偏置向量,为所述复合词中第一个成分的所有义原的集合,为所述复合词中第二个成分的所有义原的集合,w′1为所述复合词中第一个成分的义原增强向量表示,w′2为所述复合词中第二个成分的义原增强向量表示sj是复合词第一个成分中的义原,si是复合词第二个成分中的义原。”和“a1,i和a2,i分别表示成分2的向量表示对成分1的各个义原向量表示的注意力和成分1的向量表示对成分2的各个义原向量表示的注意力。
其中,双语素复合词是指包含两个成分的复合词。首先,对双语素复合词中两个成分的基础向量表示w1和w2做非线性变化,以基于互注意力机制将一个成分的向量表示映射到另一个成分的义原空间,从而获取各成分的义原增强向量表示。
在上述实施例的基础上,本实施例中根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示的步骤具体包括:将所有所述成分的基础向量表示相加,将所有所述成分的义原增强向量表示相加;将基础向量表示的相加结果和义原增强向量表示的相加结果进行拼接;对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
具体地,为了更好地将义原表示融入复合词成分表示学习,本实施例将复合词所有成分的基础向量表示相加,将复合词所有成分的义原增强向量表示相加后,将这两部分拼接,然后再通过非线性变换获得复合词的最终向量表示,从而实现基于非线性变换的义原增强复合词成分表示生成。优选地,本实施例通过以下公式根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示:
p=tanh(Wc[w1+w2;w′1+w′2]+b3);
其中,p为所述复合词的最终向量表示,Wc为变换矩阵,b3为偏置向量。
在上述实施例的基础上,本实施例中对拼接结果进行非线性变换,获取所述复合词的最终向量表示的步骤具体包括:根据所述复合词的类型,获取所述类型对应的变换矩阵;其中,所述类型和所述变换矩阵预先关联存储;根据所述类型对应的变换矩阵,对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
具体地,由于不同复合词的组合类型不同,可以将其作为额外的信息予以考虑,进一步提高复合词表示的细节特征。根据复合词中成分的语法类型,将复合词的组合类型分为形容词-名词、名词-名词、动词-名词和其它四类。每种类型对应有相应的复合词组合变换矩阵,其中Rs表示所有复合词类型的集合。根据复合词类型对应的复合词组合变换矩阵,对拼接结果进行非线性变换,获取复合词的最终向量表示。
在上述实施例的基础上,本实施例中所述类型对应的变换矩阵为:
如图2所示,假设复合词有两个成分,第一个成分的义原有三个,第二个成分的义原有两个,根据第二个成分的基础向量表示w2和第一个成分的第一个义原的向量表示获取第一个成分的第一个义原的注意力a1,1,以同样的方式获取第一个成分和第二个成分的每个义原的注意力。然后,将第一个成分的义原的向量表示和相应的注意力相乘后累加,获取第一个成分的义原增强向量表示w′1,圆形里的加号和乘号表示相乘和累加运算。以同样的方法获取第二成分的义原增强向量表示w′2。然后将第一个成分和第二个成分的基础向量表示相加,将第一个成分和第二个成分的义原增强向量表示相加,将两个相加结果拼接,根据复合词类型对应的变换矩阵对拼接结果进行非线性变换,得到复合词的最终向量表示p。图2中用相同灰度的方格表示一种复合词类型对应的变换矩阵,共有四种灰度的方格,表示四种复合词类型对应的变换矩阵,但本实施例不限于复合词类型的种类数。
在本发明的另一个实施例中提供一种复合词表示学习装置,该装置用于实现前述各实施例中的方法。因此,在前述复合词表示学习方法的各实施例中的描述和定义,可以用于本发明实施例中各个执行模块的理解。图3为本发明实施例提供的复合词表示学习装置整体结构示意图,该装置包括学习模块301、增强模块302和获取模块303;其中:
学习模块301用于学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
其中,复合词是指由多个语素(词)复合形成的词语,构成复合词的各词称为复合词的成分。学习模块301利用大规模语料中词和词共同出现的性质,将复合词中的每个成分转化为低维实值的语义分布式表示,即词向量,使得意义相近的词有相似的词向量,便于迁移利用。将每个成分的这种词向量作为基本向量表示。同时,学习模块301将每个成分的所有义原映射到低维实值的分布式空间,得到各义原的向量表示。
增强模块302用于对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
由于复合词中的成分可能是多义的,即在不同复合词中同一成分会表现不同的语义,而具体表现哪个语义和复合词中的其他成分紧密相关。本实施例使用互注意力机制来建模这种语言现象。增强模块302通过互注意力机制在当前复合词语境下对复合词每个成分的义原信息建模,得到复合词成分的义原增强向量表示,便于进一步增强对复合词成分的语义建模。
获取模块303用于根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
获取模块303将复合词中所有成分的基础向量表示和义原增强向量表示进行融合,获取复合词的最终向量表示。复合词的最终向量表示可以用于下游自然语言处理任务。如在进行复合词匹配时,根据本实施例获取需要匹配的两个复合词的最终向量表示,然后计算两个最终向量表示之间的距离,若距离小于预设阈值,则获知这两个复合词匹配,否则不匹配。
本实施例通过学习复合词中每个成分的基础向量表示和每个成分的各义原的向量表示,然后基于互注意力机制获取各成分的义原增强向量表示,根据所有成分的基础向量表示和义原增强向量表示获取复合词的最终向量表示,从而使得复合词的表示中包含复合词所有成分更细粒度的语义特征,即基础向量表示和义原增强向量表示,提高复合词表示下游应用的效果,具有良好的实用性。
在上述实施例的基础上,本实施例中学习模块具体用于:基于GloVe模型学习每个所述成分的基础向量表示;基于SAT模型学习每个所述成分的各义原的向量表示。
在上述实施例的基础上,本实施例中所述复合词为双语素复合词;相应地,增强模块具体通过以下公式根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示:
e1=tanh(Waw1+b1);
e2=tanh(Wbw2+b2);
其中,w1为所述第一个成分的基础向量表示,w2为所述第二个成分的基础向量表示,e1为w1的非线性变换结果,e2为w2的非线性变换结果,Wa和Wb为变换矩阵,b1和b2为偏置向量,为所述复合词中第一个成分的所有义原的集合,为所述复合词中第二个成分的所有义原的集合,w′1为所述复合词中第一个成分的义原增强向量表示,w′2为所述复合词中第二个成分的义原增强向量表示。
在上述实施例的基础上,本实施例中获取模块具体用于:将所有所述成分的基础向量表示相加,将所有所述成分的义原增强向量表示相加;将基础向量表示的相加结果和义原增强向量表示的相加结果进行拼接;对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
在上述实施例的基础上,本实施例中获取模块具体通过以下公式根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示:
p=tanh(Wc[w1+w2;w′1+w′2]+b3);
其中,p为所述复合词的最终向量表示,Wc为变换矩阵,b3为偏置向量。
在上述实施例的基础上,本实施例中获取模块进一步用于:根据所述复合词的类型,获取所述类型对应的变换矩阵;其中,所述类型和所述变换矩阵预先关联存储;根据所述类型对应的变换矩阵,对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
在上述实施例的基础上,本实施例中所述类型对应的变换矩阵为:
本实施例提供一种电子设备,图4为本发明实施例提供的电子设备整体结构示意图,该设备包括:至少一个处理器401、至少一个存储器402和总线403;其中,
处理器401和存储器402通过总线403完成相互间的通信;
存储器402存储有可被处理器401执行的程序指令,处理器调用程序指令能够执行上述各方法实施例所提供的方法,例如包括:学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
本实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种复合词表示学习方法,其特征在于,包括:
学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示;
学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示的步骤具体包括:
基于GloVe模型学习每个所述成分的基础向量表示;
基于SAT模型学习每个所述成分的各义原的向量表示;
根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示的步骤具体包括:
将所有所述成分的基础向量表示相加,将所有所述成分的义原增强向量表示相加;
将基础向量表示的相加结果和义原增强向量表示的相加结果进行拼接;
对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
2.根据权利要求1所述的复合词表示学习方法,其特征在于,所述复合词为双语素复合词;
相应地,对于任一所述成分,通过以下公式根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示:
e1=tanh(Waw1+b1);
e2=tanh(Wbw2+b2);
其中,w1为所述复合词中第一个成分的基础向量表示,w2为所述复合词中第二个成分的基础向量表示,e1为w1的非线性变换结果,e2为w2的非线性变换结果,Wa和Wb为变换矩阵,b1和b2为偏置向量,为所述复合词中第一个成分的所有义原的集合,为所述复合词中第二个成分的所有义原的集合,w′1为所述复合词中第一个成分的义原增强向量表示,w′2为所述复合词中第二个成分的义原增强向量表示;在第三个和第四个公式sj和si表示复合词第一个成分中的义原,在第五个和第六个公式中sj和si表示复合词第二个成分中的义原;a1,i和a2,i分别表示成分2的向量表示对成分1的各个义原向量表示的注意力和成分1的向量表示对成分2的各个义原向量表示的注意力。
3.根据权利要求2所述的复合词表示学习方法,其特征在于,通过以下公式根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示:
p=tanh(Wc[w1+w2;w′1+w′2]+b3);
其中,p为所述复合词的最终向量表示,Wc为变换矩阵,b3为偏置向量。
4.根据权利要求3所述的复合词表示学习方法,其特征在于,对拼接结果进行非线性变换,获取所述复合词的最终向量表示的步骤具体包括:
根据所述复合词的类型,获取所述类型对应的变换矩阵;其中,所述类型和所述变换矩阵预先关联存储;
根据所述类型对应的变换矩阵,对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
6.一种复合词表示学习装置,其特征在于,包括:
学习模块,用于学习复合词中每个成分的基础向量表示和每个所述成分的各义原的向量表示;
增强模块,用于对于任一所述成分,根据该成分的各义原的向量表示和所述复合词中除该成分以外的其他成分的基础向量表示,基于互注意力机制获取该成分的义原增强向量表示;
获取模块,用于根据所述复合词中所有成分的基础向量表示和所有成分的义原增强向量表示,获取所述复合词的最终向量表示;
其中,学习模块用于:
基于GloVe模型学习每个所述成分的基础向量表示;
基于SAT模型学习每个所述成分的各义原的向量表示;
其中,获取模块用于:
将所有所述成分的基础向量表示相加,将所有所述成分的义原增强向量表示相加;
将基础向量表示的相加结果和义原增强向量表示的相加结果进行拼接;
对拼接结果进行非线性变换,获取所述复合词的最终向量表示。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述复合词表示学习方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述复合词表示学习方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684807.4A CN110457692B (zh) | 2019-07-26 | 2019-07-26 | 复合词表示学习方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684807.4A CN110457692B (zh) | 2019-07-26 | 2019-07-26 | 复合词表示学习方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110457692A CN110457692A (zh) | 2019-11-15 |
CN110457692B true CN110457692B (zh) | 2021-02-26 |
Family
ID=68483689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910684807.4A Active CN110457692B (zh) | 2019-07-26 | 2019-07-26 | 复合词表示学习方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110457692B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548115B (zh) * | 2022-02-23 | 2023-01-06 | 北京三快在线科技有限公司 | 复合名词的解释方法、装置及电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9575952B2 (en) * | 2014-10-21 | 2017-02-21 | At&T Intellectual Property I, L.P. | Unsupervised topic modeling for short texts |
CN107871158A (zh) * | 2016-09-26 | 2018-04-03 | 清华大学 | 一种结合序列文本信息的知识图谱表示学习方法及装置 |
CN107894979B (zh) * | 2017-11-21 | 2021-09-17 | 北京百度网讯科技有限公司 | 用于语义挖掘的复合词处理方法、装置及其设备 |
CN109597988B (zh) * | 2018-10-31 | 2020-04-28 | 清华大学 | 跨语言的词汇义原预测方法、装置与电子设备 |
CN109919316B (zh) * | 2019-03-04 | 2021-03-12 | 腾讯科技(深圳)有限公司 | 获取网络表示学习向量的方法、装置和设备及存储介质 |
-
2019
- 2019-07-26 CN CN201910684807.4A patent/CN110457692B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110457692A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pang et al. | Generalising fine-grained sketch-based image retrieval | |
CN108052588B (zh) | 一种基于卷积神经网络的文档自动问答***的构建方法 | |
US11328180B2 (en) | Method for updating neural network and electronic device | |
CN108021547B (zh) | 一种自然语言的生成方法、自然语言生成装置及电子设备 | |
CN109325229B (zh) | 一种利用语义信息计算文本相似度的方法 | |
US20220027707A1 (en) | Subgraph guided knowledge graph question generation | |
WO2019118256A1 (en) | Generation of text from structured data | |
CN110457718B (zh) | 一种文本生成方法、装置、计算机设备及存储介质 | |
CN107480196B (zh) | 一种基于动态融合机制的多模态词汇表示方法 | |
EP4336378A1 (en) | Data processing method and related device | |
JP6720764B2 (ja) | テキスト解析装置及びプログラム | |
CN107092594B (zh) | 基于图的双语递归自编码器 | |
CN111026544A (zh) | 图网络模型的节点分类方法、装置及终端设备 | |
JP2020053018A (ja) | Vqaシステムの訓練データを生成する訓練データ生成方法、訓練データ生成装置、電子機器およびコンピュータ読み取り可能な媒体 | |
CN110457692B (zh) | 复合词表示学习方法及装置 | |
CN111401514A (zh) | 基于改进图卷积网络的半监督符号网络嵌入方法及*** | |
Vandersteegen et al. | Integer-only cnns with 4 bit weights and bit-shift quantization scales at full-precision accuracy | |
Akyürek et al. | LexSym: Compositionality as lexical symmetry | |
CN114722833A (zh) | 一种语义分类方法及装置 | |
CN116595130B (zh) | 基于小语言模型的多种任务下的语料扩充方法及装置 | |
CN117034916A (zh) | 构建词向量表示模型和词向量表示的方法、装置及设备 | |
CN109446518B (zh) | 语言模型的解码方法及解码器 | |
Li et al. | Data curation for image captioning with text-to-image generative models | |
JP6586055B2 (ja) | 深層格解析装置、深層格学習装置、深層格推定装置、方法、及びプログラム | |
Dovdon et al. | Text2Plot: Sentiment analysis by creating 2D plot representations of texts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |