CN107391623B - 一种融合多背景知识的知识图谱嵌入方法 - Google Patents
一种融合多背景知识的知识图谱嵌入方法 Download PDFInfo
- Publication number
- CN107391623B CN107391623B CN201710549884.XA CN201710549884A CN107391623B CN 107391623 B CN107391623 B CN 107391623B CN 201710549884 A CN201710549884 A CN 201710549884A CN 107391623 B CN107391623 B CN 107391623B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- embedding
- entity
- vector
- mck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种融合多背景知识的知识图谱嵌入方法,其步骤:1)从知识库的实体标签中选择优质的实体描述信息,从Web语料中选择与实体相关的优质语料,构成多背景知识MCK;2)通过嵌入多背景知识MCK来学习知识库的嵌入表示;3)使用DBALSTM模型从MCK获得相应实体的语义嵌入向量;其中,DBALSTM=深度D+双向B+关注A+基本LSTM;4)将融合嵌入机制用于MCK与RDF三元组的细粒度结合,完成融合多背景知识的知识图谱嵌入。本发明能提高知识图谱嵌入的准确性。
Description
技术领域
本发明涉及一种知识图谱嵌入方法,特别是关于一种融合多背景知识的知识图谱嵌入方法。
背景技术
近年来,构建web规模的知识图谱(knowledge graphs,KG)与日俱增,并用KG解决实际问题如DBPedia,Wikidata,Freebase,YAGO和Probase等广泛用于自然语言问答、智能搜索,以及知识推理、融合和补全等。然而,随着KG规模的增加,图表示的KG在应用中正面临着数据稀疏和计算效率低下的问题。更重要的是,用图表示的KG不便于机器学习,而机器学习是大数据自动化和智能化的不可或缺的工具。为此,KG的嵌入式表示学习技术诞生并成为主流,它是将实体和关系投射到连续的低维向量空间。KG的嵌入式学习模型可能有两个基本派系:基于三元组的模型和实体描述辅助的模型。
基于三元组的模型只是将KG看作是符号三元组,仅解码了KG中的结构化信息,忽略了隐含语义。例如,对于三元组<Stanford University,Location,California>,TransE刻板的将其建模为Stanford University+Location=California。此外,实体StanfordUniversity在KGs中被记录为不可理解的符号/m/06pwq,拟合的三元组缺乏语义。由于实践证明文本是架起KG与自然语言的桥梁,所以,出现了利用KG中实体的描述信息辅助KG嵌入的模型,比如,语料中与头实体相匹配的关键词“Stanford University”和“stay inCalifornia”等可以为这个三元组提供额外的语义相关性。然而,KG中不是所有的实体都有描述信息,描述信息的质量也参差不齐(据统计在Freebase中有33.4%的实体没有描述信息,7.5%是不明确的)。因此,现有的方法难以适用于没有描述信息或描述信息质量差的实体。所以提出多背景知识(multiple contextual knowledge,MCK,)辅助的模型来改进实体描述辅助的模型,主要是选择从文本语料库中获取头尾实体的背景信息作为弱描述实体的补充知识。但这样做也存在以下3个问题:
(1)并非所有实体的外部知识都是可靠的,或者能够说明相应的实体,比如,文本知识(a)谈论实体“Stanford University”的位置,与三元组相关,可以表示实体,而文本知识(b)则提供了相当混乱和无意义的信息。类似地,实体描述信息的质量也参差不齐。因此,如何选出高价值量的MCK是一个非常关键的问题。
(2)头尾实体与MCK具有长期语义依赖性和双向相关性。然而,它们在现有方法中被忽略。例如,“Jointly model”只考虑了词袋假设,忽略了单词的顺序。DKRL使用CBOW和CNN来编码实体描述的语义。SSP通过主题模型捕获实体的符号三元组和描述信息。因此,如何建立长期语义依赖和双向相关性将成为另一个关键问题。
(3)不是所有的三元组都需要MCK的帮助,因为频繁出现的实体很大程度上取决于结构化的三元组知识,而不频繁出现的实体可能在很大程度上取决于MCK。然而,已有方法将结构化知识和文本知识简单地链接在一起,这是非常不合适的。因此,如何将结构化知识、描述知识和外部知识自适应的融合在一起将成为又一个关键问题。
发明内容
针对上述问题,本发明的目的是提供一种融合多背景知识的知识图谱嵌入方法,该方法能提高知识图谱嵌入的准确性。
为实现上述目的,本发明采取以下技术方案:一种融合多背景知识的知识图谱嵌入方法,其特征在于包括以下步骤:1)从知识库的实体标签中选择优质的实体描述信息,从Web语料中选择与实体相关的优质语料,构成多背景知识MCK;2)通过嵌入多背景知识MCK来学习知识库的嵌入表示;3)使用DBALSTM模型从MCK获得相应实体的语义嵌入向量;其中,DBALSTM=深度D+双向B+关注A+基本LSTM;4)将融合嵌入机制用于MCK与RDF三元组的细粒度结合,完成融合多背景知识的知识图谱嵌入。
进一步,所述步骤1)中,优质是指经预处理后,文本长度多于3个词且平均长度为69个词,最长描述不超过343个字。
进一步,所述步骤3)中,采用DBALSTM模型解码MCK,DBALSTM模型分为3层:(1)外部关注层中采用外部关注机制根据实体基于描述、补充知识的特征向量表示与基于元组的向量表示的相似度从多个MCK中挑选出有价值的MCK;(2)在深度层使用轻量级深度机制来平衡建模质量和模型复杂性,同时使用内部关注机制来增强单个MCK中有价值词的权重;轻量级深度机制外部关注与内部关注形成两级关注;(3)词表示用于将实体的描述知识和单条外部知识表示为词向量,采用位置嵌入+词嵌入的方式,词嵌入采用负采样Skipgram模型训练,并用X表示;位置嵌入被定义为从当前词到头实体h和尾实体t的相对距离的组合。
进一步,位置嵌入为:每个词都有两个相对距离,左边的单词是负值,右边的单词是正值,如果相关距离大于d,这些值将被标记为-d或d,d表示预定义距离阈值;随机初始化两位置嵌入矩阵PMi,并通过查找它们将相对距离变换为向量,其中i=1,2。
进一步,DBALSTM模型构建方法如下:3.1)定义双向LSTM,简称BLSTM:BLSTM是用两个独立的LSTM层来实现,用于计算前向隐藏序列hf和后向隐藏序列hb;其中,LSTM单元包括4个门1个记忆单元,输入门决定让输入信号通过存储单元或阻塞它,输出门允许新的输出或阻止它,忘记门决定记住或忘记单元以前的状态;记忆单元c由一组sigmoid门控制;3.2)构建BASLTM:在BLSTM内部加入内部关注机制,内部关注机制是用于计算单条实体描述知识或外部知识中的单词的权重,该单词的权重为:
Ratt=yαΤ;
式中,W是词表示矩阵,y是输出向量,是给定关系的向量,α是内部关注向量,Ratt是内部关注加权句子表示,3.3)将内部关注机制与外部关注机制合成两级关注,外部关注机制主要是基于实体的MCK向量表示和三元组表示的余弦相似度来计算每条MCK的权重,过滤低信息量的句子,每条MCK的权重为:
式中,sc是句子的表示,是三元组表示,是句子sc的权重,即外部关注,是选择的m条相关度最高的句子所形成的实体多背景知识表示;3.4)采用轻量级深度机制减少网络深度,即在输入和隐藏状态之间增加一个捷径层ST,借鉴堆叠多个隐藏层的LSTM中隐式转换函数,通过下式来学习隐藏的转换函数ψh:
进一步,所述步骤4)中,在融合嵌入学习中,实体的3种表示根据下式进行自适应融合:
融合嵌入的评分函数为:
其中,γ是边界,Δ′和Δ分别是正确和不正确的三元组的集合,Δ′是Δ的负采样集,定义为等式:
Δ'={(h',r,t)|h'∈E∪(h,r,t')|t'∈E}。
本发明由于采取以上技术方案,其具有以下优点:1、本发明设计了两级关注机制自动突出MCK中有价值的实例。其中,采用句子级关注机制(外部关注机制)来最大限度地减少多条背景知识集成时的噪声问题或信息丢失问题,采用采用实例级关注机制(内部关注机制)来增强一条背景知识中有价值词的重量。2、本发明依据LSTM的长距离学习能力、词表达能力,其双向模式对历史和未来信息的捕捉能力,以及NLP深度学习的成功设计一个具有关注能力的深度双向LSTM模型,简称DBALSTM来深入解码隐含语义。3、本发明设计了融合操作,从结构知识和MCK为每个实体自适应、细粒度的学习一个融合嵌入向量。每种知识的信息贡献量由融合嵌入机制决定。
附图说明
图1是本发明的KFM模型的整体架构图;
图2是本发明的DBALSTM模型整体架构图;
图3是本发明位置特征例子示意图;
图4是本发明的BLSTM模型架构图;其中图(a)是LSTM单元图;图(b)是双向LSTM编码-解码图;
图5是本发明的内部关注与BLSTM的关系示意图;其中图(a)是基于编码-解码的双向关注LSTM图;图(b)是内部关注图;
图6是本发明的捷径转换示意图。
具体实施方式
本发明针对实体弱描述知识的问题,采用MCK辅助KG嵌入,MCK包括描述知识和补充知识,其中,描述知识,在任务中取KG中那些实体描述信息经预处理后多余于3个词且平均长度为69个词的描述信息,最长描述不超过343个字。如果没有描述知识,则设置为null;补充知识,对于每个实体,补充知识是从文本语料库中抽取的与实体高相关的句子,例如***。在本发明的任务中,每个实体的外部知识大约包括40个句子。下面结合附图和实施例对本发明进行详细的描述。
本发明中涉及的符号含义如下表所示:
h,r,t:分别表示头实体,关系,尾实体;
<h,r,t>:元组;
下标k,c,d,f:分别表示基于元组的向量,基于描述的知识向量,基于外部知识的向量,最终的融合嵌入向量;
fr():评分函数;
⊙:融合操作(哈达玛积);
本发明采用KFM(Knowledge Graph Fusion Embedding with MCK,KFM)模型解决:(i)实体出现频率少、没有描述信息或描述信息质量差的问题;(ii)长距离语义依赖和双向相关的问题;(iii)结构化的三元组知识与文本知识不能简单地拼接的问题。在KFM模型中,每种实体有3种表示:(1)基于元组的向量表示为采用TransE从RDF三元组中学习得到;(2)基于描述的知识向量表示采用DBALSTM从实体描述知识中学习得到;(3)基于补充知识的向量表示采用DBALSTM从实体外部知识中学习得到。实体的每种表示对应一个权重向量。所以,KFM模型包含6个与头尾实体对应的权重向量它们最终通过自适应细粒度地融合操作融合在一起,形成融合向量最后,依据评分函数对关系向量和实体的融合向量执行融合嵌入学习。评分函数为:
如图2所示,本发明提供一种融合多背景知识的知识图谱嵌入方法,其包括以下步骤:
1)从知识库的实体标签中选择优质的实体描述信息,从Web语料中选择与实体相关的优质语料,构成多背景知识MCK;利用了补充知识,解决了实体没有描述知识和描述知识质量差的问题;其中,优质是指经预处理后,文本(描述知识或补充知识)长度多于3个词且平均长度为69个词,最长描述不超过343个字。
2)通过嵌入多背景知识MCK来学习知识库的嵌入表示。MCK不仅包括实体描述(来自知识库中实体的描述信息,也属于文本),还包括来自其他文本语料库的文本知识。(MCK包括来自知识库中实体的描述信息(知识库中实体的标签)和来自其他文本语料库的文本知识,前者叫做描述知识,后者叫做补充知识。)
3)使用DBALSTM模型(DBALSTM=深度(Deep,简称D)+双向(Bidirectional,简称B)+关注(Attention,简称A)+基本LSTM)从MCK获得相应实体的语义嵌入向量。其中,DBALSTM模型中采用两级关注机制选择价值量高的MCK,轻量级深度机制减少网络深度和防止参数急剧增加,双向机制捕捉语义的双向相关,基本LSTM刻画长期语义依赖关系。
4)将融合嵌入机制用于MCK与RDF三元组的细粒度结合,完成融合多背景知识的知识图谱嵌入。
上述步骤3)中,如图2所示,本发明采用DBALSTM模型解码MCK,DBALSTM模型分为3层:(1)外部关注层中采用外部关注机制根据实体基于描述、补充知识的特征向量表示与基于元组的向量表示的相似度从多个MCK中挑选出有价值的MCK。(2)在深度层使用轻量级深度机制来平衡建模质量和模型复杂性,同时使用内部关注机制来增强单个MCK中有价值词的权重。轻量级深度机制外部关注与内部关注形成两级关注。(3)词表示用于将实体的描述知识和单条外部知识表示为词向量,采用“位置嵌入+词嵌入”的方式,词嵌入采用负采样Skipgram模型训练,并用X表示。位置嵌入被定义为从当前词到头实体h和尾实体t的相对距离的组合。
其中,如图3所示,位置嵌入为:每个词都有两个相对距离,左边的单词是负值,右边的单词是正值,如果相关距离大于d,这些值将被标记为-d或d,d表示预定义阈值,即常量。(例如,“Located At”位于“Stanford University"”和“California”的相对距离为1和-2。)随机初始化两位置嵌入矩阵PMi(i=1,2)(对于h和t),并通过查找它们将相对距离变换为向量。
DBALSTM模型构建方法如下:
3.1)如图4中的图(b)所示,定义双向LSTM(简称BLSTM=B+LSTM):BLSTM是用两个独立的LSTM层来实现,用于计算前向隐藏序列hf和后向隐藏序列hb;其中,如图4中的图(a)所示,LSTM单元包括4个门1个记忆单元,其中,输入门决定让输入信号通过存储单元或阻塞它,输出门允许新的输出或阻止它,忘记门决定记住或忘记单元以前的状态。记忆单元c由一组sigmoid门控制。
3.2)如图5中的图(a)所示,构建BASLTM:在BLSTM内部加入内部关注机制,内部关注机制是用于计算单条实体描述知识或外部知识(单条句子)中的单词的权重,主要是在BLSTM内部执行,该单词的权重为:
Ratt=yαΤ; (2)
式中,W是词表示矩阵,y是输出向量,是给定关系的向量,α是内部关注向量,Ratt是内部关注加权句子表示。其中,α由图5中的图(b)关注函数fatt()计算得到,即给定词表示和ht-1。fatt()由多层感知层和softmax函数计算,
3.3)将内部关注机制与外部关注机制合成两级关注,外部关注机制主要是基于实体的MCK(句子)向量表示和三元组表示的余弦相似度来计算每条MCK(句子)的权重,过滤低信息量的句子,每条MCK(句子)的权重为:
3.4)如图6所示,采用轻量级深度机制减少网络深度,防止参数大小急剧增长,即在输入和隐藏状态之间增加一个捷径层(简称ST,shortcut transition),借鉴堆叠多个隐藏层的LSTM(如图6中除去线W)中隐式转换函数,通过式(6)来学习隐藏的转换函数ψh。
上述步骤4)中,融合嵌入学习是为了自适应细粒度的结合元组知识、描述知识和外部知识,主要依据是频繁实体很大程度上依赖于元组知识,而不频繁实体很大程度上依赖于MCK。
融合嵌入学习是一种新的KG嵌入方法。它不仅将三元组和MCK融合在一起,而且还根据权重向量提供了一种细粒度方法来量化三元组和MCK的贡献。其中,实体的3种表示根据公式(7)-(8)进行自适应融合,融合嵌入的评分函数如公式(9)所示。
式中,I是一个向量,所有元素都是1,表示权重向量。这样做的好处是每个元素是和相应元素的加权和。当接近0时,对应的嵌入向量被忽略,否则会变得更重要。这允许KFM自适应地处理频繁实体和不频繁实体。为了约束的每个元素的值在0和1之间,令满足公式(10)。
其中,γ是边界,Δ′和Δ分别是正确和不正确的三元组的集合。Δ′是Δ的负采样集,定义为等式(12)。
Δ'={(h',r,t)|h'∈E∪(h,r,t')|t'∈E}。 (12)
上述各实施例仅用于说明本发明,各部件的结构、尺寸、设置位置及形状都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别部件进行的改进和等同变换,均不应排除在本发明的保护范围之外。
Claims (4)
1.一种融合多背景知识的知识图谱嵌入方法,其特征在于包括以下步骤:
1)从知识库的实体标签中选择优质的实体描述信息,从Web语料中选择与实体相关的优质语料,构成多背景知识MCK;
优质是指经预处理后,文本长度多于3个词且平均长度为69个词,最长描述不超过343个字;
2)通过嵌入多背景知识MCK来学习知识库的嵌入表示;
3)使用DBALSTM模型从MCK获得相应实体的语义嵌入向量;其中,DBALSTM=深度D+双向B+关注A+基本LSTM;
采用DBALSTM模型解码MCK,DBALSTM模型分为3层:(1)外部关注层中采用外部关注机制根据实体基于描述、补充知识的特征向量表示与基于元组的向量表示的相似度从多个MCK中挑选出有价值的MCK;(2)在深度层使用轻量级深度机制来平衡建模质量和模型复杂性,同时使用内部关注机制来增强单个MCK中有价值词的权重;轻量级深度机制外部关注与内部关注形成两级关注;(3)词表示用于将实体的描述知识和单条外部知识表示为词向量,采用位置嵌入+词嵌入的方式,词嵌入采用负采样Skipgram模型训练,并用X表示;位置嵌入被定义为从当前词到头实体h和尾实体t的相对距离的组合;
4)将融合嵌入机制用于MCK与RDF三元组的细粒度结合,完成融合多背景知识的知识图谱嵌入。
2.如权利要求1所述的一种融合多背景知识的知识图谱嵌入方法,其特征在于:位置嵌入为:每个词都有两个相对距离,左边的单词是负值,右边的单词是正值,如果相关距离大于d,这些值将被标记为-d或d,d表示预定义距离阈值;随机初始化两位置嵌入矩阵PMi,并通过查找它们将相对距离变换为向量,其中i=1,2。
3.如权利要求1所述的一种融合多背景知识的知识图谱嵌入方法,其特征在于:DBALSTM模型构建方法如下:
3.1)定义双向LSTM,简称BLSTM:BLSTM是用两个独立的LSTM层来实现,用于计算前向隐藏序列hf和后向隐藏序列hb;其中,LSTM单元包括4个门1个记忆单元,输入门决定让输入信号通过存储单元或阻塞它,输出门允许新的输出或阻止它,忘记门决定记住或忘记单元以前的状态;记忆单元c由一组sigmoid门控制;
3.2)构建BASLTM:在BLSTM内部加入内部关注机制,内部关注机制是用于计算单条实体描述知识或外部知识中的单词的权重,该单词的权重为:
Ratt=yαΤ;
3.4)采用轻量级深度机制减少网络深度,即在输入和隐藏状态之间增加一个捷径层ST,借鉴堆叠多个隐藏层的LSTM中隐式转换函数,通过下式来学习隐藏的转换函数ψh:
4.如权利要求1所述的一种融合多背景知识的知识图谱嵌入方法,其特征在于:所述步骤4)中,在融合嵌入中,实体的3种表示根据下式进行自适应融合:
融合嵌入的评分函数为:
式中, 分别表示h,r,t的列向量,h,r,t分别表示头实体、关系、尾实体;下标k,c,d,f分别表示基于元组的向量,基于描述的知识向量,基于外部知识的向量,最终的融合嵌入向量;表示l1距离,l2距离;I是一个向量,所有元素都是1,表示权重向量,x={k,d,c},当接近0时,对应的嵌入向量被忽略,否则会变得更重要;为了约束的每个元素的值在0和1之间,令满足下式:
其中,γ是边界,Δ′和Δ分别是正确和不正确的三元组的集合,Δ′是Δ的负采样集,定义为等式:
Δ'={(h',r,t)|h'∈E∪(h,r,t')|t'∈E}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710549884.XA CN107391623B (zh) | 2017-07-07 | 2017-07-07 | 一种融合多背景知识的知识图谱嵌入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710549884.XA CN107391623B (zh) | 2017-07-07 | 2017-07-07 | 一种融合多背景知识的知识图谱嵌入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107391623A CN107391623A (zh) | 2017-11-24 |
CN107391623B true CN107391623B (zh) | 2020-03-31 |
Family
ID=60335255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710549884.XA Active CN107391623B (zh) | 2017-07-07 | 2017-07-07 | 一种融合多背景知识的知识图谱嵌入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107391623B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052588B (zh) * | 2017-12-11 | 2021-03-26 | 浙江大学城市学院 | 一种基于卷积神经网络的文档自动问答***的构建方法 |
CN108153876B (zh) * | 2017-12-26 | 2021-07-23 | 爱因互动科技发展(北京)有限公司 | 智能问答方法及*** |
CN108509519B (zh) * | 2018-03-09 | 2021-03-09 | 北京邮电大学 | 基于深度学习的通用知识图谱增强问答交互***及方法 |
CN108549709B (zh) * | 2018-04-20 | 2019-02-22 | 福州大学 | 区块链内外多源异构数据基于广度学习算法的融合方法 |
CN108427773B (zh) * | 2018-05-08 | 2022-06-21 | 南京大学 | 一种分布式知识图谱嵌入方法 |
CN108920587B (zh) * | 2018-06-26 | 2021-09-24 | 清华大学 | 融合外部知识的开放域视觉问答方法及装置 |
CN109063021B (zh) * | 2018-07-12 | 2021-10-15 | 浙江大学 | 一种能够编码关系语义多样性结构的知识图谱分布式表示方法 |
CN108984745B (zh) * | 2018-07-16 | 2021-11-02 | 福州大学 | 一种融合多知识图谱的神经网络文本分类方法 |
CN109241412B (zh) * | 2018-08-17 | 2020-12-11 | 深圳先进技术研究院 | 一种基于网络表示学习的推荐方法、***及电子设备 |
CN109871542B (zh) * | 2019-03-08 | 2024-03-08 | 广东工业大学 | 一种文本知识提取方法、装置、设备及存储介质 |
CN110263324B (zh) * | 2019-05-16 | 2021-02-12 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
CN110347847B (zh) * | 2019-07-22 | 2021-09-28 | 西南交通大学 | 基于神经网络的知识图谱补全方法 |
CN110516053B (zh) * | 2019-08-15 | 2022-08-05 | 出门问问(武汉)信息科技有限公司 | 对话处理方法、设备及计算机存储介质 |
CN111209366B (zh) * | 2019-10-10 | 2023-04-21 | 天津大学 | 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法 |
CN110851620B (zh) * | 2019-10-29 | 2023-07-04 | 天津大学 | 一种基于文本嵌入和结构嵌入联合的知识表示方法 |
CN110837567A (zh) * | 2019-11-18 | 2020-02-25 | 第四范式(北京)技术有限公司 | 实现知识图谱嵌入的方法和*** |
CN111159485B (zh) * | 2019-12-30 | 2020-11-13 | 科大讯飞(苏州)科技有限公司 | 尾实体链接方法、装置、服务器及存储介质 |
CN111611343B (zh) * | 2020-04-28 | 2023-06-16 | 北京智通云联科技有限公司 | 基于知识图谱最短路径查询的搜索***、方法及设备 |
CN111797196B (zh) * | 2020-06-01 | 2021-11-02 | 武汉大学 | 一种结合注意力机制lstm和神经主题模型的服务发现方法 |
CN111625658A (zh) * | 2020-07-28 | 2020-09-04 | 杭州翔毅科技有限公司 | 基于知识图谱的语音交互方法、装置、设备及存储介质 |
CN111813962B (zh) * | 2020-09-07 | 2020-12-18 | 北京富通东方科技有限公司 | 一种用于知识图谱融合的实体相似度计算方法 |
CN112667820B (zh) * | 2020-12-08 | 2023-04-18 | 吉林省吉科软信息技术有限公司 | 全流程可追溯生态链监管知识图谱的深度学习构建方法 |
CN112632290B (zh) * | 2020-12-21 | 2021-11-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN112860904B (zh) * | 2021-04-06 | 2022-02-22 | 哈尔滨工业大学 | 一种融入外部知识的生物医疗关系抽取方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824802A (zh) * | 2016-03-31 | 2016-08-03 | 清华大学 | 一种获取知识图谱向量化表示的方法以及装置 |
CN106528609A (zh) * | 2016-09-28 | 2017-03-22 | 厦门理工学院 | 一种向量约束嵌入转换的知识图谱推理方法 |
CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
CN106886543A (zh) * | 2015-12-16 | 2017-06-23 | 清华大学 | 结合实体描述的知识图谱表示学习方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328443A1 (en) * | 2015-05-06 | 2016-11-10 | Vero Analytics, Inc. | Knowledge Graph Based Query Generation |
-
2017
- 2017-07-07 CN CN201710549884.XA patent/CN107391623B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886543A (zh) * | 2015-12-16 | 2017-06-23 | 清华大学 | 结合实体描述的知识图谱表示学习方法和*** |
CN105824802A (zh) * | 2016-03-31 | 2016-08-03 | 清华大学 | 一种获取知识图谱向量化表示的方法以及装置 |
CN106528609A (zh) * | 2016-09-28 | 2017-03-22 | 厦门理工学院 | 一种向量约束嵌入转换的知识图谱推理方法 |
CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
Non-Patent Citations (1)
Title |
---|
《语音合成中的神经网络声学建模方法研究》;殷翔;《中国博士学位论文全文数据库信息科技》;20160915(第09期);第I136-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107391623A (zh) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391623B (zh) | 一种融合多背景知识的知识图谱嵌入方法 | |
CN108460013B (zh) | 一种基于细粒度词表示模型的序列标注模型及方法 | |
CN111859912B (zh) | 基于pcnn模型的带有实体感知的远程监督关系抽取方法 | |
CN111783462A (zh) | 基于双神经网络融合的中文命名实体识别模型及方法 | |
CN110781683A (zh) | 一种实体关系联合抽取方法 | |
CN109145190B (zh) | 一种基于神经机器翻译技术的局部引文推荐方法及*** | |
CN109408812A (zh) | 一种基于注意力机制的序列标注联合抽取实体关系的方法 | |
CN108182295A (zh) | 一种企业知识图谱属性抽取方法及*** | |
CN112687388B (zh) | 一种基于文本检索的可解释性智慧医疗辅助诊断*** | |
CN113190656B (zh) | 一种基于多标注框架与融合特征的中文命名实体抽取方法 | |
CN112818676A (zh) | 一种医学实体关系联合抽取方法 | |
CN109086269B (zh) | 一种基于语义资源词表示和搭配关系的语义双关语识别方法 | |
CN112163429B (zh) | 结合循环网络及bert的句子相关度获取方法、***及介质 | |
CN108875000A (zh) | 一种融合多句法结构的语义关系分类方法 | |
WO2023040306A1 (zh) | 多模态预训练方法和装置 | |
CN110874411A (zh) | 一种基于注意力机制融合的跨领域情感分类*** | |
CN114881042B (zh) | 基于图卷积网络融合句法依存与词性的中文情感分析方法 | |
CN115906815B (zh) | 一种用于修改一种或多种类型错误句子的纠错方法及装置 | |
CN116662500A (zh) | 一种基于bert模型与外部知识图谱的问答***构建方法 | |
CN116384371A (zh) | 一种基于bert和依存句法联合实体及关系抽取方法 | |
CN113297374A (zh) | 一种基于bert和字词特征融合的文本分类方法 | |
CN111950281B (zh) | 一种基于深度学习和上下文语义的需求实体共指检测方法和装置 | |
CN113177113A (zh) | 任务型对话模型预训练方法、装置、设备及存储介质 | |
CN116414988A (zh) | 基于依赖关系增强的图卷积方面级情感分类方法及*** | |
CN109960803A (zh) | 基于成分句法压缩树的指代消解方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |