CN113051353B - 一种基于注意力机制的知识图谱路径可达性预测方法 - Google Patents

一种基于注意力机制的知识图谱路径可达性预测方法 Download PDF

Info

Publication number
CN113051353B
CN113051353B CN202110244072.0A CN202110244072A CN113051353B CN 113051353 B CN113051353 B CN 113051353B CN 202110244072 A CN202110244072 A CN 202110244072A CN 113051353 B CN113051353 B CN 113051353B
Authority
CN
China
Prior art keywords
entity
vector
path
calculating
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110244072.0A
Other languages
English (en)
Other versions
CN113051353A (zh
Inventor
陆佳炜
朱昊天
王小定
郑嘉弘
张元鸣
徐俊
肖刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110244072.0A priority Critical patent/CN113051353B/zh
Publication of CN113051353A publication Critical patent/CN113051353A/zh
Application granted granted Critical
Publication of CN113051353B publication Critical patent/CN113051353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于注意力机制的知识图谱路径可达性分析方法，括以下步骤：第一步、从知识库中构建目标三元组，并获得该三元组中头实体h和尾实体t之间所有的路径关系；第二步、进行关系编码；第三步、进行实体类型编码；第四步、重复第二步和第三步计算所有路径模式组合成的全局路径模式

Description

一种基于注意力机制的知识图谱路径可达性预测方法
技术领域
本方法涉及一种基于注意力机制的知识图谱路径可达性分析方法。
背景技术
知识库将人类知识组织成结构化的知识***，它描述现实世界中实体(entity)间的关系(relation)。人们花费大量精力构建了各种结构化的知识库，如语言知识库WordNet、世界知识库Freebase等。知识库是推动人工智能学科发展和支撑智能信息服务应用(如智能搜索、智能问答、个性化推荐等)的重要基础技术。为了改进信息服务质量，国内外互联网公司(特别是搜索引擎公司)纷纷推出知识库产品，如谷歌知识图谱、微软BingSatori、百度知心以及搜狗知立方等。著名的IBM Watson问答***和苹果Siri语音助理的背后，知识库也扮演着重要角色。知识库的兴起拉开了智能信息检索从字符串匹配跃迁至智能理解的序幕。
知识图谱由Google公司于2012年6月正式提出，是一种基于图的数据结构。知识图谱是一种结构化的语义知识库，以图的形式来展现现实世界中各个实体及其相互之间的关系，并用形式化的方式来进行描述。知识图谱的基本组成单元的通用表示形式是实体、“实体-关系-实体”三元组，以及实体的“属性-值”对。知识图谱以“实体-关系-实体”或“实体-属性-属性值”的三元组表达形式存储，这些数据将构成可观的实体关系网络，即知识的“图谱”。
表示学习的目标是，通过机器学习将研究对象的语义信息表示为稠密低维实值向量。知识表示学习是面向知识库中实体和关系的表示学习，通过将实体或关系投影到低维向量空间，能够实现对实体和关系的语义信息的表示，可以高效地计算实体、关系及其之间的复杂语义关联。知识库的表示学习旨在将实体和关系嵌入到一个低维空间中。大多数现有的方法在表示学习中只考虑直接关系，而PtransE提出了一种基于路径的表示学习模型，它将关系路径作为表示学习实体之间的转换。但是它仅仅依赖于关系，并且直接使用特定实体信息，在推演多步关系时仍然存在一定局限性。
长短期记忆网络(Long Short-Term Memory，LSTM)，最早由Hochreiter、Schmidhuber于1997年提出，该模型由于能更好地发现长期依赖关系而被广泛用于处理时间序列信息。LSTM可以看作为特殊的RNN，其主要为解决长序列训练过程中的梯度消失及梯度***问题，能够在更长的时间序列上依然表现优异。
发明内容
为了克服现有技术的不足，本发明提出了一种基于注意力机制的知识图谱路径可达性分析方法，对知识库中三元组的关系和实体使用LSTM分别进行关系编码和实体类型编码，获得相应的向量输出，利用这些向量来计算头实体和尾实体是否可以通过关系相互链接的概率，通过将三元组的能量函数与预测的可以相互链接的概率相乘的结果来判定这个三元组是否成立，从而预测知识图谱中实体间的连接关系；提高了对实体和关系的利用率，注意力机制提升了概率计算结果的精确性，提升了三元组表示成的向量的准确度，增加了预测实体间是否能相互连接的结果的准确度。
为了解决上述技术问题本发明提供如下的技术方案：
一种基于注意力机制的知识图谱路径可达性分析方法，所述方法包括以下步骤：
第一步、从知识库中构建目标三元组，并获得该三元组中头实体h和尾实体t之间所有的路径关系；
第二步、进行关系编码，结合Word2vec将目标三元组中的直接关系和所有路径关系表示成向量，并将路径关系表示成的向量输入LSTM进行顺序编码，过程如下：
2.1、将头实体h和尾实体t之间的关系路径上的关系使用Word2vec转化为向量；初始化一个HashMap，用于存放头实体h和尾实体t之间的关系表示成的向量集合；
2.2、将HashMap中的向量顺序输入LSTM，用LSTM的最后一个状态作为关系路径的向量表示，用vπ(p)表示；
2.3、将头实体h和尾实体t之间的直接关系r使用Word2vec转化为向量，并将该向量记为再将/>输入LSTM，用LSTM的最后一个状态作为直接关系r的向量表示，用vπ(r)表示；
第三步、进行实体类型编码，结合Word2vec将目标三元组中的所有实体类型表示成向量，并将实体类型表示成的向量输入LSTM进行顺序编码；过程如下：
3.1、初始化一个HashMap，命名为entitymap，用于存放第二步中选择的关系路径上的头实体h和尾实体t之间的实体的类型层次集合；
3.2、获取选定关系路径上的头实体h和尾实体t之间的所有实体(包括头实体h和尾实体t)的实体类型；
3.3、用Word2vec把实体的实体类型转化为向量，并计算实体的类型上下文向量，将实体的类型上下文向量按顺序输入LSTM，并用LSTM的最后一个隐藏状态作为这条路径的实体类型编码的向量表示，用vε(p)表示；
第四步、重复第二步和第三步计算所有路径模式组合成的全局路径模式计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，计算直接关系r能否连接头实体和尾实体的概率，将能量函数和能否链接的概率相乘，以此判断这个三元组是否成立；过程如下：
4.1、将每一条关系路径上的vπ(p)和vε(p)连接在一起，组成路径模式vρ(p)即vρ(p)＝[vπ(p)；vε(p)]，最终获得所有路径模式的集合S＝{vρ(p1),vρ(p2),……,vρ(pN)}；
4.2、使用软注意力机制(Soft Attention)将所有路径模式组合成全局路径模式
4.3、计算计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，其中，h用头实体的类型上下文向量表示，t用尾实体t的类型上下文向量/>表示，r用2.3的结果vπ(r)表示，计算公式如下：
4.4、计算头实体和尾实体可以通过直接关系r连接的概率P(r|h,t)，计算公式如下，其中σ就是sigmoid函数，fpred是一个前馈网络，就是4.2的全局路径模式：
4.5、计算头实体、尾实体和所有关系路径组成的整个三元组的能量函数，计算公式如下，其中exp(x)＝ex，E(h,r,t)是4.3的能量函数，P(r|h,t)是4.4的结果，由于能量函数越接近于0越好，而概率越接近于1越好，因此将能量函数的结果的负数输入exp函数来保持整个能量函数的单调性：
G(h，r，t)＝exp(-E(h，r，t))*P(r|h，t)
4.6、判断G(h,r,t)的值是否接近于1，若值越接近于1，说明这个直接关系r可以连接头实体h和尾实体t，这个三元组就成立；否则，不成立。
进一步，所述4.2的过程如下：
4.2.1、遍历集合S，计算第i条路径模式的关系模式与向量u的相似程度ei，计算公式如下，其中fatt,path是一个前馈网络，用于计算第i条路径模式的注意力值，向量u是一个可训练的关系依赖向量，来自于数据训练结果，用于表示试图预测的关系r：
ei＝fatt，path(vρ(pi)，u)
4.2.2、计算第i条路径模式的注意力值，表示这条路径模式的重要程度，计算公式如下：
4.2.3、计算全局路径模式，计算公式如下：
再进一步，所述第一步的过程如下：
1.1、在知识库中获取实体集E和关系集R，从中构建一个三元组S＝{(h,r,t)|h,t∈E∧r∈R}，r是实体h和t之间的直接关系，h是头实体，t是尾实体；
1.2、获取h和t之间所有的关系路径集合P＝{p1,p2,…pN}，其中，pi表示路径集合P中第i条路径，N表示关系路径的数量，h和t之间第i条路径表示为Pi＝＜h,ri1,ri2,…,riM,t＞，M表示这条关系路径上关系的数量。
所述2.1的过程如下：
2.1.1、初始化一个HashMap，用于存放数组；
2.1.2、初始化一个ArrayList，命名为relationList，用于存放路径上的关系；
2.1.3、取头实体h和尾实体t之间的第i条关系路径，0＜i≤N，将所有这条路径上的关系按照顺序存入relationList；
2.1.4、初始化一个数组ArrayVec，其长度为relationList的长度，用于存放关系转化成的向量；
2.1.5、遍历relationList，得到第j个关系，0＜j≤relationList.length，使用Word2vec将关系转化为向量vecj；
2.1.6、将向量vecj存入ArrayVec[j-1]；
2.1.7、判断relationList是否遍历完成，若否，返回2.1.5，否则进行2.1.8；
2.1.8、将数组ArrayVec存入HashMap，HashMap的key值为i，value为数组ArrayVec；
2.1.9、判断关系路径是否已经全部存入HashMap，若否，返回2.1.3，否则进行2.2。
更进一步，所述2.2中，LSTM由细胞状态和“门”结构，细胞状态相当于信息传输的路径，让信息能在序列链中传递下去，LSTM有三种门结构：遗忘门、输入门和输出门，遗忘门的功能是决定应丢弃或保留哪些信息，来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中去，输出值介于0和1之间，越接近0意味着越应该丢弃，越接近1意味着越应该保留；输入门用于更新细胞状态，首先将前一层隐藏状态的信息和当前输入的信息传递到sigmoid函数中去，将值调整到0-1之间来决定要更新哪些信息，0表示不重要，1表示重要；输出门用来确定下一个隐藏状态的值，隐藏状态包含了先前输入的信息，首先将前一个隐藏状态和当前输入传递到sigmoid函数中，然后将新得到的细胞状态传递给tanh函数；
其中sigmoid函数常被用做神经网络的激活函数，其公式如下：
其中tanh函数是一个双曲正切函数，值域为(-1,1)，其公式如下：
所述2.2的过程如下：
2.2.1、遍历HashMap，取key为k的value值，0＜k≤N；
2.2.2、遍历value当中的数组，取第x个向量vecx，其中x的取值范围为0＜x≤HashMap.get(k).length；
2.2.3、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.2.4、将先前细胞状态cx-1、先前隐藏状态hx-1和向量vecx输入LSTM，输出当前细胞状态cx和当前隐藏状态hx，其中，先前细胞状态和先前隐藏状态即为上一层LSTM的当前细胞状态和当前隐藏状态；继续重复执行2.2.2直至数组内的元素遍历完毕；
2.2.5、判断HashMap是否遍历完成，若否，重复步骤2.2.1，否则进入步骤2.2.6；
2.2.6、获得LSTM的当前隐藏状态，并将它作为这条关系路径的向量表示，即vπ(p)；
2.2.7、从步骤2.1.3重新开始，直到计算出头实体h和尾实体t之间所有关系路径的向量表示；
2.3、将头实体h和尾实体t之间的直接关系r使用Word2vec转化为向量，并将该向量记为再将/>输入LSTM，用LSTM的最后一个状态作为直接关系r的向量表示，用vπ(r)表示。
所述2.2.4的过程如下：
2.2.4.1、计算遗忘门：将先前隐藏状态hx-1和向量vecx拼接成一个向量vech，经过一层全连接层计算后，再将vech传入sigmoid函数，获得遗忘门的输出，fx；
2.2.4.2、计算输入门：将vech分别传入sigmoid函数和tanh函数，vech传入sigmoid函数后再经过一层全连接层计算，获得输入门输出ix，vech传入tanh函数后的输出值为候选向量āx，将sigmoid函数和tanh函数的输出值相乘；
2.2.4.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
cx＝fx·cx-1+ix·āx
2.2.4.4、计算输出门：将vech经过一层全连接层计算后输入sigmoid函数，得到ox，再将当前细胞状态cx输入tanh函数后的结果与ox相乘，得到当前隐藏状态hx。
所述2.3的计算过程如下：
2.3.1、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.3.2、计算遗忘门：将先前隐藏状态h0和向量r拼接成一个向量rh，经过一层全连接层计算后，再将rh传入sigmoid函数，获得遗忘门的输出，f1；
2.3.3、计算输入门：将rh分别传入sigmoid函数和tanh函数，rh传入sigmoid函数后再经过一层全连接层计算，获得输入门输出i1，vech传入tanh函数后的输出值为候选向量ā1，将sigmoid函数和tanh函数的输出值相乘；
2.3.4、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
c1＝f1·c0+i1·ā1
2.3.5、计算输出门：将rh经过一层全连接层计算后输入sigmoid函数，得到o1，再将当前细胞状态c1输入tanh函数后的结果与o1相乘，得到当前隐藏状态，h1；
2.3.6、获得当前隐藏状态，表示为vπ(r)。
所述3.3的步骤如下：
3.3.1、初始化一个ArrayList，将选定关系路径上的所有实体，包括头实体h和尾实体t按顺序存入ArrayList；
3.3.2、遍历ArrayList，给每一个实体设置一个类型层次结构的集合L，实体et表示ArrayList中第t个实体的表示，0＜t≤N，N表示ArrayList的长度，其中，e0＝h，eArrayList.length-1＝t，Lt表示第t个实体的类型层次结构集合，Lt＝{lt,1,…,lt,C},lt,1表示最具体的类型，lt,C表示实体et高度为C的类型层次结构中最抽象的类型；
3.3.3、将每个实体的层次类型转化为向量，得到vt＝{vt(lt,1),…,vt(lt,C)}；
3.3.4、判断是否遍历完成，若否，返回3.3.3，否则，进入3.3.5；
3.3.5、计算实体et选择的类型向量，并计算实体et的类型上下文向量。
所述3.3.5计算过程如下：
3.3.5.1、设置初始细胞状态c0＝finit,c(vπ(p))，初始隐藏状态h0＝finit,h(vπ(p))，其中，finit,c，finit,h是两个独立的前馈网络；
3.3.5.2、计算上下文向量计算公式为：/>
3.3.5.3、遍历ArrayList，计算实体et选择第m层抽象结构后的向量表示，计算公式如下，其中fatt,type是一个前馈网络：
3.3.5.4、计算实体et选择第m层结构类型的权重αt,m，这个权重表示m是正确的抽象级别的概率，计算公式如下，其中exp(x)＝ex：
3.3.5.5、计算实体et的类型上下文向量表示其计算公式如下：
3.3.5.6、将先前隐藏状态和先前细胞状态以及，类型向下文向量输入LSTM，计算当前隐藏状态和当前细胞状态，计算过程如下：
3.3.5.6.1、计算遗忘门：将先前隐藏状态ht-1和向量拼接成一个向量/>经过一层全连接层计算后，再传入sigmoid函数，获得遗忘门的输出，fx；
3.3.5.6.2、计算输入门：将分别传入sigmoid函数和tanh函数，/>传入sigmoid函数后再经过一层全连接层计算，获得输入门输出it，/>传入tanh函数后的输出值为候选向量/>将sigmoid函数和tanh函数的输出值相乘；
3.3.5.6.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
3.3.5.6.4、计算输出门：将经过一层全连接层计算后输入sigmoid函数，得到ot，再将当前细胞状态ct输入tanh函数后的结果与ot相乘，得到当前隐藏状态ht；
3.3.5.7、判断是否遍历完成，若否，返回3.3.5.3，否则，进入步骤3.3.5.8
3.3.5.8、获得LSTM的当前隐藏状态，并用vε(p)表示；
3.3.5.9、获取头实体和尾实体的类型上下文向量，分别记为和/>
本发明的有益效果主要表现在：在对知识图谱进行链接预测时，可以使用本方法对三元组进行关系编码和实体类型编码，同时引入注意力机制，将注意力机制与编码结果相结合来计算三元组成立的概率，本方法很好地利用了三元组中实体与关系的属性以及他们之间的联系，提高了对实体和关系的利用率，而注意力机制提升了概率计算结果的精确性，本方法提升了三元组表示成的向量的准确度，增加了预测实体间是否能相互连接的结果的准确度。
具体实施方式
下面对本发明做进一步说明。
一种基于注意力机制的知识图谱路径可达性分析方法，包括以下步骤：
第一步、从知识库中构建目标三元组，并获得该三元组中头实体和尾实体之间所有的路径关系；过程如下：
1.1、在知识库中获取实体集E和关系集R，从中构建一个三元组S＝{(h,r,t)|h,t∈E∧r∈R}，r是实体h和t之间的直接关系，h是头实体，t是尾实体。
1.2、获取h和t之间所有的关系路径集合P＝{p1,p2,…pN}，其中，pi表示路径集合P中第i条路径，N表示关系路径的数量，h和t之间第i条路径表示为Pi＝＜h,ri1,ri2,…,riM,t＞，M表示这条关系路径上关系的数量；
第二步、进行关系编码，结合Word2vec将目标三元组中的直接关系和所有路径关系表示成向量，并将路径关系表示成的向量输入LSTM进行顺序编码；
所述第二步中，Word2vec模型由Mikolov等人于2013年提出，该模型将文本中的内容词汇通过转换处理，化简为空间向量，词向量的数值受上下文的影响，蕴含了词与词之间相互的关联性，过程如下：
2.1、将头实体h和尾实体t之间的关系路径上的关系使用Word2vec转化为向量；初始化一个HashMap，用于存放头实体h和尾实体t之间的关系表示成的向量集合；
2.1.1、初始化一个HashMap，用于存放数组；
2.1.2、初始化一个ArrayList，命名为relationList，用于存放路径上的关系；
2.1.3、取头实体h和尾实体t之间的第i条关系路径，0＜i≤N，将所有这条路径上的关系按照顺序存入relationList；
2.1.4、初始化一个数组ArrayVec，其长度为relationList的长度，用于存放关系转化成的向量；
2.1.5、遍历relationList，得到第j个关系，0＜j≤relationList.length，使用Word2vec将关系转化为向量vecj；
2.1.6、将向量vecj存入ArrayVec[j-1]；
2.1.7、判断relationList是否遍历完成，若否，返回2.1.5，否则进行2.1.8；
2.1.8、将数组ArrayVec存入HashMap，HashMap的key值为i，value为数组ArrayVec；
2.1.9、判断关系路径是否已经全部存入HashMap，若否，返回2.1.3，否则进行2.2；
2.2、将HashMap中的向量顺序输入LSTM，用LSTM的最后一个状态作为关系路径的向量表示，用vπ(p)表示；
所述2.2中，LSTM主要由细胞状态和“门”结构，细胞状态相当于信息传输的路径，让信息能在序列链中传递下去。LSTM有三种门结构：遗忘门、输入门和输出门，遗忘门的功能是决定应丢弃或保留哪些信息，来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中去，输出值介于0和1之间，越接近0意味着越应该丢弃，越接近1意味着越应该保留；输入门用于更新细胞状态，首先将前一层隐藏状态的信息和当前输入的信息传递到sigmoid函数中去，将值调整到0-1之间来决定要更新哪些信息，0表示不重要，1表示重要；输出门用来确定下一个隐藏状态的值，隐藏状态包含了先前输入的信息，首先将前一个隐藏状态和当前输入传递到sigmoid函数中，然后将新得到的细胞状态传递给tanh函数；
其中sigmoid函数常被用做神经网络的激活函数，其公式如下：
其中tanh函数是一个双曲正切函数，值域为(-1,1)，其公式如下：
再进一步，所述2.2的过程如下：
2.2.1、遍历HashMap，取key为k的value值，0＜k≤N；
2.2.2、遍历value当中的数组，取第x个向量vecx，其中x的取值范围为0＜x≤HashMap.get(k).length；
2.2.3、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.2.4、将先前细胞状态cx-1、先前隐藏状态hx-1和向量vecx输入LSTM，输出当前细胞状态cx和当前隐藏状态hx，其中，先前细胞状态和先前隐藏状态即为上一层LSTM的当前细胞状态和当前隐藏状态；继续重复执行2.2.2直至数组内的元素遍历完毕，总计4步如下：
2.2.4.1、计算遗忘门：将先前隐藏状态hx-1和向量vecx拼接成一个向量vech，经过一层全连接层计算后，再将vech传入sigmoid函数，获得遗忘门的输出，fx；
2.2.4.2、计算输入门：将vech分别传入sigmoid函数和tanh函数，vech传入sigmoid函数后再经过一层全连接层计算，获得输入门输出ix，vech传入tanh函数后的输出值为候选向量āx，将sigmoid函数和tanh函数的输出值相乘；
2.2.4.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
cx＝fx·cx-1+ix·āx
2.2.4.4、计算输出门：将vech经过一层全连接层计算后输入sigmoid函数，得到ox，再将当前细胞状态cx输入tanh函数后的结果与ox相乘，得到当前隐藏状态hx；
2.2.5、判断HashMap是否遍历完成，若否，重复步骤2.2.1，否则进入步骤2.2.6；
2.2.6、获得LSTM的当前隐藏状态，并将它作为这条关系路径的向量表示，即vπ(p)；
2.2.7、从步骤2.1.3重新开始，直到计算出头实体h和尾实体t之间所有关系路径的向量表示；
2.3、将头实体h和尾实体t之间的直接关系r使用Word2vec转化为向量，并将该向量记为再将/>输入LSTM，用LSTM的最后一个状态作为直接关系r的向量表示，用vπ(r)表示。
所述2.3的计算过程如下：
2.3.1、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.3.2、计算遗忘门：将先前隐藏状态h0和向量r拼接成一个向量rh，经过一层全连接层计算后，再将rh传入sigmoid函数，获得遗忘门的输出，f1；
2.3.3、计算输入门：将rh分别传入sigmoid函数和tanh函数，rh传入sigmoid函数后再经过一层全连接层计算，获得输入门输出i1，vech传入tanh函数后的输出值为候选向量ā1，将sigmoid函数和tanh函数的输出值相乘；
2.3.4、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
c1＝f1·c0+i1·ā1
2.3.5、计算输出门：将rh经过一层全连接层计算后输入sigmoid函数，得到o1，再将当前细胞状态c1输入tanh函数后的结果与o1相乘，得到当前隐藏状态，h1。
2.3.6、获得当前隐藏状态，表示为vπ(r)。
第三步、进行实体类型编码，结合Word2vec将目标三元组中的所有实体类型表示成向量，并将实体类型表示成的向量输入LSTM进行顺序编码；过程如下：
3.1、初始化一个HashMap，命名为entitymap，用于存放第二步中选择的关系路径上的头实体h和尾实体t之间的实体的类型层次集合；
3.2、获取选定关系路径上的头实体h和尾实体t之间的所有实体(包括头实体h和尾实体t)的实体类型；
3.3、用Word2vec把实体的实体类型转化为向量，并计算实体的类型上下文向量，将实体的类型上下文向量按顺序输入LSTM，并用LSTM的最后一个隐藏状态作为这条路径的实体类型编码的向量表示，用vε(p)表示；
所述3.3的步骤如下：
3.3.1、初始化一个ArrayList，将选定关系路径上的所有实体，包括头实体h和尾实体t按顺序存入ArrayList；
3.3.2、遍历ArrayList，给每一个实体设置一个类型层次结构的集合L，实体et表示ArrayList中第t个实体的表示，0＜t≤N，N表示ArrayList的长度。其中，e0＝h，eArrayList.length-1＝t，Lt表示第t个实体的类型层次结构集合，Lt＝{lt,1,…,lt,C},lt,1表示最具体的类型，lt,C表示实体et高度为C的类型层次结构中最抽象的类型；
3.3.3、将每个实体的层次类型转化为向量，得到vt＝{vt(lt,1),…,vt(lt,C)}；
3.3.4、判断是否遍历完成，若否，返回3.3.3，否则，进入3.3.5；
3.3.5、计算实体et选择的类型向量，并计算实体et的类型上下文向量，计算过程如下：
3.3.5.1、设置初始细胞状态c0＝finit,c(vπ(p))，初始隐藏状态h0＝finit,h(vπ(p))，其中，finit,c，finit,h是两个独立的前馈网络；
3.3.5.2、计算上下文向量计算公式为：/>
3.3.5.3、遍历ArrayList，计算实体et选择第m层抽象结构后的向量表示，计算公式如下，其中fatt,type是一个前馈网络：
3.3.5.4、计算实体et选择第m层结构类型的权重αt,m，这个权重表示m是正确的抽象级别的概率，计算公式如下，其中exp(x)＝ex：
3.3.5.5、计算实体et的类型上下文向量表示其计算公式如下：
3.3.5.6、将先前隐藏状态和先前细胞状态以及，类型向下文向量输入LSTM，计算当前隐藏状态和当前细胞状态，计算过程如下：
3.3.5.6.1、计算遗忘门：将先前隐藏状态ht-1和向量拼接成一个向量/>经过一层全连接层计算后，再传入sigmoid函数，获得遗忘门的输出，fx；
3.3.5.6.2、计算输入门：将分别传入sigmoid函数和tanh函数，/>传入sigmoid函数后再经过一层全连接层计算，获得输入门输出it，/>传入tanh函数后的输出值为候选向量/>将sigmoid函数和tanh函数的输出值相乘。
3.3.5.6.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
3.3.5.6.4、计算输出门：将经过一层全连接层计算后输入sigmoid函数，得到ot，再将当前细胞状态ct输入tanh函数后的结果与ot相乘，得到当前隐藏状态ht；
3.3.5.7、判断是否遍历完成，若否，返回3.3.5.3，否则，进入步骤3.3.5.8
3.3.5.8、获得LSTM的当前隐藏状态，并用vε(p)表示。
3.3.5.9、获取头实体和尾实体的类型上下文向量，分别记为和/>
第四步、重复第二步和第三步计算所有路径模式组合成的全局路径模式计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，计算直接关系r能否连接头实体和尾实体的概率，将能量函数和能否链接的概率相乘，以此判断这个三元组是否成立；过程如下：
4.1、将每一条关系路径上的vπ(p)和vε(p)连接在一起，组成路径模式vρ(p)即vρ(p)＝[vπ(p)；vε(p)]，最终获得所有路径模式的集合S＝{vρ(p1),vρ(p2),……,vρ(pN)}；
4.2、使用软注意力机制(Soft Attention)将所有路径模式组合成全局路径模式计算过程如下：
所述4.2中，软注意力机制是一种特殊结构，用来自动学***均，再输入到神经网络中计算；过程如下：
4.2.1、遍历集合S，计算第i条路径模式的关系模式与向量u的相似程度ei，计算公式如下，其中fatt,path是一个前馈网络，用于计算第i条路径模式的注意力值，向量u是一个可训练的关系依赖向量，来自于数据训练结果，用于表示试图预测的关系r：
ei＝fatt，path(vρ(pi)，u)
4.2.2、计算第i条路径模式的注意力值，表示这条路径模式的重要程度，计算公式如下：
4.2.3、计算全局路径模式，计算公式如下：
4.3、计算计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，其中，h用头实体的类型上下文向量表示，t用尾实体t的类型上下文向量/>表示，r用2.3的结果vπ(r)表示，计算公式如下：
4.4、计算头实体和尾实体可以通过直接关系r连接的概率P(r|h,t)，计算公式如下，其中σ就是sigmoid函数，fpred是一个前馈网络，就是4.2的全局路径模式：
4.5、计算头实体、尾实体和所有关系路径组成的整个三元组的能量函数，计算公式如下，其中exp(x)＝ex，E(h,r,t)是4.3的能量函数，P(r|h,t)是4.4的结果，由于能量函数越接近于0越好，而概率越接近于1越好，因此将能量函数的结果的负数输入exp函数来保持整个能量函数的单调性：
G(h，r，t)＝exp(-E(h，r，t))*P(r|h，t)
4.6、判断G(h,r,t)的值是否接近于1，若值越接近于1，说明这个直接关系r可以连接头实体h和尾实体t，这个三元组就成立；否则，不成立。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (8)

1.一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述方法包括以下步骤：
第一步、从知识库中构建目标三元组，并获得该三元组中头实体h和尾实体t之间所有的路径关系；
第二步、进行关系编码，结合Word2vec将目标三元组中的直接关系和所有路径关系表示成向量，并将路径关系表示成的向量输入LSTM进行顺序编码，过程如下：
2.1、将头实体h和尾实体t之间的关系路径上的关系使用Word2vec转化为向量；初始化一个HashMap，用于存放头实体h和尾实体t之间的关系表示成的向量集合；
2.2、将HashMap中的向量顺序输入LSTM，用LSTM的最后一个状态作为关系路径的向量表示，用vπ(p)表示；
2.3、将头实体h和尾实体t之间的直接关系r使用Word2vec转化为向量，并将该向量记为再将/>输入LSTM，用LSTM的最后一个状态作为直接关系r的向量表示，用vπ(r)表示；
第三步、进行实体类型编码，结合Word2vec将目标三元组中的所有实体类型表示成向量，并将实体类型表示成的向量输入LSTM进行顺序编码；过程如下：
3.1、初始化一个HashMap，命名为entitymap，用于存放第二步中选择的关系路径上的头实体h和尾实体t之间的实体的类型层次集合；
3.2、获取选定关系路径上的头实体h和尾实体t之间的所有实体的实体类型，所有实体包括头实体h和尾实体t；
3.3、用Word2vec把实体的实体类型转化为向量，并计算实体的类型上下文向量，将实体的类型上下文向量按顺序输入LSTM，并用LSTM的最后一个隐藏状态作为这条路径的实体类型编码的向量表示，用vε(p)表示；
第四步、重复第二步和第三步计算所有路径模式组合成的全局路径模式计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，计算直接关系r能否连接头实体和尾实体的概率，将能量函数和能否连接的概率相乘，以此判断这个三元组是否成立；过程如下：
4.1、将每一条关系路径上的vπ(p)和vε(p)连接在一起，组成路径模式vρ(p)即vρ(p)＝[vπ(p)；vε(p)]，最终获得所有路径模式的集合S＝{vρ(p1),vρ(p2),……,vρ(pN)}；
4.2、使用软注意力机制将所有路径模式组合成全局路径模式
4.3、计算计算头实体h、直接关系r和尾实体t组成的三元组的能量函数，其中，h用头实体的类型上下文向量表示，t用尾实体t的类型上下文向量/>表示，r用2.3的结果vπ(r)表示，计算公式如下：
4.4、计算头实体和尾实体通过直接关系r连接的概率P(r|h,t)，计算公式如下，其中σ就是sigmoid函数，fpred是一个前馈网络，就是4.2的全局路径模式：
4.5、计算头实体、尾实体和所有关系路径组成的整个三元组的能量函数，计算公式如下，其中exp(x)＝ex，E(h,r,t)是4.3的能量函数，P(r|h,t)是4.4的结果：
G(h,r,t)＝exp(-E(h,r,t))*P(r|h,t)
4.6、判断G(h,r,t)的值是否接近于1，若值越接近于1，说明这个直接关系r可以连接头实体h和尾实体t，这个三元组就成立；否则，不成立；
预测方法 所述4.2的过程如下：
4.2.1、遍历集合S，计算第i条路径模式的关系模式与向量u的相似程度ei，计算公式如下，其中fatt,path是一个前馈网络，用于计算第i条路径模式的注意力值，向量u是一个可训练的关系依赖向量，来自于数据训练结果，用于表示试图预测的关系r：
ei＝fatt,path(vρ(pi),u)
4.2.2、计算第i条路径模式的注意力值，表示这条路径模式的重要程度，计算公式如下：
4.2.3、计算全局路径模式，计算公式如下：
预测方法 所述第一步的过程如下：
1.1、在知识库中获取实体集E和关系集R，从中构建一个三元组S＝{(h,r,t)|h,t∈E∧r∈R}，r是实体h和t之间的直接关系，h是头实体，t是尾实体；
1.2、获取h和t之间所有的关系路径集合P＝{p1,p2,…pN}，其中，pi表示路径集合P中第i条路径，N表示关系路径的数量，h和t之间第i条路径表示为Pi＝＜h,ri1,ri2,…,riM,t＞，M表示这条关系路径上关系的数量。
2.如权利要求1所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述2.1的过程如下：
2.1.1、初始化一个HashMap，用于存放数组；
2.1.2、初始化一个ArrayList，命名为relationList，用于存放路径上的关系；
2.1.3、取头实体h和尾实体t之间的第i条关系路径，0＜i≤N，将所有这条路径上的关系按照顺序存入relationList；
2.1.4、初始化一个数组ArrayVec，其长度为relationList的长度，用于存放关系转化成的向量；
2.1.5、遍历relationList，得到第j个关系，0＜j≤relationList.length，使用Word2vec将关系转化为向量vecj；
2.1.6、将向量vecj存入ArrayVec[j-1]；
2.1.7、判断relationList是否遍历完成，若否，返回2.1.5，否则进行2.1.8；
2.1.8、将数组ArrayVec存入HashMap，HashMap的key值为i，value为数组ArrayVec；
2.1.9、判断关系路径是否已经全部存入HashMap，若否，返回2.1.3，否则进行2.2。
3.如权利要求1所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述2.2中，LSTM由细胞状态和“门”结构，细胞状态相当于信息传输的路径，让信息能在序列链中传递下去，LSTM有三种门结构：遗忘门、输入门和输出门，遗忘门的功能是决定应丢弃或保留哪些信息，来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中去，输出值介于0和1之间，越接近0意味着越应该丢弃，越接近1意味着越应该保留；输入门用于更新细胞状态，首先将前一层隐藏状态的信息和当前输入的信息传递到sigmoid函数中去，将值调整到0-1之间来决定要更新哪些信息，0表示不重要，1表示重要；输出门用来确定下一个隐藏状态的值，隐藏状态包含了先前输入的信息，首先将前一个隐藏状态和当前输入传递到sigmoid函数中，然后将新得到的细胞状态传递给tanh函数；
其中sigmoid函数常被用做神经网络的激活函数，其公式如下：
其中tanh函数是一个双曲正切函数，值域为(-1,1)，其公式如下：
4.如权利要求3所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述2.2的过程如下：
2.2.1、遍历HashMap，取key为k的value值，0＜k≤N；
2.2.2、遍历value当中的数组，取第x个向量vecx，其中x的取值范围为0＜x≤HashMap.get(k).length；
2.2.3、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.2.4、将先前细胞状态cx-1、先前隐藏状态hx-1和向量vecx输入LSTM，输出当前细胞状态cx和当前隐藏状态hx，其中，先前细胞状态和先前隐藏状态即为上一层LSTM的当前细胞状态和当前隐藏状态；继续重复执行2.2.2直至数组内的元素遍历完毕；
2.2.5、判断HashMap是否遍历完成，若否，重复步骤2.2.1，否则进入步骤2.2.6；
2.2.6、获得LSTM的当前隐藏状态，并将它作为这条关系路径的向量表示，即vπ(p)；
2.2.7、从步骤2.1.3重新开始，直到计算出头实体h和尾实体t之间所有关系路径的向量表示；
2.3、将头实体h和尾实体t之间的直接关系r使用Word2vec转化为向量，并将该向量记为再将/>输入LSTM，用LSTM的最后一个状态作为直接关系r的向量表示，用vπ(r)表示。
5.如权利要求4所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述2.2.4的过程如下：
2.2.4.1、计算遗忘门：将先前隐藏状态hx-1和向量vecx拼接成一个向量vech，经过一层全连接层计算后，再将vech传入sigmoid函数，获得遗忘门的输出fx；
2.2.4.2、计算输入门：将vech分别传入sigmoid函数和tanh函数，vech传入sigmoid函数后再经过一层全连接层计算，获得输入门输出ix，vech传入tanh函数后的输出值为候选向量āx，将sigmoid函数和tanh函数的输出值相乘；
2.2.4.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
2.2.4.4、计算输出门：将vech经过一层全连接层计算后输入sigmoid函数，得到ox，再将当前细胞状态cx输入tanh函数后的结果与ox相乘，得到当前隐藏状态hx。
6.如权利要求1所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述2.3的计算过程如下：
2.3.1、设置LSTM初始细胞状态c0＝0，初始隐藏状态h0＝0；
2.3.2、计算遗忘门：将先前隐藏状态h0和向量r拼接成一个向量rh，经过一层全连接层计算后，再将rh传入sigmoid函数，获得遗忘门的输出f1；
2.3.3、计算输入门：将rh分别传入sigmoid函数和tanh函数，rh传入sigmoid函数后再经过一层全连接层计算，获得输入门输出i1，vech传入tanh函数后的输出值为候选向量ā1，将sigmoid函数和tanh函数的输出值相乘；
2.3.4、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
2.3.5、计算输出门：将rh经过一层全连接层计算后输入sigmoid函数，得到o1，再将当前细胞状态c1输入tanh函数后的结果与o1相乘，得到当前隐藏状态，h1；
2.3.6、获得当前隐藏状态，表示为vπ(r)。
7.如权利要求1所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述3.3的步骤如下：
3.3.1、初始化一个ArrayList，将选定关系路径上的所有实体，包括头实体h和尾实体t按顺序存入ArrayList；
3.3.2、遍历ArrayList，给每一个实体设置一个类型层次结构的集合L，实体et表示ArrayList中第t个实体的表示，0＜t≤N，N表示ArrayList的长度，其中，e0＝h，eArrayList.length-1＝t，Lt表示第t个实体的类型层次结构集合，Lt＝{lt,1,…,lt,C},lt,1表示最具体的类型，lt,C表示实体et高度为C的类型层次结构中最抽象的类型；
3.3.3、将每个实体的层次类型转化为向量，得到vt＝{vt(lt,1),…,vt(lt,C)}；
3.3.4、判断是否遍历完成，若否，返回3.3.3，否则，进入3.3.5；
3.3.5、计算实体et选择的类型向量，并计算实体et的类型上下文向量。
8.如权利要求7所述的一种基于注意力机制的知识图谱路径可达性预测方法，其特征在于，所述3.3.5计算过程如下：
3.3.5.1、设置初始细胞状态c0＝finit,c(vπ(p))，初始隐藏状态h0＝finit,h(vπ(p))，其中，finit,c，finit,h是两个独立的前馈网络；
3.3.5.2、计算上下文向量计算公式为：/>
3.3.5.3、遍历ArrayList，计算实体et选择第m层抽象结构后的向量表示，计算公式如下，其中fatt,type是一个前馈网络：
3.3.5.4、计算实体et选择第m层结构类型的权重αt,m，这个权重表示m是正确的抽象级别的概率，计算公式如下，其中exp(x)＝ex：
3.3.5.5、计算实体et的类型上下文向量表示其计算公式如下：
3.3.5.6、将先前隐藏状态和先前细胞状态以及，类型向下文向量输入LSTM，计算当前隐藏状态和当前细胞状态，计算过程如下：
3.3.5.6.1、计算遗忘门：将先前隐藏状态ht-1和向量拼接成一个向量/>经过一层全连接层计算后，再传入sigmoid函数，获得遗忘门的输出fx；
3.3.5.6.2、计算输入门：将分别传入sigmoid函数和tanh函数，/>传入sigmoid函数后再经过一层全连接层计算，获得输入门输出it，/>传入tanh函数后的输出值为候选向量将sigmoid函数和tanh函数的输出值相乘；
3.3.5.6.3、计算细胞状态：将先前细胞状态与遗忘门输出值相乘，再加上sigmoid函数和tanh函数的输出值相乘的结果，当前细胞状态计算公式如下：
3.3.5.6.4、计算输出门：将经过一层全连接层计算后输入sigmoid函数，得到ot，再将当前细胞状态ct输入tanh函数后的结果与ot相乘，得到当前隐藏状态ht；
3.3.5.7、判断是否遍历完成，若否，返回3.3.5.3，否则，进入步骤3.3.5.8
3.3.5.8、获得LSTM的当前隐藏状态，并用vε(p)表示；
3.3.5.9、获取头实体和尾实体的类型上下文向量，分别记为和/>
CN202110244072.0A 2021-03-05 2021-03-05 一种基于注意力机制的知识图谱路径可达性预测方法 Active CN113051353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244072.0A CN113051353B (zh) 2021-03-05 2021-03-05 一种基于注意力机制的知识图谱路径可达性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244072.0A CN113051353B (zh) 2021-03-05 2021-03-05 一种基于注意力机制的知识图谱路径可达性预测方法

Publications (2)

Publication Number Publication Date
CN113051353A CN113051353A (zh) 2021-06-29
CN113051353B true CN113051353B (zh) 2024-05-10

Family

ID=76510144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244072.0A Active CN113051353B (zh) 2021-03-05 2021-03-05 一种基于注意力机制的知识图谱路径可达性预测方法

Country Status (1)

Country Link
CN (1) CN113051353B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297338B (zh) * 2021-07-27 2022-03-29 平安科技（深圳）有限公司 产品推荐路径生成方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451239A4 (en) * 2016-04-29 2020-01-01 Cambricon Technologies Corporation Limited APPARATUS AND METHOD FOR PERFORMING RECURRENT NEURONAL NETWORK AND LTSM CALCULATIONS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
融合对抗训练的端到端知识三元组联合抽取;黄培馨;赵翔;方阳;朱慧明;肖卫东;;计算机研究与发展;20191215(12);全文 *
黄培馨 ; 赵翔 ; 方阳 ; 朱慧明 ; 肖卫东 ; .融合对抗训练的端到端知识三元组联合抽取.计算机研究与发展.2019,(12),全文. *

Also Published As

Publication number Publication date
CN113051353A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US20210327428A1 (en) Adversarial learning and generation of dialogue responses
CN111897941B (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
CN110309514A (zh) 一种语义识别方法及装置
CN109902301B (zh) 基于深度神经网络的关系推理方法、装置及设备
CN112397199B (zh) 一种基于5g和区块链的大数据疾病预测***
CN110633473B (zh) 基于条件随机场的隐式篇章关系识别方法与***
CN115982338B (zh) 一种基于查询路径排序的领域知识图谱问答方法及***
CN111368545A (zh) 一种基于多任务学习的命名实体识别方法和装置
CN114969278A (zh) 一种基于知识增强图神经网络的文本问答模型
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
CN107665356A (zh) 一种图像标注方法
CN116136870A (zh) 基于增强实体表示的智能社交对话方法、对话***
CN115374270A (zh) 一种基于图神经网络的法律文本摘要生成方法
CN113051353B (zh) 一种基于注意力机制的知识图谱路径可达性预测方法
KR20240034804A (ko) 자동 회귀 언어 모델 신경망을 사용하여 출력 시퀀스 평가
CN111444328A (zh) 一种带有解释生成的自然语言自动预测推断方法
CN116431788B (zh) 面向跨模态数据的语义检索方法
CN116681078A (zh) 一种基于强化学习的关键词生成方法
CN112508178A (zh) 神经网络结构搜索方法、装置、电子设备及存储介质
CN116882503A (zh) 基于知识推理模型的科技创新服务决策支持方法
CN116629362A (zh) 一种基于路径搜索的可解释时间图推理方法
CN111444316A (zh) 一种面向知识图谱问答的复合问句解析方法
CN116205227A (zh) 一种基于变分推断理论的关键词生成方法及***
US20220277186A1 (en) Dialog system with adaptive recurrent hopping and dual context encoding
CN114880991A (zh) 知识图谱问答问句实体链接方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant