CN112163092A - 实体及关系抽取方法及***、装置、介质 - Google Patents
实体及关系抽取方法及***、装置、介质 Download PDFInfo
- Publication number
- CN112163092A CN112163092A CN202011076691.5A CN202011076691A CN112163092A CN 112163092 A CN112163092 A CN 112163092A CN 202011076691 A CN202011076691 A CN 202011076691A CN 112163092 A CN112163092 A CN 112163092A
- Authority
- CN
- China
- Prior art keywords
- entity
- sequence
- relation
- representation
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了实体及关系抽取方法及***、装置、介质,涉及自然语言处理领域,包括:将文档输入预训练语言模型,得到文档单词序列的向量表示序列;将向量表示序列输入卷积神经网络获得序列嵌入表示;将序列嵌入表示输入第一编码器,得到实体特征嵌入表示信息;将实体特征嵌入表示信息输入实体分类器得到实体分类结果;将序列嵌入表示输入第二编码器,得到的关系特征嵌入表示信息;将实体特征嵌入表示信息和关系特征嵌入表示信息拼接后输入前馈神经网络中得到关系抽取的嵌入表示,将关系抽取的嵌入表示输入到关系分类器中得到关系分类结果;利用实体分类和关系抽取损失函数优化实体分类结果和关系分类结果,本发明提高了实体及关系抽取的效率。
Description
技术领域
本发明涉及自然语言处理领域,具体地,涉及实体及关系抽取方法及***、装置、介质。
背景技术
实体及关系抽取是自然语言处理领域信息抽取的一个重要分支,主要负责从各种非结构化文档中提取出该文档包括的实体及实体之间的关系。其广泛应用于自然语言处理的各个领域中,如知识库构建,基于知识库的智能问答等。
命名实体识别:也称为实体识别、实体分块和实体提取,是信息提取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人员、组织、位置、时间等,具体识别什么样的实体类型,需要根据不同的业务领域或应用场景进行定义,如:
K先生[人名]是A国[国名]第一任官职B[职务]
句子中包含人名“K先生”,国名“A国”,职务“官职B”等实体。
关系抽取:在识别出文本中的相关实体之后,信息抽取任务还需要抽取任意两个实体之间的语义关系,通常是配偶,子女,就业,从属和地理空间上的位置关系等二元关系,一般用SPO结构的三元组来表示,即(Subject,Predication,Object),如:
K先生[人名]毕业于学校C[学校名]==>(K先生,毕业于,学校C)
句子中实体“K先生”和实体“学校C”是“毕业于”关系。用三元组表示为(K先生,毕业于, 学校C)
传统的关系抽取方法有的基于统计机器学习方法或者Pipeline形式的深度学习模型,其将实体检测和识别,关系抽取作为独立的任务进行训练,下游模型的输入依赖于上游模型的输出,不利于利用文本的全局信息且容易造成错误传播。随着多任务联合训练技术的发展,基于文本片段(Span)的命名实体和关系抽取联合训练方法成为主流,其具体过程主要包括以下四个步骤:
(1)枚举句子中可能的Span,对于句子中每个字符的位置枚举以当前字符为首,最大枚举宽度以内的字符。
(2)对每个Span进行纯化,使用前馈神经网络对Span进行评分,选择分值高的Span参与下游的命名实体和关系抽取任务。
(3)使用图神经网络对Span进行消息传播,用选择的每个Span作为节点构建完全图,使用图神经网络对Span进行传播。
(4)对传播后的每个Span进行实体分类。
(5)对传播后的每对Span进行关系分类。
(6)计算实体分类和关系分类的加权损失,进行联合优化。
基于Span的实体识别和关系抽取联合训练方法能够完整的抽取实体所在Span的语义信息,通过Span传播也能够融合句子中当前Span相关的Span的语义信息,抽取更加全局的特征。但是由于该方法需要对句子中每个字进行Span枚举,效率相当低下,急需研发一种快速高效的命名实体抽取方法。
发明内容
本发明提供了一种实体及关系抽取方法及***、装置、介质,目的是提高实体及关系抽取的效率。
为实现上述目的,本发明提供了实体及关系抽取方法,所述方法包括:
将文档输入预训练语言模型,得到文档单词序列的向量表示序列;
将向量表示序列输入卷积神经网络,结合注意力机制编码每个单词的嵌入表示,获得序列嵌入表示;
将序列嵌入表示输入第一编码器,得到实体特征嵌入表示信息;将实体特征嵌入表示信息输入实体分类器中进行实体分类,得到实体分类结果;
将序列嵌入表示输入第二编码器,得到的关系特征嵌入表示信息;
将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量,将拼接向量输入前馈神经网络中得到关系抽取的嵌入表示,将关系抽取的嵌入表示输入到关系分类器中进行关系分类,得到关系分类结果;
利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。
其中,本发明为实体关系联合抽取提供一种基于序列预测的端到端多任务高效联合方法,可以广泛应用于非结构化文本的实体检测及实体识别,实体之间的关系预测。
其中,本发明规避了传统方法Span枚举中由于枚举Span过多导致的模型性能低下的问题和传统序列预测中无法很好的捕获Span信息的问题,提高了实体及关系抽取的效率。
其中,本发明主要内容包括:提供了一种基于NGram一维卷积神经网络结合多层Transformer序列预测的端到端实体及关系多任务联合学习方法,通过利用BERT学习单词序列的向量表示序列,首先将其输入到一个Ngram一维卷积神经网络中,结合注意力机制编码每个单词的嵌入表示,再通过一个实体特征提取Transformer编码器中进行实体识别特征的嵌入表示学习,和一个关系特征提取Transformer编码器中进行关系抽取特征的嵌入表示学习。然后将上述实体特征的嵌入通过线性变化输入到Softmax分类器中进行实体识别,同时将其和关系特征的嵌入表示进行拼接,输入到一个关系抽取的多层感知机中进行特征的融合抽取,供后续的关系分类器使用。最后通过联合优化实体识别和关系抽取的损失函数对问题进行求解。
优选的,本方法中输入文档D={w1,w2,…,wn},文档D中的单词来源于词汇库,wn为文档字符串序列中的每个字符,wi∈Wv,i=1,…,n,n表示文档D单词的个数,v表示词汇库的大小,W表示词汇库空间,Wv为包含v个单词的词汇库空间。经过预训练语言模型得到文档单词序列的向量表示序列:X={x1,x2,…,xn},xi∈Rd,i=1,…,n;xi是一个实数空间的d维向量,表示第i个单词的向量表示,R代表实数空间。
优选的,本方法中对于文档单词序列的向量表示序列X={x1,x2,…,xn},使用一组宽为单词嵌入表示维度d,长度为l={l1,l2,…,lm}的卷积核对文档单词序列的向量表示序列进行一维卷积,其中ls代表各个ngram的长度,s=1,…,m;对于每个长度为l的ngram单词片段: ul,i=[xi,…,xi+l]∈Rd×l;1≤i≤n-l,l={l1,l2,…,lm};ul,i代表单词序列向量表示X从位置 i开始长度为l的单词片段向量表示;Rd×l代表长度为l,嵌入表示维度为d的实数空间;
使用一组数目为单词嵌入表示维度d的卷积核f={f1,f2,…,fk}对ngram文本片段进行卷积,fk为第k个卷积核;
Fl,i,j=<ul,i,fl,j>,F∈Rm×n×d
其中,Fl,i,j代表ngram长度为l,序列中起始位置为i,第j个输出通道的值;fl,j∈Rd ×l代表一个ngram长度为l、宽为d的卷积核,F是卷积的结果矩阵,F第一维是ngram滑动窗口长度的个数,F第二维是文本序列的长度,F第三维是单词嵌入表示的维度,Rm×n×d为m×n×d维的实数空间;
对于卷积的结果,使用注意力机制在每个ngram维度上进行加权求和得到序列单词的最终嵌入表示:
Fl,i=Linear(Fl,i,:),αl,i=Sigmoid(Fl,i)
其中,αl,i代表序列中第i个位置,第l个Ngram卷积后的特征表示,Fl,i代表序列的第i 个位置通过第l个Ngram卷积核卷积求得的特征嵌入表示,Gi代表求得的序列中第i个位置最终的特征嵌入表示,G为序列的ngram卷积注意力加权最终结果, Fl,i,:为序列第i个位置,经过长度为l的ngram卷积输出结果,Linear(Fl,i,:)为对Fl,i,:进行线性变换。
优选的,本方法中将序列嵌入表示输入第一Transformer编码器中,得到实体分类的单词嵌入表示:
Ge=Transformer_Encoder(G)
其中,Ge代表第一Transformer编码器编码后的实体特征嵌入表示信息, G为为序列的ngram卷积注意力加权最终结果。
将Ge通过线性变换输入到Softmax分类器中进行实体分类:
Oe=Linear(Ge)
Pe=Softmax(O)
其中,Oe∈Rn×c代表Ge通过线性变换以后得到的嵌入表示,c代表实体BIO标记的类别数目,Pe∈Rn×c代表实体分类的概率分布,n表示文档单词的个数,R代表实数空间。
优选的,本方法中将序列嵌入表示输入第二Transformer编码器中,得到实体关系的单词嵌入表示:
Gr=Transformer_Encoder(G)
其中,Gr代表第二Transformer编码器编码后的关系特征嵌入表示信息, G为序列的ngram卷积注意力加权最终结果。
优选的,本方法中将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量:
Gc=Cat(Ge,Gr)
其中,Cat代表向量拼接操作,Gc∈Rn×2×d,Gc为实体特征嵌入表示和关系特征嵌入表示的拼接向量;Ge代表第一Transformer编码器编码后的实体特征嵌入表示信息;Gr代表第二 Transformer编码器编码后的关系特征嵌入表示信息;
将拼接向量输入前馈神经网络中得到关系抽取的嵌入表示,将关系抽取的嵌入表示线性变换后输入到Softmax分类器中进行关系分类,对于序列中位置i和位置j的单词其关系抽取的嵌入表示如下:
Gcr=Cat(Gc,i,Gc,j,Gc,i*Gc,j)
Gfr=FeedForward(Gcr)
其中,Gcr为序列中第i个位置和第j个位置的关系特征拼接向量表示,Gfr为序列中第i 个位置和第j个位置的最终关系抽取融合特征表示; Gc,i为序列中第i个位置的关系抽取拼接向量,Gc,j为序列中第j个位置的关系抽取拼接向量; Cat代表向量拼接操作,Gc,i*Gc,j代表将Gc,i和Gc,j进行点乘操作,FeedForward是一个多层前馈神经网络;
将Gfr通过线性变换输入Softmax分类器中得到关系分类:
Or=Linear(Gfr)
Pr=Softmax(Or)
其中,Or∈Rn×n×r是关系抽取特征嵌入表示的线性变换结果,r代表关系的类别, Pr∈Rn×n×r代表关系分类的概率。
优选的,本方法中所述预训练语言模型为BERT预训练语言模型,所述第一编码器和所述第二编码器均为Transformer编码器;
利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果为:
Loss=NER_Loss+REL_Loss
其中,NER_Loss代表实体分类损失,REL_Loss代表关系抽取损失。
本发明还提供了一种实体及关系抽取***,所述***包括:
预训练语言模型,用于处理输入预训练语言模型的文档,得到文档单词序列的向量表示序列;
卷积神经网络,用于处理输入卷积神经网络的向量表示序列,结合注意力机制编码每个单词的嵌入表示,获得序列嵌入表示;
第一编码器,用于处理输入第一编码器的序列嵌入表示,得到实体特征嵌入表示信息;
实体分类器,用于将输入实体分类器中实体特征嵌入表示信息进行实体分类,得到实体分类结果;
第二编码器,用于处理输入第二编码器的序列嵌入表示,得到的关系特征嵌入表示信息;
拼接单元,用于将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量;
前馈神经网络,用于处理输入前馈神经网络中的拼接向量得到关系抽取的嵌入表示;
关系分类器,用于将输入关系分类器中的关系抽取的嵌入表示进行关系分类,得到关系分类结果;
优化单元,用于利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。
本发明还提供了一种实体及关系抽取装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述实体及关系抽取方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述实体及关系抽取方法的步骤。
本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:
本发明使用基于Transformer和Ngram CNN结合的序列预测方法,对实体及关系进行联合抽取,可以达到和基于Span枚举的实体及关系联合抽取方法一样的预测效果,并规避了传统方法Span枚举中由于枚举Span过多导致的模型性能低下的问题和传统序列预测中无法很好的捕获span信息的问题,提高了实体及关系抽取的效率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本发明的一部分,并不构成对本发明实施例的限定;
图1为实体及关系抽取方法原理示意图;
图2为Ngram CNN架构示意图;
图3为实体及关系抽取***的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在相互不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述范围内的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
实施例一
请参考图1-图2,图1为实体及关系抽取方法原理示意图,图2为Ngram CNN架构示意图,本方法具体包括:
单词向量表示学习:
对于输入的文档D={w1,w2,…,wn},文档D单词来源于词汇库,wi∈Wv,i=1,…,n,n表示文档单词的个数,v表示词汇库的大小,W表示词汇库空间。然后经过BERT预训练语言模型得到文档单词序列的向量表示序列:X={x1,x2,…,xn},xi∈Rd,i=1,…,n。xi是一个实数空间的d维向量,表示第i个单词的向量表示,R代表实数空间。
使用CNN网络进行ngram编码:
对于单词嵌入表示矩阵X={x1,x2,…,xn},使用一组宽为单词嵌入表示维度d,长度为 l={l1,l2,…,lm}的卷积核对其进行一维卷积,其中ls,s=1,…,m代表各个ngram的长度。对于每个长度为l的ngram单词片段:ul,i=[xi,…,xi+l]∈Rd×l;1≤i≤n-l,l={l1,l2,…,lm};
使用一组数目为单词嵌入表示维度d的卷积核f={f1,f2,…,fk},对ngram文本片段进行卷积:
Fl,i,j=<ul,i,fl,j>,F∈Rm×n×d
其中fl,j∈Rd×l代表一个ngram长度为l、宽为d的卷积核,F是卷积的结果矩阵,F第一维是ngram滑动窗口长度的个数,F第二维是文本序列的长度,F第三维是单词嵌入表示的维度。
对于卷积的结果,使用注意力机制,在每个ngram维度上进行加权求和得到序列单词的最终嵌入表示:
Fl,i=Linear(Fl,i,:),αl,i=Sigmoid(Fl,i)
其中,αl,i代表序列中第i个位置,第l个Ngram卷积后的特征表示,Fl,i代表序列的第i 个位置通过第l个Ngram卷积核卷积求得的特征嵌入表示,Gi代表求得的序列中第i个位置最终的特征嵌入表示。
实体分类:
将卷积得到的序列嵌入表示,输入到第一Transformer编码器中,得到实体分类的单词嵌入表示。
Ge=Transformer_Encoder(G)
其中Ge代表Transformer编码器编码后的实体特征嵌入表示信息。
将Ge通过一个线性变换输入到Softmax分类器中进行实体分类:
Oe=Linear(Ge)
Pe=Softmax(O)
其中,O∈Rn×c代表Ge通过一个线性变换以后得到的嵌入表示,c代表实体BIO标记的类别数目,P∈Rn×c代表实体分类的概率分布。
关系特征编码:
将卷积得到的序列嵌入表示,输入到第二Transformer编码器中,得到实体关系的单词嵌入表示。
Gr=Transformer_Encoder(G)
其中,Gr代表Transformer编码器编码后的关系特征嵌入表示信息。
成对关系特征抽取:
对于序列中的每个单词计算其与其他位置单词的关系特征,具体地,将实体编码特征和关系编码特征进行拼接:
Gc=Cat(Ge,Gr)
其中,Cat代表向量拼接操作,Gc∈Rn×2×d,是实体特征嵌入表示和关系特征嵌入表示的拼接向量。
通过组合输入到一个前馈神经网络中得到关系抽取的嵌入表示,最后将其进行线性变换输入到Softmax分类器中进行关系分类。对于序列中位置i和位置j的单词其关系抽取的嵌入表示如下:
Gcr=Cat(Gc,i,Gc,j,Gc,i*Gc,j)
Gfr=FeedForward(Gcr)
其中,Cat代表向量拼接操作,Gc,i*Gc,j代表将Gc,i和Gc,j进行点乘操作,Gc,i-Gc,j代表将 Gc,i和Gc,j逐位相减。FeedForward是一个多层前馈神经网络。
将Gfr通过线性变换输入到一个Softmax分类器中得到关系分类:
Or=Linear(Gfr)
Pr=Softmax(Or)
其中,Or∈Rn×n×r是关系抽取特征嵌入表示的线性变换结果,r代表关系的类别。 Pr∈Rn×n×r代表关系分类的概率。
实体识别和关系抽取损失函数联合优化:
Loss=NER_Loss+REL_Loss
其中NER_Loss代表实体识别损失,REL_Loss代表关系抽取损失。
实施例二
实施例二中举例对本发明中的实体及关系抽取方法进行详细介绍。
对于句子”K先生出生于地点D,他带领某党在某年某月某日建立了A国。”:
[“K”,”先”,”生”,…,”国”,”。”]通过BERT模型获得句子中各个单词的向量表示;
通过Ngram CNN编码器抽取句子中以当前单词为首的Ngram文本片段的向量表示,如“K先生”的向量表示为[0.3,0.4,0.44,…,0.234];
通过注意力机制获得每个字符为首的各个Ngram文本片段的注意力权重,如对于句子第一个位置的字符“K”的Ngram文本片段包括:”K”,”K先”,”K先生”,”K先生出”。计算他们的注意力权重分别为0.1,0.2,0.5,0.2.然后通过加权各个文本片段向量计算当前字符“K”为首的文本片段向量表示:
0.1*[0.1,0.6,…,0.4]+0.2*[0.4,0.6,…,0.5]+0.5*[0.3,0.05,…,0.05]+0.2*[0.004,0.055,…,0.35];
经过注意力机制后当前字符”K”的向量表示为[0.034,0.056,…,0.45]。
将NgramCNN抽取的单词序列向量通过实体识别Transformer编码器抽取实体识别特征,再通过关系识别Transformer编码器抽取关系特征。
将BERT输出的词向量,Transformer获得的实体特征表示和关系特征表示进行拼接。然后输入到成对关系抽取前馈神经网络中抽取成对字符的关系特征。如,将第一个字符“K”的上述拼接向量表示和第七个字符“D”的拼接向量表示输入到前馈神经网络中进行两者的关系特征抽取。
将实体特征输入实体识别Softmax分类器中进行实体分类,将获得的关系抽取特征输入到关系抽取Softmax分类器中进行关系分类。得到第一个字符的实体分类标签为“B-人物”,第二个字符“先”的实体分类标签为“I-人物”,第三个字符“生”的实体分类标签为“I-人物”,第一个字符“K”和第七个字符“D”的关系为“出生于”。
实施例三
请参考图3,图3为实体及关系抽取***的组成示意图,本发明实施例三提供了一种实体及关系抽取***,所述***包括:
预训练语言模型,用于处理输入预训练语言模型的文档,得到文档单词序列的向量表示序列;
卷积神经网络,用于处理输入卷积神经网络的向量表示序列,结合注意力机制编码每个单词的嵌入表示,获得序列嵌入表示;
第一编码器,用于处理输入第一编码器的序列嵌入表示,得到实体特征嵌入表示信息;
实体分类器,用于将输入实体分类器中实体特征嵌入表示信息进行实体分类,得到实体分类结果;
第二编码器,用于处理输入第二编码器的序列嵌入表示,得到的关系特征嵌入表示信息;
拼接单元,用于将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量;
前馈神经网络,用于处理输入前馈神经网络中的拼接向量得到关系抽取的嵌入表示;
关系分类器,用于将输入关系分类器中的关系抽取的嵌入表示进行关系分类,得到关系分类结果;
优化单元,用于利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。
实施例四
本发明实施例四提供了本发明还提供了一种实体及关系抽取装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述实体及关系抽取方法的步骤。
其中,所述处理器可以是中央处理器(CPU,Central Processing Unit),还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的数据,实现发明中实体及关系抽取装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序 (比如声音播放功能、图像播放功能等)等。此外,存储器可以包括高速随机存取存储器、还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡,安全数字卡,闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例五
本发明实施例五提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述实体及关系抽取方法的步骤。
所述实体及关系抽取装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序可存储于一计算机可读存介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.实体及关系抽取方法,其特征在于,所述方法包括:
将文档输入预训练语言模型,得到文档单词序列的向量表示序列;
将向量表示序列输入卷积神经网络,结合注意力机制编码每个单词的嵌入表示,获得序列嵌入表示;
将序列嵌入表示输入第一编码器,得到实体特征嵌入表示信息;将实体特征嵌入表示信息输入实体分类器中进行实体分类,得到实体分类结果;
将序列嵌入表示输入第二编码器,得到的关系特征嵌入表示信息;
将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量,将拼接向量输入前馈神经网络中得到关系抽取的嵌入表示,将关系抽取的嵌入表示输入到关系分类器中进行关系分类,得到关系分类结果;
利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。
2.根据权利要求1所述的实体及关系抽取方法,其特征在于,输入文档D={w1,w2,...,wn},wn为文档字符串序列中的每个字符,文档D单词来源于词汇库,wi∈Wv,i=1,...,n,n表示文档D单词的个数,v表示词汇库的大小,W表示词汇库空间,Wv为包含v个词汇的词汇库空间,经过预训练语言模型得到文档单词序列的向量表示:X={x1,x2,...,xn},xi∈Rd,i=1,...,n;xi是一个实数空间的d维向量,表示第i个单词的向量表示,R代表实数空间。
3.根据权利要求2所述的实体及关系抽取方法,其特征在于,对于文档单词序列的向量表示序列X={x1,x2,...,xn},使用一组宽为单词嵌入表示维度d,长度为l={l1,l2,...,lm}的卷积核对文档单词序列的向量表示序列进行一维卷积,其中ls代表各个ngram的长度,s=1,...,m;对于每个长度为l的ngram单词片段:ul,i=[xi,...,xi+l]∈Rl×d;1≤i≤n-l,l={l1,l2,...,lm};ul,i代表单词序列向量表示X从位置i开始长度为l的单词片段向量表示;Rd ×l代表长度为l,嵌入表示维度为d的实数空间;
使用一组数目为单词嵌入表示维度d,ngram长度为l的卷积核f={f1,f2,...,fk}对文本片段进行卷积,fk为第k个卷积核;
Fl,i,j=<ul,i,fl,j>,F∈Rm×n×d
其中,Fl,i,j代表ngram长度为l,序列中起始位置为i,第j个输出通道的值;fl,j∈Rd×l代表一个ngram长度为l、宽为d的卷积核,F是卷积的结果矩阵,F第一维是ngram滑动窗口长度的个数,F第二维是文本序列的长度,F第三维是单词嵌入表示的维度,Rm×n×d为m×n×d维的实数空间;
对于卷积的结果,使用注意力机制在每个ngram维度上进行加权求和得到序列单词的最终嵌入表示:
Fl,i=Linear(Fl,i,:),αl,i=Sigmoid(Fl,i)
其中,αl,i代表序列中第i个位置,第l个Ngram卷积后的特征表示,Fl,i代表序列的第i个位置通过第l个Ngram卷积核卷积求得的特征嵌入表示,Gi代表求得的序列中第i个位置最终的特征嵌入表示,G为序列的ngram卷积注意力加权最终结果,Fl,i,:为序列第i个位置,经过长度为l的ngram卷积输出结果,Linear(Fl,i,:)为对Fl,i,:进行线性变换。
4.根据权利要求1所述的实体及关系抽取方法,其特征在于,将序列嵌入表示输入第一Transformer编码器中,得到实体分类的单词嵌入表示:
Ge=Transformer_Encoder(G)
其中,Ge代表第一Transformer编码器编码后的实体特征嵌入表示信息,G为序列的ngram卷积注意力加权最终结果;
将Ce通过线性变换输入到Softmax分类器中进行实体分类:
Oe=Linear(Ge)
Pe=Softmax(O)
其中,Oe∈Rn×c代表Ge通过线性变换以后得到的嵌入表示,c代表实体BIO标记的类别数目,Pe∈Rn×c代表实体分类的概率分布,n表示文档单词的个数,R代表实数空间。
5.根据权利要求1所述的实体及关系抽取方法,其特征在于,将序列嵌入表示输入第二Transformer编码器中,得到实体关系的单词嵌入表示:
Gr=Transformer_Encoder(G)
其中,Gr代表第二Transformer编码器编码后的关系特征嵌入表示信息,G为为序列的ngram卷积注意力加权最终结果。
6.根据权利要求1所述的实体及关系抽取方法,其特征在于,将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量:
Gc=Cat(Ge,Gr)
其中,Cat代表向量拼接操作,Gc∈Rn×2×d,Gc为实体特征嵌入表示和关系特征嵌入表示的关系抽取拼接向量;Ge代表第一Transformer编码器编码后的实体特征嵌入表示信息;Gr代表第二Transformer编码器编码后的关系特征嵌入表示信息;
将拼接向量输入前馈神经网络中得到关系抽取的嵌入表示,将关系抽取的嵌入表示线性变换后输入到Softmax分类器中进行关系分类,对于序列中位置i和位置j的单词其关系抽取的嵌入表示如下:
Gcr=Cat(Gc,i,Gc,j,Gc,i*Gc,j)
Gfr=FeedForward(Gcr)
其中,Gcr为序列中第i个位置和第j个位置的关系特征拼接向量表示,Gfr为序列中第i个位置和第j个位置的最终关系抽取融合特征表示;Gc,i为序列中第i个位置的关系抽取拼接向量,Gc,j为序列中第j个位置的关系抽取拼接向量;Cat代表向量拼接操作,Gc,i*Gc,j代表将Gc,i和Gc,j进行点乘操作,FeedForward是一个多层前馈神经网络;
将Gfr通过线性变换输入Softmax分类器中得到关系分类:
Or=Linear(Gfr)
Pr=Softmax(Or)
其中,Or∈Rn×n×r是关系抽取特征嵌入表示的线性变换结果,r代表关系的类别,Pr∈Rn ×n×r代表关系分类的概率。
7.根据权利要求1所述的实体及关系抽取方法,其特征在于,所述预训练语言模型为BERT预训练语言模型,所述第一编码器和所述第二编码器均为Transformer编码器;
利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果为:
Loss=NER_Loss+REL_Loss
其中,NER_Loss代表实体分类损失,REL_Loss代表关系抽取损失。
8.实体及关系抽取***,其特征在于,所述***包括:
预训练语言模型,用于处理输入预训练语言模型的文档,得到文档单词序列的向量表示序列;
卷积神经网络,用于处理输入卷积神经网络的向量表示序列,结合注意力机制编码每个单词的嵌入表示,获得序列嵌入表示;
第一编码器,用于处理输入第一编码器的序列嵌入表示,得到实体特征嵌入表示信息;
实体分类器,用于将输入实体分类器中实体特征嵌入表示信息进行实体分类,得到实体分类结果;
第二编码器,用于处理输入第二编码器的序列嵌入表示,得到的关系特征嵌入表示信息;
拼接单元,用于将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量;
前馈神经网络,用于处理输入前馈神经网络中的拼接向量得到关系抽取的嵌入表示;
关系分类器,用于将输入关系分类器中的关系抽取的嵌入表示进行关系分类,得到关系分类结果;
优化单元,用于利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。
9.实体及关系抽取装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一个所述实体及关系抽取方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任意一个所述实体及关系抽取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011076691.5A CN112163092B (zh) | 2020-10-10 | 2020-10-10 | 实体及关系抽取方法及***、装置、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011076691.5A CN112163092B (zh) | 2020-10-10 | 2020-10-10 | 实体及关系抽取方法及***、装置、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112163092A true CN112163092A (zh) | 2021-01-01 |
CN112163092B CN112163092B (zh) | 2022-07-12 |
Family
ID=73867892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011076691.5A Active CN112163092B (zh) | 2020-10-10 | 2020-10-10 | 实体及关系抽取方法及***、装置、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112163092B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949307A (zh) * | 2021-02-25 | 2021-06-11 | 平安科技(深圳)有限公司 | 预测语句实体的方法、装置和计算机设备 |
CN113282726A (zh) * | 2021-05-27 | 2021-08-20 | 成都数之联科技有限公司 | 数据处理方法及***及装置及介质及数据分析方法 |
CN113609868A (zh) * | 2021-09-01 | 2021-11-05 | 首都医科大学宣武医院 | 一种多任务问答驱动的医疗实体关系抽取方法 |
CN113704481A (zh) * | 2021-03-11 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 一种文本处理方法、装置、设备及存储介质 |
CN114781375A (zh) * | 2022-05-19 | 2022-07-22 | 中国电子科技集团公司第二十八研究所 | 一种基于bert与注意力机制的军事装备关系抽取方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197290A (zh) * | 2018-01-19 | 2018-06-22 | 桂林电子科技大学 | 一种融合实体和关系描述的知识图谱表示学习方法 |
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及*** |
CN109408812A (zh) * | 2018-09-30 | 2019-03-01 | 北京工业大学 | 一种基于注意力机制的序列标注联合抽取实体关系的方法 |
CN109543047A (zh) * | 2018-11-21 | 2019-03-29 | 焦点科技股份有限公司 | 一种基于医疗领域网站的知识图谱构建方法 |
CN110377903A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种句子级实体和关系联合抽取方法 |
CN110705299A (zh) * | 2019-09-26 | 2020-01-17 | 北京明略软件***有限公司 | 实体和关系的联合抽取方法、模型、电子设备及存储介质 |
US20200073933A1 (en) * | 2018-08-29 | 2020-03-05 | National University Of Defense Technology | Multi-triplet extraction method based on entity-relation joint extraction model |
WO2020093761A1 (zh) * | 2018-11-05 | 2020-05-14 | 扬州大学 | 一种面向软件缺陷知识的实体、关系联合抽取方法 |
CN111581387A (zh) * | 2020-05-09 | 2020-08-25 | 电子科技大学 | 一种基于损失优化的实体关系联合抽取方法 |
CN111597276A (zh) * | 2020-05-07 | 2020-08-28 | 科大讯飞(苏州)科技有限公司 | 实体对齐方法、装置和设备 |
CN111666427A (zh) * | 2020-06-12 | 2020-09-15 | 长沙理工大学 | 一种实体关系联合抽取方法、装置、设备及介质 |
-
2020
- 2020-10-10 CN CN202011076691.5A patent/CN112163092B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及*** |
CN108197290A (zh) * | 2018-01-19 | 2018-06-22 | 桂林电子科技大学 | 一种融合实体和关系描述的知识图谱表示学习方法 |
US20200073933A1 (en) * | 2018-08-29 | 2020-03-05 | National University Of Defense Technology | Multi-triplet extraction method based on entity-relation joint extraction model |
CN109408812A (zh) * | 2018-09-30 | 2019-03-01 | 北京工业大学 | 一种基于注意力机制的序列标注联合抽取实体关系的方法 |
WO2020093761A1 (zh) * | 2018-11-05 | 2020-05-14 | 扬州大学 | 一种面向软件缺陷知识的实体、关系联合抽取方法 |
CN109543047A (zh) * | 2018-11-21 | 2019-03-29 | 焦点科技股份有限公司 | 一种基于医疗领域网站的知识图谱构建方法 |
CN110377903A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种句子级实体和关系联合抽取方法 |
CN110705299A (zh) * | 2019-09-26 | 2020-01-17 | 北京明略软件***有限公司 | 实体和关系的联合抽取方法、模型、电子设备及存储介质 |
CN111597276A (zh) * | 2020-05-07 | 2020-08-28 | 科大讯飞(苏州)科技有限公司 | 实体对齐方法、装置和设备 |
CN111581387A (zh) * | 2020-05-09 | 2020-08-25 | 电子科技大学 | 一种基于损失优化的实体关系联合抽取方法 |
CN111666427A (zh) * | 2020-06-12 | 2020-09-15 | 长沙理工大学 | 一种实体关系联合抽取方法、装置、设备及介质 |
Non-Patent Citations (5)
Title |
---|
GOOUU: "【论文阅读笔记】Span-based Joint Entity and Relation Extraction with Transformer Pre-training", 《HTTPS://BLOG.CSDN.NET/GOOUU/ARTICLE/DETAILS/108813358》 * |
KUI XUE等: "Fine-tuning BERT for joint entity and relation extraction in Chinese medical text", 《2019 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 * |
张心怡等: "面向煤矿的实体识别与关系抽取模型", 《计算机应用》 * |
顾迎捷等: "基于神经网络的机器阅读理解综述", 《软件学报》 * |
飞翔的大马哈鱼: "关系联合抽取:Entity-Relation Extraction as Multi-turn Question Answering", 《HTTPS://BLOG.CSDN.NET/LYB3B3B/ARTICLE/DETAILS/106154675》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949307A (zh) * | 2021-02-25 | 2021-06-11 | 平安科技(深圳)有限公司 | 预测语句实体的方法、装置和计算机设备 |
CN113704481A (zh) * | 2021-03-11 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 一种文本处理方法、装置、设备及存储介质 |
CN113704481B (zh) * | 2021-03-11 | 2024-05-17 | 腾讯科技(深圳)有限公司 | 一种文本处理方法、装置、设备及存储介质 |
CN113282726A (zh) * | 2021-05-27 | 2021-08-20 | 成都数之联科技有限公司 | 数据处理方法及***及装置及介质及数据分析方法 |
CN113609868A (zh) * | 2021-09-01 | 2021-11-05 | 首都医科大学宣武医院 | 一种多任务问答驱动的医疗实体关系抽取方法 |
CN114781375A (zh) * | 2022-05-19 | 2022-07-22 | 中国电子科技集团公司第二十八研究所 | 一种基于bert与注意力机制的军事装备关系抽取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112163092B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112163092B (zh) | 实体及关系抽取方法及***、装置、介质 | |
CN111611377B (zh) | 基于知识蒸馏的多层神经网络语言模型训练方法与装置 | |
Kang et al. | Convolve, attend and spell: An attention-based sequence-to-sequence model for handwritten word recognition | |
CN110597961B (zh) | 一种文本类目标注方法、装置、电子设备及存储介质 | |
CN112434535B (zh) | 基于多模型的要素抽取方法、装置、设备及存储介质 | |
CN112307208A (zh) | 长文本的分类方法、终端及计算机存储介质 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN114036950B (zh) | 一种医疗文本命名实体识别方法及*** | |
CN116304748B (zh) | 一种文本相似度计算方法、***、设备及介质 | |
CN113987187A (zh) | 基于多标签嵌入的舆情文本分类方法、***、终端及介质 | |
CN112966117A (zh) | 实体链接方法 | |
CN111428513A (zh) | 一种基于卷积神经网络的虚假评论分析方法 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN114528835A (zh) | 基于区间判别的半监督专业术语抽取方法、介质及设备 | |
CN112784580A (zh) | 基于事件抽取的金融数据分析方法及装置 | |
CN115034302B (zh) | 优化信息融合策略的关系抽取方法、装置、设备及介质 | |
Kim et al. | On text localization in end-to-end OCR-Free document understanding transformer without text localization supervision | |
CN114707518B (zh) | 面向语义片段的目标情感分析方法、装置、设备及介质 | |
CN116432731A (zh) | 学生模型训练方法和文本分类*** | |
Wakchaure et al. | A scheme of answer selection in community question answering using machine learning techniques | |
Yue et al. | NRSTRNet: a novel network for noise-robust scene text recognition | |
CN114881038A (zh) | 基于跨度和注意力机制的中文实体与关系抽取方法及装置 | |
CN115169472A (zh) | 针对多媒体数据的音乐匹配方法、装置和计算机设备 | |
CN114780725A (zh) | 一种基于深度聚类的文本分类算法 | |
CN114510569A (zh) | 基于ChineseBERT模型和注意力机制的化工突发事件新闻分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 610042 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan Applicant after: Chengdu shuzhilian Technology Co.,Ltd. Address before: No.2, floor 4, building 1, Jule road crossing, Section 1, West 1st ring road, Wuhou District, Chengdu City, Sichuan Province 610041 Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |