CN113158676A - 专业实体与关系联合抽取方法、***及电子设备 - Google Patents

专业实体与关系联合抽取方法、***及电子设备 Download PDF

Info

Publication number
CN113158676A
CN113158676A CN202110517839.2A CN202110517839A CN113158676A CN 113158676 A CN113158676 A CN 113158676A CN 202110517839 A CN202110517839 A CN 202110517839A CN 113158676 A CN113158676 A CN 113158676A
Authority
CN
China
Prior art keywords
entity
relationship
vector
extraction
professional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110517839.2A
Other languages
English (en)
Inventor
江瑞
傅卓然
闾海荣
张学工
王维笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110517839.2A priority Critical patent/CN113158676A/zh
Publication of CN113158676A publication Critical patent/CN113158676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种人工智能，揭露一种专业实体与关系联合抽取方法，包括：利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；根据所述实体的位置信息进行关系抽取；以BERT中的全部参数作为实体识别和关系抽取的共享参数，对实体识别和关系抽取进行联合训练。利用本发明，能够有效降低专业实体与关系联合抽取的人工成本，提高专业实体与关系联合抽取的效率和准确率。

Description

专业实体与关系联合抽取方法、***及电子设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种专业实体与关系联合抽取方法、***及电子设备。
背景技术
信息抽取是自然语言理解中的重要一环，实体识别和关系抽取则是信息抽取中的基本任务。这种信息的抽取是将非结构化数据转换成结构化数据的重要环节，并且是构建专业领域知识图谱的基础步骤。
信息抽取的目的是为了发掘文本中专业领域具有特定意义的词汇，即实体，以及这些实体之间所存在的的语义关系。实体在知识图谱中构成了其中的节点，而关系则构成了图谱中节点与节点相连接的边。因此实体和关系是知识图谱的基础部件，每两个实体与一个关系所组成的关系三元组则为知识图谱的基本元素。
目前，在信息抽取任务中，由于实体识别与信息抽取两个任务分别独立完成，为确保关系抽取的准确率，在实体识别后通常需要人工的介入来确保所识别出的实体的准确性。文本的标注过程中有大量的文字需要人工进行阅读、理解、分析以及做出最终的判断，由于所涉及领域为极度专业的领域(如医学、生物学、人工智能等)，这种人工的介入无疑为信息抽取任务徒增了高昂的人工成本。
基于此，亟需一种能够在降低人工成的同时提高效率和准确率的针对专业实体与关系联合抽取技术。
发明内容
本发明提供一种专业实体与关系联合抽取方法、***及电子设备，其主要目的在于解决现有技术中信息抽取方式成本高、效率低的问题。
为实现上述目的，本发明提供的一种专业实体与关系联合抽取方法，应用于电子装置，包括：
利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
根据所述实体的位置信息进行关系抽取；
以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
为了解决上述问题，本发明还提供一种专业实体与关系联合抽取***，所述***包括：
编码单元，用于利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
实体识别单元，用于对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
关系抽取单元，用于根据所述实体的位置信息进行关系抽取；
联合训练单元，用于以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的专业实体与关系联合抽取方法中的步骤。
本发明提供的上述专业实体与关系联合抽取方案，通过共享参数对实体识别和关系抽取进行联合训练，克服了现有的信息抽取与实体识别任务独立完成效率低、准确率不足的缺陷，有效降低了专业实体与关系联合抽取的人工成本，同时也提高了专业实体与关系联合抽取的效率和准确率。
附图说明
图1为根据本发明实施例的专业实体与关系联合抽取方法的流程示意图；
图2为CRF的基本工作原理示意图；
图3为根据本发明实施例的专业实体与关系联合抽取***的逻辑结构框图；
图4为根据本发明实施例的专业实体与关系联合抽取***的整体模型示意图；
图5为根据本发明实施例的实现专业实体与关系联合抽取方法的电子设备的内部结构示意图.
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在现有的信息抽取任务处理中，实体识别和关系抽取被视为两个独立的任务，因此相关模型分别独立进行训练。而由于关系抽取的输入是基于实体识别的基础上，所以实体识别环节中的错误会传播到关系抽取环节。错误传播的问题导致整套算法的最终准确度大幅降低。因此本发明提出一种能够有效克服上述缺陷的专业实体与关系抽取方法及***。
图1示出了根据发明实施例的专业实体与关系联合抽取方法的流程，该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。如图1所示，本实施例提供的专业实体与关系联合抽取方法包括：
S110：利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
S120：对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
S130：根据所述实体的位置信息进行关系抽取；
S140：以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
为了表述的方便，在下面的实施例表述中，以医学类的专业实体与关系联合抽取为例对对上述方法中的各个步骤做进一步详细的表述。
在实例性的实施例中，在步骤S110中，利用双向编码器语言表示模型对目标文本进行编码的步骤还可以包括：
S111：以句为单位拆分所述目标文本，即把目标文本拆分为一个个句子，这些拆分的句子形成句子集合；
S112：根据预设的基础版BERT网络对所述句子集合中的句子文字进行嵌入处理。
具体的，作为示例，将目标文本以句为单位拆分开之后，输入预设的基础版BERT网络对句中文字进行嵌入处理。在本发明的一个实施例中，基础版BERT网络采用12个自注意力头、12层隐藏层，其中每层的隐藏向量输出长度为768。
获取了目标文本的向量集合之后，即可以对所获取的向量集合进行专业命名实体识别，在本发明的一个实施例中，通过条件随机场模块对所述目标文本的向量集合中的向量进行实体识别的序列标注，即在BERT之后接入条件随机场(CRF)对目标文本的向量集合逐字进行实体的标签预测，通过序列标注以确定实体的位置信息。
具体的，作为示例，将预设的基础版BERT网络最后一层隐藏层所输出的向量视为每个字的字嵌入，并将它们输入条件随机场(CRF)模块进行序列标注。CRF本质上讲是一个只考虑概率图中相邻变量是否满足特征给定函数的一个模型。
CRF的基本工作原理如图2所示。在实体识别的序列标注任务中，序列标注问题即为CRF的解码问题，这里的目标就是在给定输入文字序列x和条件概率P(y|x)的情况下，计算可以使P(y|x)最大化的输出实体标签序列y。对于每个位置i来说，当前位置的标签输出只取决于当前位置的状态函数，和上个位置转移到这个位置的转移状态函数。具体的，在图2中，在给定输入序列“左眼忽觉眼痛”的向量化表示的情况下，标签y3只取决于位置2到3的转移状态函数t(y2,y3,x,3)和当前的特征状态函数s(y3,x,3)。
目标文本的向量集合中每个实***置的标签的概率P(y|x)的计算如下式所示：
Figure BDA0003062439410000041
这里，x是输入序列，y是输出的标签序列，i是当前节点在序列中的位置，tk(yi-1,yi,x,i)代表的是转移状态函数，即从yi-1转移至yi的状态函数，λk是转移状态函数的权重系数，k＝1,2,…K，K在这里是定义在每个节点的局部特征函数的总个数。sl(yi,x,i)代表的是状态特征函数，即当前状态的特征函数，μl是状态特征函数的权重系数，l＝1,2,…,L，L在这里是定义在每个节点的状态特征函数的总个数。此外，Z(x)为规范化因子，其表示如下：
Figure BDA0003062439410000051
P(y|x)可进一步表示为：
Figure BDA0003062439410000052
这里Zω(x)＝∑y exp(ω·F(y,x))
在实体识别任务中，优化的目标为在给定输入x的情况下，找到能使条件概率Pω(y|x)最大化的标签序列输出y。通过维特比解码算法即可进行解码。这里定义实体识别的损失函数为LEntity＝-log(Pω(y|x))。
在确定了目标文本语句中实体的位置信息后，即可根据所确定的实体的位置进行关系抽取。
在本发明的一个实施例中，步骤S130中根据所述实体的位置信息进行关系抽取的过程中，首先需要根据预设的成对注意力向量对实体对进行关系嵌入，以获取所述实体的实体对关系向量；然后对获取的实体对关系向量进行分类从而完成关系抽取任务。
其中，实体对关系向量为实体中各个字与字之间的组合形成的字对关系向量的平均；字对关系向量包括[CLS]标签的向量、头实体中字的向量、尾实体中字的向量和成对注意力向量，其所述[CLS]标签为整个句子的向量化表示。
可见，在根据实体的位置信息进行关系抽取之前，首先需要定义成对注意力。
在定义成对注意力的过程中，首先预设字符串序列s＝t1,…，通过BERT在嵌入层将预设字符串序列s＝t1,…,tN转换为嵌入矩阵X，其中，矩阵X中的第i行xi代表字ti的向量，BERT中的任意一层l和注意力头h的自注意力矩阵由以下公式得出：
Figure BDA0003062439410000053
其中，Q、K、V由X与训练中所得参数矩阵WQ,WK,WV的线性映射而成，dk代表矩阵K的维度；
在一个由L层编码器和A个注意力头组成的BERT模型中，字ti和tj之间的成对注意力aij是如下式所示的一个长度为L*A的向量：
Figure BDA0003062439410000061
其中，每个元素
Figure BDA0003062439410000062
表示s字符串中第i与j个字之间的注意力值。
对于每个实体对来说，实体对关系向量被定义为实体中各个字与字之间的组合形成的字对关系向量的平均。这里字对关系向量由以下几个元素构成：
1.[CLS]标签的向量；
2.头实体中字的向量；
3.尾实体中字的向量；
4.成对注意力向量。
由于[CLS]标签代表的是输入字符串的嵌入，也就是整个句子的向量化表示。那么获得头实体EH和尾实体ET之间关系向量R的方法如下：
假设头实体EH和尾实体ET分别由M和N个字组成，头实体EH＝h1,…,hM，尾实体ET＝t1,…,tN，则，
头实体EH和尾实体ET之间实体对关系向量
Figure BDA0003062439410000063
由[CLS]标签的向量和所述字对关系向量的另外三种向量的组合而构成：
R＝(CLS,R′)
Figure BDA0003062439410000064
其中，(hi,ai,j,aj,i,tj)为hi,ai,j,aj,i,和tj拼接出的向量，hi和tj分别为隐藏层输出的头尾实体中的字的嵌入，ai,j为hi字对tj字的成对关系向量，aj,i为tj字对hi字的成对关系向量。
最终当得到实体对关系向量R之后，可以将其输入分类层完成最后的关系分类。
在对所述实体对关系向量进行分类过程中，可以通过单层感知器分类器和Softmax所述所述实体对关系向量进行分类，其中，所述实体对关系向量R目标为最大化的条件概率P(c|R)＝Softmax(RW+b)；
所述关系抽取部分的损失函数为LRelation＝-log(P(c|))。
在完成实体识别和关系抽取之后，即可以对二者进行联合训练，以BERT中的全部参数作为实体识别和关系抽取共享参数，对所述实体识别和关系抽取的训练任务的目标进行优化，最终以实体识别和关系抽取的训练任务的损失函数的和作为最终的损失函数。
在联合训练的过程中，BERT当中全部参数为实体识别和关系抽取共享参数，因此训练模型可同时捕捉到两个任务所需的特征。最后在训练过程中，需要以两个任务的目标进行优化，所以最终的损失函数为两个任务的损失函数的和：Lmodel＝LEntity+LRelation。
通过上述实施例的表述可以看出，本发明提供的专业实体与关系联合抽取方法，通过共享参数对实体识别和关系抽取进行联合训练，能够克服现有的信息抽取与实体识别任务独立完成效率低、准确率不足的缺陷，有效降低了专业实体与关系联合抽取的人工成本，同时也提高了专业实体与关系联合抽取的效率和准确率。
与上述专业实体与关系联合抽取方法相对应，本发明还提供一种专业实体与关系联合抽取***。图3示出了根据本发明实施例的专业实体与关系联合抽取***的功能模块。
如图3所示，本发明提供的专业实体与关系联合抽取***300可以安装于电子设备中。根据实现的功能，所述专业实体与关系联合抽取***300可以包括编码单元310、实体识别单元320、关系抽取单元330和联合训练单元340。本发明所述单元也可以称之为模块，指的是一种能够被电子设备的处理器所执行，并且能够完成某一固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
编码单元310，用于利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
实体识别单元320，用于对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
关系抽取单元330，用于根据所述实体的位置信息进行关系抽取；
联合训练单元340，用于以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
具体的，作为示例，编码单元310还可以进一步包括：
拆分单元311，用于以句为单位拆分所述目标文本，即把目标文本拆分为一个个句子，这些拆分的句子形成句子集合；
第一嵌入单元312，用于根据预设的基础版BERT网络对所述句子集合中的句子文字进行嵌入处理。
具体的，作为示例，将目标文本以句为单位拆分开之后，输入预设的基础版BERT网络对句中文字进行嵌入处理。在本发明的一个实施例中，基础版BERT网络采用12个自注意力头、12层隐藏层，其中每层的隐藏向量输出长度为768。
在通过编码单元310获取了目标文本的向量集合之后，即可以利用实体识别单元320对所获取的向量集合进行专业命名实体识别，在本发明的一个实施例中，通过条件随机场模块对所述目标文本的向量集合中的向量进行实体识别的序列标注，即在BERT之后接入条件随机场(CRF)对目标文本的向量集合逐字进行实体的标签预测，通过序列标注以确定实体的位置信息。
具体的，作为示例，将预设的基础版BERT网络最后一层隐藏层所输出的向量视为每个字的字嵌入，并将它们输入条件随机场(CRF)模块进行序列标注。
目标文本的向量集合中每个实***置的标签的概率P(y|x)的计算如下式所示：
Figure BDA0003062439410000081
这里，x是输入序列，y是输出的标签序列，i是当前节点在序列中的位置，tk(yi-1,yi,x,i)代表的是转移状态函数，即从yi-1转移至yi的状态函数，λk是转移状态函数的权重系数，k＝1,2,…K，K在这里是定义在每个节点的局部特征函数的总个数。sl(yi,x,i)代表的是状态特征函数，即当前状态的特征函数，μl是状态特征函数的权重系数，l＝1,2,…,L，L在这里是定义在每个节点的状态特征函数的总个数。此外，Z(x)为规范化因子，其表示如下：
Figure BDA0003062439410000082
P(y|x)可进一步表示为：
Figure BDA0003062439410000091
这里Zω(x)＝∑y exp(ω·F(y,x))
在实体识别任务中，优化的目标为在给定输入x的情况下，找到能使条件概率Pω(y|x)最大化的标签序列输出y。通过维特比解码算法即可进行解码。这里定义实体识别的损失函数为LEntity＝-log(Pω(y|x))。
在实体识别单元320确定了目标文本语句中实体的位置信息后，即可在关系抽取单元330根据所确定的实体的位置进行关系抽取。
在本发明的一个实施例中，关系抽取单元330根据所述实体的位置信息进行关系抽取的过程中，首先需要根据预设的成对注意力向量对实体对进行关系嵌入，以获取所述实体的实体对关系向量；然后对获取的实体对关系向量进行分类从而完成关系抽取任务。因此，关系抽取单元330可以进一步包括：
第二嵌入单元331，用于根据预设的成对注意力向量对实体对进行关系嵌入，以获取所述实体的实体对关系向量；
分类单元332，用于对通过第二嵌入单元331获取的实体对关系向量进行分类从而完成关系抽取任务。
其中，实体对关系向量为实体中各个字与字之间的组合形成的字对关系向量的平均；字对关系向量包括[CLS]标签的向量、头实体中字的向量、尾实体中字的向量和成对注意力向量，其所述[CLS]标签为整个句子的向量化表示。
可见，在根据实体的位置信息进行关系抽取之前，首先需要定义成对注意力。因此，本发明提供的专业实体与关系联合抽取***300还可以包括成对注意力设定单元(图中未示出)，在成对注意力设定单元定义成对注意力的过程中，首先预设字符串序列s＝t1,…，通过BERT在嵌入层将预设字符串序列s＝t1,…,tN转换为嵌入矩阵X，其中，矩阵X中的第i行xi代表字ti的向量，BERT中的任意一层l和注意力头h的自注意力矩阵由以下公式得出：
Figure BDA0003062439410000092
其中，Q、K、V由X与训练中所得参数矩阵WQ,WK,WV的线性映射而成，dk代表矩阵K的维度；
在一个由L层编码器和A个注意力头组成的BERT模型中，字ti和tj之间的成对注意力aij是如下式所示的一个长度为L*A的向量：
Figure BDA0003062439410000101
其中，
Figure BDA0003062439410000102
表示s字符串中第i与j个字之间的注意力值。
对于每个实体对来说，实体对关系向量被定义为实体中各个字与字之间的组合形成的字对关系向量的平均。这里字对关系向量由以下几个元素构成：
1.[CLS]标签的向量；
2.头实体中字的向量；
3.尾实体中字的向量；
4.成对注意力向量。
由于[CLS]标签代表的是输入字符串的嵌入，也就是整个句子的向量化表示。那么获得头实体EH和尾实体ET之间关系向量R的方法如下：
假设头实体EH和尾实体ET分别由M和N个字组成，头实体EH＝h1,…,hM，尾实体ET＝t1,…,tN，则，
头实体EH和尾实体ET之间实体对关系向量
Figure BDA0003062439410000103
由[CLS]标签的向量和所述字对关系向量的另外三种向量的组合而构成：
R＝(CLS,R′)
Figure BDA0003062439410000104
其中，(hi,ai,j,aj,i,tj)为hi,ai,j,aj,i,和tj拼接出的向量，hi和tj分别为隐藏层输出的头尾实体中的字的嵌入，ai,j为hi字对tj字的成对关系向量，aj,i为tj字对hi字的成对关系向量。
最终当得到实体对关系向量R之后，可以将其输入分类层通过分类单元332完成最后的关系分类。
在分类单元332对所述实体对关系向量进行分类过程中，可以通过单层感知器分类器和Softmax所述所述实体对关系向量进行分类，其中，所述实体对关系向量R目标为最大化的条件概率P(c|R)＝Softmax(RW+b)；
所述关系抽取部分的损失函数为LRelation＝-log(P(c|))。
在完成实体识别和关系抽取之后，即可以通过联合训练单元340对二者进行联合训练，以BERT中的全部参数作为实体识别和关系抽取共享参数，对所述实体识别和关系抽取的训练任务的目标进行优化，最终以实体识别和关系抽取的训练任务的损失函数的和作为最终的损失函数。
在联合训练单元340进行联合训练的过程中，BERT当中全部参数为实体识别和关系抽取共享参数，因此训练模型可同时捕捉到两个任务所需的特征。最后在训练过程中，需要以两个任务的目标进行优化，所以最终的损失函数为两个任务的损失函数的和：Lmodel＝LEntity+LRelation。
通过上述实施例的表述可以看出，本发明提供的专业实体与关系联合抽取***，通过共享参数对实体识别和关系抽取进行联合训练，能够克服现有的信息抽取与实体识别任务独立完成效率低、准确率不足的缺陷，有效降低了专业实体与关系联合抽取的人工成本，同时也提高了专业实体与关系联合抽取的效率和准确率。
图4示出了根据本发明实施例的专业实体与关系联合抽取***的整体模型。如图4所示，左侧为BERT编码模块和CRF实体识别模块。右侧为实体对关系抽取模块。右下侧是每个BERT编码器层中多头自注意力机制所计算出的多头自注意力矩阵。右上部分为自注意力矩阵中的成对注意力和BERT模块生成的字嵌入组合成的字对关系向量的示意。最后对头尾实体中的全部字对关系向量进行求和并输入多层感知器和Softmax进行关系的分类，从而完成关系抽取。
图5为本发明实现专业实体与关系联合抽取方法的电子设备的结构示例。
如图5所示，电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如专业实体与关系联合抽取程序12。
其中，所述存储器11至少包括一种类型的非易失性可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如专业实体与关系联合抽取程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如专业实体与关系联合抽取程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(OrganicLight-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11为计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的专业实体与关系联合抽取方法。具体的，作为示例，存储器11中存储的专业实体与关系联合抽取程序12是多个指令的组合，在所述处理器10中运行时，可以实现如下步骤：
S110：利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
S120：对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
S130：根据所述实体的位置信息进行关系抽取；
S140：以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种专业实体与关系联合抽取方法，应用于电子装置，其特征在于，所述方法包括：
利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
根据所述实体的位置信息进行关系抽取；
以BERT中的全部参数作为实体识别和关系抽取的共享参数，对实体识别和关系抽取进行联合训练。
2.如权利要求1所述的专业专业命名实体识别方法，其特征在于，所述利用双向编码器语言表示模型对目标文本进行编码的步骤包括：
以句为单位拆分所述目标文本，形成句子集合；
根据预设的基础版BERT网络对所述句子集合中的句子文字进行嵌入处理。
3.如权利要求1所述的专业实体与关系联合抽取方法，其特征在于，在对所述向量集合进行专业命名实体识别的过程中，
通过条件随机场模块对所述目标文本的向量集合中的向量进行实体识别的序列标注。
4.如权利要求1所述的专业实体与关系联合抽取方法，其特征在于，所述根据所述实体的位置信息进行关系抽取的方法包括：
根据预设的成对注意力向量对实体对进行关系嵌入，以获取所述实体的实体对关系向量；
对所述实体对关系向量进行分类，以确定关系抽取部分的损失函数；
其中，所述实体对关系向量为实体中字与字之间的组合形成的字对关系向量的平均；所述字对关系向量包括[CLS]标签的向量、头实体中字的向量、尾实体中字的向量和成对注意力向量，其中，所述[CLS]标签为整个句子的向量化表示。
5.如权利要求4所述的专业实体与关系联合抽取方法，其特征在于，所述预设的成对注意力向量的设定方法包括：
通过BERT在嵌入层将预设字符串序列s＝t1,…,tN转换为嵌入矩阵X，其中，矩阵X中的第i行xi代表字ti的向量，BERT中的任意一层l和注意力头h的自注意力矩阵由以下公式得出：
Figure FDA0003062439400000021
其中，Q、K、V由X与训练中所得参数矩阵WQ,WK,WV的线性映射而成，dk代表矩阵K的维度；
在一个由L层编码器和A个注意力头组成的BERT模型中，字ti和tj之间的成对注意力aij是如下式所示的一个长度为L*A的向量：
Figure FDA0003062439400000022
其中，
Figure FDA0003062439400000023
表示s字符串中第i与j个字之间的注意力值。
6.如权利要求5所述的专业实体与关系联合抽取方法，其特征在于，所述根据预设的成对注意力向量对实体对进行关系嵌入的步骤进一步包括：
假设头实体EH和尾实体ET分别由M和N个字组成，头实体EH＝h1,…,hM，尾实体ET＝t1,…,tN，则，
头实体EH和尾实体ET之间实体对关系向量
Figure FDA0003062439400000024
由[CLS]标签的向量和所述字对关系向量的另外三种向量的组合而构成：
R＝(CLS,R′)
Figure FDA0003062439400000025
其中，(hi,ai,j,aj,i,tj)为hi,ai,j,aj,i,和tj拼接出的向量，hi和tj分别为隐藏层输出的头尾实体中的字的嵌入，ai,j为hi字对tj字的成对关系向量，aj,i为tj字对hi字的成对关系向量。
7.如权利要求5所述的专业实体与关系联合抽取方法，其特征在于，在对所述实体对关系向量进行分类过程中，通过单层感知器分类器和Softmax所述所述实体对关系向量进行分类；
其中，所述实体对关系向量R目标为最大化的条件概率P(c|R)＝Softmax(RW+b)；所述关系抽取部分的损失函数为LRelation＝-log(P(c|))。
8.如权利要求4所述的专业实体与关系联合抽取方法，其特征在于，在以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练的过程中，
对所述实体识别和关系抽取的训练任务的目标进行优化，以所述实体识别和关系抽取的训练任务的损失函数的和作为最终的损失函数。
9.一种专业实体与关系联合抽取***，其特征在于，所述***包括：
编码单元，用于利用双向编码器语言表示模型对目标文本进行编码，以获取所述目标文本的向量集合；
实体识别单元，用于对所述向量集合进行专业命名实体识别，以确定所述目标文本中实体的位置信息；
关系抽取单元，用于根据所述实体的位置信息进行关系抽取；
联合训练单元，用于以BERT中的全部参数作为实体识别和关系抽取共享参数，对实体识别和关系抽取进行联合训练。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的专业实体与关系联合抽取方法中的步骤。
CN202110517839.2A 2021-05-12 2021-05-12 专业实体与关系联合抽取方法、***及电子设备 Pending CN113158676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110517839.2A CN113158676A (zh) 2021-05-12 2021-05-12 专业实体与关系联合抽取方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110517839.2A CN113158676A (zh) 2021-05-12 2021-05-12 专业实体与关系联合抽取方法、***及电子设备

Publications (1)

Publication Number Publication Date
CN113158676A true CN113158676A (zh) 2021-07-23

Family

ID=76874923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110517839.2A Pending CN113158676A (zh) 2021-05-12 2021-05-12 专业实体与关系联合抽取方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN113158676A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553854A (zh) * 2021-09-18 2021-10-26 航天宏康智能科技(北京)有限公司 实体关系的联合抽取方法和联合抽取装置
CN114970501A (zh) * 2022-04-20 2022-08-30 平安科技（深圳）有限公司 基于文本的实体关系抽取方法、装置、设备及介质
CN115545578A (zh) * 2022-12-01 2022-12-30 南京迈能能源科技有限公司 一种电力调度操作指令信息抽取方法及***
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522557A (zh) * 2018-11-16 2019-03-26 中山大学 文本关系抽取模型的训练方法、装置及可读存储介质
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法
US20200073933A1 (en) * 2018-08-29 2020-03-05 National University Of Defense Technology Multi-triplet extraction method based on entity-relation joint extraction model
CN112214966A (zh) * 2020-09-04 2021-01-12 拓尔思信息技术股份有限公司 基于深度神经网络的实体及关系联合抽取方法
CN112446215A (zh) * 2020-12-14 2021-03-05 云南电网有限责任公司电力科学研究院 一种实体关系联合抽取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200073933A1 (en) * 2018-08-29 2020-03-05 National University Of Defense Technology Multi-triplet extraction method based on entity-relation joint extraction model
CN109522557A (zh) * 2018-11-16 2019-03-26 中山大学 文本关系抽取模型的训练方法、装置及可读存储介质
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法
CN112214966A (zh) * 2020-09-04 2021-01-12 拓尔思信息技术股份有限公司 基于深度神经网络的实体及关系联合抽取方法
CN112446215A (zh) * 2020-12-14 2021-03-05 云南电网有限责任公司电力科学研究院 一种实体关系联合抽取方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553854A (zh) * 2021-09-18 2021-10-26 航天宏康智能科技(北京)有限公司 实体关系的联合抽取方法和联合抽取装置
CN114970501A (zh) * 2022-04-20 2022-08-30 平安科技（深圳）有限公司 基于文本的实体关系抽取方法、装置、设备及介质
CN115545578A (zh) * 2022-12-01 2022-12-30 南京迈能能源科技有限公司 一种电力调度操作指令信息抽取方法及***
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN116522935B (zh) * 2023-03-29 2024-03-29 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备

Similar Documents

Publication Publication Date Title
CN107977361B (zh) 基于深度语义信息表示的中文临床医疗实体识别方法
CN113158676A (zh) 专业实体与关系联合抽取方法、***及电子设备
CN113157927B (zh) 文本分类方法、装置、电子设备及可读存储介质
CN114822812A (zh) 角色对话模拟方法、装置、设备及存储介质
CN113378970B (zh) 语句相似性检测方法、装置、电子设备及存储介质
CN113051356A (zh) 开放关系抽取方法、装置、电子设备及存储介质
CN113807973B (zh) 文本纠错方法、装置、电子设备及计算机可读存储介质
CN112733551A (zh) 文本分析方法、装置、电子设备及可读存储介质
CN116821373A (zh) 基于图谱的prompt推荐方法、装置、设备及介质
CN115238115A (zh) 基于中文数据的图像检索方法、装置、设备及存储介质
CN113360654B (zh) 文本分类方法、装置、电子设备及可读存储介质
CN113658002B (zh) 基于决策树的交易结果生成方法、装置、电子设备及介质
CN113204698B (zh) 新闻主题词生成方法、装置、设备及介质
CN113870846A (zh) 基于人工智能的语音识别方法、装置及存储介质
CN113656690A (zh) 产品推荐方法、装置、电子设备及可读存储介质
CN113344125A (zh) 长文本匹配识别方法、装置、电子设备及存储介质
CN113157739A (zh) 跨模态检索方法、装置、电子设备及存储介质
CN116468025A (zh) 电子病历结构化方法、装置、电子设备及存储介质
CN116450829A (zh) 医疗文本分类方法、装置、设备及介质
CN115221274A (zh) 文本情感分类方法、装置、电子设备及存储介质
CN112215336B (zh) 基于用户行为的数据标注方法、装置、设备及存储介质
CN115346095A (zh) 视觉问答方法、装置、设备及存储介质
CN114610854A (zh) 智能问答方法、装置、设备及存储介质
CN114372467A (zh) 命名实体抽取方法及装置、电子设备、存储介质
CN114677526A (zh) 图像分类方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication