CN110807069A - 一种基于强化学习算法的实体关系联合抽取模型构建方法 - Google Patents
一种基于强化学习算法的实体关系联合抽取模型构建方法 Download PDFInfo
- Publication number
- CN110807069A CN110807069A CN201911011199.7A CN201911011199A CN110807069A CN 110807069 A CN110807069 A CN 110807069A CN 201911011199 A CN201911011199 A CN 201911011199A CN 110807069 A CN110807069 A CN 110807069A
- Authority
- CN
- China
- Prior art keywords
- value
- entity
- model
- function
- bag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于强化学习算法的实体关系联合抽取模型构建方法,包括:输入文本,采用联合抽取标注策略对原始语料中的每条语句的词语进行实体关系标注;将文本转化为word2vec向量;预训练LSTM联合抽取器;初始化训练器网络并打乱袋子顺序;计算当前语句奖励值;计算总期望奖励值;利用优化函数更新模型参数;如果模型已收敛,对模型进行超参数的调优训练;如果超参数为最优解,生成最终的实体关系联合抽取方案。本发明基于策略梯度优化算法构建强化学习模型,能对复杂的自然语言类型原始语料的语句实体关系联合抽取问题进行有效求解,并能有效提高实体关系抽取的准确率和F1值。
Description
技术领域
本发明涉及知识图谱构建技术领域,特别涉及一种基于强化学习算法的实体关系联合抽取模型构建方法。
背景技术
实体和关系的抽取是自然语言处理中知识抽取的关键部分和主要环节。传统的流水线方法首先抽取实体,然后识别实体对之间的关系。这种分离的方式使得两个任务易于处理,也比较灵活。但事实上,常见的实体抽取和关系抽取这两项任务有着密切的关系。流水线方法通常会导致一些错误的抽取,因为实体抽取中获取的实体信息可以进一步帮助关系抽取,实体抽取模块的质量和精度也将影响关系抽取模块。如果抽取的实体对没有关系则会带来不必要的信息,增加了关系抽取的错误率,且受噪声标签问题的影响较大。在此背景下,联合抽取方法成为一种有效的求解手段。然而,大多数现有的联合抽取方法是基于特征的结构化***,这通常需要复杂的特征工程,并且在某种程度上依赖于其他NLP工具包,这种做法会导致错误传播。但是综合来看,现有的联合抽取方法相较于流水线方法能更好的抽取实体和关系。基于此,本专利提出了一种使用策略梯度强化学习算法构建实体关系联合抽取模型,并且根据现有的策略梯度强化学习算法,网络输出的动作可以是一个连续的值,而且该算法可以在一个连续分布上选取动作,这样可以避免传统流水线方法和以往联合抽取方法不能紧密使用实体和关系之间的信息,以及产生多余的其他信息。
发明内容
本发明的目的在于提供一种基于强化学习算法的实体关系联合抽取模型的构建方法,利用基于强化学习算法的实体关系联合抽取模型能够同时抽取实体及其关系,以充分利用实体和关系的联系信息,提高文本语句的实体关系抽取的准确率,更好地预测复杂文本的实体及其关系,并能有效提高关系抽取的正确率。
为了实现上述目的,本发明的技术方案是:
一种基于强化学习算法的实体关系联合抽取模型构建方法,采用强化学习算法对输入的自然语言类型原始语料进行实体和关系的抽取,包括以下步骤:
S1:将原始语料中每条语句的词语采取联合抽取标注策略进行标注;标注策略具体表示为:其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)};关系类型被表示为实体{1,2}的信息,其中{1,2}分别表示为{实体1,实体2};标签“O”表示除了实体以外的“其他”标签;
S2:对已标注的语料采用word2vec技术得到语句中词语的词向量为ht,将此词向量ht作为联合抽取器LSTM网络输入层中的输入值;同时,针对所有语料语句集合S={s1,s2,…,sn},将其具有相同实体对的语句划分至同一个袋子BK(K∈[1,2,…,N]),从而将原始语料语句集合S形成不同的袋子集合B={B1,B2,…,BN};N表示袋子的个数;
S3:建立预训练模型-LSTM联合抽取器,再通过模型对袋子进行预训练;使用随机权重初始化联合抽取器LSTM模型的参数,再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系;词向量ht作为当前时刻的输入值通过LSTM单元结构中的输入门得到的中间值为it=δ(Wwiht+Whiht-1+Wcict-1+bi),其中Wwi,Whi,Wci和bi分别为该函数中的权重系数和偏置量,ht-1是上一时刻的输出向量,ct-1是上一时刻状态向量,δ为sigmoid函数,通过遗忘门得到的中间值为ft=δ(Wwfht+Whfht-1+Wcfct-1+bf),其中Wwf,Whf,Wcf和bf分别为该函数中的权重系数和偏置量,通过输出门得到的中间值为ot=δ(Wwoht+Whoht-1+Wcoct+bo),其中Wwo,Who,Wco和bo分别为该函数中的权重系数和偏置量,zt=tanh(Wwcht+Whcht-1+bc)表示输入的信息,其中Wwc,Whc和bc分别为该函数中的权重系数和偏置量,tanh为双曲正切函数,从而得到当前网络所表示的信息ct=ftct-1+itzt,ct经过ht=ottanh(ct)计算得到的ht表示当前时刻输出的信息,对ht经过权重偏置的设置得到Tt=Wtsht+bts,其中Wts和bts分别为该函数中的权重系数和偏置量,再由softmax层yt=WyTt+by计算得到置信向量yt,其中Wy和by分别为该函数中的权重系数和偏置量,yt最终经过归一化处理得到预测值 其中由联合抽取器预训练得到的参数记为ψ,为当前词语的预测值,为每一个词语的预测值,指对所有词语预测值求和,Nt为标签总数,exp为以自然常数e为底的指数函数,其中ai为网络预测的动作,sj为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达,为输出值为在(0,1)之间当前预测词语的概率值;
S4:将经过LSTM联合抽取器预训练得到的结果yt作为强化学习模块中的动作值,并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(si|B);
S41:初始化强化学习模块中的目标网络-训练器,使得θ′=θ=ψ,对于每一个回合训练,打乱袋子的顺序,避免模型记忆不能达到很好的泛化效果,其中袋子集合记为B={B1,B2,…,BN};
S42:对于每一个袋子BK∈B,假设BK中每条语句的实体和关系的参数为θ,将语句作为本强化学习模型的状态值,计算当前袋子下语句即状态的奖励值R(si|B),其中奖赏函数定义为R(si|B)=γn-irj,其中γ为折扣系数,rj为每回合训练下每个袋子中每条语句的即时奖励值,n表示为当前袋子下的n条语句;
S5:对于一个包含n条语句的袋子BK∈B,本模型通过强化学习算法期望得到的总奖励会最大化;因此对于当前袋子下语句的奖励函数R(si|B),目标函数定义为对该袋子下的n条语句s1,s2,…,sn求总期望值其中,表示获取n条语句s1,s2,…,sn的数学期望;
S6:由策略梯度算法S5中的目标函数,并根据模型设置的优化函数其中为当前时刻模型预测值的梯度值,再对当前袋子下每条语句的梯度值和奖赏函数先求积再求和,以此更新模型的参数θ,返回S42,直至回合训练数结束;
S7:对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练,设置参数值返回S4;根据调优参数得到的最优模型,生成最终的实体关系联合抽取方案。
优选的,在S3步骤中:
由最终的softmax输出层计算出置信向量值yt=WyTt+by,其中Wy和by分别为该函数中的权重系数和偏置量,并经过归一化处理得到预测值,其中由联合抽取器预训练得到的参数记为ψ,为当前词语的预测值,为每一个词语的预测值,指对所有词语预测值求和,Nt为标签总数,exp为以自然常数e为底的指数函数,其中ai为网络预测的动作,sj为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达,为输出值为在(0,1)之间当前预测词语的概率值;根据使用的标签策略,标签总数为Nt=2*4*|R|+1,其中|R|是预定义关系集的大小;
采用Hinton提出的RMSprop对神经网络进行预训练,定义联合抽取器的目标函数为其中ψ为模型训练的参数,|S|是整个进行训练的数据集,Lj是语句sj的长度,是语句sj第j个单词的预测值,是语句sj第j个单词的真实值即标签,log为求对函数。
优选的,在S4步骤中:
奖励函数是用来选择使最终抽取精度最大化的函数,首先,在预测每条语句的分布时,忽略预测的“O”标签;在剩余的预测实体关系标签中,选择概率值最大的关系作为当前语句,然后通过极大似然估计选择概率值;选择当前最大的预测关系作为当前袋子的关系,与真正的袋子关系相比较,如果它们的值是相同的,每个数据集标签的奖励值为+1;如果值不同,则奖励值为-1;奖励函数的具体表达式为其中γ为折扣系数,rj为即时奖励值。
采用上述方案后,本发明的有益效果是:
本发明提出的一种基于强化学习算法的实体关系联合抽取模型构建方法,与大部分现有的实体关系抽取方法相比,其优点在于:本发明提出的实体关系取模型构建方法并非只单一地先抽取实体再接着抽取关系,而是利用联合抽取标注策略采用强化学习算法对实体和关系进行联合抽取,针对每一条语句当中的实体和关系抽取不再流线性的操作。而以往联合抽取方法为了减少特征提取中的手工工作,虽然可以在单个模型中表示实体和关系的共享参数,但它们也分别提取实体和关系,并生成其他信息。本发明提出的实体关系联合抽取模型构建方法可以充分利用实体和关系的密切信息,更好地预测复杂文本的实体及其关系,提高文本语句的实体关系抽取率,并增强该自然语言处理技术在知识图谱、问答***和搜索引擎等的可用性。
以下结合附图及实施例对本发明作进一步详细说明,但本发明的一种基于强化学习算法的实体关系联合抽取模型构建方法。
附图说明
图1为本发明一种基于强化学习算法的实体关系联合抽取的流程图;
图2为本发明一种基于强化学习算法的实体关系联合抽取的模型图;
图3为本发明中联合抽取器图;
图4为本发明中各项指标值实验对比图;
图5为本发明中准确率-召回率曲线对比图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
训练数据集采用两个公开语料集“ACE2005(自动内容提取2005)”和“***语料”。其中,ACE2005包含完整的英语、***语和汉语训练数据,用于2005年自动内容提取(ACE)技术评估,语料库由多种类型的数据组成包括实体、关系和事件,这些数据由语言数据联盟(LDC)标注,并得到ACE计划的支持和LDC的额外援助,本专利选取ACE2005中的英语数据集作为实验数据,其中351份作为训练文件,80份作为验证文件和80份测试文件。***语料是依靠Freebase知识库,采用非百科类文本-New York Times Corpus来生成远程监督数据集,训练数据集包含522611条语句,281270个实体对,18252个关系事实,测试集包含172448条语句,96678个实体对,1950个关系事实。图1所示为本发明一种基于强化学习算法的实体关系联合抽取的流程图。
下面结合附图与具体实施方式对本发明作进一步详细描述:
S1:选取公开语料集ACE2005和***语料作为本专利的实验语料,对其进行联合抽取标注策略标注,标注策略具体表示为:其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)};关系类型被表示为实体{1,2}的信息,其中{1,2}分别表示为{实体1,实体2};标签“O”表示除了实体以外的“其他”标签。
S2:对已标注的语料采用word2vec技术得到语句中词语的词向量为ht,将此词向量ht作为联合抽取器LSTM网络输入层中的输入值。同时,针对所有语料语句集合S={s1,s2,…,sn},将其具有相同实体对的语句划分至同一个袋子BK,从而将原始语料语句集合S形成不同的袋子集合B={B1,B2,…,BN},其中词向量维度设置为300。
S3:建立预训练模型-LSTM联合抽取器,再通过模型对袋子进行预训练。使用随机权重初始化联合抽取器LSTM模型的参数,再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系。其中LSTM单位的数量固定为300,丢弃率为0.5,图3展示了基于联合抽取标注策略的LSTM网络及其结构单元图。词向量ht通过LSTM单元结构中的输入门得到的中间值为it=δ(Wwiht+Whiht-1+Wcict-1+bi),通过遗忘门得到的中间值为ft=δ(Wwfht+Whfht-1+Wcfct-1+bf),通过输出门得到的中间值为ot=δ(Wwoht+Whoht-1+Wcoct+bo),由zt=tanh(Wwcht+Whcht-1+bc)表示输入的信息,从而得到当前网络所表示的信息ct=ftct-1+itzt,ct经过ht=ottanh(ct)计算得到的ht表示当前时刻输出的信息,经过权重偏置的设置得到Tt=Wtsht+bts,再由softmax层yt=WyTt+by计算得到置信向量yt,yt最终得到经过归一化处理得到预测值其中由联合抽取器预训练得到的参数记为ψ,其中ai为网络预测的动作,sj为word2vec模型编码的语句作为本文模型的输入,Nt为标签总数。
S4:将经过LSTM联合抽取器预训练得到的结果yt作为强化学习模块中的动作值,并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(si|B)。图2展示了本模型总体框架图。
S41:初始化强化学习模块中的目标网络-训练器,使得θ′=θ=ψ,对于每一个回合训练,打乱袋子的顺序,避免模型记忆不能达到很好的泛化效果,其中袋子集合记为B={B1,B2,…,BN}。
S42:对于每一个袋子BK∈B,假设BK中每条语句的实体和关系的参数为θ,将语句作为本强化学习模型的状态值,计算当前语句即状态的奖励值R(si|B),其中奖赏函数定义为R(si|B)=γn-irj。奖励函数是用来选择使最终抽取精度最大化的函数,首先,在预测每条语句的分布时,忽略预测的“O”标签。在剩余的预测实体关系标签中,选择概率值最大的关系作为当前语句,然后通过最大似然估计选择概率值。选择当前最大的预测关系作为当前袋子的关系值,与真正的袋子关系值相比较。如果它们的值是相同的(除了“O”标签之外),每个数据集标签的奖励值为+1,如果值不同,则奖励值为-1。奖励函数的具体表达式为 其中折扣因子取值为1,学习率设置为0.002,最大训练回合数设置为100。
S5:对于一个包含n条语句的袋子BK∈B,本模型通过强化学习算法期望得到的总奖励会最大化。因此对于语句的奖励函数R(si|B),目标函数定义为对该袋子下的n条语句s1,s2,…,sn求总期望值其中,表示获取n条语句s1,s2,…,sn的数学期望;
S7:对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练,设置参数值返回S4。根据调优参数得到的最优模型,生成最终的实体关系联合抽取方案。图4展示了由ACE2005语料得到的各项指标实验对比图,图5展示了由***语料取得的精确率召回率曲线图,从这两幅图当中可以看出本模型的有效性和先进性。
将实体关系联合抽取任务看作一个马尔可夫决策过程(MDP),将一个完整的联合提取过程分为联合抽取器和基于强化学习的训练器两部分。对于一个袋子里的每一条语句,一个强化学习算法回合将抽取实体和它们之间的关系。简而言之,每句话都有其对应的动作,由联合抽取器预测,然后预测由提出的奖励函数计算出的袋子关系将与真正正确的袋子值进行比较。最后,训练器即获得奖励的代理对LSTM网络进行训练直到收敛。举例来说,例如在表1中,前三个语句可以看作一个袋子,当联合抽取器预测每个单词的标签时,预测的标签与第一句话中的单词“and,join,in,…”类似,是“O”。并对单词“Bill”、“Gates”、“Microsoft”被预测为“B-CF-1”、“E-PoB-1”、“S-CP-2”的概率分别为0.9、0.85、0.7,因此最大概率0.9为当前语句中“Company-Founder”的关系。同样,假设第二句、第三句的关系是“Company-Founder”,“PlaceofBirth”。利用似然函数,可以计算出这个袋子之间的关系为“Company-Founder”。由于此袋子的真实关系是“Company-Founder”,因此奖励将设置为+1,反之则为-1。
表1实体关系抽取任务示例
以上仅为本发明实例中一个较佳的实施方案。但是,本发明并不限于上述实施方案,凡按本发明所做的任何均等变化和修饰,所产生的功能作用未超出本方案的范围时,均属于本发明的保护范围。
Claims (3)
1.一种基于强化学习算法的实体关系联合抽取模型构建方法,其特征在于,采用强化学习算法对输入的自然语言类型原始语料进行实体和关系的抽取,包括以下步骤:
S1:将原始语料中每条语句的词语采取联合抽取标注策略进行标注;标注策略具体表示为:其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)};关系类型被表示为实体{1,2}的信息,其中{1,2}分别表示为{实体1,实体2};标签“O”表示除了实体以外的“其他”标签;
S2:对已标注的语料采用word2vec技术得到语句中词语的词向量为ht,将此词向量ht作为联合抽取器LSTM网络输入层中的输入值;同时,针对所有语料语句集合S={s1,s2,...,sn},将其具有相同实体对的语句划分至同一个袋子BK(K∈[1,2,...,N]),从而将原始语料语句集合s形成不同的袋子集合B={B1,B2,...,BN};N表示袋子的个数;
S3:建立预训练模型-LSTM联合抽取器,再通过模型对袋子进行预训练;使用随机权重初始化联合抽取器LSTM模型的参数,再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系;词向量ht作为当前时刻的输入值通过LSTM单元结构中的输入门得到的中间值为it=δ(Wwiht+Whiht-1+Wcict-1+bi),其中Wwi,Whi,Wci和bi分别为该函数中的权重系数和偏置量,ht-1是上一时刻的输出向量,ct-1是上一时刻状态向量,δ为sigmoid函数,通过遗忘门得到的中间值为ft=δ(Wwfht+Whfht-1+Wcfct-1+bf),其中Wwf,Whf,Wcf和bf分别为该函数中的权重系数和偏置量,通过输出门得到的中间值为ot=δ(Wwoht+Whoht-1+Wcoct+bo),其中Wwo,Who,Wco和bo分别为该函数中的权重系数和偏置量,zt=tanh(Wwcht+Whcht-1+bc)表示输入的信息,其中Wwc,Whc和bc分别为该函数中的权重系数和偏置量,tanh为双曲正切函数,从而得到当前网络所表示的信息ct=ftct-1+itzt,ct经过ht=ottanh(ct)计算得到的ht表示当前时刻输出的信息,对ht经过权重偏置的设置得到Tt=Wtsht+bts,其中Wts和bts分别为该函数中的权重系数和偏置量,再由softmax层yt=WyTt+by计算得到置信向量yt,其中Wy和by分别为该函数中的权重系数和偏置量,yt最终经过归一化处理得到预测值其中由联合抽取器预训练得到的参数记为ψ,为当前词语的预测值,为每一个词语的预测值,指对所有词语预测值求和,Nt为标签总数,exp为以自然常数e为底的指数函数,其中ai为网络预测的动作,sj为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达,为输出值为在(0,1)之间当前预测词语的概率值;
S4:将经过LSTM联合抽取器预训练得到的结果yt作为强化学习模块中的动作值,并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(si|B);
S41:初始化强化学习模块中的目标网络-训练器,使得θ′=θ=ψ,对于每一个回合训练,打乱袋子的顺序,避免模型记忆不能达到很好的泛化效果,其中袋子集合记为B={B1,B2,...,BN};
S42:对于每一个袋子BK∈B,假设BK中每条语句的实体和关系的参数为θ,将语句作为本强化学习模型的状态值,计算当前袋子下语句即状态的奖励值R(si|B),其中奖赏函数定义为R(si|B)=γn-irj,其中γ为折扣系数,rj为每回合训练下每个袋子中每条语句的即时奖励值,n表示为当前袋子下的n条语句;
S5:对于一个包含n条语句的袋子BK∈B,本模型通过强化学习算法期望得到的总奖励会最大化;因此对于当前袋子下语句的奖励函数R(si|B),目标函数定义为对该袋子下的n条语句s1,s2,...,sn求总期望值其中,表示获取n条语句s1,s2,...,sn的数学期望;
S6:由策略梯度算法S5中的目标函数,并根据模型设置的优化函数 其中为当前时刻模型预测值的梯度值,再对当前袋子下每条语句的梯度值和奖赏函数先求积再求和,以此更新模型的参数θ,返回S42,直至回合训练数结束;
S7:对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练,设置参数值返回S4;根据调优参数得到的最优模型,生成最终的实体关系联合抽取方案。
2.根据权利要求1所述的基于强化学习算法的实体关系联合抽取模型构建方法,其特征在于,在S3步骤中:
由最终的softmax输出层计算出置信向量值yt=WyTt+by,其中Wy和by分别为该函数中的权重系数和偏置量,并经过归一化处理得到预测值,其中由联合抽取器预训练得到的参数记为ψ,为当前词语的预测值,为每一个词语的预测值,指对所有词语预测值求和,Nt为标签总数,exp为以自然常数e为底的指数函数,其中ai为网络预测的动作,sj为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达,为输出值为在(0,1)之间当前预测词语的概率值;根据使用的标签策略,标签总数为Nt=2*4*|R|+1,其中|R|是预定义关系集的大小;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011199.7A CN110807069B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习算法的实体关系联合抽取模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011199.7A CN110807069B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习算法的实体关系联合抽取模型构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807069A true CN110807069A (zh) | 2020-02-18 |
CN110807069B CN110807069B (zh) | 2022-06-07 |
Family
ID=69488977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911011199.7A Active CN110807069B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习算法的实体关系联合抽取模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807069B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709230A (zh) * | 2020-04-30 | 2020-09-25 | 昆明理工大学 | 基于词性软模板注意力机制的短文本自动摘要方法 |
CN111988220A (zh) * | 2020-08-14 | 2020-11-24 | 山东大学 | 基于强化学习的数据中心间多目标灾难备份方法和*** |
CN113377884A (zh) * | 2021-07-08 | 2021-09-10 | 中央财经大学 | 基于多智能体增强学习的事件语料库提纯方法 |
CN114238524A (zh) * | 2021-12-21 | 2022-03-25 | 军事科学院***工程研究院网络信息研究所 | 基于增强样本模型的卫星频轨数据信息抽取方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101846824B1 (ko) * | 2017-12-11 | 2018-04-09 | 가천대학교 산학협력단 | 개체명 인식시스템, 방법, 및 컴퓨터 판독가능매체 |
CN109063159A (zh) * | 2018-08-13 | 2018-12-21 | 桂林电子科技大学 | 一种基于神经网络的实体关系抽取方法 |
CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和*** |
CN109992629A (zh) * | 2019-02-28 | 2019-07-09 | 中国科学院计算技术研究所 | 一种融合实体类型约束的神经网络关系抽取方法及*** |
-
2019
- 2019-10-23 CN CN201911011199.7A patent/CN110807069B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101846824B1 (ko) * | 2017-12-11 | 2018-04-09 | 가천대학교 산학협력단 | 개체명 인식시스템, 방법, 및 컴퓨터 판독가능매체 |
CN109063159A (zh) * | 2018-08-13 | 2018-12-21 | 桂林电子科技大学 | 一种基于神经网络的实体关系抽取方法 |
CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和*** |
CN109992629A (zh) * | 2019-02-28 | 2019-07-09 | 中国科学院计算技术研究所 | 一种融合实体类型约束的神经网络关系抽取方法及*** |
Non-Patent Citations (1)
Title |
---|
李枫林等: "基于深度学习框架的实体关系抽取研究进展", 《情报科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709230A (zh) * | 2020-04-30 | 2020-09-25 | 昆明理工大学 | 基于词性软模板注意力机制的短文本自动摘要方法 |
CN111709230B (zh) * | 2020-04-30 | 2023-04-07 | 昆明理工大学 | 基于词性软模板注意力机制的短文本自动摘要方法 |
CN111988220A (zh) * | 2020-08-14 | 2020-11-24 | 山东大学 | 基于强化学习的数据中心间多目标灾难备份方法和*** |
CN111988220B (zh) * | 2020-08-14 | 2021-05-28 | 山东大学 | 基于强化学习的数据中心间多目标灾难备份方法和*** |
CN113377884A (zh) * | 2021-07-08 | 2021-09-10 | 中央财经大学 | 基于多智能体增强学习的事件语料库提纯方法 |
CN114238524A (zh) * | 2021-12-21 | 2022-03-25 | 军事科学院***工程研究院网络信息研究所 | 基于增强样本模型的卫星频轨数据信息抽取方法 |
CN114238524B (zh) * | 2021-12-21 | 2022-05-31 | 军事科学院***工程研究院网络信息研究所 | 基于增强样本模型的卫星频轨数据信息抽取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110807069B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807069B (zh) | 一种基于强化学习算法的实体关系联合抽取模型构建方法 | |
CN112487143B (zh) | 一种基于舆情大数据分析的多标签文本分类方法 | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
US11113479B2 (en) | Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query | |
CN107358948B (zh) | 基于注意力模型的语言输入关联性检测方法 | |
CN109918510B (zh) | 跨领域关键词提取方法 | |
CN112733541A (zh) | 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法 | |
CN110390397B (zh) | 一种文本蕴含识别方法及装置 | |
Mohammadi et al. | Ensemble deep learning for aspect-based sentiment analysis | |
CN111368565A (zh) | 文本翻译方法、装置、存储介质和计算机设备 | |
CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
CN110033008B (zh) | 一种基于模态变换与文本归纳的图像描述生成方法 | |
CN113743099B (zh) | 基于自注意力机制方面术语提取***、方法、介质、终端 | |
CN110162789A (zh) | 一种基于汉语拼音的词表征方法及装置 | |
CN113033189B (zh) | 一种基于注意力分散的长短期记忆网络的语义编码方法 | |
CN114492441A (zh) | 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法 | |
CN115422369B (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
CN113128206A (zh) | 基于单词重要性加权的问题生成方法 | |
CN108876038A (zh) | 大数据、人工智能、超算协同的材料性能预测方法 | |
CN113239678B (zh) | 一种面向答案选择的多角度注意力特征匹配方法及*** | |
CN113191150B (zh) | 一种多特征融合的中文医疗文本命名实体识别方法 | |
CN114817307A (zh) | 一种基于半监督学习和元学习的少样本nl2sql方法 | |
US11948387B2 (en) | Optimized policy-based active learning for content detection | |
Tiwari et al. | Next word prediction using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |