CN110807069A - 一种基于强化学习算法的实体关系联合抽取模型构建方法 - Google Patents

Abstract

本发明公开了一种基于强化学习算法的实体关系联合抽取模型构建方法，包括：输入文本，采用联合抽取标注策略对原始语料中的每条语句的词语进行实体关系标注；将文本转化为word2vec向量；预训练LSTM联合抽取器；初始化训练器网络并打乱袋子顺序；计算当前语句奖励值；计算总期望奖励值；利用优化函数更新模型参数；如果模型已收敛，对模型进行超参数的调优训练；如果超参数为最优解，生成最终的实体关系联合抽取方案。本发明基于策略梯度优化算法构建强化学习模型，能对复杂的自然语言类型原始语料的语句实体关系联合抽取问题进行有效求解，并能有效提高实体关系抽取的准确率和F1值。

Description

一种基于强化学习算法的实体关系联合抽取模型构建方法

技术领域

本发明涉及知识图谱构建技术领域，特别涉及一种基于强化学习算法的实体关系联合抽取模型构建方法。

背景技术

实体和关系的抽取是自然语言处理中知识抽取的关键部分和主要环节。传统的流水线方法首先抽取实体，然后识别实体对之间的关系。这种分离的方式使得两个任务易于处理，也比较灵活。但事实上，常见的实体抽取和关系抽取这两项任务有着密切的关系。流水线方法通常会导致一些错误的抽取，因为实体抽取中获取的实体信息可以进一步帮助关系抽取，实体抽取模块的质量和精度也将影响关系抽取模块。如果抽取的实体对没有关系则会带来不必要的信息，增加了关系抽取的错误率，且受噪声标签问题的影响较大。在此背景下，联合抽取方法成为一种有效的求解手段。然而，大多数现有的联合抽取方法是基于特征的结构化***，这通常需要复杂的特征工程，并且在某种程度上依赖于其他NLP工具包，这种做法会导致错误传播。但是综合来看，现有的联合抽取方法相较于流水线方法能更好的抽取实体和关系。基于此，本专利提出了一种使用策略梯度强化学习算法构建实体关系联合抽取模型，并且根据现有的策略梯度强化学习算法，网络输出的动作可以是一个连续的值，而且该算法可以在一个连续分布上选取动作，这样可以避免传统流水线方法和以往联合抽取方法不能紧密使用实体和关系之间的信息，以及产生多余的其他信息。

发明内容

本发明的目的在于提供一种基于强化学习算法的实体关系联合抽取模型的构建方法，利用基于强化学习算法的实体关系联合抽取模型能够同时抽取实体及其关系，以充分利用实体和关系的联系信息，提高文本语句的实体关系抽取的准确率，更好地预测复杂文本的实体及其关系，并能有效提高关系抽取的正确率。

为了实现上述目的，本发明的技术方案是：

一种基于强化学习算法的实体关系联合抽取模型构建方法，采用强化学习算法对输入的自然语言类型原始语料进行实体和关系的抽取，包括以下步骤：

S1:将原始语料中每条语句的词语采取联合抽取标注策略进行标注；标注策略具体表示为：其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)}；关系类型被表示为实体{1,2}的信息，其中{1,2}分别表示为{实体1,实体2}；标签“O”表示除了实体以外的“其他”标签；

S2:对已标注的语料采用word2vec技术得到语句中词语的词向量为h_t，将此词向量h_t作为联合抽取器LSTM网络输入层中的输入值；同时，针对所有语料语句集合S＝{s₁,s₂,…,s_n}，将其具有相同实体对的语句划分至同一个袋子B^K(K∈[1,2,…,N])，从而将原始语料语句集合S形成不同的袋子集合B＝{B¹,B²,…,B^N}；N表示袋子的个数；

S3：建立预训练模型-LSTM联合抽取器，再通过模型对袋子进行预训练；使用随机权重初始化联合抽取器LSTM模型的参数，再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系；词向量h_t作为当前时刻的输入值通过LSTM单元结构中的输入门得到的中间值为i_t＝δ(W_wih_t+W_hih_t-1+W_cic_t-1+b_i)，其中W_wi,W_hi,W_ci和b_i分别为该函数中的权重系数和偏置量，h_t-1是上一时刻的输出向量，c_t-1是上一时刻状态向量，δ为sigmoid函数，通过遗忘门得到的中间值为f_t＝δ(W_wfh_t+W_hfh_t-1+W_cfc_t-1+b_f)，其中W_wf，W_hf，W_cf和b_f分别为该函数中的权重系数和偏置量，通过输出门得到的中间值为o_t＝δ(W_woh_t+W_hoh_t-1+W_coc_t+b_o)，其中W_wo，W_ho，W_co和b_o分别为该函数中的权重系数和偏置量，z_t＝tanh(W_wch_t+W_hch_t-1+b_c)表示输入的信息，其中W_wc，W_hc和b_c分别为该函数中的权重系数和偏置量，tanh为双曲正切函数，从而得到当前网络所表示的信息c_t＝f_tc_t-1+i_tz_t，c_t经过h_t＝o_ttanh(c_t)计算得到的h_t表示当前时刻输出的信息，对h_t经过权重偏置的设置得到T_t＝W_tsh_t+b_ts，其中W_ts和b_ts分别为该函数中的权重系数和偏置量，再由softmax层y_t＝W_yT_t+b_y计算得到置信向量y_t，其中W_y和b_y分别为该函数中的权重系数和偏置量，y_t最终经过归一化处理得到预测值

其中由联合抽取器预训练得到的参数记为ψ，为当前词语的预测值，

为每一个词语的预测值，

指对所有词语预测值求和，N_t为标签总数，exp为以自然常数e为底的指数函数，其中a_i为网络预测的动作，s_j为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达，

为输出值为在(0,1)之间当前预测词语的概率值；

S4:将经过LSTM联合抽取器预训练得到的结果y_t作为强化学习模块中的动作值，并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(s_i|B)；

S41：初始化强化学习模块中的目标网络-训练器，使得θ′＝θ＝ψ，对于每一个回合训练，打乱袋子的顺序，避免模型记忆不能达到很好的泛化效果，其中袋子集合记为B＝{B¹,B²,…,B^N}；

S42：对于每一个袋子B^K∈B，假设B^K中每条语句的实体和关系的参数为θ，将语句作为本强化学习模型的状态值，计算当前袋子下语句即状态的奖励值R(s_i|B)，其中奖赏函数定义为R(s_i|B)＝γ^n-ir_j，其中γ为折扣系数，r_j为每回合训练下每个袋子中每条语句的即时奖励值，n表示为当前袋子下的n条语句；

S5:对于一个包含n条语句的袋子B^K∈B，本模型通过强化学习算法期望得到的总奖励会最大化；因此对于当前袋子下语句的奖励函数R(s_i|B)，目标函数定义为对该袋子下的n条语句s₁,s₂,…,s_n求总期望值

其中，

表示获取n条语句s₁,s₂,…,s_n的数学期望；

S6:由策略梯度算法S5中的目标函数，并根据模型设置的优化函数

其中

为当前时刻模型预测值的梯度值，再对当前袋子下每条语句的梯度值和奖赏函数先求积再求和，以此更新模型的参数θ，返回S42，直至回合训练数结束；

S7:对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练，设置参数值返回S4；根据调优参数得到的最优模型，生成最终的实体关系联合抽取方案。

优选的，在S3步骤中：

由最终的softmax输出层计算出置信向量值y_t＝W_yT_t+b_y，其中W_y和b_y分别为该函数中的权重系数和偏置量，并经过归一化处理

得到预测值，其中由联合抽取器预训练得到的参数记为ψ，

为当前词语的预测值，

为每一个词语的预测值，

指对所有词语预测值求和，N_t为标签总数，exp为以自然常数e为底的指数函数，其中a_i为网络预测的动作，s_j为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达，

为输出值为在(0,1)之间当前预测词语的概率值；根据使用的标签策略，标签总数为N_t＝2*4*|R|+1，其中|R|是预定义关系集的大小；

采用Hinton提出的RMSprop对神经网络进行预训练，定义联合抽取器的目标函数为

其中ψ为模型训练的参数，|S|是整个进行训练的数据集，L_j是语句s_j的长度，

是语句s_j第j个单词的预测值，

是语句s_j第j个单词的真实值即标签，log为求对函数。

优选的，在S4步骤中：

奖励函数是用来选择使最终抽取精度最大化的函数，首先，在预测每条语句的分布时，忽略预测的“O”标签；在剩余的预测实体关系标签中，选择概率值最大的关系作为当前语句，然后通过极大似然估计选择概率值；选择当前最大的预测关系作为当前袋子的关系，与真正的袋子关系相比较，如果它们的值是相同的，每个数据集标签的奖励值为+1；如果值不同，则奖励值为-1；奖励函数的具体表达式为其中γ为折扣系数，r_j为即时奖励值。

采用上述方案后，本发明的有益效果是：

本发明提出的一种基于强化学习算法的实体关系联合抽取模型构建方法，与大部分现有的实体关系抽取方法相比，其优点在于：本发明提出的实体关系取模型构建方法并非只单一地先抽取实体再接着抽取关系，而是利用联合抽取标注策略采用强化学习算法对实体和关系进行联合抽取，针对每一条语句当中的实体和关系抽取不再流线性的操作。而以往联合抽取方法为了减少特征提取中的手工工作，虽然可以在单个模型中表示实体和关系的共享参数，但它们也分别提取实体和关系，并生成其他信息。本发明提出的实体关系联合抽取模型构建方法可以充分利用实体和关系的密切信息，更好地预测复杂文本的实体及其关系，提高文本语句的实体关系抽取率，并增强该自然语言处理技术在知识图谱、问答***和搜索引擎等的可用性。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于强化学习算法的实体关系联合抽取模型构建方法。

附图说明

图1为本发明一种基于强化学习算法的实体关系联合抽取的流程图；

图2为本发明一种基于强化学习算法的实体关系联合抽取的模型图；

图3为本发明中联合抽取器图；

图4为本发明中各项指标值实验对比图；

图5为本发明中准确率-召回率曲线对比图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

训练数据集采用两个公开语料集“ACE2005(自动内容提取2005)”和“***语料”。其中，ACE2005包含完整的英语、***语和汉语训练数据，用于2005年自动内容提取(ACE)技术评估，语料库由多种类型的数据组成包括实体、关系和事件，这些数据由语言数据联盟(LDC)标注，并得到ACE计划的支持和LDC的额外援助，本专利选取ACE2005中的英语数据集作为实验数据，其中351份作为训练文件，80份作为验证文件和80份测试文件。***语料是依靠Freebase知识库，采用非百科类文本-New York Times Corpus来生成远程监督数据集，训练数据集包含522611条语句，281270个实体对，18252个关系事实，测试集包含172448条语句，96678个实体对，1950个关系事实。图1所示为本发明一种基于强化学习算法的实体关系联合抽取的流程图。

下面结合附图与具体实施方式对本发明作进一步详细描述：

S1:选取公开语料集ACE2005和***语料作为本专利的实验语料，对其进行联合抽取标注策略标注，标注策略具体表示为：其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)}；关系类型被表示为实体{1,2}的信息，其中{1,2}分别表示为{实体1,实体2}；标签“O”表示除了实体以外的“其他”标签。

S2:对已标注的语料采用word2vec技术得到语句中词语的词向量为h_t，将此词向量h_t作为联合抽取器LSTM网络输入层中的输入值。同时，针对所有语料语句集合S＝{s₁,s₂,…,s_n}，将其具有相同实体对的语句划分至同一个袋子B^K，从而将原始语料语句集合S形成不同的袋子集合B＝{B¹,B²,…,B^N}，其中词向量维度设置为300。

S3:建立预训练模型-LSTM联合抽取器，再通过模型对袋子进行预训练。使用随机权重初始化联合抽取器LSTM模型的参数，再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系。其中LSTM单位的数量固定为300，丢弃率为0.5，图3展示了基于联合抽取标注策略的LSTM网络及其结构单元图。词向量h_t通过LSTM单元结构中的输入门得到的中间值为i_t＝δ(W_wih_t+W_hih_t-1+W_cic_t-1+b_i)，通过遗忘门得到的中间值为f_t＝δ(W_wfh_t+W_hfh_t-1+W_cfc_t-1+b_f)，通过输出门得到的中间值为o_t＝δ(W_woh_t+W_hoh_t-1+W_coc_t+b_o)，由z_t＝tanh(W_wch_t+W_hch_t-1+b_c)表示输入的信息，从而得到当前网络所表示的信息c_t＝f_tc_t-1+i_tz_t，c_t经过h_t＝o_ttanh(c_t)计算得到的h_t表示当前时刻输出的信息，经过权重偏置的设置得到T_t＝W_tsh_t+b_ts，再由softmax层y_t＝W_yT_t+b_y计算得到置信向量y_t，y_t最终得到经过归一化处理得到预测值

其中由联合抽取器预训练得到的参数记为ψ，其中a_i为网络预测的动作，s_j为word2vec模型编码的语句作为本文模型的输入，N_t为标签总数。

S4:将经过LSTM联合抽取器预训练得到的结果y_t作为强化学习模块中的动作值，并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(s_i|B)。图2展示了本模型总体框架图。

S41：初始化强化学习模块中的目标网络-训练器，使得θ′＝θ＝ψ，对于每一个回合训练，打乱袋子的顺序，避免模型记忆不能达到很好的泛化效果，其中袋子集合记为B＝{B¹,B²,…,B^N}。

S42：对于每一个袋子B^K∈B，假设B^K中每条语句的实体和关系的参数为θ，将语句作为本强化学习模型的状态值，计算当前语句即状态的奖励值R(s_i|B)，其中奖赏函数定义为R(s_i|B)＝γ^n-ir_j。奖励函数是用来选择使最终抽取精度最大化的函数，首先，在预测每条语句的分布时，忽略预测的“O”标签。在剩余的预测实体关系标签中，选择概率值最大的关系作为当前语句，然后通过最大似然估计选择概率值。选择当前最大的预测关系作为当前袋子的关系值，与真正的袋子关系值相比较。如果它们的值是相同的(除了“O”标签之外)，每个数据集标签的奖励值为+1，如果值不同，则奖励值为-1。奖励函数的具体表达式为

其中折扣因子取值为1，学习率设置为0.002，最大训练回合数设置为100。

S5:对于一个包含n条语句的袋子B^K∈B，本模型通过强化学习算法期望得到的总奖励会最大化。因此对于语句的奖励函数R(s_i|B)，目标函数定义为对该袋子下的n条语句s₁,s₂,…,s_n求总期望值

其中，

表示获取n条语句s₁,s₂,…,s_n的数学期望；

S6:由策略梯度算法S5中的目标函数，并根据模型设置的优化函数

更新模型的参数θ，返回S42，直至回合训练数结束。

S7:对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练，设置参数值返回S4。根据调优参数得到的最优模型，生成最终的实体关系联合抽取方案。图4展示了由ACE2005语料得到的各项指标实验对比图，图5展示了由***语料取得的精确率召回率曲线图，从这两幅图当中可以看出本模型的有效性和先进性。

将实体关系联合抽取任务看作一个马尔可夫决策过程(MDP)，将一个完整的联合提取过程分为联合抽取器和基于强化学习的训练器两部分。对于一个袋子里的每一条语句，一个强化学习算法回合将抽取实体和它们之间的关系。简而言之，每句话都有其对应的动作，由联合抽取器预测，然后预测由提出的奖励函数计算出的袋子关系将与真正正确的袋子值进行比较。最后，训练器即获得奖励的代理对LSTM网络进行训练直到收敛。举例来说，例如在表1中，前三个语句可以看作一个袋子，当联合抽取器预测每个单词的标签时，预测的标签与第一句话中的单词“and,join,in，…”类似，是“O”。并对单词“Bill”、“Gates”、“Microsoft”被预测为“B-CF-1”、“E-PoB-1”、“S-CP-2”的概率分别为0.9、0.85、0.7，因此最大概率0.9为当前语句中“Company-Founder”的关系。同样，假设第二句、第三句的关系是“Company-Founder”，“PlaceofBirth”。利用似然函数，可以计算出这个袋子之间的关系为“Company-Founder”。由于此袋子的真实关系是“Company-Founder”，因此奖励将设置为+1，反之则为-1。

表1实体关系抽取任务示例

以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于强化学习算法的实体关系联合抽取模型构建方法，其特征在于，采用强化学习算法对输入的自然语言类型原始语料进行实体和关系的抽取，包括以下步骤：

S1：将原始语料中每条语句的词语采取联合抽取标注策略进行标注；标注策略具体表示为：其中该词在实体中的位置信息标注为{B(实体开始)、I(实体内部)、E(实体结束)、S(单个实体)}；关系类型被表示为实体{1，2}的信息，其中{1，2}分别表示为{实体1，实体2}；标签“O”表示除了实体以外的“其他”标签；

S2：对已标注的语料采用word2vec技术得到语句中词语的词向量为h_t，将此词向量h_t作为联合抽取器LSTM网络输入层中的输入值；同时，针对所有语料语句集合S＝{s₁，s₂，...，s_n}，将其具有相同实体对的语句划分至同一个袋子B^K(K∈[1，2，...，N])，从而将原始语料语句集合s形成不同的袋子集合B＝{B¹，B²，...，B^N}；N表示袋子的个数；

S3：建立预训练模型-LSTM联合抽取器，再通过模型对袋子进行预训练；使用随机权重初始化联合抽取器LSTM模型的参数，再通过LSTM模型来预训练由联合抽取标注策略得到的语句实体及其关系；词向量h_t作为当前时刻的输入值通过LSTM单元结构中的输入门得到的中间值为i_t＝δ(W_wih_t+W_hih_t-1+W_cic_t-1+b_i)，其中W_wi，W_hi，W_ci和b_i分别为该函数中的权重系数和偏置量，h_t-1是上一时刻的输出向量，c_t-1是上一时刻状态向量，δ为sigmoid函数，通过遗忘门得到的中间值为f_t＝δ(W_wfh_t+W_hfh_t-1+W_cfc_t-1+b_f)，其中W_wf，W_hf，W_cf和b_f分别为该函数中的权重系数和偏置量，通过输出门得到的中间值为o_t＝δ(W_woh_t+W_hoh_t-1+W_coc_t+b_o)，其中W_wo，W_ho，W_co和b_o分别为该函数中的权重系数和偏置量，z_t＝tanh(W_wch_t+W_hch_t-1+b_c)表示输入的信息，其中W_wc，W_hc和b_c分别为该函数中的权重系数和偏置量，tanh为双曲正切函数，从而得到当前网络所表示的信息c_t＝f_tc_t-1+i_tz_t，c_t经过h_t＝o_ttanh(c_t)计算得到的h_t表示当前时刻输出的信息，对h_t经过权重偏置的设置得到T_t＝W_tsh_t+b_ts，其中W_ts和b_ts分别为该函数中的权重系数和偏置量，再由softmax层y_t＝W_yT_t+b_y计算得到置信向量y_t，其中W_y和b_y分别为该函数中的权重系数和偏置量，y_t最终经过归一化处理得到预测值

其中由联合抽取器预训练得到的参数记为ψ，

为当前词语的预测值，

为每一个词语的预测值，

指对所有词语预测值求和，N_t为标签总数，exp为以自然常数e为底的指数函数，其中a_i为网络预测的动作，s_j为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达，为输出值为在(0，1)之间当前预测词语的概率值；

S4：将经过LSTM联合抽取器预训练得到的结果y_t作为强化学习模块中的动作值，并通过基于策略梯度的强化学习算法计算得到每一条语句即状态的奖励值R(s_i|B)；

S41：初始化强化学习模块中的目标网络-训练器，使得θ′＝θ＝ψ，对于每一个回合训练，打乱袋子的顺序，避免模型记忆不能达到很好的泛化效果，其中袋子集合记为B＝{B¹，B²，...，B^N}；

S42：对于每一个袋子B^K∈B，假设B^K中每条语句的实体和关系的参数为θ，将语句作为本强化学习模型的状态值，计算当前袋子下语句即状态的奖励值R(s_i|B)，其中奖赏函数定义为R(s_i|B)＝γ^n-ir_j，其中γ为折扣系数，r_j为每回合训练下每个袋子中每条语句的即时奖励值，n表示为当前袋子下的n条语句；

S5：对于一个包含n条语句的袋子B^K∈B，本模型通过强化学习算法期望得到的总奖励会最大化；因此对于当前袋子下语句的奖励函数R(s_i|B)，目标函数定义为对该袋子下的n条语句s₁，s₂，...，s_n求总期望值

其中，表示获取n条语句s₁，s₂，...，s_n的数学期望；

S6：由策略梯度算法S5中的目标函数，并根据模型设置的优化函数

其中

为当前时刻模型预测值的梯度值，再对当前袋子下每条语句的梯度值和奖赏函数先求积再求和，以此更新模型的参数θ，返回S42，直至回合训练数结束；

S7：对已经过预训练并构建好强化学习模块的模型进行超参数的调优训练，设置参数值返回S4；根据调优参数得到的最优模型，生成最终的实体关系联合抽取方案。

2.根据权利要求1所述的基于强化学习算法的实体关系联合抽取模型构建方法，其特征在于，在S3步骤中：

由最终的softmax输出层计算出置信向量值y_t＝W_yT_t+b_y，其中W_y和b_y分别为该函数中的权重系数和偏置量，并经过归一化处理得到预测值，其中由联合抽取器预训练得到的参数记为ψ，

为当前词语的预测值，

为每一个词语的预测值，

指对所有词语预测值求和，N_t为标签总数，exp为以自然常数e为底的指数函数，其中a_i为网络预测的动作，s_j为通过由word2vec模型得到的词向量作为输入经过联合抽取标注器得到的预测值分布表达，

为输出值为在(0，1)之间当前预测词语的概率值；根据使用的标签策略，标签总数为N_t＝2*4*|R|+1，其中|R|是预定义关系集的大小；

采用Hinton提出的RMSprop对神经网络进行预训练，定义联合抽取器的目标函数为其中ψ为模型训练的参数，|S|是整个进行训练的数据集，L_j是语句s_j的长度，

是语句s_j第j个单词的预测值，

是语句s_j第j个单词的真实值即标签，log为求对函数。

3.根据权利要求1所述的基于强化学习算法的实体关系联合抽取模型构建方法，其特征在于，在S4步骤中：

奖励函数是用来选择使最终抽取精度最大化的函数，首先，在预测每条语句的分布时，忽略预测的“O”标签；在剩余的预测实体关系标签中，选择概率值最大的关系作为当前语句，然后通过极大似然估计选择概率值；选择当前最大的预测关系作为当前袋子的关系，与真正的袋子关系相比较，如果它们的值是相同的，每个数据集标签的奖励值为+1；如果值不同，则奖励值为-1；奖励函数的具体表达式为

其中γ为折扣系数，r_j为即时奖励值。

Images