CN108491680A

CN108491680A - 基于残差网络和注意力机制的药物关系抽取方法

Info

Publication number: CN108491680A
Application number: CN201810182373.3A
Authority: CN
Inventors: 刘娟; 黄忠; 汪祝芬; 唐飞
Original assignee: Anqing Normal University
Current assignee: Anqing Normal University
Priority date: 2018-03-07
Filing date: 2018-03-07
Publication date: 2018-09-04

Abstract

本发明公开了一种基于残差网络和注意力机制的药物关系抽取方法，包括以下步骤：S1、对药物实体关系数据集中单词进行向量表示；S2、利用两层双向长短时记忆模型神经网络对药物关系陈述语句进行时序建模；S3、将残差连接引入到构建的两层双向长短时记忆模型神经网络中；S4、将两层双向长短时记忆模型神经网络自动获取的深层语义分解为记忆和注意力两种空间，然后将记忆信息和注意力信息进行融合并输入Softmax分类器进行药物关系的抽取。本发明提出的药物关系抽取方法，有效解决长距离单词间的依赖关系，克服梯度弥散，防止模型过拟合，模型的鲁棒性高，分类效果好。

Description

基于残差网络和注意力机制的药物关系抽取方法

技术领域

本发明涉及药物关系抽取技术领域，尤其涉及一种基于残差网络和注意力机制的药物关系抽取方法。

背景技术

药物关系抽取是指当两个药物同时服用的时候，一种药物会抑制或者激发另一种药物的性能。根据Sahu等人[1]的研究和调查发现，越来越多的人选择同时服用多种药物，而多种药物之间的相互作用将对人体健康产生危害(arXiv preprintarXiv：1701.08303，2017)。因此，为避免药物滥用事故，需要构建反映药物相互作用的数据模型并设计和开发药物关系抽取的决策***。同时，随着生物领域的信息的***式增长，更迫切需要一种自动的方式收集、挖掘各种药物的相互关系。

近几年来，越来越多的研究者专注药物关系抽取的研究，并做出了许多有意义的工作。这些研究均将药物关系抽取看成二分类或多分类问题；二分类中将判断两种药物是否存在关系，而多分类中判断两种药物存在什么样类型的关系。针对两种分类问题，当前药物关系抽取方法可分为：统计机器学习方法和神经网络方法。基于统计机器学习方法首先根据经验提取各种人工特征，然后利用独热编码(one-hot)方式进行表达，最终以这些特征作为药物关系判断的依据。但传统的基于one-hot表示会丢弃特征之间的相关性，如单词之间的语义信息、单词顺序不敏感等；同时，大量的人工特征也使得传统的方法很难调试。基于神经网络方法则以相同语义关系拥有相似上下文信息为判别标准，自动进行特征的提取和分类。然而，与之前基于特征的关系抽取***类似，神经网络关系抽取模型无法突出不同药物实体在关系描述中重要性并存在鲁棒性差的问题。

发明内容

本发明的目的是为了解决现有技术中存在的不足以及提高关系抽取方法的鲁棒性，在词向量和循环神经网络的基础上，提出了一种基于残差网络和注意力机制的药物关系抽取方法。

基于残差网络和注意力机制的药物关系抽取方法，包括以下步骤：

S1、采用词向量技术对药物实体关系数据集中单词进行向量表示；

S2、为挖掘药物关系描述中长距离单词间的依赖关系和克服梯度弥散问题，利用两层双向长短时记忆模型神经网络对药物关系陈述语句进行时序建模；

S3、将残差连接引入到构建的两层双向长短时记忆模型神经网络中，提出一种新的输出向量生成策略，所述生成策略利用不同层间是否进行残差连接而动态构建不同深度和结构的网络模型同时将中间层输入看成第1层输入的线性变换；

S4、在引入残差连接的两层双向长短时记忆模型神经网络结构基础上融入注意力机制，将两层双向长短时记忆模型神经网络自动获取的深层语义分解为记忆和注意力两种空间，并通过记忆空间实现药物关系深层语义的存储，同时通过注意力空间实现记忆空间信息的权重计算，然后将反映药物关系描述的记忆信息以及反映单词权重的注意力信息进行融合并输入Softmax分类器进行药物关系的抽取。

优选的，所述词向量技术中使用的词向量为利用word2vec训练好的词向量。

优选的，所述长短时记忆模型是在循环神经网络基础上增加了输入门、输出门、遗忘门和记忆单元，控制时序信息的传输，并在实现时序预测的同时增加记忆功能，其数学模型可描述为：

其中，w_t表示t时刻的输入向量，h_t-1和h_t分别表示前一隐含状态和新的隐含状态，i_t、f_t、o_t分别表示t时刻输入门、遗忘门、输出门的输出结果；g_t表示t时刻输入整合的输出结果；c_t、c_t-1分别表示t时刻和t-1时刻记忆状态。W_tx、W_th、W_fx、W_fh、W_ox、W_oh、W_gx、W_gh表示LSTM待训练的权重系数；b_t、b_f、b_o、b_g表示LSTM待训练的偏置系数；σ(·)为sigmoid激活函数；tanh(·)为双曲正切激活函数；e表示向量乘法运算。

优选的，引入残差连接到构建的两层双向长短时记忆模型神经网络的具体操作为：首先，将t时刻k+1层的输入(即k层的输出)w[k+1，t]看成第k层LSTM神经网络的输出w[k，t]与第k隐含层输出h[k，t]的线性加权：w[k+1，t]＝w[k，t]W[k]+h[k，t]，其中，W[k]为k层的转化矩阵；然后，w[k+1，t]＝w[k，t]W[k]+h[k，t]分解为：最后，通过网络训练调整LSTM神经元参数以及W[k]，实现不同输出向量的生成，从而动态构建不同深度和结构的网络模型。

优选的，融入注意力机制的药物关系抽取方法的具体操作为：首先，利用变换矩阵U和T将w[k，t]转化为m[t]和a[t]，即：其中，m[t]为记忆空间，用于信息的存取；a[t]为注意力空间，用于计算关注度；然后，通过s[t]＝softmax_t(v^Ta[t])和获得一个句子的最终表达M，其中，s[t]为a[t]的归一化加权表示，v为加权系数，softmax_t(·)为t时刻的归一化函数；最后，将计算的语义表示M作为输入向量，并采用softmax(·)分类器判断药物关系属于何种类别。

优选的，抽取的药物关系类别包括Advice、Effect、Mechanism和Int，其中，Advice为作用建议陈述类，即通过语言描述药物相互作用关系的临床建议；Effect为作用效果陈述类，即通过语言描述药物之间的相互作用效果；Mechanism为作用机理陈述类，即通过语言描述药物之间的相互作用机理；Int为作用程序陈述类，即通过语言描述药物之间的作用程序。

与现有技术相比，本发明的有益效果为：

1、利用两层双向长短时记忆模型神经网络对药物关系陈述语句进行时序建模，可以有效解决挖掘药物关系描述中长距离单词间的依赖关系和克服梯度弥散问题；

2、提出的新的输出向量生成策略，既可以提高方法的鲁棒性，同时又可以防止模型过拟合和提高模型的鲁棒性，并通过控制时序信息的传输来解决达到长期依赖问题；

3、经实验证明：预训练的词向量信息有利于提高模型的识别效果；引入的残差连接和注意力机制(ResCon-Att)可以进一步F值并具有更好的分类效果；与相比于传统的方法，本发明提出的药物关系抽取方法的分类效果明显提升，与卷积神经网络相比，本发明提出的方法性能也有所提升；本发明提出的物关系抽取方法可以自动赋予有利于关系抽取和判别的关键词较高的权重，从而更好的实现药物关系的分类。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为具有残差连接的两层双向LSTM神经网络示意图；

图2为基于残差连接的w[3，1]四种生成方式示意图；

图3为融入注意力机制的药物关系示意图；

图4为基于注意力机制的单词权重分配示意图。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

实施例

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提出的基于残差网络和注意力机制的药物关系抽取方法，包括以下步骤：

S1、利用word2vec训练好的词向量对药物实体关系数据集中单词进行向量表示；

S2、为挖掘药物关系描述中长距离单词间的依赖关系和克服梯度弥散问题，利用两层双向长短时记忆模型神经网络对药物关系陈述语句进行时序建模，所述长短时记忆模型简称LSTM，是在循环神经网络基础上增加了输入门、输出门、遗忘门和记忆单元，控制时序信息的传输，并在实现时序预测的同时增加记忆功能，其数学模型可描述为：

其中，w_t表示t时刻的输入向量，h_t-1和h_t分别表示前一隐含状态和新的隐含状态，i_t、f_t、o_t分别表示t时刻输入门、遗忘门、输出门的输出结果；g_t表示t时刻输入整合的输出结果；c_t、c_t-1分别表示t时刻和t-1时刻记忆状态。W_tx、W_th、W_fx、W_fh、W_ox、W_oh、W_gx、W_gh表示LSTM待训练的权重系数；b_t、b_f、b_o、b_g表示LSTM待训练的偏置系数；σ(·)为sigmoid激活函数；tanh(·)为双曲正切激活函数；e表示向量乘法运算；

S3、为充分获取深度和未来的信息，采用两层双向LSTM结构进行药物关系特征表示：

其中，k(1≤k≤2)表示当前层数；w[k，t]为第k层的第t个时间节点的输入；h[k，t]^forward、h[k，t]^backward分别表示第k层的第t个时间节点的前向隐含输出和后向隐含输出；LSTM(·)为描述的LSTM网络单元；

为提高模型的鲁棒性和防止模型过拟合，在双向LSTM神级网络基础上进一步引入残差连接，提出具有残差连接的两层双向LSTM神经网络结构如附图1，其描述为w[k+1，t]＝w[k，t]W[k]+h[k，t]，其中，W[k]为每一层的转化矩阵，通过调整LSTM神经网络的参数以及W[k]，可将w[k+1，t]＝w[k，t]W[k]+h[k，t]分成w[k+1，t]≈h[k，t]和w[k+1，t]≈w[k，t]W[k]。

引入残差连接后，网络t时刻输出w[3，t]将有四种生成方式，以图1中第一时刻的输出w[3，1]为例进行说明，其生成过程见附图2，(a)中两层残差网络均不工作，即：(b)中只有第二层的残差网络工作，即：(c)中只有第一层的残差网络工作，即：(d)中，两层的残差网络均工作，即：依此类推，具有K层的网络，存在2K个模型的组合，残差网络的这种特性，一方面使得提出的方法具有很好的鲁棒性；另一方面，当需训练一个较深网络时，可将第k(1≤k≤K)层的输入看成第一层输入的线性变换，这也使得提出的方法可以避免模型结构大和深而导致的过拟合问题；

S4、在引入残差连接的两层双向长短时记忆模型神经网络结构基础上融入注意力机制，将两层双向长短时记忆模型神经网络自动获取的深层语义分解为记忆和注意力两种空间，并通过记忆空间实现药物关系深层语义的存储，同时通过注意力空间实现记忆空间信息的权重计算，然后将反映药物关系描述的记忆信息以及反映单词权重的注意力信息进行融合并输入Softmax分类器进行药物关系的抽取，具体操作如下：首先，利用变换矩阵U和T将w[k，t]转化为m[t]和a[t]，即：其中，m[t]为记忆空间，用于信息的存取；a[t]为注意力空间，用于计算关注度，实现记忆空间信息的抽取；其次，通过s[t]＝softmax_t(v^Ta[t])和获得一个句子的最终表达M，其中，s[t]为a[t]的归一化加权表示，v为加权系数，softmax_t(·)为t时刻的归一化函数；最后，将计算的语义表示M作为输入向量，并采用softmax(·)分类器判断药物关系属于何种类别。

实验

利用DDIExtraction2013数据集对实施例的药物关系抽取方法进行验证，为了对比不同的参数对4种药物关系分类的影响，实验中设置了三种实验配置，配置内容见表1。其中，Baseline模型采用双层LSTM，不包括残差连接，词向量采用随机初始化形式；Pre-trained模型不包括残差连接，但采用预训练的词向量；提出的ResCon-Att模型则同时包括残差连接以及预训练的词向量。

表1 三种不同的实验配置

实验配置	残差连接	预训练词向量
			Baseline	No	No
Pre-trained	No	Yes
			ResCon-Att	Yes	Yes

基于相同数据集，采用准确率(Precision：P)、召回率(Recall：R)和F值(F-measure：F)三个指标作为评价标准，三种配置的实验结果见表2。

表2 三种配置实验结果

表2结果表明：Pre-trained模型优于Baseline模型，其整体的F值从63.37提高到69.11。这表明：预训练的词向量信息有利于提高模型的识别效果。而ResCon-Att与Pre-trained模型的对比结果表明，引入残差连接的有效的，其进一步将F值从69.11提高到72.43。

再对1层和2层ResCon-Att的分类效果进行比较，结果见表3。

表3 三种配置实验结果

对比结果表明，具有2层结构的ResCon-Att具有更好的分类效果。这主要得益于深层模型有利于学习到更加抽象的信息。

再进一步将提出的ResCon-Att方法和基于统计机器学习方法以及神经网络方法进行了性能对比，结果见表4和表5。

表4 与传统统计机器学习方法的比较

表5 与基于神经网络方法的比较

	P	R	F
				CNN方法^[8]	75.72	64.66	69.75
MCCNN方法^[9]	75.99	65.25	70.21
				SCNN方法^[10]	72.50	65.10	68.60
RNN方法^[11]	74.47	64.96	69.39
				ResCon-Att方法	74.11	70.82	72.43

从表4可以看出，与传统的方法相比提出的ResCon-Att方法分类效果有了明显提升。与神经网络方法，如卷积神经网络(CNN)相比，提出的方法性能也有所提升。

为了说明模型中融入注意力机制的优点，通过数据可视化方法显示了不同单词在关系抽取中的分配权重，见图4。

图4显示：有利于关系抽取和判别的关键词，如synergistic、increase、interaction被提出的方法自动赋予较高的权重，而The、of等词被自动赋予较低。这充分说明提出的模型在一定程度上自主学习到了一些人工特征。因此，其能够更好地实现药物关系的分类。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于残差网络和注意力机制的药物关系抽取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于残差网络和注意力机制的药物关系抽取方法，其特征在于，所述词向量技术中使用的词向量为利用word2vec训练好的词向量。

3.根据权利要求1所述的基于残差网络和注意力机制的药物关系抽取方法，其特征在于，所述长短时记忆模型是在循环神经网络基础上增加了输入门、输出门、遗忘门和记忆单元，控制时序信息的传输，并在实现时序预测的同时增加记忆功能，其数学模型可描述为：

其中，w_t表示t时刻的输入向量，h_t-1和h_t分别表示前一隐含状态和新的隐含状态，i_t、f_t、o_t分别表示t时刻输入门、遗忘门、输出门的输出结果；g_t表示t时刻输入整合的输出结果；c_t、c_t-1分别表示t时刻和t-1时刻记忆状态。W_ix、W_ih、W_fx、W_fh、W_ox、W_oh、W_gx、W_gh表示LSTM神级元待训练的权重系数；b_i、b_f、b_o、b_g表示LSTM神级元待训练的偏置系数；σ(·)为sigmoid激活函数；tanh(·)为双曲正切激活函数；e表示向量乘法运算。

4.根据权利要求1所述的基于残差网络和注意力机制的药物关系抽取方法，其特征在于，将残差连接引入到构建的两层双向长短时记忆模型神经网络的具体操作为：首先，将t时刻k+1层的输入(即k层的输出)w[k+1，t]看成第k层LSTM神经网络的输出w[k，t]与第k隐含层输出h[k，t]的线性加权：w[k+1，t]＝w[k，t]W[k]+h[k，t]，其中，W[k]为k层的转化矩阵；然后，w[k+1，t]＝w[k，t]W[k]+h[k，t]分解为：最后，通过网络训练调整LSTM神经元参数以及W[k]，实现不同输出向量的生成，从而动态构建不同深度和结构的网络模型。

5.根据权利要求1所述的基于残差网络和注意力机制的药物关系抽取方法，其特征在于，融入注意力机制的药物关系抽取方法的具体操作为：首先，利用变换矩阵U和T将w[k，t]转化为m[t]和a[t]，即：其中，m[t]为记忆空间，用于信息的存取；a[t]为注意力空间，用于计算关注度；然后，通过s[t]＝softmax_t(v^Ta[t])和获得一个句子的最终表达M，其中，s[t]为a[t]的归一化加权表示，v为加权系数，softmax_t(·)为t时刻的归一化函数；最后，将计算的语义表示M作为输入向量，并采用softmax(·)分类器判断药物关系属于何种类别。

6.根据权利要求1所述的基于残差网络和注意力机制的药物关系抽取方法，其特征在于，抽取的药物关系类别包括Advice、Effect、Mechanism和Int，其中，Advice为作用建议陈述类，即通过语言描述药物相互作用关系的临床建议；Effect为作用效果陈述类，即通过语言描述药物之间的相互作用效果；Mechanism为作用机理陈述类，即通过语言描述药物之间的相互作用机理；Int为作用程序陈述类，即通过语言描述药物之间的作用程序。