CN110020671A - 基于双通道cnn-lstm网络的药物关系分类模型构建及分类方法 - Google Patents

Abstract

本发明公开了一种基于双通道CNN‑LSTM网络的药物关系分类模型构建方法，对原始药物文本集进行预处理，对预处理后的药物文本集中每个预处理后的药物文本进行逆序操作，获得逆序文本集；将预处理后的药物文本集作为正序文本集；训练神经网络，获得药物关系分类模型；神经网络包括并行的正序文本特征提取层以及逆序文本特征提取层，特征融合层以及分类层；正序文本特征提取层与逆序文本特征提取层均包括依次设置的卷积块以及长短期记忆神经网络块；本发明通过构建了双通道CNN‑LSTM网络，使用CNN提取药物文本的局部特征，使用LSTM分别提取药物文本的全局特征，提取出的药物关系特征更加丰富，使得分类正确率提高。

Description

基于双通道CNN-LSTM网络的药物关系分类模型构建及分类 方法

技术领域

本发明涉及药物关系分类模型构建及分类方法，具体涉及一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法。

背景技术

药物关系是指同时或在一段时间内服用两种或更多种药物所产生的综合效应。这种效应可分为协同效应，拮抗效应和非相互作用。药物之间的相互拮抗效应会对患者造成严重的健康风险。药物关系抽取(DDIE)任务是自然语言处理领域的典型的关系提取任务，旨在检测和识别药物对的语义关系，对减少药物安全事故，促进生物医学技术的发展具有重要意义。

近年来，生物医学和文本挖掘方面的专家在DDIE任务上做出了很大的努力，也创造了很多方法，这些方法主要可以分为三类：基于规则模式的方法，基于统计机器学习的方法和基于深度学习的方法。虽然基于规则模式的方法能够很有针对性的去识别目标文本中的实体关系，但是这种方法有三个很严重的弊端：(1)需要耗费大量的人力和物力去研究目标文本，否则制定出规则的信息抽取质量得不到保证；(2)在制定规则的时候需要该领域内的专家提供大量的先验知识，而且不同的专家可能会因为主观意识的原因制定出标准不一致的规则集合；(3)因为这种方法对领域知识有很强的针对性，所以它只适用于该领域内的信息抽取，泛化能力普遍较差，所以基于规则模式的方法并没有引起研究人员广泛的关注。尽管这些基于统计机器学习的方法表现良好，但是它需要经过精细而又繁琐的特征工程来提取合适的特征集合。然而，这些特征的提取质量取决于现有的自然语言处理工具，因此受到这些工具噪声和成本的不利影响，提取出的特征是无序的，特征质量很难得到有效的保证，导致分类的准确率不高。

发明内容

本发明的目的在于提供一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法，用以解决现有技术中的药物关系分类方法提取出的特征无序性的，导致药物关系分类的准确率不高的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于双通道CNN-LSTM网络的药物关系分类模型构建方法，所述的方法按照以下步骤执行：

步骤1、获得原始药物文本集；

对原始药物文本集中每个原始药物文本中的药物关系进行标注，获得药物关系标签集；

步骤2、对所述的原始药物文本集进行预处理，获得预处理后的药物文本集；

所述的预处理包括文本归一化、文本长度固定以及文本向量映射；

步骤3、对所述的预处理后的药物文本集中每个预处理后的药物文本进行逆序操作，获得逆序文本集；

将所述的预处理后的药物文本集作为正序文本集；

步骤4、将所述的正序文本集以及逆序文本集作为输入，将所述的药物关系标签集作为输出，训练神经网络，获得药物关系分类模型；

所述的神经网络包括依次设置的并行的正序文本特征提取层以及逆序文本特征提取层，特征融合层以及分类层；

所述的正序文本特征提取层与所述的逆序文本特征提取层均包括依次设置的卷积块以及长短期记忆神经网络块。

进一步地，所述的卷积块设置有4个。

进一步地，每个所述的卷积块包括依次设置的批量正则化子层、卷积子层、激活函数子层、卷积子层、激活函数子层以及池化子层。

进一步地，所述的激活函数子层中的激活函数为ReLU函数。

进一步地，所述的特征融合层包括全连接层。

进一步地，所述的分类层包括Softmax函数层。

一种基于双通道CNN-LSTM网络的药物关系分类方法，对待分类的药物文本按照以下步骤执行：

步骤A、采用权利要求1中步骤2的方法对所述的待分类药物文本进行预处理，获得预处理后的药物文本；

步骤B、将所述的预处理后的药物文本输入至权利要求1-6任一项权利要求中所述的药物关系分类模型中，获得分类结果。

本发明与现有技术相比具有以下技术特点：

1、本发明提供的一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法，通过构建了双通道CNN-LSTM网络，使用CNN提取药物文本的局部特征，使用LSTM分别提取药物文本的全局特征，提取出的药物关系特征更加丰富，使得分类正确率提高；

2、本发明提供的一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法，通过将药物关系文本的正序文本和逆序文本分别送入CNN-LSTM网络完成特征提取过程，相较于单通道的LSTM网络，提取出的药物关系特征更加全面，使得分类正确率提高；

3、本发明提供的一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法，通过提取药物文本特征向量，简化了药物特征向量提取的过程，提高了药物关系分类的正确率；

4、本发明提供的一种基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法，将包含多个药物实体的原始药物关系文本作为输入，无需人工干预和相关领域知识，不需要人工提取复杂的文本特征，泛化能力强。

附图说明

图1为本发明的一个实施例中提供的药物分类模型结构图；

图2为本发明的一个实施例中提供的卷积块内部结构图。

具体实施方式

首先对具体实施方式中出现的术语做出解释：

长短期记忆神经网络(LSTM)：LSTM网络由输入门、遗忘门、输出门和记忆单元构成，LSTM通过这种复杂的门控机制，可以有效的学习输入数据的长期依赖信息，在文本数据和轨迹数据等序列化信息的处理上有着广泛的应用。

卷积神经网络(CNN)：一种包含卷积计算且具有深度结构的前馈神经网络。

实施例一

如图1所示，在本实施例中公开了一种基于双通道CNN-LSTM网络的药物关系分类模型构建方法，所述的方法按照以下步骤执行：

步骤1、获得原始药物文本集；

对原始药物文本集中每个原始药物文本中的药物关系进行标注，获得药物关系标签集；

在本实施例中采集的生物医学文本，可以通过生物医学文献和论文等方式进行采集，获取的文本可以为文献和论文的局部或整体，但需要保证文本语义表达完整。

该原始药物文本中至少需要包含两个目标药物名称词，这两个目标药物名称词为涉及药物关系分类的药物单词，其余均为其他单词，例如在本实施例中原始药物文本为：“Some quinolones,including ciprofloxacin,have been associated with transientelevations in serum creatinine in patients receiving cyclosporineconcomitantly”，其中“quinolones”、“ciprofloxacin”和“cyclosporine”为药物名称词，剩下的单词为其他单词。

在本文采用的数据集中，文本的长度在0到150词之间，大部分的文本长度分布在20到60词之间，而且后向依赖的现象(例如定语从句等语法现象)在数据集中占46％。

药物关系标签包括5种，分别是advice建议，effect作用，mechanism药物机理，int正向以及无关系false。

步骤2、对所述的原始药物文本集进行预处理，获得预处理后的药物文本集；

所述的预处理包括文本归一化、文本长度固定以及文本向量映射；

在本实施例中，对原始药物文本集的预处理方式利用了专利《基于多层卷积神经网络的药物关系分类方法》中对药物文本集的与处理方式。于原始药物文本集中的每一个原始药物文本格式不一长度各异，且药物名称词复杂且生僻，在采用神经网络进行分类时，容易引入误差，因此首先需要对采集的原始药物文本进行预处理，其中包括将原始药物文本中的所有单词进行词形归一化，即将所有单词的词形统一；将目标药物名称词采用统一的命名方式进行命名并且将原始的目标药物名称词以命名后的形式进行替换，具体操作以如下步骤：

步骤2.1、将所述原始药物文本集中所有单词进行归一化，以统一形式命名，再利用统一形式命名后的目标药物名称词将所述的目标药物名称词进行替换，获得归一化后的药物文本集；

其中，归一化包括词形归一化以及命名归一化；

为使药物文本在分类时，能够更加准确的分类，减少误差引入，因此要将原始药物文本中的每一个单词进行词形归一化，将它们转换为统一的格式。对原始药物文本中的每一个单词进行词形归一化，获得归一化后的原始药物文本，直至原始药物文本集中的每一个原始药物文本中的每一个单词都经过了词形归一化，获得归一化后的原始药物文本集。

为了提高神经网络的泛化性，将药物文本中的所有目标药物名称词首先以统一形式命名，统一形式为“X序号”的形式，其中X可以是任何英文单词,例如“day”、“interaction”等等，序号为以英文形式的排序序号，例如“one,two,three”等等，并将该统一命名后的名称替换掉原目标药物词的名称，替换之后的目标药物名称词即为“drugone”、“drugtwo”和“drugthree”等，药物文本之间不存在影响，获得预处理后的药物文本集。

步骤2.2、将归一化后的药物文本集中每一个药物文本统一长度，获得长度固定后的药物文本集；

将所述的预处理后的药物文本集中的每一个药物文本的长度固定为n，对于长度小于n的文本进行填充，填充的方式可以为采用全零活随机数的方式，则药物文本可以表示为：

S＝w₁w₂w₃...w_n

步骤2.3、对所述的长度固定后的药物文本集中每一个长度固定后的药物文本进行向量映射，获得预处理后的药物文本集；

由于神经网络无法将自然语言形式的文本直接作为输入进行处理，因此将药物文本映射为数字形式的文本向量，包括以下步骤：

a、构造词向量表，所述的词向量表由单词和对应的数字词向量构成；

词向量表由单词和对应的数字词向量构成，在词向量表中每一个词都对应唯一的数字形式的词向量，尽可能的将更多的词填入该表中，使词向量表能够涵盖较多的词。

为能够转换出更多有意义的词向量，在本实施例中，采用Stanford大学NLP研究小组提供GloVe(Global Vectors for Word Representation)模型词向量表，其中包括2196016个词向量，每个词向量的维数为300。如果输入原始文本中的词不在此词向量表中，则该词的词向量的每一维被初始化为0。

b、通过查表的方式将药物文本集中每一个长度固定的药物文本进行映射，获得预处理后的药物文本集。

对于一个n维药物文本中的每一个词都通过查所述的词向量表的方式，映射成一个d维的向量，通过此种方式将n维药物文本中的每一个词都映射成一个d维的词向量，因此一个长度为n的原始药物文本S就映射为一个(n×d)维的文本向量：

而对于一个包含有m个长度为n的原始药物文本S就映射为一个m×(n×d)的文本向量集，在药物文本集中包含有m个(n×d)维的文本向量。

步骤3、对所述的预处理后的药物文本集中每个预处理后的药物文本进行逆序操作，获得逆序文本集；

将所述的预处理后的药物文本集作为正序文本集；

自然语言中还有逆序的文本，比如定语后置等语言现象，在本方案中，为使提取的特征更加全面，使用正序药物文本和逆序药物文本分别对神经网络训练，获得分类模型。

对药物文本进行逆序操作时，将文本向量中的顺序颠倒，例如一个1维的向量[0.21 0.35 0.62 0.85 0.96]，经过逆序后为：[0.96 0.85 0.62 0.35 0.21]。

步骤4、将所述的正序文本集以及逆序文本集作为输入，将所述的药物关系标签集作为输出，训练神经网络，获得药物关系分类模型；

所述的神经网络包括并行的正序文本特征提取层以及逆序文本特征提取层，特征融合层以及分类层；

所述的正序文本特征提取层与所述的逆序文本特征提取层结构相同，均包括依次设置的卷积块以及长短期记忆神经网络块。

在本实施例中，为了提高药物关系分类的准确率，对神经网络的结构进行了重新的设计，如图1所示，首先使用卷积块来提取文本的局部特征，然后把这些局部特征送入到LSTM模型来补充提取文本的全局特征和时序特征，但是这也是是能处理正序的文本，如果遇到那种定语从句之类的后向修饰的文本，处理能力还是很弱，所以使用两个相同的特征提取层分别处理输入文本的正序和逆序，然后把提取出来的正序和逆序特征结合，获得最终的文本特征；之后再将文本特征输出至分类层中进行分类。

在本实施例中，卷积块的个数低于4个提取到的局部特征不够准确，卷积块的个数高于4个，会出现过拟合的现象，导致特征提取失败，因此作为一种优选的实施方式，卷积块设置有4个。

可选地，所述的每个卷积块包括依次设置的批量正则化子层、卷积子层、激活函数子层、卷积子层、激活函数子层以及池化子层。

在本实施例中，如图2所示，正序药物文本以及逆序药物文本均会送入到卷积块之后先进入批量正则化层，批量正则化层的作用是使输入数据更加满足正态分布，满足正态分布的样本训练的速度会大大提高，准确率也会提高。

在本实施例中，正则化之后的数据送入卷积层进行卷积操作，卷积层的参数设置为：卷积单元filter的个数128个。

之后进入激活函数，将卷积之后无意义的数据删除，作为一种优选的实施方式，激活函数是Relu函数。

再重复以上卷积和激活的操作，将得到的数据送入池化层，池化层使用的是最大池化操作，比如说，一个池化窗口大小是2*2的，将这个2*2的池化窗口在卷积和激活之后的数据上滑动，滑动的过程中将窗口内最大的数字选出来作为代表，滑动多少次就有多少个代表，然后使用这些代表作为原始数据的代表。这样的做的好处在于：在保证文本特证不丢失的前提下，将数据缩小，加快网络的训练。

正序药物文本以及逆序药物文本在通过4个这样相同的卷积块之后，再进入长短期记忆神经网络块中来获取药物关系文本中存在的全局特征和时序特征。

在本实施例中，长短期记忆神经网络块中节点个数设置为64个。

可选地，所述的特征融合层包括全连接层。

在本实施例中，将正序药物文本以及逆序药物文本分别送入到上述的CNN-LSTM网络之后，分别得到正序文本特征和逆序文本特征，将这两个特征同时送入到全连接层。比如说正向文本特征和逆序文本特征都有100个，则构建一个第一层为200个节点，第二层为100个节点的全连接层，正向文本特征送入第一层前100个节点，逆序文本特征送入第一层后100个节点，然后将这200个特征通过这种方式融合在一起。

可选地，所述的分类层包括Softmax函数层。

在本实施例中，全连接层和Softmax函数层组成了药物关系分类算法的最后一部分，用于根据类别的数量输出数字向量形式的药物关系标签，从而确定最后的药物关系分类的最终结果，全连接层和Softmax函数层的每一个输出节点代表一个药物类别，分类器最终输出的药物标签是给定药物实体对属于各个药物类别的概率，并且该概率值在[0，1]。例如，现假定药物关系有2种，分别代表有关系和没有关系，则Softmax函数层的输出节点设置为2个，即有两种药物关系，分别代表positive和negative，假如Softmax函数层输出的数字向量形式的药物关系标签为p[positive,negative]＝[0.1,0.9],即Softmax函数层输出的结果中，存在positive的概率值为0.1，存在negative的概率值为0.9，然后以此来判断。在本实施例中，药物关系包括5种，分别是advice建议，effect作用，mechanism药物机理，int正向以及无关系false。

采用上述的输入与输出对所述的层次化卷积循环神经网络进行训练，获得药物关系分类层次化卷积循环神经网络，所述的药物关系文本和每一个药物关系标签均为数字向量形式；重复训练N次所述的层次化卷积循环神经网络，以这N次训练性能最好的层次化卷积循环神经网络作为所述的药物关系分类层次化卷积循环神经网络，其中N>＝1。

一个分类层次化卷积循环神经网络的训练集，其包括两部分，一是预处理后输入分类层次化卷积循环神经网络的药物文本集，二是预处理后的药物文本集中每一条药物文本对应的原始药物文本中，目标药物名称词之间的药物关系标签，获得对药物文本集中每一条药物文本对应的药物关系标签集作为多层卷积网络的目标输出。同样的，分类层次化卷积循环神经网络的测试集也包括两部分，不同的是在测试的过程中，只将预处理后的药物文本集输入到已经训练好的分类层次化卷积循环神经网络里，分类层次化卷积循环神经网络会根据输入的药物文本数据和训练好的模型参数获得模型预测的药物分类结果集，然后将药物分类结果集和药物关系的真实标签做比较，以两者比较的结果评价分类层次化卷积循环神经网络的性能。

在本实例中，采用DDIExtraction 2013药物关系数据集作为药物关系文本对分类层次化卷积循环神经网络进行训练和测试，将整个数据集的80％作为训练集、20％作为测试集，即训练集由27792条药物关系文本样例组成，测试集由6409条药物关系文本样例组成。然后使用划分好的训练集对层次化卷积循环神经网络进行10次训练，选取10次训练中模型效果最好的模型作为药物关系层次化卷积循环神经网络的最终模型。

实施例二

一种基于双通道CNN-LSTM网络的药物关系分类方法，对待分类的药物文本按照以下步骤执行：

步骤A、采用实施例1中步骤2的方法对所述的待分类药物文本进行预处理，获得预处理后的药物文本；

步骤B、将所述的预处理后的药物文本输入实施例1中所述的药物关系分类模型中，获得分类结果。

在训练好最终的药物关系层次化卷积循环神经网络后，模型就可以预测任何药物关系文本中所涉及的药物关系，将药物关系未知的药物文本输入药物关系层次化卷积循环神经网络，从药物关系层次化卷积循环神经网络输出的数字向量中选取概率最大的药物关系作为未知药物关系的药物文本的药物关系分类结果。

在本实施例中，待分类药物文本为“Some quinolones have been associatedwith transient elevations in serum creatinine in patients receivingcyclosporine concomitantly”，第一个目标药物名称词为quinolones，第二个目标药物名称词为cyclosporine，通过训练好的药物关系层次化卷积循环神经网络进行药物关系分类，输出的药物关系数字向量标签为：

P[mechanism,advice,effect,int,false]＝[0.02,0.09,0.1,0.67,0.12]

即两个目标药物quinolones、cyclosporine之间的存在mechanism的概率为2％，即两个目标药物quinolones、cyclosporine之间的存在advice的概率为9％，即两个目标药物quinolones、cyclosporine之间的存在effect的概率为10％，即两个目标药物quinolones、cyclosporine之间的存在int的概率为67％，即两个目标药物quinolones、cyclosporine之间的存在false的概率为12％，其中存在int关系的概率最高为67％，因此采用药物关系层次化卷积循环神经网络将两个目标药物quinolones、cyclosporine之间的关系分类为int正向关系。

本方案提供的基于双通道CNN-LSTM网络的药物关系分类方法与现有技术中药物分类算法相比，其性能比较表1，在评价一个药物关系分类方法性能好坏时，准确率、召回率和F值越大，说明药物关系分类模型性能越好，从表1中可以看出，本发明提出的药物关系层次化卷积循环神经网络在准确率、召回率和F值三个指标上都要明显的优于其他方法，这也证明了本发明提出的基于层次化双向卷积循环神经网络的药物关系分类方法在药物关系分类问题上拥有最优的分类性能。

表1本发明提供的药物关系分类方法与其他药物关系分类方法性能对比

Claims (7)

1.一种基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，所述的方法按照以下步骤执行：

步骤1、获得原始药物文本集；

对原始药物文本集中每个原始药物文本中的药物关系进行标注，获得药物关系标签集；

步骤2、对所述的原始药物文本集进行预处理，获得预处理后的药物文本集；

所述的预处理包括文本归一化、文本长度固定以及文本向量映射；

步骤3、对所述的预处理后的药物文本集中每个预处理后的药物文本进行逆序操作，获得逆序文本集；

将所述的预处理后的药物文本集作为正序文本集；

步骤4、将所述的正序文本集以及逆序文本集作为输入，将所述的药物关系标签集作为输出，训练神经网络，获得药物关系分类模型；

所述的神经网络包括依次设置的并行的正序文本特征提取层以及逆序文本特征提取层，特征融合层以及分类层；

所述的正序文本特征提取层与所述的逆序文本特征提取层均包括依次设置的卷积块以及长短期记忆神经网络块。

2.如权利要求1所述的基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，所述的卷积块设置有4个。

3.如权利要求2所述的基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，每个所述的卷积块包括依次设置的批量正则化子层、卷积子层、激活函数子层、卷积子层、激活函数子层以及池化子层。

4.如权利要求3所述的基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，所述的激活函数子层中的激活函数为ReLU函数。

5.如权利要求1所述的基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，所述的特征融合层包括全连接层。

6.如权利要求1所述的基于双通道CNN-LSTM网络的药物关系分类模型构建方法，其特征在于，所述的分类层包括Softmax函数层。

7.一种基于双通道CNN-LSTM网络的药物关系分类方法，其特征在于，对待分类的药物文本按照以下步骤执行：

步骤A、采用权利要求1中步骤2的方法对所述的待分类药物文本进行预处理，获得预处理后的药物文本；

步骤B、将所述的预处理后的药物文本输入至权利要求1-6任一项权利要求中所述的药物关系分类模型中，获得分类结果。