CN111798954A - 基于时间注意力机制和图卷积网络的药物组合推荐方法 - Google Patents
基于时间注意力机制和图卷积网络的药物组合推荐方法 Download PDFInfo
- Publication number
- CN111798954A CN111798954A CN202010529940.5A CN202010529940A CN111798954A CN 111798954 A CN111798954 A CN 111798954A CN 202010529940 A CN202010529940 A CN 202010529940A CN 111798954 A CN111798954 A CN 111798954A
- Authority
- CN
- China
- Prior art keywords
- vector
- ddi
- drug
- network
- ehr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 239000000890 drug combination Substances 0.000 title claims description 36
- 239000003814 drug Substances 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims abstract description 87
- 229940079593 drug Drugs 0.000 claims abstract description 78
- 230000036541 health Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000011282 treatment Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 238000003745 diagnosis Methods 0.000 claims abstract description 25
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 claims abstract description 20
- 238000000547 structure data Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000000306 recurrent effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000002560 therapeutic procedure Methods 0.000 claims description 14
- 230000001225 therapeutic effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000002411 adverse Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 239000013604 expression vector Substances 0.000 claims description 7
- 206010061623 Adverse drug reaction Diseases 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 206010067484 Adverse reaction Diseases 0.000 claims description 3
- 230000006838 adverse reaction Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 4
- 125000004122 cyclic group Chemical group 0.000 abstract description 3
- 238000003062 neural network model Methods 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 13
- 230000008406 drug-drug interaction Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011269 treatment regimen Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229940126585 therapeutic drug Drugs 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供了一种基于时间注意力机制和图卷积网络的药物组合推荐方法；本发明能够在复杂的医疗环境中，为重症患者的治疗推荐合理的药物，帮助临床医生治疗患者。电子健康档案中的诊断和治疗都采用了统一编码格式进行了编码，保存了诊断和治疗中的时间按序列信息，通过将编码转化为向量，利用两层循环神经网络组成的时间注意力机制来捕获时间序列信息；针对电子健康档案中医生开出处方的药物与已知药物不良反应的药物，转化成图网络结构数据来描述不同药物组合之间的关系，利用图卷积网络来学习药物图网络中的医疗用药知识。与传统相比，简化的图卷积网络在维持预测准确性不变的情况下，减少了神经网络模型计算参数，降低了训练学习时间。
Description
技术领域
本发明涉及基于时间注意力机制和图卷积网络的药物组合推荐方法。
背景技术
随着大量医疗数据的产生，深度学习技术在医疗领域显示出强大的预测潜力。在过去的十年里，记录患者健康信息的电子健康档案(Electronic health record，EHR)***迅速发展，它在医疗相关的研究领域发挥了巨大的作用，例如医学概念的提取、病人活动轨迹的建模、疾病的推理、临床决策***的建立和药物组合的预测等。利用深度学习技术和EHR数据库里的丰富信息，医生可以更方便、准确地为病情复杂的患者提供治疗。一般来说，医疗事件可以分为诊断、治疗和用药。这些医学概念可以用编码来表示，以便对临床事件进行更好的建模。因此，国际疾病分类(International classification of disease，ICD)用来区分疾病和治疗程序，美国国家药品编码(National drug code，NDC)用来对药品编码。这样患者看病过程就可以用ICD码来表示，患者看病过程使用的药物就可以用NDC码来表示。然而，这些医疗编码维度通常都很高，此时想要用向量来表示这些编码，并且尽可能保存原来存在于编码中的信息就比较困难。而且，ICD编码继承了诊断和治疗中的时间序列信息，患者处方中各种各样的药物组合使得NDC编码之间的关系十分复杂。
电子健康档案中的时间序列存在长度不一、采用不规律、数据丢失的问题。传统的机器学习方法在进行特征提取时，可能会忽略与预测精度相关的时间和序列关系，而这些特征是和预测的准确性相关联的。现有的研究可以分为两类来提取电子健康档案中的时间序列序列特征。第一种是基于马尔可夫决策的方法，它根据病人目前的健康状况，提供有原则的治疗方案，这种方法是想获得最佳的决策序列。但是，它继承了马尔可夫变换中的无记忆特征。第二种是基于循环神经网络(Recurrent neural networks，RNN)的方法，它在时间序列的学习中取得了良好的效果，并在许多领域得到了应用。循环神经网络的递归结构决定了，下一个隐藏状态的获取是基于前一个隐藏状态的序列信息。因此，与无记忆的马尔可夫模型相比，递归结构使基于循环神经网络的模型具有记忆功能。在近期研究中，基于循环神经网络(RNN)构建的注意力机制在自然语言处理、语音识别和医疗领域取得了很大的成功，在这些研究中表明注意力机制可以有效识别出关注重点，从而提高模型效果。
药物组合和疾病有关，但是一般的药物组合推荐方法没有考虑到疾病之间的关系。例如，一个刚刚患上某种疾病的患者，可能会得到和忍受疾病折磨多年的患者一样的用药治疗。这些患病多年的患者临床病史较长，可能同时患有多种疾病，因此他们的治疗需要考虑疾病之间的关系。有一些研究使用图卷积网络(Graph convolutional networks，GCN)来学习药物组合之间的关系，他们试图利用图的数据结构来表示隐藏在药物组合中的医学知识，图卷积网络在表示药物组合图节点方面具有良好的性能。更具体地说，在图中给每个节点一个初始向量，药物节点的嵌入向量是相邻节点权重相加的结果。这样，每个节点都聚集了一个局部子图的特征，这个局部子图就相当于同时患有多种疾病患者的药方。因此，图卷积网络的嵌入向量可以更好地描述药物组合之间的关系。该策略在药物与药物相互作用(Drug-drug interaction，DDI)图中取得了成功。但是，图卷积层重复线性变换会导致更高的复杂度和不必要的计算，而在稠密图中这个问题更加明显。简化的图卷积网络(Simplegraph convolution，SGC)移除卷积层之间的特征变换与非线性转化，在多个数据集上的测试结果表明这种策略不仅不会影响图网络结构的学习效果，而且降低了计算资源消耗。
本发明主要关注多次进入重症监护室的患者，其中大部分患者都患有多种疾病。在这种情况下，时间序列信息和药物之间的关系就更加复杂。最佳的药物组合有助于患者恢复，但是严重的药物不良反应可能会伤害到患者的健康，因此推荐出治疗效果好的药物组合并不容易。现有的关于药物组合推荐的研究可分为基于规则的方法和基于知识的方法。基于规则的方法中，治疗规则是根据医生的经验或者机构的指导方针来定义。为了适应个体治疗而提出了自适应治疗策略(Adaptive treatment strategies，ATS)，这是随着患者健康状况的变化而变化的一系列决策规则。例如，通过对治疗青少年抑郁的可行性和接受能力的评估，调整四种自适应治疗策略。慢性病的管理遵循由专家委员会制定的标准方法，尽管知识模式有助于这些复杂的规则，但是同时也受到医生知识的限制。医生通常根据个人经验和现有的医疗资源来为患者治疗。而且，在重症监护室的患者通常患有多种疾病。在如此复杂的情况下，基于规则的方法无法产生符合要求的药物组合。然而，基于知识的方法能够利用电子健康档案中的医学知识来预测药物组合。这些方法利用深度学习技术自动提取医学知识，弥补了医生的知识鸿沟。因此，本发明利用了两种深度学习模型来为医生推荐治疗药物组合，即注意力机制与简化的图卷积网络。注意力机制用以提取电子健康档案中诊断和治疗程序中的时间序列知识，简化的图卷积网络用以学习电子健康档案中医生所开处方和已知药物不良反应中的药物知识。
发明内容
本发明的目的是提供了一种基于时间注意力机制和图卷积网络的药物组合推荐方法。
本发明是通过以下技术方案实现的：
本发明涉及基于时间注意力机制和图卷积网络的药物组合推荐方法，其特征在于包括以下步骤：
S1：诊断，治疗程序与用药组成了每位患者的医疗事件xi，其中每位患者的诊断代码和治疗程序代码，经过独热(One-hot)编码后成为统一维度的诊断向量
与治疗向量
利用线性嵌入方式，转化为诊断嵌入向量
和治疗嵌入向量
其中，wd和wp分别表示学习的嵌入矩阵，计算方式为：
S2：利用循环神经网络RNNα分别学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数αd与治疗注意力参数αp。同样的，利用另外一个循环神经网络RNNβ学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数βd与治疗注意力参数βp。其中，两个循环神经网络使用了不同的激活函数，即fα＝tanh()和fβ＝tanhshrink()。oα和oβ分别为两个循环神经网络的输出向量，wα,bα,wβ,bβ分别表示神经网络要学习的参数。用
来表示诊断嵌入向量
或治疗嵌入向量
那么计算过程如下：
S3：利用前两步计算的诊断嵌入向量
诊断注意力参数αd与βd，以及治疗嵌入向量
治疗注意力参数αp与βp，将诊断表示向量为
治疗表示向量为
那么患者就诊向量就可以表示为
S4:由S3得到的每位患者就诊向量表示Pi及其对应的用药独热编码
组成一对键值对，为了把相似的患者就放在一起，所有患者保存为键值对的字典结构数据，得到患者的就诊历史向量H，n表示患者数量，计算过程如下：
S5：输入电子健康档案(EHR)中患者处方用药构成的网络Gehr＝(V,δehr)和已知的药物不良反应(DDI)构成的网络Gddi＝(V,δddi)。其中，V是图节点，表示各种药物；δehr是电子健康档案中药物图网络中连接节点的边，δddi是已知药物不良反应中药物图网络的边，δehr与δddi表示了药物之间的关系连接。这样就得到电子健康档案中药物图网络的度矩阵Dehr，初始邻接矩阵Aehr，单位矩阵Iehr和已知药物不良反应中药物图网络的度矩阵Dddi，初始邻接矩阵Addi，单位矩阵Iddi。然后，对上述矩阵做如下处理，得到归一化后电子健康档案中药物图网络的矩阵Nehr与已知药物不良反应中药物图网络的矩阵Nddi，计算公式如下：
S6：电子健康档案中药物的独热编码组成向量阵Mehr，已知药物不良反应中药物的独热编码组成向量矩阵Mddi，初始化隐藏的权值参数矩阵Wehr和Wddi，以及权重变量λ，对网络中的药物知识进行融合，计算出融合后的药物知识向量K，公式如下：
K＝NehrMehrWehr+λ(NddiMddiWddi) (4)
S7：K是由S6得到的融合药物知识，Pi表示每位患者就诊向量。在患者历史表示向量H中，
表示第i位患者的键向量，
表示第i位患者的值向量，激活函数计算后获得输出向量
和
计算过程如下：
S8：通过Sigmoid函数σ来预测药物，计算过程如下：
S9：利用损失函数来降低预测错误的损失，其中，i和j分别表示第i和j位患者，t表示第t次就诊，T表示总共就诊次数；
为电子健康档案记录的医生为患者开的治疗药物，
为方法预测推荐的药物；π[0]和π[1]表示调节权重，且π[0]+π[1]＝1；s′表示药物组合中发在药物不良反应的可能性，s表示期望得到的药物不良反应的可能性参数，η表示惩罚系数参数；
损失函数的计算过程如下：
S10：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确；DDI Rate来衡量预测的药物组合安全性，值越低表明预测的药物组合发生不良反应的情况越低，药物组合的安全性就更加可靠。T表示总共就诊次数，N表示总共患者数量；
为医生为第i位患者在第t次就诊开的治疗药物，
是方法预测推荐的药物，(ca,cb)表示预测药物a与b是在已知药物不良反应集合δddi中的组合。以公式(9)计算Jaccard，公式(10)计算的Recall和Precision为横纵坐标的点连接成的曲线与坐标轴围成的面积即为PRAUC，公式(12)计算F1，公式(12)计算DDI Rate。
在本发明的方法有以下优点：
(1)本发明采用电子健康档案中的诊断和治疗都采用了统一编码格式进行了编码，保存了诊断和治疗中的时间按序列信息，通过将编码转化为向量，利用两层循环神经网络组成的时间注意力机制来捕获时间序列信息，可以提高预测的准确性。
(2)本发明针对电子健康档案中医生开出处方的药物与已知药物不良反应的药物，转化成图网络结构数据来描述不同药物组合之间的关系，利用简化的图卷积网络来学习图网络结构中的医疗用药知识；在不同的指标上衡量预测药物组合的准确性和安全性。
(3)本发明能够在复杂的医疗环境中，为重症患者的治疗推荐合理的药物，帮助临床医生治疗患者。与传统的图卷积网络相比，简化的图卷积网络在维持预测准确性不变的情况下，减少了神经网络模型计算参数，降低了训练学习时间。
附图说明
图1为本发明的流程图；
图2为本发明的详细图解；
图3为时间注意力机制的详细图解；
图4为简化的图卷积网络详细图解；
图5展示了在多种度量指标上的药物组合预测结果图。(a)为在Jaccard指标上的得分百分比；(b)为在PRAUC指标上的得分百分比；(c)为在F1指标上的得分百分比；(d)为在DDI Rate指标上的得分百分比；
图6展示了本方法在使用简化的图卷积网络之后，训练时间的变化图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。应当指出的是，以下的实施实例只是对本发明的进一步说明，但本发明的保护范围并不限于以下实施例。
实施例
本实施例涉及基于时间注意力机制和图卷积网络的药物组合推荐方法，见图1所示：包括以下步骤：
S1：诊断，治疗程序与用药组成了每位患者的医疗事件xi，其中每位患者的诊断代码和治疗程序代码，经过独热(One-hot)编码后成为统一维度的诊断向量
与治疗向量
利用线性嵌入方式，转化为诊断嵌入向量
和治疗嵌入向量
其中，wd和wp分别表示学习的嵌入矩阵，计算方式为：
S2：利用循环神经网络RNNα分别学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数αd与治疗注意力参数αp。同样的，利用另外一个循环神经网络RNNβ学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数βd与治疗注意力参数βp。其中，两个循环神经网络使用了不同的激活函数，即fα＝tanh()和fβ＝tanhshrink()。oα和oβ分别为两个循环神经网络的输出向量，wα,bα,wβ,bβ分别表示神经网络要学习的参数。用
来表示诊断嵌入向量
或治疗嵌入向量
那么计算过程如下：
S3：利用前两步计算的诊断嵌入向量
诊断注意力参数αd与βd，以及治疗嵌入向量
治疗注意力参数αp与βp，将诊断表示向量为
治疗表示向量为
那么患者就诊向量就可以表示为
S4:由S3得到的每位患者就诊向量表示Pi及其对应的用药独热编码
组成一对键值对，为了把相似的患者就放在一起，所有患者保存为键值对的字典结构数据，得到患者的就诊历史向量H，n表示患者数量，计算过程如下：
S5：输入电子健康档案(EHR)中患者处方用药构成的网络Gehr＝(V,δehr)和已知的药物不良反应(DDI)构成的网络Gddi＝(V,δddi)。其中，V是图节点，表示各种药物；δehr是电子健康档案中药物图网络中连接节点的边，δddi是已知药物不良反应中药物图网络的边，δehr与δddi表示了药物之间的关系连接。这样就得到电子健康档案中药物图网络的度矩阵Dehr，初始邻接矩阵Aehr，单位矩阵Iehr和已知药物不良反应中药物图网络的度矩阵Dddi，初始邻接矩阵Addi，单位矩阵Iddi。然后，对上述矩阵做如下处理，得到归一化后电子健康档案中药物图网络的矩阵Nehr与已知药物不良反应中药物图网络的矩阵Nddi，计算公式如下：
S6：电子健康档案中药物的独热编码组成向量阵Mehr，已知药物不良反应中药物的独热编码组成向量矩阵Mddi，初始化隐藏的权值参数矩阵Wehr和Wddi，以及权重变量λ，对网络中的药物知识进行融合，计算出融合后的药物知识向量K，公式如下：
K＝NehrMehrWehr+λ(NddiMddiWddi) (4)
S7：K是由S6得到的融合药物知识，Pi表示每位患者就诊向量。在患者历史表示向量H中，
表示第i位患者的键向量，
表示第i位患者的值向量，激活函数计算后获得输出向量
和
计算过程如下：
S8：通过Sigmoid函数σ来预测药物，计算过程如下：
S9：利用损失函数来降低预测错误的损失，其中，i和j分别表示第i和j位患者，t表示第t次就诊，T表示总共就诊次数；
为电子健康档案记录的医生为患者开的治疗药物，
为方法预测推荐的药物；π[0]和π[1]表示调节权重，且π[0]+π[1]＝1；s′表示药物组合中发在药物不良反应的可能性，s表示期望得到的药物不良反应的可能性参数，η表示惩罚系数参数；
损失函数的计算过程如下：
S10：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确；DDI Rate来衡量预测的药物组合安全性，值越低表明预测的药物组合发生不良反应的情况越低，药物组合的安全性就更加可靠。T表示总共就诊次数，N表示总共患者数量；
为医生为第i位患者在第t次就诊开的治疗药物，
是方法预测推荐的药物，(ca,cb)表示预测药物a与b是在已知药物不良反应集合δddi中的组合。以公式(9)计算Jaccard，公式(10)计算的Recall和Precision为横纵坐标的点连接成的曲线与坐标轴围成的面积即为PRAUC，公式(12)计算F1，公式(12)计算DDI Rate。
将本实施例所涉及的基于时间注意力机制和图卷积网络的药物组合推荐方法用于患者，各项医疗统计信息，如表1所示：
表1
本发明详解图见附图2，本发明主要涉及两种技术，即时间注意力机制和简化的图卷积网络(SGC)，时间注意力机制用来提取时间序列特征，简化的图卷积网络降低计算量，减少对计算资源的消耗。诊断和治疗代码通过独热编码转换成统一编码xd和xp，利用线性嵌入转化成诊断嵌入向量ed和治疗嵌入向量ep后，输入到两个循环神经网络(RNN)计算注意力参数α和β，利用注意力参数计算患者就诊表示向量P与病史表示向量H。简化的图卷积神经网络(SGC)用以学习电子健康档案(EHR)和药物不良反应数据库(DDI)的药物知识K，结合循环神经网络对诊断和治疗学习的患者就诊表示向量P与病史表示向量H，来预测药物组合。通过计算损失函数，利用反向传播来降低预测误差。
本发明涉及的时间注意力机制见附图3。时间注意力机制是建立在循环神经网络(RNN)的基础上，利用注意力参数提取更加准确的时间序列特征。通过两个循环神经网络对嵌入向量进行学习，利用不同激活函数计算输出向量，分别获取嵌入向量的注意力权重α和β，通过权重叠加来获得诊断或治疗程序的向量表示形式。
本发明涉及图卷积网络详细图解见图4。简化的图卷积网络(SGC)将传统的图卷积网络(GCN)进行简化，去除了图卷积计算过程中的特征变换与非线性转换。具体来说，相对于传统的图卷积神经网络(GCN)，简化的图卷积神经网络(SGC)通过反复消除卷积层之间的非线性并将得到的函数折叠成一个线性变换来减少额外复杂度。
在多种度量指标上的药物组合预测对比结果，见图5。图5中所显示的CompNet、RNN、RETAIN、LEAP、DMNC、G-BERT和GAMENet是用来与本方法(AMSGC)对比的方法。Jaccard、PRAUC和F1是衡量预测药物准确性的指标，分值越高，表示预测的结果越准确；DDI Rate是衡量预测药物组合安全性的指标，分值越低，表示发生药物不良反应的可能性越小。(a)为在Jaccard指标上的得分百分比；(b)为在PRAUC指标上的得分百分比；(c)为在F1指标上的得分百分比；(d)为在DDI Rate指标上的得分百分比。结果显示，本方法(AMSGC)预测的药物比其他准确，并且能够控制药物不良反应发生。
本发明所述方法在运用时间注意力机制和简化的图卷积网络后的实验对比效果，见表2。与运用循环神经网络的方法(RNN-based AMSGC)对比结果显示，本方法(AMSGC)运用的时间注意力机制可以提高预测的准确性；与运用传统的图卷积网络(GCN-based AMSGC)对比结果显示，本方法(AMSGC)运用简化的图卷积网络没有对预测的准确性造成影响。
表2
本发明所涉及的方法在运用简化的图卷积网络之后，训练时间的变化，见图6。基于简化的图卷积网络方法(即SGC-based AMSGC，用折线b表示)每次训练时间都比基于传统的图卷积网络方法(即GCN-based AMSGC，用折线a表示)明显降低。如表3所示，计算参数对比统计结果显示，基于简化的图卷积网络方法(SGC-based AMSGC)计算参数比基于传统的图卷积网络方法(GCN-based AMSGC)有所降低，这也就意味着将会消耗更少的计算资源。
表3
| 方法 | 参数 |
| GCN-basedAMSGC | 635603 |
| SGC-basedAMSGC | 627283 |
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质。
Claims (1)
1.一种基于时间注意力机制和图卷积网络的药物组合推荐方法，其特征在于包括以下步骤：
S1：诊断，治疗程序与用药组成了每位患者的医疗事件xi，其中每位患者的诊断代码和治疗程序代码，经过独热编码后成为统一维度的诊断向量
与治疗向量
利用线性嵌入方式，转化为诊断嵌入向量
和治疗嵌入向量
其中，wd和wp分别表示学习的嵌入矩阵，计算方式为：
S2：利用循环神经网络RNNα分别学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数αd与治疗注意力参数αp；同样的，利用另外一个循环神经网络RNNβ学习诊断嵌入向量
与治疗嵌入向量
得到诊断注意力参数βd与治疗注意力参数βp；其中，两个循环神经网络使用了不同的激活函数，即fα＝tanh()和fβ＝tanhshrink()；oα和oβ分别为两个循环神经网络的输出向量，wα,bα,wβ,bβ分别表示神经网络要学习的参数。用
来表示诊断嵌入向量
或治疗嵌入向量
那么计算过程如下：
S3：利用前两步计算的诊断嵌入向量
诊断注意力参数αd与βd，以及治疗嵌入向量
治疗注意力参数αp与βp，将诊断表示向量为
治疗表示向量为
那么患者就诊向量就可以表示为
S4:由S3得到的每位患者就诊向量表示Pi及其对应的用药独热编码
组成一对键值对，为了把相似的患者就放在一起，所有患者保存为键值对的字典结构数据，得到患者的就诊历史向量H，n表示患者数量，计算过程如下：
S5：输入电子健康档案中患者处方用药构成的网络Gehr＝(V,δehr)和已知的药物不良反应构成的网络Gddi＝(V,δddi)；其中，V是图节点，表示各种药物；δehr是电子健康档案中药物图网络中连接节点的边，δddi是已知药物不良反应中药物图网络的边，δehr与δddi表示了药物之间的关系连接；得到电子健康档案中药物图网络的度矩阵Dehr，初始邻接矩阵Aehr，单位矩阵Iehr和已知药物不良反应中药物图网络的度矩阵Dddi，初始邻接矩阵Addi，单位矩阵Iddi；然后，对上述矩阵做如下处理，得到归一化后电子健康档案中药物图网络的矩阵Nehr与已知药物不良反应中药物图网络的矩阵Nddi，计算公式如下：
S6：电子健康档案中药物的独热编码组成向量阵Mehr，已知药物不良反应中药物的独热编码组成向量矩阵Mddi，初始化隐藏的权值参数矩阵Wehr和Wddi，以及权重变量λ，对网络中的药物知识进行融合，计算出融合后的药物知识向量K，公式如下：
K＝NehrMehrWehr+λ(NddiMddiWddi) (4)
S7：K是由S6得到的融合药物知识，Pi表示每位患者就诊向量。在患者历史表示向量H中，
表示第i位患者的键向量，
表示第i位患者的值向量，激活函数计算后获得输出向量
和
计算过程如下：
S8：通过Sigmoid函数σ来预测药物，计算过程如下：
S9：利用损失函数来降低预测错误的损失，其中，i和j分别表示第i和j位患者，t表示第t次就诊，T表示总共就诊次数；
为电子健康档案记录的医生为患者开的治疗药物，
为方法预测推荐的药物；π[0]和π[1]表示调节权重，且π[0]+π[1]＝1；s′表示药物组合中发在药物不良反应的可能性，s表示期望得到的药物不良反应的可能性参数，η表示惩罚系数参数；
损失函数的计算过程如下：
S10：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确；DDI Rate来衡量预测的药物组合安全性，值越低表明预测的药物组合发生不良反应的情况越低，药物组合的安全性就更加可靠，T表示总共就诊次数，N表示总共患者数量；
为医生为第i位患者在第t次就诊开的治疗药物，
是方法预测推荐的药物，(ca,cb)表示预测药物a与b是在已知药物不良反应集合δddi中的组合，以公式(9)计算Jaccard，公式(10)计算的Recall和Precision为横纵坐标的点连接成的曲线与坐标轴围成的面积即为PRAUC，公式(12)计算F1，公式(12)计算DDI Rate。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010529940.5A CN111798954A (zh) | 2020-06-11 | 2020-06-11 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010529940.5A CN111798954A (zh) | 2020-06-11 | 2020-06-11 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111798954A true CN111798954A (zh) | 2020-10-20 |
Family
ID=72804245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010529940.5A Pending CN111798954A (zh) | 2020-06-11 | 2020-06-11 | 基于时间注意力机制和图卷积网络的药物组合推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798954A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012808A (zh) * | 2021-04-15 | 2021-06-22 | 北京理工大学 | 一种健康预测方法 |
| CN113053530A (zh) * | 2021-04-15 | 2021-06-29 | 北京理工大学 | 一种医疗时序数据综合信息提取方法 |
| CN113223656A (zh) * | 2021-05-28 | 2021-08-06 | 西北工业大学 | 一种基于深度学习的药物组合预测方法 |
| CN113314195A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种针对慢病的阶段性动态用药匹配*** |
| CN114628002A (zh) * | 2022-03-18 | 2022-06-14 | 东南大学 | 一种基于复制机制和层级选择策略的药物推荐方法 |
| CN116153528A (zh) * | 2023-04-20 | 2023-05-23 | 武汉纺织大学 | 一种基于注意力机制和全局检索的药物推荐方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN116564553A (zh) * | 2023-05-06 | 2023-08-08 | 西南交通大学 | 一种基于共病特征的用药效果预测方法 |
| CN116631612A (zh) * | 2023-06-09 | 2023-08-22 | 广东工业大学 | 一种基于多图融合的图卷积草药推荐方法及计算机 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
| CN111078889A (zh) * | 2019-12-20 | 2020-04-28 | 大连理工大学 | 一种基于多种实体注意力和改进预训练语言模型的药物间关系抽取方法 |
| CN111192693A (zh) * | 2019-12-19 | 2020-05-22 | 山东大学 | 一种基于药物组合进行诊断编码纠正的方法及*** |
| CN111191020A (zh) * | 2019-12-27 | 2020-05-22 | 江苏省人民医院（南京医科大学第一附属医院） | 基于机器学习和知识图谱的处方推荐方法和*** |
-
2020
- 2020-06-11 CN CN202010529940.5A patent/CN111798954A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
| CN111192693A (zh) * | 2019-12-19 | 2020-05-22 | 山东大学 | 一种基于药物组合进行诊断编码纠正的方法及*** |
| CN111078889A (zh) * | 2019-12-20 | 2020-04-28 | 大连理工大学 | 一种基于多种实体注意力和改进预训练语言模型的药物间关系抽取方法 |
| CN111191020A (zh) * | 2019-12-27 | 2020-05-22 | 江苏省人民医院（南京医科大学第一附属医院） | 基于机器学习和知识图谱的处方推荐方法和*** |
Non-Patent Citations (2)
| Title |
|---|
| EDWARD CHOI .ET: "RETAIN: An Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 29 (NIPS 2016)》 * |
| JUNYUAN SHANG .ET: "GAMENet: Graph Augmented Memory Networks for Recommending Medication Combination", 《THE THIRTY-THIRD AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012808A (zh) * | 2021-04-15 | 2021-06-22 | 北京理工大学 | 一种健康预测方法 |
| CN113053530A (zh) * | 2021-04-15 | 2021-06-29 | 北京理工大学 | 一种医疗时序数据综合信息提取方法 |
| CN113053530B (zh) * | 2021-04-15 | 2022-06-28 | 北京理工大学 | 一种医疗时序数据综合信息提取方法 |
| CN113223656A (zh) * | 2021-05-28 | 2021-08-06 | 西北工业大学 | 一种基于深度学习的药物组合预测方法 |
| CN113314195A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种针对慢病的阶段性动态用药匹配*** |
| CN114628002A (zh) * | 2022-03-18 | 2022-06-14 | 东南大学 | 一种基于复制机制和层级选择策略的药物推荐方法 |
| CN116153528A (zh) * | 2023-04-20 | 2023-05-23 | 武汉纺织大学 | 一种基于注意力机制和全局检索的药物推荐方法 |
| CN116189847A (zh) * | 2023-05-05 | 2023-05-30 | 武汉纺织大学 | 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法 |
| CN116564553A (zh) * | 2023-05-06 | 2023-08-08 | 西南交通大学 | 一种基于共病特征的用药效果预测方法 |
| CN116631612A (zh) * | 2023-06-09 | 2023-08-22 | 广东工业大学 | 一种基于多图融合的图卷积草药推荐方法及计算机 |
| CN116631612B (zh) * | 2023-06-09 | 2024-03-19 | 广东工业大学 | 一种基于多图融合的图卷积草药推荐方法及计算机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798954A (zh) | 基于时间注意力机制和图卷积网络的药物组合推荐方法 | |
| Yin et al. | Domain knowledge guided deep learning with electronic health records | |
| WO2021120936A1 (zh) | 一种基于多任务学习模型的慢病预测*** | |
| CN106778014A (zh) | 一种基于循环神经网络的患病风险预测方法 | |
| Dabowsa et al. | A hybrid intelligent system for skin disease diagnosis | |
| CN112489769B (zh) | 基于深度神经网络的慢性病智慧中医诊断与药物推荐*** | |
| Yan et al. | Selecting critical clinical features for heart diseases diagnosis with a real-coded genetic algorithm | |
| CN109065171A (zh) | 基于集成学习的川崎病风险评估模型的构建方法及*** | |
| CN113223656A (zh) | 一种基于深度学习的药物组合预测方法 | |
| US20210089965A1 (en) | Data Conversion/Symptom Scoring | |
| CN114628002A (zh) | 一种基于复制机制和层级选择策略的药物推荐方法 | |
| Altayeva et al. | Medical decision making diagnosis system integrating k-means and Naïve Bayes algorithms | |
| Nohria | Medical expert system-A comprehensive review | |
| Peng et al. | Heart disease prediction using artificial neural networks: a survey | |
| Yang et al. | Disease prediction model based on bilstm and attention mechanism | |
| Wang et al. | Medication combination prediction using temporal attention mechanism and simple graph convolution | |
| CN117034142B (zh) | 一种不平衡医疗数据缺失值填充方法及*** | |
| CN112168142B (zh) | 基于daela-lstm神经网络的痛经中医辨证*** | |
| Sharifi et al. | Hierarchical Takagi-Sugeno type fuzzy system for diabetes mellitus forecasting | |
| Lin et al. | Medical Concept Embedding with Variable Temporal Scopes for Patient Similarity. | |
| CN112329921B (zh) | 基于深度表征学习和强化学习的利尿剂剂量推理设备 | |
| Ramachandran et al. | Classification of Electrocardiography Hybrid Convolutional Neural Network‐Long Short Term Memory with Fully Connected Layer | |
| CN115240873A (zh) | 一种基于机器学习的药物推荐方法、电子设备和计算机可读存储介质 | |
| Wang et al. | Predicting clinical visits using recurrent neural networks and demographic information | |
| Melek et al. | A theoretic framework for intelligent expert systems in medical encounter evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |
|
| RJ01 | Rejection of invention patent application after publication |