CN113223656A - 一种基于深度学习的药物组合预测方法 - Google Patents

一种基于深度学习的药物组合预测方法 Download PDF

Info

Publication number
CN113223656A
CN113223656A CN202110594206.1A CN202110594206A CN113223656A CN 113223656 A CN113223656 A CN 113223656A CN 202110594206 A CN202110594206 A CN 202110594206A CN 113223656 A CN113223656 A CN 113223656A
Authority
CN
China
Prior art keywords
drug
medication
patient
vector
heuristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110594206.1A
Other languages
English (en)
Inventor
高超
王海强
王震
朱培灿
李向华
李学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110594206.1A priority Critical patent/CN113223656A/zh
Publication of CN113223656A publication Critical patent/CN113223656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种基于深度学习的药物组合预测方法，包括：首先，根据医疗数据集中药物与诊断结果之间的对应关系，设计一种先验知识提取规则，计算患者的启发式用药序列；然后，利用多头注意力机制学习患者病史的医疗数据序列中各元素之间的关系，提取患者特征表示向量；最后，利用图卷积网络(Graph Convolutional Network，GCN)来融合药物组合中的药物知识，实现药物组合的预测推荐。结果表明，本发明提供的方法在不同的评价指标上，均优于目前先进的药物组合预测方法。

Description

一种基于深度学习的药物组合预测方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的药物组合预测方法。
背景技术
随着计算机技术的发展，电子病历详细记录了患者的诊疗过程，如诊断、医疗程序、用药组合等。深度学习技术可以学习这些医疗数据中的患者特征和医疗知识，并对患者治疗的药物组合进行预测，从而帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家***。
发明内容
本发明的目的在于提供一种如何根据患者的历史记录与临床事件之间的相关性，为具有复杂健康状况的患者推荐药物组合的方法。
本发明提供的基于深度学习的药物组合推荐方法，帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家***。电子病历中记录了患者就诊过程中产生的序列数据，例如诊断、医疗程序、用药等，这些医疗记录可以为患者的治疗提供帮助。多次就诊的患者，每次的就诊医疗记录对患者当前健康状况的影响各不相同。通过多头注意力可以捕获电子病历中的医疗数据各次就诊医疗记录之间的关系特征，对历史就诊医疗记录的重要程度加以区分。电子病历中，记录的处方药物组合包含了丰富的药物知识，利用图卷积网络来学习药物组合构成的图网络结构，学习的药物表示向量融合了药物知识，可以将患者历史用药嵌入到深度学习模型中。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的药物组合预测方法，包括以下步骤：
S1：根据提取的先验知识获取启发式药物序列Mi；
S2：将患者i的诊断Di、医疗程序Pi与所述启发式用药Mi分别转化成线性嵌入向量
Figure BDA0003090566380000021
和
Figure BDA0003090566380000022
计算方法如公式(1)：
Figure BDA0003090566380000023
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵；
S3：根据获取的诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来分别计算诊断、医疗程序与启发式用药的序列数据的位置嵌入向量ped，pep与pem，如公式(2)：
Figure BDA0003090566380000024
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度；
S4：根据S2计算的线性嵌入向量
Figure BDA0003090566380000025
和
Figure BDA0003090566380000026
与S3计算的位置嵌入向量ped，pep与pem之和，得到诊断、医疗程序与启发式用药的嵌入表示向量，计算方式如公式(3)：
Figure BDA0003090566380000027
S5：利用不同的多头注意力模块分别学习步骤S4得到的所述诊断、医疗程序与启发式用药的嵌入表示向量Ei d、Ei p与Ei m，进而分别得到诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm；
其中，每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，
Figure BDA0003090566380000031
其中，每个自注意力头通过学习查询向量Q＝EWq、键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征，E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头；Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量；
S6：根据电子医疗记录的患者历史用药，构成药物网络，利用图卷积神经网络计算药物节点的表示向量P；
S7：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，结合步骤S6计算的药物节点的表示向量P，得到当前患者用药特征的输出表示向量Ft；
S8：根据步骤S5计算的启发式用药特征，步骤S7计算的输出表示向量Ft与用药特征表示向量Ot，预测患者需要的药物组合；
S9：利用损失函数量降低所述预测的患者需要的药物组合的预测损失；
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
进一步地，如上所述的基于深度学习的药物组合预测方法，步骤S1包括：统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药；
所述启发式药物序列Mi是由多个启发式用药组成的用药序列；η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
Figure BDA0003090566380000044
选择的启发式用药利用了hammingloss来判断，hammingloss计算方式如公式(5)：
Figure BDA0003090566380000041
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述启发式用药的阈值为0.73。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S6包括：
步骤S61:根据电子医疗记录的患者历史用药构成图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
Figure BDA0003090566380000042
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，其表示了药物之间的关系连接；这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I；
步骤S62:对所述单位矩阵I进行归一化，得到电子病历中药物图网络的矩阵
Figure BDA0003090566380000043
其中，M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数，P表示药物网络中药物节点的表示向量。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S7包括：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药；通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再根据步骤S6得到的药物节点的表示向量P来获取当前患者用药特征的输出表示向量Ft；计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P (7)
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S8包括：
根据步骤S5计算的患者启发式用药特征St m、步骤S7计算的得到的输出表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)：
Figure BDA0003090566380000051
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S9包括：
利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成；
损失函数L的计算过程如下：
Figure BDA0003090566380000052
其中，|y|与
Figure BDA0003090566380000053
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
Figure BDA0003090566380000054
与
Figure BDA0003090566380000055
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数；
Figure BDA0003090566380000056
表示第i个患者第t次看病的用药，
Figure BDA0003090566380000057
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
进一步地，如上所述的基于深度学习的药物组合预测方法，所述S11中利用衡量指标Jaccard、PRAUC、F1来衡量预测S10的准确性包括：
Figure BDA0003090566380000061
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量；Ti表示第i位患者总共就诊次数，yi t就是医生为第i位患者在第t次就诊开的治疗药物，
Figure BDA0003090566380000062
是方法为第i位患者在第t次就诊预测推荐的药物。
有益效果：
(1)本申请利用了一种先验知识提取规则，计算患者的启发式用药序列；利用先验知识，可以得到患者治疗药物的启发式药物特征，进一步帮助模型进行参数的拟合，提高模型预测的准确性
(2)本申请在从患者病历中提取患者特征的时候，利用了多头注意力机制来获取各序列数据元素之间的关系，从而得到各个元素重要性的注意力权重；通过注意力权重，可以实现对患者特征重要性的区分，从而获得影响当前患者健康状况的主要特征；
(3)本申请利用了图卷积网络来学习药物网络中，药物节点的表示向量；利用图卷积网络，学习药物组合网络中的药物知识，融入到药物节点的表示，从而获取患者的历史用药特征。
附图说明
图1为本发明的流程图；
图2展示了先验药物筛选阈值变化图；
图3为本发明方法的原理图；
图4为与不同药物组合预测方法的对比图；(a)为在Jaccard指标上的得分百分比；(b)为在F1指标上的得分百分比；(c)为在PRAUC指标上的得分百分比；
图5为本发明方法在使用多头注意力中，注意力参数的变化；(a)为诊断参数的变化图；(b)为医疗程序参数的变化图；
图6为先验知识和药物知识对预测准确性的影响对比图；(a)为Jaccard指标；(b)为F1指标；(c)为PRAUC指标。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在实际临床治疗中，医生通常根据他们的临床经验开处方，他们可以依据经验选择最适合的患者的药物。此外，患者以往的治疗用药情况，也会对患者当前的治疗产生影响。因此，在利用深度学习预测患者需要的药物组合时，不仅要学习患者的特征，还需要考虑到先验知识和药物知识。
深度学习技术可以对患者的特征进行提取，以往的研究使用了循环神经网络(RecurrentNeuralNetworks，RNN)从电子病历数据中获取时间特征。然而，在循环神经网络中，隐含层的计算依赖于其前一隐含层的输出。因此，随着时间步的增加，患者的初始特征逐渐被遗忘。多头注意力(Multi-headAttention)为解决这一问题提供了新的思路，利用多个注意力头学习全局特征。多头注意力由多个自注意力(Self-attention)组成，在每个自注意力头上都定义了查询、键、值三个向量，用来提取序列数据的内部特征。多头注意力可以学习序列数据中不同元素的重要性，然后将不同注意层的特征进行级联，从不同的表示子空间获取信息。因此，多头注意力在捕捉电子病历数据特征方面显示出了巨大的潜力。然而，现有研究主要关注患者的内在属性，很少考虑隐藏在病历中的用药知识。
已有研究证明，先验知识可以提高深度学习的预测能力。例如，将先验的医学知识整合到深度学习模型中，可以提高疾病风险预测能力。在医学领域，先验知识已经被广泛应用，以协助临床医生，如医学图像处理，死亡率预测和疾病风险预测等。电子病历数据是患者的临床治疗记录，包含了医生丰富的临床经验知识。当医生治疗患者时，临床经验可以帮助他决定哪种药物适合病人的康复。因此，利用从电子病历中提取的先验知识，可以用来帮助深度学习模型拟合药物组合预测的参数。具体来说，就是利用统计学的方法从电子病历数据中计算诊断和治疗药物之间的映射关系，并将其作为预测药物组合的启发式特征，嵌入到深度学习中进行药物组合的预测。
在患者个人的医疗记录中，保存了患者之前就诊所使用过的药物，这些药物对患者的治疗产生了极大的影响。在电子病历医疗数据集中，药物组合的用药关系可以转化为图网络的数据结构。如果两种药物被一起使用过，则在图网络中用一条连边来表示这种关系。在网络节点的表示学习方面，图卷积网络(GCN)已经被证明是有效的。利用图卷积网络学习到的药物表示向量，可以将处方中隐藏的药物知识进行聚合。在网络中，每个节点通过边与它的邻居相联系，因此每个节点的表示向量应该包含其自身属性及其邻域特征。图卷积网络可以同时学习每个节点及其邻居的特征，每个节点传播的不仅仅是节点本身的属性，而是整个图网络的特征。
本发明提供一种名为PAGNet的药物预测方法，主要是基于深度学习技术，根据患者当前健康状况，利用先验知识与药物知识进行药物组合的预测。本发明所提出来的深度学习方法主要由两部分组成：多头注意(Multi-headAttention)和图神经网络(GCN)。多头注意力用于学习序列数据，如诊断序列、医疗程序序列和先验知识序列等。诊断和医疗程序是患者的固有属性，而先验知识是诊断和药物之间的统计映射关系。注意权重可以区分序列数据的重要性，提取显著性特征来表示患者当前的健康状态。药物组合关系则通过药物网络来表示，药物网络包含了医生临床用药的知识。图卷积网络可以学习药物表示向量，这些药物表示向量融合了药物知识。患者之前就诊用药，通过药物表示向量嵌入到深度学习模型中，为当前治疗用药提供指导。
如图1所示，本发明提供的方法包括以下步骤：
S1：提取先验知识，获得启发式药物序列。统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药(启发式药物序列是由多个启发式用药组成的用药序列)，η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
Figure BDA0003090566380000091
选择的启发式用药利用了hammingloss来判断，值越小，表明选择的启发式用药越佳，hammingloss计算方式如公式(5)：
Figure BDA0003090566380000092
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
S2：将患者i的诊断Di、医疗程序Pi与根据S1计算的启发式用药Mi分别转化成线性嵌入向量
Figure BDA0003090566380000093
和
Figure BDA0003090566380000094
计算方法如公式(1)：
Figure BDA0003090566380000095
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵。
S3：根据获取诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来进一步嵌入序列数据的位置嵌入向量，如公式(2)。
Figure BDA0003090566380000101
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度具体地，在诊断、医疗程序和启发式用药三种数据中，每种数据都有是一组序列数据，以诊断序列为例：位置编码就是计算不同类别的诊断所在诊断序列中的位置嵌入向量，也就是说诊断结果A在诊断序列的位置是pos，在S2计算的嵌入向量的位置为2j或者2j+1(偶数位置为2j，奇数位置为2j+1)，根据pos与2j(或者2j+1)来计算每种诊断的位置嵌入向量。同理，对于医疗程序和启发式用药序列数据也是一样的计算方式。
S4：根据S2计算的线性嵌入向量(
Figure BDA0003090566380000102
和
Figure BDA0003090566380000103
)与S3计算的位置嵌入向量(ped，pep与pem)之和，得到诊断、医疗程序与启发式用药的嵌入向量，计算方式如公式(3)：
Figure BDA0003090566380000104
S5：根据S4得到的诊断、医疗程序与启发式用药的嵌入向量(即，Ei d、Ei p与Ei m)，利用不同的多头注意力模块分别学习诊断、医疗程序与启发式用药的嵌入向量，即Ei d、Ei p与Ei m。每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，进而得到整个序列数据的特征向量(例如：诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm)。
Figure BDA0003090566380000105
其中，每个自注意力头通过学习查询向量Q＝EWq键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征。E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头。Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量，也就是说每个head的计算方式正如Attention(Q、K、V)，Concat(head1、head2，…headn)就是将多个注意力头向量进行拼接(Concat)计算的。
S6：输入电子病历中患者处方用药构成的图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
Figure BDA0003090566380000111
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，ε表示了药物之间的关系连接。这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I。然后，对上述矩阵做如下处理，得到归一化后电子病历中药物图网络的矩阵
Figure BDA0003090566380000112
M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数。P表示药物网络中药物节点的表示向量。
S7：根据S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药。通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再利用根据S6计算的融合药物知识的药物嵌入向量P来获取当前患者用药特征的输出表示向量Ft。计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P(7)
S8：根据S5计算的患者启发式用药特征St m，S7计算的患者属性特征表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)。
Figure BDA0003090566380000121
S9：利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成。
损失函数L的计算过程如下：
Figure BDA0003090566380000122
其中，|y|与
Figure BDA0003090566380000123
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
Figure BDA0003090566380000124
与
Figure BDA0003090566380000125
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数。
Figure BDA0003090566380000126
表示第i个患者第t次看病的用药，
Figure BDA0003090566380000127
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
Figure BDA0003090566380000131
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量。因此，Ti表示第i位患者总共就诊次数，yi t就是医生为第i位患者在第t次就诊开的治疗药物，
Figure BDA0003090566380000132
是方法预测推荐的药物。
表1展示了住院患者的各项医疗统计信息。
表1住院患者的各项医疗统计信息
统计项目 数量 统计项目 数量
诊断种类 1958 平均诊断种类 10.51
医疗程序种类 1426 平均治疗程序种类 3.84
用药种类 145 平均用药种类 8.80
患者数量 6350 平均就诊次数 2.36
医疗事件数量 15016
图2所示的是先验药物筛选阈值变化图。随着阈值的增加，在开始时hammingloss明显降低。在阈值为0.73处，hammingloss达到最低值0.68。此后，hammingloss又逐渐增加。因此，阈值0.73为筛选启发式用药的最佳阈值。
如图3所示，本发明主要使用两种技术，多头注意力(Multi-headAttention)和图卷积网络(GCN)。多头注意力用来提取患者的诊断、医疗程序和先验知识的特征，进而表示出患者的特征向量。图卷积网络用来从药物网络中学习药物表示向量，这些药物表示向量融合了药物网络中隐含的药物与药物之间关系的知识，可以用来对患者之前就诊用药的特征进行提取。
图4展示了与不同药物组合预测方法的对比。Jaccard、PRAUC和F1是衡量预测药物准确性的指标，分值越高，表示预测的结果越准确。(a)为在Jaccard指标上的得分百分比；(b)为在F1指标上的得分百分比；(c)为在PRAUC指标上的得分百分比。结果显示，本方法预测药物的准确性比其他方法更高。
图5展示了本方法在使用多头注意力中，注意力参数的变化。以一个有6次就诊经历的患者为例，分别展示了4个注意力头在学习患者的诊断与医疗程序数据过程中，注意力参数分布特征。从图中可以看出，注意力参数对不同次的诊断与医疗程序的重要性作出了很好的区分。
图6展示了先验知识和药物知识对预测准确性的影响。其中，PAGNetp-和PAGNetm-分别表示去除先验知识与药物知识的PAGNet方法。结果显示，在(a)Jaccard、(b)F与(c)PRAUC三个准确性衡量指标上，本发明提供的PAGNet的表现都要比PAGNetp-和PAGNetm-好，这说明加入先验知识和药物知识可以提高药物预测的准确性。
在本发明的方法有以下优点：
(1)本发明采用深度学习的技术来学习患者电子病历中的医疗知识，根据患者健康状况进行治疗药物组合的推荐预测。
(2)利用医疗数据库，计算诊断结果与用药的映射关系，以此作为先验知识，为药物组合预测提供启发式特征。
(3)针对电子病历中医生开出的处方药物，本发明将其转化成图网络结构数据来描述不同药物组合之间的关系，利用图卷积网络来学习图网络结构中的医疗用药知识，并运用在患者之前就诊用药的向量表示中。
(4)本发明能够在复杂的医疗环境中，为重症患者的治疗推荐合理的药物，帮助专家挖掘分析医疗数据潜藏的疾病与用药规则，进一步改善临床指南与医疗专家***。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (8)

1.一种基于深度学习的药物组合预测方法，其特征在于，包括以下步骤：
S1：根据提取的先验知识获取启发式药物序列Mi；
S2：将患者i的诊断Di、医疗程序Pi与所述启发式用药Mi分别转化成线性嵌入向量
Figure FDA0003090566370000011
和
Figure FDA0003090566370000017
计算方法如公式(1)：
Figure FDA0003090566370000012
其中，Wd、Wp和Wm分别表示诊断、医疗程序和启发式用药的嵌入权重矩阵；
S3：根据获取的诊断、医疗程序和启发式用药这些序列数据中的不同元素所在位置的序列，利用位置编码来分别计算诊断、医疗程序与启发式用药的序列数据的位置嵌入向量ped，pep与pem，如公式(2)：
Figure FDA0003090566370000013
其中，pos表示位置，而2j+1和2j分别表示奇偶位置的索引，dim表示嵌入维度；
S4：根据S2计算的线性嵌入向量
Figure FDA0003090566370000014
和
Figure FDA0003090566370000015
与S3计算的位置嵌入向量ped，pep与pem之和，得到诊断、医疗程序与启发式用药的嵌入表示向量，计算方式如公式(3)：
Figure FDA0003090566370000016
S5：利用不同的多头注意力模块分别学习步骤S4得到的所述诊断、医疗程序与启发式用药的嵌入表示向量Ei d、Ei p与Ei m，进而分别得到诊断特征向量Sd、医疗程序特征向量Sp与启发式用药特征向量Sm；
其中，每个多头注意力模板由多个自注意力头组成，每个自注意力头学习的注意力向量进行级联，
Figure FDA0003090566370000021
where headh＝Attention(Qh,Kh,Vh)(h≤n)
其中，每个自注意力头通过学习查询向量Q＝EWq、键向量K＝EWk、值向量V＝EWv来获取数据的内部序列特征，E表示不同多头注意力模块学习的嵌入向量，如Ei d、Ei p与Ei m，而Wq、Wk与Wv则表示学习的权重矩阵，dim表示嵌入维度，n表示自注意力头的数目，h表示第h个自注意力头；Attention(Q、K、V)则表示自注意力头获取的数据内部序列特征向量，MultiHead(Q、K、V)表示的是将多个自注意力头(head1、head2，…headn)获取的特征表示向量拼接之后得到的向量；
S6：根据电子医疗记录的患者历史用药，构成药物网络，利用图卷积神经网络计算药物节点的表示向量P；
S7：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，结合步骤S6计算的药物节点的表示向量P，得到当前患者用药特征的输出表示向量Ft；
S8：根据步骤S5计算的启发式用药特征，步骤S7计算的输出表示向量Ft与用药特征表示向量Ot，预测患者需要的药物组合；
S9：利用损失函数量降低所述预测的患者需要的药物组合的预测损失；
S10：重复步骤S5-S9，直到达到最大训练轮数；
S11：利用衡量指标Jaccard、PRAUC、F1来衡量预测的准确性，值越高表明预测的药物组合就越准确。
2.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，步骤S1包括：统计每种诊断D的出现频次fd及其可能用药M的出现频次fm，当fm>ηfd时，fm对应的药物M为诊断D的启发式用药；
所述启发式药物序列Mi是由多个启发式用药组成的用药序列；η是用来选择启发式用药的阈值，计算得到每种诊断及其启发式用药的映射关系
Figure FDA0003090566370000034
选择的启发式用药利用了hammingloss来判断，hammingloss计算方式如公式(5)：
Figure FDA0003090566370000031
其中，T、N、L分别表示患者的就诊次数、数量和用药标签的长度，y和y’分别表示实际用药与启发式用药，Δ表示实际用药与启发式用药的对称差。
3.根据权利要求2所述的基于深度学习的药物组合预测方法，其特征在于，所述启发式用药的阈值为0.73。
4.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S6包括：
步骤S61:根据电子医疗记录的患者历史用药构成图网络G＝(θ,ε)，利用两层图神经网络来学习药物网络中药物节点的表示向量，计算公式如(6)：
Figure FDA0003090566370000032
其中，θ是图节点，表示各种药物；ε是电子病历中处方药物图网络中连接节点的边，其表示了药物之间的关系连接；这样就得到电子病历中药物图网络的度矩阵De，初始邻接矩阵A，单位矩阵I；
步骤S62:对所述单位矩阵I进行归一化，得到电子病历中药物图网络的矩阵
Figure FDA0003090566370000033
其中，M表示电子病历中的药物编码，We1和We2分别表示药物嵌入权重矩阵和隐藏层的权重矩阵，tanh表示激活函数，P表示药物网络中药物节点的表示向量。
5.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S7包括：根据步骤S5计算的诊断表示向量Sd与医疗程序表示向量Sp，得到患者属性特征表示向量F，并用H来表示其历史用药；通过患者历史当前患病特征Ft与历史患病特征Ft-1的匹配度，来提取患者历史用药Ht-1的特征，再根据步骤S6得到的药物节点的表示向量P来获取当前患者用药特征的输出表示向量Ft；计算如公式(7)所示，其中t表示患者的就诊次数。
Ot＝softmax(Ft(Ft-1)T)Ht-1P (7)
6.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S8包括：
根据步骤S5计算的患者启发式用药特征St m、步骤S7计算的得到的输出表示向量Ft与患者用药特征的表示向量Ot级联，通过Sigmoid函数σ来预测药物，计算过程如公式(8)：
Figure FDA0003090566370000041
7.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S9包括：
利用损失函数来降低预测的损失，损失函数L如公式(9)所示，由二分交叉熵损失Lbinary和多标签边缘损失Lmulti组成；
损失函数L的计算过程如下：
Figure FDA0003090566370000042
其中，|y|与
Figure FDA0003090566370000043
分别表示真实处方中药物标签数量与预测药物标签的数量，To表示患者就诊的次数，L表示药物标签的长度，
Figure FDA0003090566370000044
与
Figure FDA0003090566370000045
分别表示预测药物在真实处方药物集与预测药物集中的位置索引，λ和γ用来平衡二分交叉熵损失Lbinary和多标签边缘损失Lmulti的参数；
Figure FDA0003090566370000046
表示第i个患者第t次看病的用药，
Figure FDA0003090566370000047
表示为第i个患者在第t次看病预测的药物，σ表示神经网络的激活函数，logσ表示对激活函数计算值做取对数的运算。
8.根据权利要求1所述的基于深度学习的药物组合预测方法，其特征在于，所述S11中利用衡量指标Jaccard、PRAUC、F1来衡量预测S10的准确性包括：
Figure FDA0003090566370000051
其中，i与t分别表示患者及其就诊次数，N表示总共患者数量；Ti表示第i位患者总共就诊次数，
Figure FDA0003090566370000052
就是医生为第i位患者在第t次就诊开的治疗药物，
Figure FDA0003090566370000053
是方法为第i位患者在第t次就诊预测推荐的药物。
CN202110594206.1A 2021-05-28 2021-05-28 一种基于深度学习的药物组合预测方法 Pending CN113223656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594206.1A CN113223656A (zh) 2021-05-28 2021-05-28 一种基于深度学习的药物组合预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594206.1A CN113223656A (zh) 2021-05-28 2021-05-28 一种基于深度学习的药物组合预测方法

Publications (1)

Publication Number Publication Date
CN113223656A true CN113223656A (zh) 2021-08-06

Family

ID=77099222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594206.1A Pending CN113223656A (zh) 2021-05-28 2021-05-28 一种基于深度学习的药物组合预测方法

Country Status (1)

Country Link
CN (1) CN113223656A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153528A (zh) * 2023-04-20 2023-05-23 武汉纺织大学 一种基于注意力机制和全局检索的药物推荐方法
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法
CN116564553A (zh) * 2023-05-06 2023-08-08 西南交通大学 一种基于共病特征的用药效果预测方法
CN117453963A (zh) * 2023-12-26 2024-01-26 深圳市健怡康医疗器械科技有限公司 康复患者数据管理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294933A (zh) * 2013-05-10 2013-09-11 司宏宗 一种药物筛选方法
CN110348019A (zh) * 2019-07-17 2019-10-18 南通大学 一种基于注意力机制的医疗实体向量转化方法
CN111798954A (zh) * 2020-06-11 2020-10-20 西北工业大学 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN112487820A (zh) * 2021-02-05 2021-03-12 南京邮电大学 一种中文医疗命名实体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294933A (zh) * 2013-05-10 2013-09-11 司宏宗 一种药物筛选方法
CN110348019A (zh) * 2019-07-17 2019-10-18 南通大学 一种基于注意力机制的医疗实体向量转化方法
CN111798954A (zh) * 2020-06-11 2020-10-20 西北工业大学 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN112487820A (zh) * 2021-02-05 2021-03-12 南京邮电大学 一种中文医疗命名实体识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153528A (zh) * 2023-04-20 2023-05-23 武汉纺织大学 一种基于注意力机制和全局检索的药物推荐方法
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法
CN116564553A (zh) * 2023-05-06 2023-08-08 西南交通大学 一种基于共病特征的用药效果预测方法
CN117453963A (zh) * 2023-12-26 2024-01-26 深圳市健怡康医疗器械科技有限公司 康复患者数据管理***
CN117453963B (zh) * 2023-12-26 2024-03-01 深圳市健怡康医疗器械科技有限公司 康复患者数据管理***

Similar Documents

Publication Publication Date Title
US11790297B2 (en) Model-assisted annotating system and methods for use therewith
CN106778014B (zh) 一种基于循环神经网络的患病风险预测建模方法
CN113223656A (zh) 一种基于深度学习的药物组合预测方法
Subanya et al. Feature selection using artificial bee colony for cardiovascular disease classification
Chitra et al. Review of heart disease prediction system using data mining and hybrid intelligent techniques
CN111798954A (zh) 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN116364299B (zh) 一种基于异构信息网络的疾病诊疗路径聚类方法及***
CN113808693A (zh) 一种基于图神经网络和注意力机制的药物推荐方法
US20240161035A1 (en) Multi-model medical scan analysis system and methods for use therewith
Arghandabi et al. A comparative study of machine learning algorithms for the prediction of heart disease
Yang et al. Disease prediction model based on bilstm and attention mechanism
Alotaibi et al. Stroke in-patients' transfer to the ICU using ensemble based model
CN116110533B (zh) 基于事件图谱的药物种类和用量推荐***及方法
Christopher et al. Knowledge-based systems and interestingness measures: Analysis with clinical datasets
Safa et al. A survey on hybrid case-based reasoning and deep learning systems for medical data classification
Deepa et al. Action fuzzy rule based classifier for analysis of dermatology databases
Jiang et al. Explainable deep learning for readmission prediction with tree-glove embedding
Kumar et al. Special disease prediction system using machine learning
Gupta et al. An overview of clinical decision support system (cdss) as a computational tool and its applications in public health
Bahanshal et al. Hybrid fuzzy weighted K-Nearest neighbor to predict hospital readmission for diabetic patients
Khater et al. Interpretable models for ml-based classification of obesity
Subramanian et al. Wearable Sensor-Based Monitoring and Classification Using Deep Learning For Personalized Healthcare
Zhao et al. Multi-view neural network integrating knowledge for patient self-diagnosis
Bagali et al. Prediction and Classification of Alzheimer's Disease Using Machine Learning Models
Abar Rule Mining and Sequential Pattern Based Predictive Modeling with EMR Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806