CN111028913A - 血液透析治疗方案辅助决策方法 - Google Patents

血液透析治疗方案辅助决策方法 Download PDF

Info

Publication number
CN111028913A
CN111028913A CN201911197143.5A CN201911197143A CN111028913A CN 111028913 A CN111028913 A CN 111028913A CN 201911197143 A CN201911197143 A CN 201911197143A CN 111028913 A CN111028913 A CN 111028913A
Authority
CN
China
Prior art keywords
model
time
loss
medical record
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911197143.5A
Other languages
English (en)
Inventor
王冠
宋胜男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201911197143.5A priority Critical patent/CN111028913A/zh
Publication of CN111028913A publication Critical patent/CN111028913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • External Artificial Organs (AREA)

Abstract

本发明公开了一种基于Attention‑LSTM模型的血液透析治疗方案辅助决策方法，该方法包含以下步骤：1:对经由专业透析医师标注的血液透析历史病历数据进行预处理得到总样本集；2:建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c；3:将全局特征向量c输入多任务共享层进行方案标签的学习；4:为各学习任务的损失分配权重λn，将各损失加权求和作为总损失；利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型。本发明中的模型能够协助透析临床医生为患者制定个体化的血液透析治疗方案，减轻临床医生的人工工作量，提高血透中心的血液透析效率。

Description

血液透析治疗方案辅助决策方法
技术领域
本发明涉及智能分析领域，具体涉及一种基于Attention-LSTM的血液透析治疗方案辅助决策方法。
背景技术
血液透析是急、慢性肾功能衰竭患者肾脏替代治疗方式之一。它通过血液透析机缓慢将血液从血管通路引出，与透析液通过弥散、超滤、吸附和对流原理进行物质交换，清除体内的代谢废物、维持电解质和酸碱平衡，并将净化过的血液回输到体内。传统上，血液透析医师依据自身临床经验为患者制定个体化的血液透析方案。医生参考透析患者的年龄、体重、肾功能、血常规、电解质、心功能等指标制定个体化的血透方案,方案包括透析频次、单次透析时间、透析液浓度、抗凝方式和剂量等。由于血液透析患者治疗周期一般较长，故随着治疗的进行患者会产生一系列历史透析病历，且临床医生常根据历史透析病历对透析方案进行调整，人工工作量较大。随着医疗电子病历信息***的完善，健康医疗领域已逐渐迈入信息化时代。大量的电子病历信息数据为“AI+医疗”的发展提供了坚实的数据基础，为改善医疗行业水平提供了巨大潜力。对于血液透析领域，也有“AI+医疗”模式的应用。针对血液透析方案预测的方法是江苏易透健康科技有限公司所申请的专利CN 109686446 A所公开的方法。该方法首先对血透中心的训练样本进行预处理，然后分别采用Lasso稀疏约束和RandomForest随机森林进行重要特征筛选，并对筛选出的两组训练样本合并成最终的训练样本。最后将训练样本载入多元线性回归模型，经过不断迭代，得到透析方案预测模型。该方法并没有考虑血液透析病历数据的时序性特点，同时其预测模型也只是简单的多元线性回归模型，对复杂模型的拟合度可能不佳。
发明内容
为了解决上述问题，减轻透析医师制定透析方案的人工工作量，本发明提供一种基于Attention-LSTM的血液透析治疗方案辅助决策方法。本发明基于深度学习算法，可协助透析医师为患者提供个性化的透析方案，减轻透析医师繁重的人工分析工作、提升血透中心血液透析效率。
本发明采用的技术方案是:一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，该方法包括以下步骤:
步骤1:对经由专业透析医师标注的血液透析历史病历数据进行预处理得到总样本集；
步骤2:建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c；
步骤3:将全局特征向量c输入多任务共享层进行方案标签的学习；
步骤4:为各学习任务的损失分配权重λn，将各损失加权求和作为总损失；利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型。
步骤1所述的数据预处理，包括如下子步骤：
步骤1.1:抹去血液透析历史数据中涉及患者个人信息的敏感字段，如患者的真实姓名、电话、家庭地址等；
步骤1.2:确定输入模型的特征数据及模型输出的透析方案标签数据。特征数据包含患者的年龄、体重、肾功能、血常规、电解质、心功能等，模型标签数据包含患者的透析频次、单次透析时间、透析液浓度、抗凝方式和剂量等。特别的，同时将患者各次历史病历记录(包括与新透析方案对应的一次病历记录)与新透析方案的时间间隔作为特征输入；
步骤1.3:利用均值填补方法填补缺失的模型输入特征数据；
步骤1.4:以病人ID作为区分病人数据的唯一标示；以病人ID为依据，将透析病历数据按时间排序形成序列化数据；
步骤1.5:将预处理好的样本集按7:1:2的比例随机划分为模型训练集、验证集和测试集。
步骤2所述的建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c，包含如下子步骤：
步骤2.1:构建长短时记忆网络。长短时记忆网络的训练算法是反向传播算法，当误差达到期望值时，网络学习结束。长短时记忆网络引入门控单元以赋予网络控制其内部信息积累的能力，使得网络在学习时既能掌握长距离依赖又能选择性地遗忘信息以防止过载；输入门it用于更新细胞状态；遗忘门ft用于决定应丢弃或保留哪些信息；输出门ot用来确定下一个隐藏状态ht的值；xt为当前时间步网络的输入；ht-1为上一个时间步的隐藏状态；ct为当前时间步的记忆细胞；ct-1为上一个时间步的记忆细胞；
Figure BDA0002294952320000041
是候选记忆细胞；Wxi、Whi、Wxf、Whf、Wxo、Who、Wxc、Whc均为网络模型的权重矩阵；bi、bf、bo、bc均为网络模型权重的偏置；σ为sigmoid激活函数，范围在0到1之间；tanh为双曲正切激活函数，长短时记忆网络公式如下：
it＝σ(Wxixt+Whiht-1+bi) (1)
ft＝σ(Wxfxt+Whfht-1+bf) (2)
ot＝σ(Wxoxt+Whoht-1+bo) (3)
Figure BDA0002294952320000042
Figure BDA0002294952320000043
ht＝ot*tanh(ct) (6)
透析患者历史病历数据具有时间序列性，时间越久远的病历对新透析方案影响越小，时间越近的病历对新透析方案影响越大。将序列化透析病历数据输入长短时记忆网络，通过精心设计的门结构去除或者增加某些历史信息，挖掘患者的生理变化特点及未来治疗趋势。
步骤2.2:在长短时记忆网络的基础上增加自注意力机制。注意力机制即从全部信息中获取需要重点关注的部分，从而抑制其他无用信息。自注意力机制是注意力机制中的一种特殊情况，它为长短时记忆网络输入患者序列化病历数据后得到的各次病历的隐藏层信息ht分配权重，并综合各次病历的隐藏层信息ht作为患者历史病历信息的最终表示。各个病历的隐藏层信息ht先与参数矩阵W相乘，计算得到的输出ut和一个可训练的表示上下文信息的参数矩阵u点积得到两者的相似度score，并用softmax对所有时间步的score进行归一化得到其对应的注意力权重αt，最后将各个病历的隐藏层信息ht和其对应的权重αt相乘得到用以表示患者历史病历信息的全局特征向量c，公式如下：
ut＝tanh(Wht) (7)
Figure BDA0002294952320000051
Figure BDA0002294952320000053
Figure BDA0002294952320000052
步骤3所述的将全局特征向量c输入多任务共享层进行方案标签的学习，包含如下步骤：
将患者透析方案中的所含标签作为多任务学习的目标，应用多任务学习中的硬参数共享的方法基于共享层构建针对不同学习任务的独立学习结构，即所有任务之间共享隐藏层并同时保留特定任务的任务相关层。而将Attention-LSTM网络学习到的全局特征向量c输入多任务的共享隐藏层。方案标签包括：透析频次、单次透析时间、透析液浓度、抗凝方式和剂量等。
步骤4所述为各学习任务的损失分配权重λn，将各损失加权求和作为总损失。利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型,包含如下子步骤：
步骤4.1:患者时序化病历数据经预处理、归一化处理后输入模型中进行训练；训练多任务时不同的任务采用其对应的损失函数Lossn，并为其预设损失权重λn，且权重参数λn是由每个任务在总损失中的重要性来决定的，为重要的任务设置较大的权重，提升模型对于该任务的学习敏感度；对于分类任务，其损失函数是交叉熵损失函数CE，其中i表示第几个样本，
Figure BDA0002294952320000061
表示j是否是第i个样本的真实标签，
Figure BDA0002294952320000062
Figure BDA0002294952320000063
表示j是第i个样本真实标签的概率，
Figure BDA0002294952320000064
对于回归任务，其损失函数为均方误差损失函数MSE，yi为真实值，
Figure BDA0002294952320000065
为预测值；模型总损失Loss等于所有任务的损失函数加权求和，公式如下：
Figure BDA0002294952320000066
Figure BDA0002294952320000067
Loss＝λ1Loss1+λ2Loss2+…+λnLossn (13)
步骤4.2:利用Adam优化算法更新模型的网络参数。模型经过反复迭代更新，不断减小总损失值，直至满足终止条件，停止训练模型。利用验证集进行模型效果的验证，并根据实际效果调整模型参数，最后利用测试集进行验证。
本发明具有如下优点：
(1)本发明利用基于自注意力机制的长短时记忆网络深入挖掘患者序列化病历数据信息，为输入模型的各次时序病历分配注意力权重，将各次病历数据信息整合为全局特征向量进行多任务学习，提升模型的最终学习效果。注意力机制源于对人类视觉的研究，即人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。注意力机制模拟了人类在观察事物时大脑所做出的反应，即将更多的注意力分配给更重要的部分。而自注意力机制是注意力机制的一种改进，其减少了对外部信息的依赖，更擅长捕捉数据的内部相关性。由于透析患者的透析病历数据具有时序性，且不同时间的病历数据其参考价值不同，故利用自注意机制挖掘患者各次病历数据的重要性，注意力权重越大的信息将引起模型更多的注意，有利于提升模型的最终学习效果。
(2)本发明利用多任务学习机制同时训练多个方案标签，减少模型过拟合的风险，提高模型的泛化性能。应用多任务学习中的硬参数共享的方法基于共享层构建针对不同学习任务的独立学习结构，即所有任务之间共享隐藏层并同时保留特定任务的任务相关层，降低了过拟合的风险。多个任务同时进行学习，当学习某一个任务时，与该任务不相关的部分，在学习的过程中相当于是噪声，而引入噪声可以提高模型学习的泛化效果。单任务学习时，梯度的反向传播倾向于陷入局部的极小值，而多任务学习中不同任务的局部极小值处于不同的位置，通过相互作用，可以帮助模型逃离局部极小值，提升模型性能。
附图说明
图1为本发明提供的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法的流程示意图。
图2为本发明提供的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法的长短时记忆网络示意图。
图3为本发明提供的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法的基于自注意力机制的长短时记忆网络示意图。
图4为本发明提供的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法的多任务学习中的硬参数共享方法示意图。
具体实施方式
下面将结合附图1-图4对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本发明在此提供了一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，包括以下步骤：
步骤1:对经由专业透析医师标注的血液透析历史病历数据进行预处理得到总样本集；
步骤2:建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c；
步骤3:将全局特征向量c输入多任务共享层进行方案标签的学习；
步骤4:为各学习任务的损失分配权重λn，将各损失加权求和作为总损失。利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型。
步骤1所述的数据预处理，包括如下子步骤：
步骤1.1：抹去血液透析历史数据中涉及患者个人信息的敏感字段，如患者的真实姓名、电话、家庭地址等；
步骤1.2：确定输入模型的特征数据及模型输出的透析方案标签数据。特征数据包含患者的年龄、体重、肾功能、血常规、电解质、心功能等，模型标签数据包含患者的透析频次、单次透析时间、透析液浓度、抗凝方式和剂量等。特别的，同时将患者各次历史病历记录(包括与新透析方案对应的一次病历记录)与新透析方案的时间间隔作为特征输入；
步骤1.3：利用均值填补方法填补缺失的模型输入特征数据；
步骤1.4:以病人ID作为区分病人数据的唯一标示；以病人ID为依据，将透析病历数据按时间排序形成序列化数据；
步骤1.5:将预处理好的样本集按7:1:2的比例随机划分为模型训练集、验证集和测试集。
步骤2所述建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c，包括如下子步骤：
步骤2.1:参考图2，构建长短时记忆网络。长短时记忆网络的训练算法是反向传播算法，当误差达到期望值时，网络学习结束。长短时记忆网络引入门控单元以赋予网络控制其内部信息积累的能力，使得网络在学习时既能掌握长距离依赖又能选择性地遗忘信息以防止过载；输入门it用于更新细胞状态；遗忘门ft用于决定应丢弃或保留哪些信息；输出门ot用来确定下一个隐藏状态ht的值；xt为当前时间步网络的输入；ht-1为上一个时间步的隐藏状态；ct为当前时间步的记忆细胞；ct-1为上一个时间步的记忆细胞；
Figure BDA0002294952320000101
是候选记忆细胞；Wxi、Whi、Wxf、Whf、Wxo、Who、Wxc、Whc均为网络模型的权重矩阵；bi、bf、bo、bc均为网络模型权重的偏置；σ为sigmoid激活函数，范围在0到1之间；tanh为双曲正切激活函数，长短时记忆网络公式如下：
it＝σ(Wxixt+Whiht-1+bi) (1)
ft＝σ(Wxfxt+Whfht-1+bf) (2)
ot＝σ(Wxoxt+Whoht-1+bo) (3)
Figure BDA0002294952320000102
Figure BDA0002294952320000103
ht＝ot*tanh(ct) (6)
透析患者历史病历数据具有时间序列性，时间越久远的病历对新透析方案影响越小，时间越近的病历对新透析方案影响越大。将序列化透析病历数据输入长短时记忆网络，通过精心设计的门结构去除或者增加某些历史信息，挖掘患者的生理变化特点及未来治疗趋势。
步骤2.2:参考图3，在长短时记忆网络的基础上增加了自注意力机制。注意力机制即从全部信息中获取需要重点关注的部分，从而抑制其他无用信息。自注意力机制是注意力机制中的一种特殊情况，它为长短时记忆网络输入患者序列化病历数据后得到的各次病历的隐藏层信息ht分配权重，并综合各次病历的隐藏层信息ht作为患者历史病历信息的最终表示。各个病历的隐藏层信息ht先与参数矩阵W相乘，计算得到的输出ut和一个可训练的表示上下文信息的参数矩阵u点积得到两者的相似度score，并用softmax对所有时间步的score进行归一化得到其对应的注意力权重αt，最后将各个病历的隐藏层信息ht和其对应的权重αt相乘得到用以表示患者历史病历信息的全局特征向量c，公式如下：
ut＝tanh(Wht) (7)
Figure BDA0002294952320000111
Figure BDA0002294952320000113
Figure BDA0002294952320000112
步骤3所述将全局特征向量c输入多任务共享层进行方案标签的学习，包括如下步骤：
参考图4，多任务学习中的硬参数共享的方法是基于共享层构建针对不同学习任务的独立学习结构，即所有任务之间共享隐藏层并同时保留特定任务的任务相关层。将患者透析方案中的所含标签作为多任务学习的目标，而将Attention-LSTM网络学习到的全局特征向量c输入多任务的共享隐藏层。方案标签包括：透析频次、单次透析时间、透析液浓度、抗凝方式和剂量等。
多任务学习是一种归纳迁移机制，其目标是使用共享表示层并行训练多个不同的任务，减少模型过拟合的风险，提高模型的泛化性能。多任务学习方法在学习的同时可获取不同学习任务之间内在的联系，充分利用输入模型中的数据信息。而硬参数共享是神经网络的多任务学习中最常见的一种方式，它可以应用到所有任务的所有隐层上，而保留任务相关的输出层。由于不同的任务有不同的噪音模式，同时学习多个任务可以使模型得到一个更为泛化的表示，从而降低过拟合的风险。
步骤4所述为各学习任务的损失分配权重λn，将各损失加权求和作为总损失；利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型，包括以下子步骤：
步骤4.1:患者时序化病历数据经预处理、归一化处理后输入模型中进行训练；训练多任务时不同的任务采用其对应的损失函数Lossn，并为其预设损失权重λn，且权重参数λn是由每个任务在总损失中的重要性来决定的，为重要的任务设置较大的权重，提升模型对于该任务的学习敏感度；对于分类任务，其损失函数是交叉熵损失函数CE，其中i表示第几个样本，
Figure BDA0002294952320000131
表示j是否是第i个样本的真实标签，
Figure BDA0002294952320000132
Figure BDA0002294952320000133
表示j是第i个样本真实标签的概率，
Figure BDA0002294952320000134
对于回归任务，其损失函数为均方误差损失函数MSE，yi为真实值，
Figure BDA0002294952320000135
为预测值；模型总损失Loss等于所有任务的损失函数加权求和，公式如下：
Figure BDA0002294952320000136
Figure BDA0002294952320000137
Loss＝λ1Loss1+λ2Loss2+…+λnLossn (13)
步骤4.2:利用Adam优化算法更新模型的网络参数。模型经过反复迭代更新，不断减小总损失值，直至满足终止条件，停止训练模型。利用验证集进行模型效果的验证，并根据实际效果调整模型参数，最后利用测试集进行验证。
以上所述细节只是本发明实施案例之一，并非以此限制本发明实施范围，因此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (5)

1.一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，其特征在于：该方法包括以下步骤：
步骤1:对经由专业透析医师标注的血液透析历史病历数据进行预处理得到总样本集；
步骤2:建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c；
步骤3:将全局特征向量c输入多任务共享层进行方案标签的学习；
步骤4:为各学习任务的损失分配权重λn，将各损失加权求和作为总损失；利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型。
2.根据权利要求1所述的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，其特征在于：所述步骤1包括如下子步骤：
步骤1.1:抹去血液透析历史病历数据中涉及患者个人信息的敏感字段，如患者的真实姓名、电话、家庭地址等；
步骤1.2:确定输入模型的特征数据及模型输出的透析方案标签数据；
步骤1.3:利用均值填补的方法填补缺失的特征数据；
步骤1.4:以病人ID作为区分病人数据的唯一标示；以病人ID为依据，将透析病历数据按时间排序形成序列化数据；
步骤1.5:将预处理好的样本集按7:1:2的比例随机划分为模型训练集、验证集和测试集。
3.根据权利要求1所述的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，其特征在于：所述步骤2包含如下子步骤：
步骤2.1:构建长短时记忆网络；长短时记忆网络引入门控单元以赋予网络控制其内部信息积累的能力，使得网络在学习时既能掌握长距离依赖又能选择性地遗忘信息以防止过载；输入门it用于更新细胞状态；遗忘门ft用于决定应丢弃或保留哪些信息；输出门ot用来确定下一个隐藏状态ht的值；xt为当前时间步网络的输入；ht-1为上一个时间步的隐藏状态；ct为当前时间步的记忆细胞；ct-1为上一个时间步的记忆细胞；
Figure FDA0002294952310000023
是候选记忆细胞；Wxi、Whi、Wxf、Whf、Wxo、Who、Wxc、Whc均为网络模型的权重矩阵；bi、bf、bo、bc均为网络模型权重的偏置；σ为sigmoid激活函数，范围在0到1之间；tanh为双曲正切激活函数，长短时记忆网络公式如下：
it＝σ(Wxixt+Whiht-1+bi) (1)
ft＝σ(Wxfxt+Whfht-1+bf) (2)
ot＝σ(Wxoxt+Whoht-1+bo) (3)
Figure FDA0002294952310000021
Figure FDA0002294952310000022
ht＝ot*tanh(ct) (6)
步骤2.2:在长短时记忆网络的基础上增加自注意力机制；它为长短时记忆网络输入患者序列化病历数据后得到的各次病历的隐藏层信息ht分配权重，并综合各次病历的隐藏层信息ht作为患者历史病历信息的最终表示；各个病历的隐藏层信息ht先与参数矩阵W相乘，计算得到的输出ut和一个可训练的表示上下文信息的参数矩阵u点积得到两者的相似度score，并用softmax对所有时间步的score进行归一化得到其对应的注意力权重αt，最后将各个病历的隐藏层信息ht和其对应的权重αt相乘得到用以表示患者历史病历信息的全局特征向量c，公式如下：
ut＝tanh(Wht) (7)
Figure FDA0002294952310000031
score(ut,u)＝ut Tu (9)
Figure FDA0002294952310000032
4.根据权利要求1所述的一种基于Attention-LSTM的血液透析治疗方案辅助决策方法，其特征在于：所述步骤3包含如下步骤：
将患者透析方案中的所含标签作为多任务学习的目标，应用多任务学习中的硬参数共享的方法基于共享层构建针对不同学习任务的的独立学习结构，即所有任务之间共享隐藏层并同时保留特定任务的任务相关层。而将Attention-LSTM网络学习到的全局特征向量c输入多任务的共享隐藏层。
5.根据权利要求1所述的一种基于Attention-LSTM的血液透析治疗方案辅助决策办法，其特征在于：所述步骤4包含如下子步骤：
步骤4.1:患者时序化病历数据经预处理、归一化处理后输入模型中进行训练；训练多任务时不同的任务采用其对应的损失函数Lossn，并为其预设损失权重λn，且权重参数λn是由每个任务在总损失中的重要性来决定的，为重要的任务设置较大的权重，提升对于该任务的学习敏感度；对于分类任务，其损失函数是交叉熵损失函数CE，其中i表示第几个样本，
Figure FDA0002294952310000033
表示j是否是第i个样本的真实标签，
Figure FDA0002294952310000034
Figure FDA0002294952310000035
表示j是第i个样本真实标签的概率，
Figure FDA0002294952310000036
对于回归任务，其损失函数为均方误差损失函数MSE，yi为真实值，
Figure FDA0002294952310000037
为预测值；模型总损失Loss等于所有任务的损失函数加权求和，公式如下：
Figure FDA0002294952310000041
Figure FDA0002294952310000042
Loss＝λ1Loss1+λ2Loss2+…+λnLossn (13)
步骤4.2:利用Adam优化算法更新模型的网络参数；模型经过反复迭代更新，不断减小总损失值，直至满足终止条件，停止训练模型；利用验证集进行模型效果的验证，并根据实际效果调整模型参数，最后利用测试集进行验证。
CN201911197143.5A 2019-11-29 2019-11-29 血液透析治疗方案辅助决策方法 Pending CN111028913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911197143.5A CN111028913A (zh) 2019-11-29 2019-11-29 血液透析治疗方案辅助决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911197143.5A CN111028913A (zh) 2019-11-29 2019-11-29 血液透析治疗方案辅助决策方法

Publications (1)

Publication Number Publication Date
CN111028913A true CN111028913A (zh) 2020-04-17

Family

ID=70203275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911197143.5A Pending CN111028913A (zh) 2019-11-29 2019-11-29 血液透析治疗方案辅助决策方法

Country Status (1)

Country Link
CN (1) CN111028913A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640512A (zh) * 2020-06-02 2020-09-08 戴松世 肾脏替代疗法启动策略评估方法、装置及电子设备
CN111681767A (zh) * 2020-06-12 2020-09-18 电子科技大学 一种电子病历数据处理方法及***
CN112782762A (zh) * 2021-01-29 2021-05-11 东北大学 一种基于深度学习的地震震级判定方法
CN112957553A (zh) * 2021-02-01 2021-06-15 南通市第二人民医院 一种血透患者并发症的智能监测***及方法
CN113436733A (zh) * 2021-08-26 2021-09-24 肾泰网健康科技(南京)有限公司 一种基于融合经验的血透方案生成模型的特征构造方法
CN113488159A (zh) * 2021-08-11 2021-10-08 中国医学科学院阜外医院 一种基于神经网络的医疗科室推荐方法及装置
CN114582463A (zh) * 2022-05-05 2022-06-03 成都尚医信息科技有限公司 一种基于机器学习的个性化运动指导***及方法
CN114937486A (zh) * 2022-06-22 2022-08-23 肾泰网健康科技(南京)有限公司 Idh预测及干预措施推荐多任务模型的构建方法及应用
CN116313127A (zh) * 2023-03-23 2023-06-23 珠海市安克电子技术有限公司 一种基于院前急救大数据的决策支持***
CN116453706A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于强化学习的血液透析方案制定方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025601A1 (en) * 2017-08-03 2019-02-07 Koninklijke Philips N.V. HIERARCHICAL NEURAL NETWORKS WITH ATTENTION GRANULARIZED
CN109493933A (zh) * 2018-08-08 2019-03-19 浙江大学 一种基于注意力机制的不良心血管事件的预测装置
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025601A1 (en) * 2017-08-03 2019-02-07 Koninklijke Philips N.V. HIERARCHICAL NEURAL NETWORKS WITH ATTENTION GRANULARIZED
CN109493933A (zh) * 2018-08-08 2019-03-19 浙江大学 一种基于注意力机制的不良心血管事件的预测装置
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640512B (zh) * 2020-06-02 2023-08-15 戴松世 肾脏替代疗法启动策略评估方法、装置及电子设备
CN111640512A (zh) * 2020-06-02 2020-09-08 戴松世 肾脏替代疗法启动策略评估方法、装置及电子设备
CN111681767B (zh) * 2020-06-12 2022-07-05 电子科技大学 一种电子病历数据处理方法及***
CN111681767A (zh) * 2020-06-12 2020-09-18 电子科技大学 一种电子病历数据处理方法及***
CN112782762A (zh) * 2021-01-29 2021-05-11 东北大学 一种基于深度学习的地震震级判定方法
CN112957553A (zh) * 2021-02-01 2021-06-15 南通市第二人民医院 一种血透患者并发症的智能监测***及方法
CN113488159A (zh) * 2021-08-11 2021-10-08 中国医学科学院阜外医院 一种基于神经网络的医疗科室推荐方法及装置
CN113436733B (zh) * 2021-08-26 2021-11-30 肾泰网健康科技(南京)有限公司 一种基于融合经验的血透方案生成模型的特征构造方法
CN113436733A (zh) * 2021-08-26 2021-09-24 肾泰网健康科技(南京)有限公司 一种基于融合经验的血透方案生成模型的特征构造方法
CN114582463A (zh) * 2022-05-05 2022-06-03 成都尚医信息科技有限公司 一种基于机器学习的个性化运动指导***及方法
CN114937486A (zh) * 2022-06-22 2022-08-23 肾泰网健康科技(南京)有限公司 Idh预测及干预措施推荐多任务模型的构建方法及应用
CN114937486B (zh) * 2022-06-22 2023-09-26 肾泰网健康科技(南京)有限公司 Idh预测及干预措施推荐多任务模型的构建方法及应用
CN116313127A (zh) * 2023-03-23 2023-06-23 珠海市安克电子技术有限公司 一种基于院前急救大数据的决策支持***
CN116453706A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于强化学习的血液透析方案制定方法及***
CN116453706B (zh) * 2023-06-14 2023-09-08 之江实验室 一种基于强化学习的血液透析方案制定方法及***

Similar Documents

Publication Publication Date Title
CN111028913A (zh) 血液透析治疗方案辅助决策方法
Zhang ATTAIN: Attention-based time-aware LSTM networks for disease progression modeling.
Ambekar et al. Disease risk prediction by using convolutional neural network
Barbiero et al. Graph representation forecasting of patient's medical conditions: Toward a digital twin
Akter et al. Comprehensive performance assessment of deep learning models in early prediction and risk identification of chronic kidney disease
Zohora et al. Forecasting the risk of type ii diabetes using reinforcement learning
CN111798954A (zh) 基于时间注意力机制和图卷积网络的药物组合推荐方法
EP1534122A2 (en) Medical decision support systems utilizing gene expression and clinical information and method for use
Pujianto et al. Comparison of Naïve Bayes Algorithm and Decision Tree C4. 5 for Hospital Readmission Diabetes Patients using HbA1c Measurement.
CN116453706B (zh) 一种基于强化学习的血液透析方案制定方法及***
Pan et al. A self-correcting deep learning approach to predict acute conditions in critical care
CN115579141A (zh) 一种可解释疾病风险预测模型构建方法以及疾病风险预测装置
Sheikhalishahi et al. Benchmarking machine learning models on eICU critical care dataset
Srivastava et al. Hybrid diabetes disease prediction framework based on data imputation and outlier detection techniques
Diware et al. Severity-based hierarchical ECG classification using neural networks
Zhang et al. Time-aware adversarial networks for adapting disease progression modeling
CN115985513B (zh) 一种基于多组学癌症分型的数据处理方法、装置及设备
CN117038096A (zh) 一种基于低资源医疗数据与知识挖掘的慢性疾病预测方法
CN113077901A (zh) 一种电子病历分析装置和方法
Liu et al. Combination of neuro-fuzzy network models with biological knowledge for reconstructing gene regulatory networks
Usha et al. Revived ant colony optimization-based adaboost algorithm for heart disease and diabetes (hdd) prediction
CN114694841B (zh) 一种基于患者电子健康记录的不良事件风险预测方法
CN113780394B (zh) 一种强分类器模型的训练方法、装置及设备
Miazi et al. A cloud-based app for early detection of type II diabetes with the aid of deep learning
Xiao et al. Predicting ICU mortality from heterogeneous clinical events with prior medical knowledge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination