CN111243752A - 一种急性胰腺炎诱发器官衰竭的预测模型 - Google Patents

一种急性胰腺炎诱发器官衰竭的预测模型 Download PDF

Info

Publication number
CN111243752A
CN111243752A CN202010056727.7A CN202010056727A CN111243752A CN 111243752 A CN111243752 A CN 111243752A CN 202010056727 A CN202010056727 A CN 202010056727A CN 111243752 A CN111243752 A CN 111243752A
Authority
CN
China
Prior art keywords
time
model
data
information
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010056727.7A
Other languages
English (en)
Inventor
兰蓝
罗佳伟
周小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010056727.7A priority Critical patent/CN111243752A/zh
Publication of CN111243752A publication Critical patent/CN111243752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种急性胰腺炎诱发器官衰竭的预测模型,包括以下步骤:S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;S300、使用Embedding机制对数据进行one‑hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。本发明能够处理异构的多维度数据以及能够灵活的使用时间信息,同时模型的判断也更接近于真实世界中对于疾病自然进程的一种刻画。

Description

一种急性胰腺炎诱发器官衰竭的预测模型
技术领域
本发明涉及神经网络领域,尤其涉及一种急性胰腺炎诱发器官衰竭的预测模型。
背景技术
我国目前关于急性胰腺炎器官衰竭预测的数学模型主要集中于传统的统计学方法,有的方法没有考虑时间维度的信息,有的考虑了时间信息但无法处理异构事件且不规则不等距采样的序列数据;有的算法强行对数据进行了人为主观的填补,使之导致了关于事件终点的预测能力不可靠。医学领域的预测任务较为复杂,因其需要考虑的因素较多,传统的方法由于自身机制的限制,无法将患者从入院开始的所有数据综合考虑,这降低了数据的效用,同时也难以达到满意的预测精度。
发明内容
本发明旨在提供一种急性胰腺炎诱发器官衰竭的预测模型,能够处理异构的多维度数据以及能够灵活的使用时间信息,同时模型的判断也更接近于真实世界中对于疾病自然进程的一种刻画。
为达到上述目的,本发明是采用以下技术方案实现的:
本发明公开一种急性胰腺炎诱发器官衰竭的预测模型,包括以下步骤:
S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;
S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;
S300、使用Embedding机制对数据进行one-hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,
其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。
优选的,步骤S200中,使用如下公式填补缺失值,
Figure BDA0002370323120000021
Figure BDA0002370323120000022
Figure BDA0002370323120000023
Figure BDA0002370323120000024
Figure BDA0002370323120000025
Figure BDA0002370323120000026
Figure BDA0002370323120000027
γt=exp{-max(0,Mγδt+bγ)} (8)
Figure BDA0002370323120000028
n表示病人的索引,X表示输入的特征向量,T表示时间点长度,S表示时点信息,M是变量是否缺失的指示变量,Δ表示时间间隔,X′表示上一个时刻的输入特征变量,Xmean表示特征的均值向量,W和b分别表示线性关系中的权重和偏移,γ表示衰减率,
引入时间信息Sn,缺失指示变量Mn,间隔时间信息Δn,将原始的特征向量Xn变成无缺失值的
Figure BDA0002370323120000029
通过衰减率γn的引入,除了在填补中对填补值进行衰减外,也对隐含层hj-1进行衰减。。
优选的,步骤S300中,对于Phased LSTM模型,其网络结构公式为,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)
i代表输入门,j代表时刻,W和b代表线性关系的权重和偏移,h代表隐含层,f代表遗忘门,c代表细胞状态,o代表输出门,⊙代表点乘运算,σ代表sigmoid函数。
优选的,γn对hj-1的衰减,以及时间门的计算和时间门对细胞状态和隐含层的影响的公式为,
Figure BDA0002370323120000031
Figure BDA0002370323120000032
Figure BDA0002370323120000033
Figure BDA0002370323120000034
Figure BDA0002370323120000035
kt=sin(wt+s)+c (21)
Figure BDA0002370323120000036
Figure BDA0002370323120000037
代表衰减后的上一时刻的隐含层状态,
j代表时间点信息,
Figure BDA0002370323120000038
代表细胞状态更新所需的中间变量,
c代表细胞状态,
Figure BDA0002370323120000039
代表隐含层状态更新所需的中间变量,kt表示时间门函数,
w,s,c是相应的时间门函数的参数,
L表示损失函数,
batch是每一次迭代所用的病人数量,
time是每个病人的时间点数量,
p是模型前向过程中计算的目标事件发生概率,
y是目标事件是否真实发生的指示变量,
通过周期函数kt=sin(wx+s)+c计算时间门,参数w,s,c在后向传播时同梯度下降法进行估计。
优选的,Phased LSTM模型采用Adam算法进行反向传播求解。
优选的,Phased LSTM模型的超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
优选的,超参数信息包括神经元个数,隐含层层数。
本发明的有益效果:
1、本发明通过引入Decay机制,改进了以往由于异步采样变量所带来的缺失值填补方法,通过模型训练所得的衰减率γ能够使插值更接近真实情况。
2、通过引入Time gate,时间信息得以充分利用,使得对于时间敏感的预测任务能够达到更高精度。
3、本发明可以尽可能多的囊括病人的电子记录信息,增加模型的决策能力。
附图说明
图1为本发明的模型概念图;
图2为本发明的技术细节图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
如图1、图2所示,本发明整合患者入院后的用药信息,实验室检查信息,电子病历信息,放射***的检查信息等,并统一整理成结构化数据的形式,保留各事件的时间节点信息,即{Variables,Time};
按时间的先后顺序进行排序,缺失值填补采用Decay机制。在网络的输入层,对于类别型变量使用Embedding机制进行one-hot编码,然后再映射到合适维度的实向量空间中,数值事件值归一化后直接引入。
输入层连接Phased LSTM层,神经元个数采用超参数进行选择。
在Phased LSTM层中,依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程。输出层的神经元为2,采用softmax函数作为激活函数。
分别表示患者在未来7天内发生或者不发生器官衰竭的概率,损失函数采用交叉熵函数,具体技术细节请参考图2。
实际使用时,开发语言采用python3.5版本,涉及的包包括numpy、pytorch。首先把患者的用药数据、实验室检测数据、体温单数据等信息整理成{Variables,Time}的序列形式,
采用公式1-9对原始数据进行缺失值填补,
Figure BDA0002370323120000051
Figure BDA0002370323120000052
Figure BDA0002370323120000053
Figure BDA0002370323120000054
Figure BDA0002370323120000055
Figure BDA0002370323120000061
Figure BDA0002370323120000062
γt=exp{-max(0,Wγδt+bγ)} (8)
Figure BDA0002370323120000063
具体为引入时间信息Sn,缺失指示变量mn,间隔时间信息δn,将原始的特征向量Xn变成无缺失值的
Figure BDA0002370323120000064
通过衰减率γn的引入,除了在填补中对填补值进行衰减外,也对隐含层hj-1进行衰减。
Phased LSTM和核心前向过程计算参考公式11-21,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)
Figure BDA0002370323120000065
Figure BDA0002370323120000066
Figure BDA0002370323120000067
Figure BDA0002370323120000068
Figure BDA0002370323120000069
kt=sin(wt+s)+c (21)
Figure BDA00023703231200000610
通过周期函数kt=sin(wx+s)+c计算时间门,参数w,s,c在后向传播时同梯度下降法进行估计。
公式11-15是标准的LSTM网络结构,
公式16-21阐述了γn对hj-1的衰减,以及时间门的计算和时间门对细胞状态和隐含层的影响。
公式22是模型的损失函数,在模型训练中用于前向过程的误差计算和后向过程的梯度计算。
优化算法采用Adam算法进行反向传播求解。
神经元个数,隐含层层数等超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种急性胰腺炎诱发器官衰竭的预测模型,其特征在于包括以下步骤:
S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;
S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;
S300、使用Embedding机制对数据进行one-hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,
其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。
2.根据权利要求1所述的预测模型,其特征在于:步骤S200中,使用如下公式填补缺失值,
Figure FDA0002370323110000011
Figure FDA0002370323110000012
Figure FDA0002370323110000013
Figure FDA0002370323110000014
Figure FDA0002370323110000015
Figure FDA0002370323110000016
Figure FDA0002370323110000017
γt=exp{-max(0,Mγδt+bγ)} (8)
Figure FDA0002370323110000018
其中,引入时间信息Sn,缺失指示变量Mn,间隔时间信息Δn,将原始的特征向量Xn变成无缺失值的
Figure FDA0002370323110000021
通过衰减率γn的引入,除了在填补中对填补值进行衰减外,也对隐含层hj-1进行衰减。
3.根据权利要求1所述的预测模型,其特征在于:步骤S300中,对于Phased LSTM模型,其网络结构公式为,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)。
4.根据权利要求3所述的预测模型,其特征在于:γn对hj-1的衰减,以及时间门的计算和时间门对细胞状态和隐含层的影响的公式为,
Figure FDA0002370323110000022
Figure FDA0002370323110000023
Figure FDA0002370323110000024
Figure FDA0002370323110000025
Figure FDA0002370323110000026
kt=sin(wt+s)+c (21)
Figure FDA0002370323110000027
通过周期函数kt=sin(wx+s)+c计算时间门,参数w,s,c在后向传播时同梯度下降法进行估计。
5.根据权利要求3或4所述的预测模型,其特征在于:Phased LSTM模型采用Adam算法进行反向传播求解。
6.根据权利要求5所述的预测模型,其特征在于:Phased LSTM模型的超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
7.根据权利要求1所述的预测模型,其特征在于:超参数信息包括神经元个数,隐含层层数。
CN202010056727.7A 2020-01-16 2020-01-16 一种急性胰腺炎诱发器官衰竭的预测模型 Pending CN111243752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010056727.7A CN111243752A (zh) 2020-01-16 2020-01-16 一种急性胰腺炎诱发器官衰竭的预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010056727.7A CN111243752A (zh) 2020-01-16 2020-01-16 一种急性胰腺炎诱发器官衰竭的预测模型

Publications (1)

Publication Number Publication Date
CN111243752A true CN111243752A (zh) 2020-06-05

Family

ID=70866782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010056727.7A Pending CN111243752A (zh) 2020-01-16 2020-01-16 一种急性胰腺炎诱发器官衰竭的预测模型

Country Status (1)

Country Link
CN (1) CN111243752A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112071434A (zh) * 2020-08-03 2020-12-11 北京邮电大学 一种异常体温序列检测新方法
CN112967816A (zh) * 2021-04-26 2021-06-15 四川大学华西医院 一种用于急性胰腺炎器官衰竭预测的计算机设备和***
CN113057586A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN113057589A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 器官衰竭感染病症的预测、预测模型的训练方法及***
CN113424795A (zh) * 2021-05-24 2021-09-24 四川大学华西医院 一种急性胰腺炎动物模型的构建方法和用途

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472756A (zh) * 2009-07-31 2012-05-23 百奥科瑞茨生命科学公司 用于预测与炎症相关的器官衰竭发作的可能性的方法
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控***
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法
CN107909427A (zh) * 2017-10-25 2018-04-13 浙江大学 一种提升推荐模型时序数据挖掘能力的循环神经网络方法
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472756A (zh) * 2009-07-31 2012-05-23 百奥科瑞茨生命科学公司 用于预测与炎症相关的器官衰竭发作的可能性的方法
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控***
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法
CN107909427A (zh) * 2017-10-25 2018-04-13 浙江大学 一种提升推荐模型时序数据挖掘能力的循环神经网络方法
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
左艳艳: "三种评分***对重症急性胰腺炎患者预后预测价值的比较", 《华西医院》 *
许芳芳: "基于ST-LSTM 网络的位置预测模型", 《计算机工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112071434A (zh) * 2020-08-03 2020-12-11 北京邮电大学 一种异常体温序列检测新方法
CN112071434B (zh) * 2020-08-03 2022-11-29 北京邮电大学 一种异常体温序列检测方法
CN113057586A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN113057589A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 器官衰竭感染病症的预测、预测模型的训练方法及***
CN113057586B (zh) * 2021-03-17 2024-03-12 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN112967816A (zh) * 2021-04-26 2021-06-15 四川大学华西医院 一种用于急性胰腺炎器官衰竭预测的计算机设备和***
WO2022226843A1 (zh) * 2021-04-26 2022-11-03 四川大学华西医院 一种用于急性胰腺炎器官衰竭预测的计算机设备和***
CN112967816B (zh) * 2021-04-26 2023-08-15 四川大学华西医院 一种急性胰腺炎器官衰竭预测方法、计算机设备和***
CN113424795A (zh) * 2021-05-24 2021-09-24 四川大学华西医院 一种急性胰腺炎动物模型的构建方法和用途

Similar Documents

Publication Publication Date Title
CN111243752A (zh) 一种急性胰腺炎诱发器官衰竭的预测模型
CN106778014B (zh) 一种基于循环神经网络的患病风险预测建模方法
CN110334843B (zh) 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
Giovanis et al. Bayesian updating with subset simulation using artificial neural networks
CN110428082B (zh) 基于注意力神经网络的水质预测方法
CN110321603A (zh) 一种用于航空发动机气路故障诊断的深度计算模型
Schiassi et al. Physics-informed neural networks for the point kinetics equations for nuclear reactor dynamics
NZ537623A (en) Method for training a learning-capable system
Ponnapalli et al. A formal selection and pruning algorithm for feedforward artificial neural network optimization
CN112967816B (zh) 一种急性胰腺炎器官衰竭预测方法、计算机设备和***
Sakinah et al. LSTM with adam optimization-powered high accuracy preeclampsia classification
CN111081377A (zh) 一种坏死性急性胰腺炎患者手术时机预测模型
CN112085157A (zh) 基于神经网络和树模型的预测模型建立方法及其装置
JP2022526937A (ja) 残差セミリカレントニューラルネットワーク
CN115271033B (zh) 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
Panda A review on logistic regression in medical research
CN113298131B (zh) 一种基于注意力机制的时序数据缺失值插补方法
Tahir et al. Neural networks algorithm to inquire previous preeclampsia factors in women with chronic hypertension during pregnancy in childbirth process
Pavithra et al. Comparative Study of Machine Learning Classification Techniques to Predict the Cardiovascular Diseases Using HRFLC
Krivtsov et al. Predictive model of COVID-19 epidemic process based on neural network
Li et al. MVIRA: A model based on Missing Value Imputation and Reliability Assessment for mortality risk prediction
CN115565669A (zh) 一种基于gan和多任务学习的癌症生存分析方法
Dey et al. Deep Greedy Network: a tool for medical diagnosis on exiguous dataset of COVID-19
Galić et al. Stochastic Methods in Artificial Intelligence
Clark et al. Higher-order probabilistic perceptrons as Bayesian inference engines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication