CN111243752A - 一种急性胰腺炎诱发器官衰竭的预测模型 - Google Patents
一种急性胰腺炎诱发器官衰竭的预测模型 Download PDFInfo
- Publication number
- CN111243752A CN111243752A CN202010056727.7A CN202010056727A CN111243752A CN 111243752 A CN111243752 A CN 111243752A CN 202010056727 A CN202010056727 A CN 202010056727A CN 111243752 A CN111243752 A CN 111243752A
- Authority
- CN
- China
- Prior art keywords
- time
- model
- data
- information
- adopting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010053159 Organ failure Diseases 0.000 title claims abstract description 9
- 206010033645 Pancreatitis Diseases 0.000 title claims abstract description 8
- 206010033647 Pancreatitis acute Diseases 0.000 title claims abstract description 8
- 201000003229 acute pancreatitis Diseases 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 210000002569 neuron Anatomy 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims abstract description 4
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 210000004027 cell Anatomy 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种急性胰腺炎诱发器官衰竭的预测模型,包括以下步骤:S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;S300、使用Embedding机制对数据进行one‑hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。本发明能够处理异构的多维度数据以及能够灵活的使用时间信息,同时模型的判断也更接近于真实世界中对于疾病自然进程的一种刻画。
Description
技术领域
本发明涉及神经网络领域,尤其涉及一种急性胰腺炎诱发器官衰竭的预测模型。
背景技术
我国目前关于急性胰腺炎器官衰竭预测的数学模型主要集中于传统的统计学方法,有的方法没有考虑时间维度的信息,有的考虑了时间信息但无法处理异构事件且不规则不等距采样的序列数据;有的算法强行对数据进行了人为主观的填补,使之导致了关于事件终点的预测能力不可靠。医学领域的预测任务较为复杂,因其需要考虑的因素较多,传统的方法由于自身机制的限制,无法将患者从入院开始的所有数据综合考虑,这降低了数据的效用,同时也难以达到满意的预测精度。
发明内容
本发明旨在提供一种急性胰腺炎诱发器官衰竭的预测模型,能够处理异构的多维度数据以及能够灵活的使用时间信息,同时模型的判断也更接近于真实世界中对于疾病自然进程的一种刻画。
为达到上述目的,本发明是采用以下技术方案实现的:
本发明公开一种急性胰腺炎诱发器官衰竭的预测模型,包括以下步骤:
S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;
S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;
S300、使用Embedding机制对数据进行one-hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,
其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。
优选的,步骤S200中,使用如下公式填补缺失值,
γt=exp{-max(0,Mγδt+bγ)} (8)
n表示病人的索引,X表示输入的特征向量,T表示时间点长度,S表示时点信息,M是变量是否缺失的指示变量,Δ表示时间间隔,X′表示上一个时刻的输入特征变量,Xmean表示特征的均值向量,W和b分别表示线性关系中的权重和偏移,γ表示衰减率,
优选的,步骤S300中,对于Phased LSTM模型,其网络结构公式为,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)
i代表输入门,j代表时刻,W和b代表线性关系的权重和偏移,h代表隐含层,f代表遗忘门,c代表细胞状态,o代表输出门,⊙代表点乘运算,σ代表sigmoid函数。
优选的,γn对hj-1的衰减,以及时间门的计算和时间门对细胞状态和隐含层的影响的公式为,
kt=sin(wt+s)+c (21)
j代表时间点信息,
c代表细胞状态,
w,s,c是相应的时间门函数的参数,
L表示损失函数,
batch是每一次迭代所用的病人数量,
time是每个病人的时间点数量,
p是模型前向过程中计算的目标事件发生概率,
y是目标事件是否真实发生的指示变量,
通过周期函数kt=sin(wx+s)+c计算时间门,参数w,s,c在后向传播时同梯度下降法进行估计。
优选的,Phased LSTM模型采用Adam算法进行反向传播求解。
优选的,Phased LSTM模型的超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
优选的,超参数信息包括神经元个数,隐含层层数。
本发明的有益效果:
1、本发明通过引入Decay机制,改进了以往由于异步采样变量所带来的缺失值填补方法,通过模型训练所得的衰减率γ能够使插值更接近真实情况。
2、通过引入Time gate,时间信息得以充分利用,使得对于时间敏感的预测任务能够达到更高精度。
3、本发明可以尽可能多的囊括病人的电子记录信息,增加模型的决策能力。
附图说明
图1为本发明的模型概念图;
图2为本发明的技术细节图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
如图1、图2所示,本发明整合患者入院后的用药信息,实验室检查信息,电子病历信息,放射***的检查信息等,并统一整理成结构化数据的形式,保留各事件的时间节点信息,即{Variables,Time};
按时间的先后顺序进行排序,缺失值填补采用Decay机制。在网络的输入层,对于类别型变量使用Embedding机制进行one-hot编码,然后再映射到合适维度的实向量空间中,数值事件值归一化后直接引入。
输入层连接Phased LSTM层,神经元个数采用超参数进行选择。
在Phased LSTM层中,依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程。输出层的神经元为2,采用softmax函数作为激活函数。
分别表示患者在未来7天内发生或者不发生器官衰竭的概率,损失函数采用交叉熵函数,具体技术细节请参考图2。
实际使用时,开发语言采用python3.5版本,涉及的包包括numpy、pytorch。首先把患者的用药数据、实验室检测数据、体温单数据等信息整理成{Variables,Time}的序列形式,
采用公式1-9对原始数据进行缺失值填补,
γt=exp{-max(0,Wγδt+bγ)} (8)
Phased LSTM和核心前向过程计算参考公式11-21,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)
kt=sin(wt+s)+c (21)
通过周期函数kt=sin(wx+s)+c计算时间门,参数w,s,c在后向传播时同梯度下降法进行估计。
公式11-15是标准的LSTM网络结构,
公式16-21阐述了γn对hj-1的衰减,以及时间门的计算和时间门对细胞状态和隐含层的影响。
公式22是模型的损失函数,在模型训练中用于前向过程的误差计算和后向过程的梯度计算。
优化算法采用Adam算法进行反向传播求解。
神经元个数,隐含层层数等超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种急性胰腺炎诱发器官衰竭的预测模型,其特征在于包括以下步骤:
S100、患者信息预处理,采用{Variables,Time}记录事件及时间节点;
S200、按照时间的先后顺序对事件进行排序,采用Decay机制填补缺失值;
S300、使用Embedding机制对数据进行one-hot编码,映射到实向量空间中,对数据进行归一化后输入Phased LSTM模型,
其中依据患者从入院到某一事件的时间节点这段间隔时间计算时间门输出,利用时间门的输出结果来加速模型训练过程,输出层的神经元为2,采用softmax函数作为激活函数。
3.根据权利要求1所述的预测模型,其特征在于:步骤S300中,对于Phased LSTM模型,其网络结构公式为,
ij=σi(xjWxi+hj-1Whi+bi) (11)
fj=σf(xtWxf+hj-1Whf+bf) (12)
cj=ft⊙cj-1+it⊙σc(xjWxc+hj-1Whc+bc) (13)
oj=σo(xtWxo+hj-1Who+bo) (14)
hj=σj⊙σh(cj) (15)。
5.根据权利要求3或4所述的预测模型,其特征在于:Phased LSTM模型采用Adam算法进行反向传播求解。
6.根据权利要求5所述的预测模型,其特征在于:Phased LSTM模型的超参数信息采用网格搜索法寻优,选出在验证集上表现最优的参数组合作为模型最终结果。
7.根据权利要求1所述的预测模型,其特征在于:超参数信息包括神经元个数,隐含层层数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010056727.7A CN111243752A (zh) | 2020-01-16 | 2020-01-16 | 一种急性胰腺炎诱发器官衰竭的预测模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010056727.7A CN111243752A (zh) | 2020-01-16 | 2020-01-16 | 一种急性胰腺炎诱发器官衰竭的预测模型 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111243752A true CN111243752A (zh) | 2020-06-05 |
Family
ID=70866782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010056727.7A Pending CN111243752A (zh) | 2020-01-16 | 2020-01-16 | 一种急性胰腺炎诱发器官衰竭的预测模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111243752A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112071434A (zh) * | 2020-08-03 | 2020-12-11 | 北京邮电大学 | 一种异常体温序列检测新方法 |
CN112967816A (zh) * | 2021-04-26 | 2021-06-15 | 四川大学华西医院 | 一种用于急性胰腺炎器官衰竭预测的计算机设备和*** |
CN113057586A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 一种病症预警方法、装置、设备及介质 |
CN113057589A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 器官衰竭感染病症的预测、预测模型的训练方法及*** |
CN113424795A (zh) * | 2021-05-24 | 2021-09-24 | 四川大学华西医院 | 一种急性胰腺炎动物模型的构建方法和用途 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102472756A (zh) * | 2009-07-31 | 2012-05-23 | 百奥科瑞茨生命科学公司 | 用于预测与炎症相关的器官衰竭发作的可能性的方法 |
CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控*** |
CN107154150A (zh) * | 2017-07-25 | 2017-09-12 | 北京航空航天大学 | 一种基于道路聚类和双层双向lstm的交通流量预测方法 |
CN107909427A (zh) * | 2017-10-25 | 2018-04-13 | 浙江大学 | 一种提升推荐模型时序数据挖掘能力的循环神经网络方法 |
CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
-
2020
- 2020-01-16 CN CN202010056727.7A patent/CN111243752A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102472756A (zh) * | 2009-07-31 | 2012-05-23 | 百奥科瑞茨生命科学公司 | 用于预测与炎症相关的器官衰竭发作的可能性的方法 |
CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控*** |
CN107154150A (zh) * | 2017-07-25 | 2017-09-12 | 北京航空航天大学 | 一种基于道路聚类和双层双向lstm的交通流量预测方法 |
CN107909427A (zh) * | 2017-10-25 | 2018-04-13 | 浙江大学 | 一种提升推荐模型时序数据挖掘能力的循环神经网络方法 |
CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
Non-Patent Citations (2)
Title |
---|
左艳艳: "三种评分***对重症急性胰腺炎患者预后预测价值的比较", 《华西医院》 * |
许芳芳: "基于ST-LSTM 网络的位置预测模型", 《计算机工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112071434A (zh) * | 2020-08-03 | 2020-12-11 | 北京邮电大学 | 一种异常体温序列检测新方法 |
CN112071434B (zh) * | 2020-08-03 | 2022-11-29 | 北京邮电大学 | 一种异常体温序列检测方法 |
CN113057586A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 一种病症预警方法、装置、设备及介质 |
CN113057589A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 器官衰竭感染病症的预测、预测模型的训练方法及*** |
CN113057586B (zh) * | 2021-03-17 | 2024-03-12 | 上海电气集团股份有限公司 | 一种病症预警方法、装置、设备及介质 |
CN112967816A (zh) * | 2021-04-26 | 2021-06-15 | 四川大学华西医院 | 一种用于急性胰腺炎器官衰竭预测的计算机设备和*** |
WO2022226843A1 (zh) * | 2021-04-26 | 2022-11-03 | 四川大学华西医院 | 一种用于急性胰腺炎器官衰竭预测的计算机设备和*** |
CN112967816B (zh) * | 2021-04-26 | 2023-08-15 | 四川大学华西医院 | 一种急性胰腺炎器官衰竭预测方法、计算机设备和*** |
CN113424795A (zh) * | 2021-05-24 | 2021-09-24 | 四川大学华西医院 | 一种急性胰腺炎动物模型的构建方法和用途 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111243752A (zh) | 一种急性胰腺炎诱发器官衰竭的预测模型 | |
CN106778014B (zh) | 一种基于循环神经网络的患病风险预测建模方法 | |
CN110334843B (zh) | 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置 | |
Giovanis et al. | Bayesian updating with subset simulation using artificial neural networks | |
CN110428082B (zh) | 基于注意力神经网络的水质预测方法 | |
CN110321603A (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
Schiassi et al. | Physics-informed neural networks for the point kinetics equations for nuclear reactor dynamics | |
NZ537623A (en) | Method for training a learning-capable system | |
Ponnapalli et al. | A formal selection and pruning algorithm for feedforward artificial neural network optimization | |
CN112967816B (zh) | 一种急性胰腺炎器官衰竭预测方法、计算机设备和*** | |
Sakinah et al. | LSTM with adam optimization-powered high accuracy preeclampsia classification | |
CN111081377A (zh) | 一种坏死性急性胰腺炎患者手术时机预测模型 | |
CN112085157A (zh) | 基于神经网络和树模型的预测模型建立方法及其装置 | |
JP2022526937A (ja) | 残差セミリカレントニューラルネットワーク | |
CN115271033B (zh) | 基于联邦知识蒸馏医学图像处理模型构建及其处理方法 | |
Panda | A review on logistic regression in medical research | |
CN113298131B (zh) | 一种基于注意力机制的时序数据缺失值插补方法 | |
Tahir et al. | Neural networks algorithm to inquire previous preeclampsia factors in women with chronic hypertension during pregnancy in childbirth process | |
Pavithra et al. | Comparative Study of Machine Learning Classification Techniques to Predict the Cardiovascular Diseases Using HRFLC | |
Krivtsov et al. | Predictive model of COVID-19 epidemic process based on neural network | |
Li et al. | MVIRA: A model based on Missing Value Imputation and Reliability Assessment for mortality risk prediction | |
CN115565669A (zh) | 一种基于gan和多任务学习的癌症生存分析方法 | |
Dey et al. | Deep Greedy Network: a tool for medical diagnosis on exiguous dataset of COVID-19 | |
Galić et al. | Stochastic Methods in Artificial Intelligence | |
Clark et al. | Higher-order probabilistic perceptrons as Bayesian inference engines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |
|
RJ01 | Rejection of invention patent application after publication |