CN113096818A - 基于ode和grud的急性病症发生几率的评估方法 - Google Patents
基于ode和grud的急性病症发生几率的评估方法 Download PDFInfo
- Publication number
- CN113096818A CN113096818A CN202110431318.5A CN202110431318A CN113096818A CN 113096818 A CN113096818 A CN 113096818A CN 202110431318 A CN202110431318 A CN 202110431318A CN 113096818 A CN113096818 A CN 113096818A
- Authority
- CN
- China
- Prior art keywords
- grud
- sequence
- ode
- clinical
- hidden state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000030090 Acute Disease Diseases 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012512 characterization method Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 230000001154 acute effect Effects 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 22
- 208000024891 symptom Diseases 0.000 claims abstract 3
- 238000004364 calculation method Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 20
- 208000035475 disorder Diseases 0.000 claims description 11
- 201000010099 disease Diseases 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 3
- 206010035664 Pneumonia Diseases 0.000 claims description 3
- 208000001647 Renal Insufficiency Diseases 0.000 claims description 3
- 208000004756 Respiratory Insufficiency Diseases 0.000 claims description 3
- 206010040047 Sepsis Diseases 0.000 claims description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 239000008103 glucose Substances 0.000 claims description 3
- 201000006370 kidney failure Diseases 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 claims description 3
- 208000010125 myocardial infarction Diseases 0.000 claims description 3
- 229910052760 oxygen Inorganic materials 0.000 claims description 3
- 239000001301 oxygen Substances 0.000 claims description 3
- 230000036284 oxygen consumption Effects 0.000 claims description 3
- 201000004193 respiratory failure Diseases 0.000 claims description 3
- 230000036387 respiratory rate Effects 0.000 claims description 3
- 208000013223 septicemia Diseases 0.000 claims description 3
- 230000035939 shock Effects 0.000 claims description 3
- 230000035488 systolic blood pressure Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提出了一种基于ODE和GRUD的急性病症发生几率的评估方法,用于解决现有技术中存在的没有同时考虑时序数据的临床指标缺失和采样的时间间隔不均匀导致的评估准确性较低的技术问题。实现步骤为:获取多临床指标的时序数据集、时间戳序列集和急性病症标签集;获取信息衰减表征训练样本集、信息衰减表征验证集样本和信息衰减表征测试样本集;构建基于ODE和GRUD的门控递归单元网络;对基于ODE和GRUD的门控递归单元网络进行迭代训练;获取急性病症发生几率的评估结果。本方法能够兼顾时序数据的临床指标缺失和采样时间间隔不均匀的问题,将临床指标缺失的影响纳入隐藏态更新的过程,提升急性病症发生概率估计的准确性。
Description
技术领域
本发明属于时序信号处理领域,涉及一种急性病症发生几率的评估方法,具体涉及一种基于ODE和GRUD的急性病症发生几率的评估方法,可用于对存在缺失值和采样时间间隔不均匀的多临床指标时序数据的分析处理。
背景技术
临床环境中,来自各个传感器的数据以及检查检验结果构成的时序数据对于患者的急性病症发生的几率的评估具有重要意义。目前,医护人员一般通过关注若干个重要的临床指标以及通过计算评分来对数据表示的状态进行评估,并判断是否出现某种急性病症。因为各类传感器和检查检验结果庞杂密集且具有一定的冗余性,很难从海量的数据中准确高效地分析出数据包含的状况以及出现各类急性病症的概率。此外,急性病症发生概率的判断需要相关从业人员的经验以及长时间的观察总结,这在一定程度上导致在判断是否出现某种异常状况具有一定的主观性。因此,需要一种客观准确的方法对海量且不均匀的医学时序数据进行分析处理,并估计发生急性病症的概率,从而提升估计的准确性。
近年来,深度学习在医学多临床指标时序数据处理领域表现良好。在自然语言处理、语音识别和天气预测到市场分析等任务中均有涉及。在这些任务中,被广泛应用的模型主要是循环神经网络(Recurrent Neural Network,RNN)及其变种,如门控递归单元(GatedRecurrent Units,GRU)和长短时记忆网络(Long Short-Term Memory,LSTM)等。这些模型专注于处理序列数据,对于时序数据的分析十分有效。目前已经有研究将这些模型应用于存在缺失值和时间间隔不均匀的时序数据处理,并取得了较好的效果。
例如,Che Z等人2018年在Scientific Reports卷8发表的论文Recurrent NeuralNetworks for Multivariate Time Series with Missing Values中,公开了一种能够对缺失值进行处理进而对病症发生几率进行估计的方法,该方法以GRU为基本模型,并考虑医学多临床指标时序数据中的缺失值问题,将模型的输入变量中加入各个特征的采样时间间隔并对其进行编码,从而能够处理不均匀采样或者存在缺失值的时序数据。又如,DeBrouwer E等人2019年在NeurIPS会议发表的论文GRU-ODE-Bayes:Continuous Modelingof Sporadically-Observed Time Series中,公开了一种能够对多变量时序数据两次采样时间间隔进程处理进而进行时序数据预测的方法,该方法同样以GRU为基本模型,考虑两次采样之间的时间间隔,计算GRU每次处理一个时刻数据后隐藏态变量关于时间变量的常微分方程(Ordinary Differential Equation,ODE)的值,并以其与时间间隔的乘积,作为为GRU隐藏态变量的更新量。
综上所述,现有技术中没有兼顾时序数据的临床指标缺失和采样的时间间隔不均匀两个特性,导致所提取的特征无法同时包含时序数据的临床指标缺失和时间间隔不均匀带来的影响,进而影响了评估的准确性。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于ODE和GRUD的急性病症发生几率的评估方法,用于解决现有技术中存在的因为没有同时考虑时序数据的临床指标缺失和采样的时间间隔不均匀导致的评估准确性较低的技术问题。
为实现上述目的,本发明所采用的技术方案包括如下步骤:
(1)获取多临床指标的时序数据集S、时间戳序列集T和急性病症标签集L:
(1a)采集Ns个患者的17个临床指标,包括Glucose、Systolic blood pressure、Glascow coma scale verbal response、Temperature、Weight、Diastolic bloodpressure、Fraction inspired oxygen、Glascow coma scale total、Capillary refillrate、Mean blood pressure、Heart Rate、Oxygen saturation、pH、Height、Glascow comascale eye opening、Respiratory rate和Glascow coma scale motor response,每个临床指标至少被采集一次,每个患者共采集不少于Nr次,且每次采集的数据至少包括17个临床指标中的一个,即每次采集的数据中可能存在缺失的临床指标,并按照采集时间由前到后的顺序对每个患者采集的Nr次临床指标进行排序,得到包括Ns个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳,得到时间戳序列集其中,Ns≥3000,Nr≥10,表示第ns个患者的多临床指标时序数据,表示对应的时间戳序列;
(1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注,得到急性病症标签集其中,表示与对应的急性病症标签集合其中,表示第l个急性病症标签,表示该急性病症发生,表示该急性病症未发生;
(2)获取信息衰减表征训练样本集Dtrain、信息衰减表征验证集样本Dval和信息衰减表征测试样本集Dtest:
(2a)对多临床指标的时序数据集S中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计,得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合并对S中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照Vmax中对应于该临床指标的最大值、Vmin中对应于该临床指标的最小值和Vmean中对应于该临床指标的平均值进行归一化,得到归一化后的时序数据集其中,表示与第ns个患者的多临床指标时序数据对应的归一化后的时序数据,和分别表示第nc个临床指标的最大值、最小值和平均值;
(2b)将归一化后时序数据集S1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0,同时将每次采集的时序数据中的临床指标的值修改为1,得到掩模序列集将中首次采集的各个临床指标的值设置为1,第二的到第Nr次每次采集的每一个临床指标的值填充为距离该临床指标上一次被采集的时间间隔,得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于Vmean中的该临床指标平均值,第二的到第Nr次每次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值,得到填充序列集其中和分别表示对应于的包括Nr个掩模向量的掩模序列、包括Nr个间隔向量的间隔序列和包括Nr个填充向量的填充序列;
(2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成输入序列得到输入序列集并将D中半数以上的输入序列作为信息衰减表征训练样本集Dtrain,将剩余的输入序列平分为信息衰减表征验证样本集Dval和信息衰减表征测试样本集Dtest,其中表示对应的输入序列;
(3)构建基于ODE和GRUD的门控递归单元网络K:
构建包括顺次连接的衰减门控递归单元网络GRUD、常微分模块ODE和全连接层的门控递归单元网络K,其中GRUD包含顺次连接的并行排列的输入衰减处理全连接层和隐藏态衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元,以及隐藏态计算单元,ODE包含顺次连接的常微分方程计算模块和隐藏态更新模块;
(4)对基于ODE和GRUD的门控递归单元网络K进行迭代训练:
(4a)初始化迭代次数为e,最大迭代次数为E,200≤E≤500,初始学***均绝对误差为BCEbest,初始化K的所有偏置参数均数值为0,初始化第e次迭代GRUD的初始隐藏态为符合正态分布,并令e=1,C=0,BCEbest=9223372036854775807,ηe=η;
(4b)将信息衰减表征训练样本集Dtrain作为基于ODE和GRUD的门控递归单元网络K的输入进行前向传播,实现步骤为:
(4b1)按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为K中GRUD的输入,计算时间戳为t时衰减门控递归单元网络GRUD的中间隐藏态计算公式为:
其中,和分别表示GRUD中输入衰减处理全连接层的权重参数和偏置参数,和分别表示GRUD中隐藏态衰减处理全连接层的权重参数和偏置参数,Wg、Ug和Eg表示GRUD的重置门计算单元的权重参数,bg表示GRUD的重置门计算单元的偏置参数,Wz、Uz和Ez表示GRUD的更新门计算单元的权重参数,bz表示GRUD的更新门计算单元的偏置参数,Wq、Uq和Eq表示GRUD的隐藏态计算单元的权重参数,bq表示GRUD的隐藏态计算单元的偏置参数,σ(·)表示sigmoid函数,tanh(·)表示tanh函数,⊙表示元素乘;
(4d)采用平均二值交叉熵函数计算信息衰减表征训练样本集Dtrain中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以ηe为学习率,采用自适应学习率优化算法Adam,通过对基于ODE和GRUD的门控递归单元网络K的所有权重参数W和所有偏置参数b进行更新,得到第e次迭代的基于ODE和GRUD的门控递归单元网络Ke;
(4e)将验证集Dval中所有信息衰减表征验证样本和GRUD的初始隐藏态作为Ke的输入进行前向传播,以Ke包含的GRUD计算GRUD的中间隐藏态以ODE计算GRUD的中间隐藏态的梯度并对GRUD的初始隐藏态进行更新得到GRUD的最终隐藏态,并将GRUD的最终隐藏态作为Ke中全连接层的输入进行编码,得到Dval中所有信息衰减表征验证样本对应的7种急性病症发生几率的评估结果并计算中每个信息衰减表征验证样本对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签的平均二值交叉熵值的平均值BCEval;
(4f)判断BCEval<BCEbest是否成立,若是,令BCEbest=BCEm,C=0,并执行步骤(4g),否则令C=C+1,并执行步骤(4g);
(5)获取急性病症发生几率的评估结果:
将信息衰减表征测试样本集Dtest中每个信息衰减表征测试样本和GRUD的初始隐藏态ht pre作为作为训练好的基于ODE和GRUD的门控递归单元网络Kbest的输入进行前向传播,以Kbest包含的GRUD计算GRUD的中间隐藏态以ODE计算中间隐藏态的梯度并对初始隐藏态进行更新得到最终隐藏态hlast,并将hlast作为Kbest中全连接层的输入进行编码得到Dtest中所有输入序列对应的7种急性病症发生几率的评估结果
本发明与现有技术相比具有以下优点:
1、本发明中构建的基于ODE和GRUD的门控递归单元网络中的ODE模块和GRUD模块分别考虑了多临床指标的时序数据在采集临床指标时存在临床指标缺失的问题和采样时间间隔不一致的问题,能够从多临床指标时序数据中提取更加准确有效的特征,有效的提升了急性病症发生几率估计的准确性。
2、本发明中的ODE模块计算GRUD模块计算得到的隐藏态的梯度,能够将多临床指标的时序数据包含的由临床指标缺失问题造成的影响纳入GRUD隐藏态更新的过程,从而使基于ODE和GRUD的门控递归单元网络能够提取更丰富的特征,进一步提升了急性病症发生几率估计的准确性。
附图说明
图1是本发明的实现流程图。
图2是本发明构建的患者多临床指标时序数据对应的输入序列的结构示意图。
图3是本发明中构建的基于ODE和GRUD的门控递归单元网络的结构示意图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述,需要说明的是,本发明不属于疾病的诊断与治疗方法,符合专利法第25条的规定,同时也符合专利法第2条第2款的规定。
参照图1,本发明包括步骤如下:
步骤1)获取多临床指标的时序数据集S、时间戳序列集T和急性病症标签集L:
步骤1a)采集Ns个患者的17个临床指标,包括Glucose、Systolic bloodpressure、Glascow coma scale verbal response、Temperature、Weight、Diastolicblood pressure、Fraction inspired oxygen、Glascow coma scale total、Capillaryrefill rate、Mean blood pressure、Heart Rate、Oxygen saturation、pH、Height、Glascow coma scale eye opening、Respiratory rate和Glascow coma scale motorresponse,每个临床指标至少被采集一次,每个患者共采集不少于Nr次,且每次采集的数据至少包括17个临床指标中的一个,即每次采集的数据中可能存在缺失的临床指标,并按照采集时间由前到后的顺序对每个患者采集的Nr次临床指标进行排序,得到包括Ns个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳,得到时间戳序列集本实施例中,Ns=41900,Nr=10,表示第ns个患者的多临床指标时序数据,表示对应的时间戳序列;
步骤1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注,得到急性病症标签集其中,表示与对应的急性病症标签集合其中,表示第l个急性病症标签,因为在标注时已经确定患者是否发生某种病症,故表示该急性病症发生,即发生的几率为100%,表示该急性病症未发生,即发生的几率为0%;
步骤2)获取信息衰减表征训练样本集Dtrain、信息衰减表征验证集样本Dval和信息衰减表征测试样本集Dtest:
步骤2a)对多临床指标的时序数据集S中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计,得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合同时,考虑到各个临床指标量纲不一致的影响,对S中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照Vmax中对应于该临床指标的最大值、Vmin中对应于该临床指标的最小值和Vmean中对应于该临床指标的平均值进行归一化,得到归一化后的时序数据集 表示与第ns个患者的多临床指标时序数据对应的归一化后的时序数据,对于中每个临床指标的执行归一化的方式为:
步骤2b)将归一化后时序数据集S1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0,同时将每次采集的时序数据中的临床指标的值修改为1,得到掩模序列集将中首次采集的各个临床指标的值设置为1,第二的到第Nr次每次采集的每一个临床指标的值填充为距离该临床指标上一次被采集的时间间隔,得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于Vmean中的该临床指标平均值,第二的到第Nr次每次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值,得到填充序列集其中和分别表示对应于的包括Nr个掩模向量的掩模序列、包括Nr个间隔向量的间隔序列和包括Nr个填充向量的填充序列;
步骤2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成如图2所示的输入序列得到输入序列集并将D中半数以上的输入序列作为信息衰减表征训练样本集Dtrain,将剩余的输入序列平分为信息衰减表征验证样本集Dval和信息衰减表征测试样本集Dtest,其中表示对应的输入序列,本实施例中信息衰减表征训练样本集Dtrain中信息衰减表征训练样本的数量为29250,信息衰减表征验证样本集Dval中信息衰减表征验证样本的个数为6375,信息衰减表征测试样本集Dtest中信息衰减表征测试样本的个数为6275。
参照图2,为使模型的输入序列中包含临床指标的缺失和时间间隔信息,对输入序列为掩模序列间隔序列填充序列和时间戳序列的拼接,作为网络的输入,其中掩模序列用于指示每次采集的每个临床指标是否缺失,若未缺失,则掩模序列中对应该位置的值为1,否则为0,间隔序列通过时间戳序列计算得到,用于体现每次采集每个临床指标的时效性,填充序列由多临床指标时序数据对每次采集缺失的指标按照该指标对应的之前最近一次采集的数据填充得到,从而使数据不存在缺失值,符合网络对于每次采集的临床指标的数量一致的要求,并且掩模序列间隔序列和填充序列均由对应与每个时间戳的向量组成,每个向量都对应17个临床指标,即输入序列能够按照时间戳切分为若干个输入向量,图2中标示了输入序列的第一个输入向量。
步骤3)构建基于ODE和GRUD的门控递归单元网络K:
参照图3,构建包括顺次连接的衰减门控递归单元网络GRUD、常微分模块ODE和全连接层的门控递归单元网络K,其中GRUD包含顺次连接的并行排列的输入衰减处理全连接层和隐藏态衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元,以及隐藏态计算单元,ODE包含顺次连接的常微分方程计算模块和隐藏态更新模块;
如图3所示,基于ODE和GRUD的门控递归单元网络中的衰减门控递归单元网络GRUD和常微分模块ODE每次以一个时间戳对应的输入序列的向量作为输入,迭代完成整个序列所有的时间戳对应的输入序列后得到最终隐藏态作为全连接层的输入进行编码,得到基于整个输入序列的急性病症发生几率估计结果。
步骤4)对基于ODE和GRUD的门控递归单元网络K进行迭代训练:
步骤4a)初始化迭代次数为e,最大迭代次数为E,E=200,初始学***均绝对误差为BCEbest,初始化K的所有偏置参数均数值为0,初始化第e次迭代GRUD的初始隐藏态为符合正态分布,并令e=1,C=0,BCEbest=9223372036854775807,ηe=η;
步骤4b)将信息衰减表征训练样本集Dtrain作为基于ODE和GRUD的门控递归单元网络K的输入进行前向传播,实现步骤为:
步骤4b1)如图3所示,按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为K中GRUD的输入,计算时间戳为t时包含缺失信息的衰减门控递归单元网络GRUD的中间隐藏态图3中所示的整个GRUD的计算公式为:
其中,和的计算过程分别图3中所示的输入衰减处理全连接层和隐藏态衰减处理全连接层完成,zt和qt的计算过程分别由图3中所示的更新门计算单元和重置门计算单元完成,的计算过程由图3中所示隐藏态计算单元完成,和分别表示GRUD中输入衰减处理全连接层的权重参数和偏置参数,和分别表示GRUD中隐藏态衰减处理全连接层的权重参数和偏置参数,Wg、Ug和Fg表示GRUD的重置门计算单元的权重参数,bg表示GRUD的重置门计算单元的偏置参数,Wz、Uz和Fz表示GRUD的更新门计算单元的权重参数,bz表示GRUD的更新门计算单元的偏置参数,Wq、Uq和Fq表示GRUD的隐藏态计算单元的权重参数,bq表示GRUD的隐藏态计算单元的偏置参数,σ(·)表示sigmoid函数,tanh(·)表示tanh函数,⊙表示元素乘;
步骤4b3)常微分模块ODE的常微分方程计算模块计算包含了该时间戳对应的输入向量更丰富特征的中间隐藏态的梯度隐藏态更新模块通过对进行更新,得到信息衰减表征训练样本对应的GRUD的最后隐藏态hlast,结束图3中所示的迭代结构,其中:
步骤4b4)常微分模块ODE的常微分方程计算模块计算包含了该时间戳对应的输入向量更丰富特征的中间隐藏态的梯度隐藏态更新模块通过对进行更新得到下一时刻GRUD模块的更新隐藏态,并执行步骤4b1)构成如图3所示的迭代结构,其中:
步骤4d)由于急性病症发生几率的评估结果和对应的标签均为概率值,故本实施例采用平均二值交叉熵函数计算信息衰减表征训练样本集Dtrain中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以ηe为学习率,采用自适应学习率优化算法Adam,通过对基于ODE和GRUD的门控递归单元网络K的所有权重参数W和所有偏置参数b进行更新,得到第e次迭代的基于ODE和GRUD的门控递归单元网络Ke,计算和更新公式为:
其中,表示与对应的第nl个病症的标签值,表示第nl个病症发生几率的评估结果值,ηe表示第e次迭代的学习率,W′和b′分别表示所有权重参数W和所有偏置参数b的更新结果,表示关于W的梯度,表示关于b的梯度,·表示点乘;
步骤4e)为验证当前迭代后的基于ODE和GRUD的门控递归单元网络Ke的性能,将验证集Dval中所有信息衰减表征验证样本和GRUD的初始隐藏态作为Ke的输入进行前向传播,以Ke包含的GRUD计算GRUD的中间隐藏态以ODE计算GRUD的中间隐藏态的梯度并对GRUD的初始隐藏态进行更新得到GRUD的最终隐藏态,并将GRUD的最终隐藏态作为Ke中全连接层的输入进行编码,得到Dval中所有信息衰减表征验证样本对应的7种急性病症发生几率的评估结果并计算中每个信息衰减表征验证样本对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签的平均二值交叉熵值的平均值BCEval,计算公式为:
其中表示验证集Dval中第nval个信息衰减表征验证样本对应的第nl个病症的标签,本实施例中全连接层采用的激活函数为sigmoid函数,故所得到的每个急性病症发生几率的估计结果的值域为(0,1),表示验证集Dval中第nval个信息衰减表征样本对应的第nl个病症发生几率的评估结果值,Nval表示验证信息衰减表征样本集Dval的信息衰减表征验证样本的数量;
步骤4f)判断BCEval<BCEbest是否成立,若是,令BCEbest=BCEm,C=0,并执行步骤4g),否则令C=C+1,并执行步骤4g);
步骤4g)判断e=E或者C=3是否成立,若是,表示对网络训练迭代次数达到最大迭代次数或者网络的性能连续3次性能未提升,达到训练停止条件,得到训练好的基于ODE和GRUD的门控递归单元网络Kbest,否则令e=e+1,并执行步骤4b);
步骤5)获取急性病症发生几率的评估结果:
将信息衰减表征测试样本集Dtest中每个信息衰减表征测试样本和GRUD的初始隐藏态作为作为训练好的基于ODE和GRUD的门控递归单元网络Kbest的输入进行前向传播,以Kbest包含的GRUD计算GRUD的中间隐藏态以ODE计算中间隐藏态的梯度并对初始隐藏态进行更新得到最终隐藏态hlast,并将hlast作为Kbest中全连接层的输入进行编码得到Dtest中所有输入序列对应的7种急性病症发生几率的评估结果为。
本实施例所得到的信息衰减表征测试样本集中所有信息衰减表征测试样本的7种急性病症发生几率预期与对应的7种急性病症标签的平均二至交叉熵值的平均值为0.33。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于ODE和GRUD的急性病症发生几率的评估方法,其特征在于,包括如下步骤:
(1)获取多临床指标的时序数据集S、时间戳序列集T和急性病症标签集L:
(1a)采集Ns个患者的17个临床指标,包括Glucose、Systolic blood pressure、Glascowcoma scale verbal response、Temperature、Weight、Diastolic blood pressure、Fraction inspired oxygen、Glascow coma scale total、Capillary refill rate、Meanblood pressure、Heart Rate、Oxygen saturation、pH、Height、Glascow coma scale eyeopening、Respiratory rate和Glascow coma scale motor response,每个临床指标至少被采集一次,每个患者共采集不少于Nr次,且每次采集的数据至少包括17个临床指标中的一个,即每次采集的数据中可能存在缺失的临床指标,并按照采集时间由前到后的顺序对每个患者采集的Nr次临床指标进行排序,得到包括Ns个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳,得到时间戳序列集其中,Ns≥3000,Nr≥10,表示第ns个患者的多临床指标时序数据,表示对应的时间戳序列;
(1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注,得到急性病症标签集其中,表示与对应的急性病症标签集合其中,表示第l个急性病症标签, 表示该急性病症发生,表示该急性病症未发生;
(2)获取信息衰减表征训练样本集Dtrain、信息衰减表征验证集样本Dval和信息衰减表征测试样本集Dtest:
(2a)对多临床指标的时序数据集S中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计,得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合并对S中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照Vmax中对应于该临床指标的最大值、Vmin中对应于该临床指标的最小值和Vmean中对应于该临床指标的平均值进行归一化,得到归一化后的时序数据集其中,表示与第ns个患者的多临床指标时序数据对应的归一化后的时序数据,和分别表示第nc个临床指标的最大值、最小值和平均值;
(2b)将归一化后时序数据集S1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0,同时将每次采集的时序数据中的临床指标的值修改为1,得到掩模序列集将中首次采集的各个临床指标的值设置为1,第二的到第Nr次每次采集的每一个临床指标的值填充为距离该临床指标上一次被采集的时间间隔,得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于Vmean中的该临床指标平均值,第二的到第Nr次每次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值,得到填充序列集其中和分别表示对应于的包括Nr个掩模向量的掩模序列、包括Nr个间隔向量的间隔序列和包括Nr个填充向量的填充序列;
(2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成输入序列得到输入序列集并将D中半数以上的输入序列作为信息衰减表征训练样本集Dtrain,将剩余的输入序列平分为信息衰减表征验证样本集Dval和信息衰减表征测试样本集Dtest,其中表示对应的输入序列;
(3)构建基于ODE和GRUD的门控递归单元网络K:
构建包括顺次连接的衰减门控递归单元网络GRUD、常微分模块ODE和全连接层的门控递归单元网络K,其中GRUD包含顺次连接的并行排列的隐藏态衰减处理全连接层和输入衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元,以及隐藏态计算单元,ODE包含顺次连接的常微分方程计算模块和隐藏态更新模块;
(4)对基于ODE和GRUD的门控递归单元网络K进行迭代训练:
(4a)初始化迭代次数为e,最大迭代次数为E,200≤E≤500,初始学***均绝对误差为BCEbest,初始化K的所有偏置参数均数值为0,初始化第e次迭代GRUD的初始隐藏态为符合正态分布,并令e=1,C=0,BCEbest=9223372036854775807,ηe=η;
(4b)将信息衰减表征训练样本集Dtrain作为基于ODE和GRUD的门控递归单元网络K的输入进行前向传播,实现步骤为:
(4b1)按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为K中GRUD的输入,计算时间戳为t时衰减门控递归单元网络GRUD的中间隐藏态计算公式为:
其中,和分别表示GRUD中输入衰减处理全连接层的权重参数和偏置参数,和分别表示GRUD中隐藏态衰减处理全连接层的权重参数和偏置参数,Wg、Ug和Fg表示GRUD的重置门计算单元的权重参数,bg表示GRUD的重置门计算单元的偏置参数,Wz、Uz和Fz表示GRUD的更新门计算单元的权重参数,bz表示GRUD的更新门计算单元的偏置参数,Wq、Uq和Fq表示GRUD的隐藏态计算单元的权重参数,bq表示GRUD的隐藏态计算单元的偏置参数,σ(·)表示sigmoid函数,tanh(·)表示tanh函数,⊙表示元素乘;
(4d)采用平均二值交叉熵函数计算信息衰减表征训练样本集Dtrain中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以ηe为学习率,采用自适应学习率优化算法Adam,通过对基于ODE和GRUD的门控递归单元网络K的所有权重参数W和所有偏置参数b进行更新,得到第e次迭代的基于ODE和GRUD的门控递归单元网络Ke;
(4e)将验证集Dval中所有信息衰减表征验证样本和GRUD的初始隐藏态作为Ke的输入进行前向传播,以Ke包含的GRUD计算GRUD的中间隐藏态以ODE计算GRUD的中间隐藏态的梯度并对GRUD的初始隐藏态进行更新得到GRUD的最终隐藏态,并将GRUD的最终隐藏态作为Ke中全连接层的输入进行编码,得到Dval中所有信息衰减表征验证样本对应的7种急性病症发生几率的评估结果并计算中每个信息衰减表征验证样本对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签的平均二值交叉熵值的平均值BCEval;
(4f)判断BCEval<BCEbest是否成立,若是,令BCEbest=BCEm,C=0,并执行步骤(4g),否则令C=C+1,并执行步骤(4g);
(5)获取急性病症发生几率的评估结果:
2.根据权利要求所述的基于ODE和GRUD的急性病症发生几率的评估方法,其特征在于,步骤(4d)中所述的采用平均二值交叉熵函数计算信息衰减表征训练样本集Dtrain中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值以及采用自适应学习率优化算法Adam,通过对基于ODE和GRUD的门控递归单元网络K的所有权重参数W和所有偏置参数b进行更新,其计算公式和更新公式分别为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110431318.5A CN113096818B (zh) | 2021-04-21 | 2021-04-21 | 基于ode和grud的急性病症发生几率的评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110431318.5A CN113096818B (zh) | 2021-04-21 | 2021-04-21 | 基于ode和grud的急性病症发生几率的评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113096818A true CN113096818A (zh) | 2021-07-09 |
CN113096818B CN113096818B (zh) | 2023-05-30 |
Family
ID=76679155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110431318.5A Active CN113096818B (zh) | 2021-04-21 | 2021-04-21 | 基于ode和grud的急性病症发生几率的评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096818B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793666A (zh) * | 2021-09-16 | 2021-12-14 | 中国人民解放军空军军医大学 | 一种复合模式神经元信息处理方法和*** |
CN113876337A (zh) * | 2021-09-16 | 2022-01-04 | 中国矿业大学 | 一种基于多元递归网络的心脏疾病识别方法 |
CN113951845A (zh) * | 2021-12-01 | 2022-01-21 | 中国人民解放军总医院第一医学中心 | 创伤严重失血伤情预测方法与*** |
CN115547502A (zh) * | 2022-11-23 | 2022-12-30 | 浙江大学 | 基于时序数据的血透病人风险预测装置 |
JP2023043188A (ja) * | 2021-09-15 | 2023-03-28 | 中国人民解放軍陸軍軍医大学 | 常微分方程式に基づくgruネットワークモデル及び特徴抽出方法と装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3346912A1 (en) * | 2015-09-09 | 2018-07-18 | Ubiome Inc. | Method and system for microbiome-derived diagnostics and therapeutics for conditions associated with cerebro-craniofacial health |
CN110866631A (zh) * | 2019-10-09 | 2020-03-06 | 重庆大学 | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 |
CN112526876A (zh) * | 2020-08-12 | 2021-03-19 | 江苏大学 | 一种基于数据驱动的lpv***的lqg控制器的设计方法 |
CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
-
2021
- 2021-04-21 CN CN202110431318.5A patent/CN113096818B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3346912A1 (en) * | 2015-09-09 | 2018-07-18 | Ubiome Inc. | Method and system for microbiome-derived diagnostics and therapeutics for conditions associated with cerebro-craniofacial health |
CN110866631A (zh) * | 2019-10-09 | 2020-03-06 | 重庆大学 | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 |
CN112526876A (zh) * | 2020-08-12 | 2021-03-19 | 江苏大学 | 一种基于数据驱动的lpv***的lqg控制器的设计方法 |
CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
Non-Patent Citations (3)
Title |
---|
DONG HAI ET AL.: ""Heartbeat Detection and Rate Estimation from Ballistocardiograms using the Gated Recurrent Unit Network"", 《IEEE》 * |
EDWARD DE BROUWER ET AL.: ""GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series"", 《33RD CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2019)》 * |
谢仕斌;吴元凯;朱建芸;张英;陈淑如;凌莉;柯伟民;高志良;: "慢加急性肝衰竭预后评分***的建立与评估", 中山大学学报(医学科学版) * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023043188A (ja) * | 2021-09-15 | 2023-03-28 | 中国人民解放軍陸軍軍医大学 | 常微分方程式に基づくgruネットワークモデル及び特徴抽出方法と装置 |
CN113793666A (zh) * | 2021-09-16 | 2021-12-14 | 中国人民解放军空军军医大学 | 一种复合模式神经元信息处理方法和*** |
CN113876337A (zh) * | 2021-09-16 | 2022-01-04 | 中国矿业大学 | 一种基于多元递归网络的心脏疾病识别方法 |
CN113876337B (zh) * | 2021-09-16 | 2023-09-22 | 中国矿业大学 | 一种基于多元递归网络的心脏疾病识别方法 |
CN113793666B (zh) * | 2021-09-16 | 2023-10-27 | 中国人民解放军空军军医大学 | 一种复合模式神经元信息处理方法和*** |
CN113951845A (zh) * | 2021-12-01 | 2022-01-21 | 中国人民解放军总医院第一医学中心 | 创伤严重失血伤情预测方法与*** |
CN115547502A (zh) * | 2022-11-23 | 2022-12-30 | 浙江大学 | 基于时序数据的血透病人风险预测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113096818B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113096818A (zh) | 基于ode和grud的急性病症发生几率的评估方法 | |
CN109036553A (zh) | 一种基于自动抽取医疗专家知识的疾病预测方法 | |
CN109659033A (zh) | 一种基于循环神经网络的慢性疾病病情变化事件预测装置 | |
CN111243736B (zh) | 一种生存风险评估方法及*** | |
CN113040711B (zh) | 一种脑卒中发病风险预测***、设备、存储介质 | |
CN111899894A (zh) | 一种抑郁症患者预后药效评估***及其评估方法 | |
CN114549469A (zh) | 一种基于置信度校准的深层神经网络医疗图像诊断方法 | |
CN114037011B (zh) | 一种中医舌色噪声标注样本的自动识别与清洗方法 | |
CN116822920B (zh) | 一种基于循环神经网络的流程预测方法 | |
CN111803059A (zh) | 一种基于时域卷积网络的心电信号分类方法及装置 | |
CN111915024A (zh) | 一种序列预测模型训练方法、预测***及预测方法和介质 | |
CN107491656B (zh) | 一种基于相对危险度决策树模型的妊娠结局影响因子评估方法 | |
CN116350196A (zh) | 基于深度学习的无创血压值预测方法及*** | |
CN115527608A (zh) | 一种肠道年龄预测方法和*** | |
CN112397202B (zh) | 一种青少年儿童身高生长曲线的预测方法 | |
CN113842135A (zh) | 一种基于BiLSTM的睡眠呼吸异常自动筛查方法 | |
CN112149355A (zh) | 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 | |
CN116957157A (zh) | 一种基于多源数据分析的生产效益预测方法及*** | |
CN114464319B (zh) | 一种基于慢特征分析和深度神经网络的ams易感性评估*** | |
CN116364203A (zh) | 一种基于深度学习的水质预测方法、***和装置 | |
Zhang et al. | Multivariate discrete grey model base on dummy drivers | |
CN115497591A (zh) | 一种基于环境-基因交互作用的多状态模型预测*** | |
CN113782209A (zh) | 一种基于循环神经网络的慢性病患者智能预后方法及*** | |
CN110786839A (zh) | 瞬时无波形比值的生成方法、装置、设备及介质 | |
Luong et al. | Learning deep representations from clinical data for chronic kidney disease |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |