CN109659033A - 一种基于循环神经网络的慢性疾病病情变化事件预测装置 - Google Patents
一种基于循环神经网络的慢性疾病病情变化事件预测装置 Download PDFInfo
- Publication number
- CN109659033A CN109659033A CN201811548823.2A CN201811548823A CN109659033A CN 109659033 A CN109659033 A CN 109659033A CN 201811548823 A CN201811548823 A CN 201811548823A CN 109659033 A CN109659033 A CN 109659033A
- Authority
- CN
- China
- Prior art keywords
- illness
- prediction
- state
- neural network
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
Abstract
本发明公开了一种基于循环神经网络的慢性疾病病情变化事件预测装置,包括存储器、处理器以及计算机程序,存储器中存有预处理模块和慢性疾病病情变化事件预测模型,预测模型包括预处理模块、病情特征提取模块和分类模块;处理器执行计算机程序时实现以下步骤:接收患者多次入院所生成的长期纵向数据,预处理模块对数进行据预处理,将每次入院的数据重建为一个特征向量,作为待测数据集;以待测数据集作为输入,病情特征提取模块提取病情特征输入到分类模块;分类模块输出各类标志病情发生变化的事件的预测概率。该预测装置可对慢性疾病患者在目标时间窗口内发生标志疾病病情变化的事件进行预测,从而辅助医生制定合理的诊疗措施,降低医疗开支。
Description
技术领域
本发明属于数据处理领域,具体涉及一种基于循环神经网络的慢性疾病病情变化事件预测装置。
背景技术
慢性疾病是我国居民死亡的主要原因,据统计,近年来,我国死亡人口中,约有86%死于各种慢性疾病。慢性疾病的主要特点是,持续时间较长、病情难以逆转、致病原因较为复杂。预测慢性疾病在未来可能发生的病情变化事件对于评估慢性疾病预后十分重要,也有助于对慢性疾病进行更为精准的治疗。
现有的慢性疾病重大事件预测方法多为临床医学研究成果,使用的技术手段基本类似,多为队列研究的方法。具体的实施策略是,1)确定疾病病情发生重大变化的标志性事件(终点事件),例如一年内再次入院、死亡等;2)将某种慢性病病人纳入研究队列,记录病人被纳入研究队列时的各项生理指标;3)对病人进行长期随访,病人如若在随访过程中发生了先前定义的标志性事件,则记录事件的发生时间。4)使用医学统计学方法,分析事件发生的主要风险因素。5)根据主要风险因素建立模型,预测一个病人是否会在规定时间窗口内发生终点事件。医学研究中,各类风险预测模型的区别主要在于使用的数据不同、使用的数据特征不同,而方法基本类似。以心力衰竭这一慢性疾病为例,美国华盛顿大学基于包含了1,125名患者的队列,提出了能够预测预测病人1年,2年,3年死亡率的西雅图心衰模型,该模型使用了临床中常见的24项病人特征,使用的方法是Cox风险比例回归。西班牙巴塞罗那自治大学基于2507名患者的队列,提出了可以预测患者1月与1年心源性再入院的Red-In模型,使用的方法是逻辑回归。临床医学中常用基于线性模型的疾病终点事件预测模型,只能对病人被纳入队列时所记录的数据进行分析,无法及时追踪病人病情变化后对终点事件发生概率的影响,从而限制了预测能力。另一方面,临床模型所使用的终点事件过于严格,对于很多慢性疾病而言,其疾病演变是一个相当漫长的过程,对于疾病症状较轻的病人,无需使用死亡这样的终点事件评估其在几年内的预后情况。
近年来,深度学习技术的发展,主要是循环神经网络的应用,为疾病事件提供了全新的可用方法,循环神经网络使得追踪病人长期病情变化数据,从而给出更为精准,更符合实际需求的病情变化事件预测成为可能。但是,循环神经网络的原始设计虽然可以,但是并不适合接受病人的长期病情数据,这是由于其一般用于接受时间间隔相同的序列数据,而慢性疾病病人的入院时间间隔往往是无规律可循的。这一不同在一定程度上限制了循环神经网络在疾病病情演变事件预测上的应用。
发明内容
本发明的目的是提供一种基于循环神经网络的慢性疾病病情变化事件预测装置,可一定程度上缓解输入时间间隔不一致的问题,对慢性疾病患者在目标时间窗口内发生标志疾病病情变化的事件进行更为精准的预测,从而辅助医生制定合理的诊疗措施,支持临床决策,降低医疗开支。
为实现上述目的,本发明提供以下技术方案:
一种基于循环神经网络的慢性疾病病情变化事件预测装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序:
所述计算机存储器中存有预处理模块和慢性疾病病情变化事件预测模型,所述慢性疾病病情变化事件预测模型包括预处理模块、病情特征提取模块和分类模块;
所述计算机处理器执行所述计算机程序时实现以下步骤:
接收患者多次入院所生成的长期纵向数据,预处理模块对数进行据预处理,将每次入院的数据重建为一个特征向量,作为待测数据集;以待测数据集作为输入,病情特征提取模块提取病情特征输入到分类模块;分类模块输出各类标志病情发生变化的事件的预测概率。
所述慢性疾病变化事件预测模型的获得过程为:
(1)采集慢性疾病患者的电子健康记录,作为患者多次入院所生成的长期纵向数据,预处理模块并其进行预处理,对样本是否在目标时间窗口内标志病情发生变化的事件进行标注,得到训练样本;
(2)构建慢性疾病病情变化事件预测网络,包括连接的循环神经网络和分类器,所述循环神经网络为用Hawkes过程学习到的激发条件强度改进的GRU循环神经网络;
(3)以步骤(1)中的训练样本作为步骤(2)中预测网络的输入层,以所述训练样本对应的真值标签作为所述预测网络的输出层,对所述预测网络进行训练,对所述预测网络的参数进行调节,直到收敛,得到训练完成后所对应的特征提取模块和分类模块,组成慢性疾病病情变化事件预测模型。
在步骤(1)中,所述电子健康记录包括患者入院所产生的人口学数据、检查检验结果、诊断、医嘱、病程录、手术;预处理模块对电子健康记录进行预处理的方法为:处理实验数据缺失值,提取患者的特征样本,将电子健康记录整合为一个K维特征向量作为训练样本,表示如下:
D={P1,P2,…,PN},N代表病人总数,对于第i个病人,存在nj次入院记录,第j次入院的特征向量可被表示为
在本发明中,为能够充分利用患者疾病发展过程中隐含的信息,规定患者至少要有三次入院记录,对入院记录少于三次的患者做删除处理。
对所述特征样本进行二值化处理,包括:
对于数值型特征,以正常/异常作为二值化;
对于有序多分类变量或无序多分类变量,以及无法通过正常/异常完成二值化的数值型变量,通过创造哑变量的形式完成二值化。
在步骤(2)中,所述改进的GRU循环神经网络的隐层更新计算方法为:
zt=σ(WzHawkes(et-1,etarget,Δt))+bz
rt=σ(WrHawkes(et-1,etarget,Δt))+br
h′t=tanh(Wh[et,ct]+Uh(rt*ht-1)+bh),
ht=zt*ht-1+(1-zt)*h′t
其中,zt表示更新门,rt表示重置门,ht-1表示前一个时刻的状态信息,h′t表示隐藏状态,ht表示新的状态信息;ct为补充说明病人本次入院时身体情况的上下文变量;et-1指上一次入院时表示疾病病情的标志性事件,Δt指上一次入院到本次入院的时间间隔;Hawkes表示通过Hawkes过程学习到的激发条件强度,etarget表示本次预测任务目标预测的病情事件;Hawkes过程所涉及的参数为预先训练完毕的参数;Wz,Wr,Wh,bz,br,bh,Uh为预测网络训练得到的参数。
本发明所采用的循环神经网络的最后一个隐层即为需要输出的特征,循环神经网络使用的神经元模型为以GRU神经元为蓝本,进行定制的神经元模型,可被称为Hcell。本发明的改进表现在对隐层的计算方法上做了特殊的处理,使得其能够得到更好的预测结果,具体地,用Hawkes过程学习到的激发条件强度改进神经元,整合当前疾病信息与时间间隔进行信息传递控制,使得其能够得到更好的预测结果。
所述改进的GRU循环神经网络输出隐层向量分类器输出目标时间窗口内发生事件y的概率为:
其中,u为预测网络训练得到的参数。
根据目标时间窗口的不同和发生事件定义的不同,可以训练多个如上所述的神经网络,进行多种事件在不同时间窗口内发生概率的预测。
所述Hawkes过程的学习方法为:
对于事件采样序列其中每一个采样cj视为一个事件序列,一个事件序列指患者多次入院所生成的长期纵向数据,每一个事件序列中的元素可视为序列类型和序列事件的二元组其中,和,U表示病情标志性事件种类,和分别代表第j个采样的发生时间和具体类型,nj代表了采样发生事件的数量(病人入院次数),采样cj的时间观察窗口为[0,Tj](病人总时间跨度);
激发条件强度为:
参数μ和α通过EM算法进行优化,包括:
E步
M步
EM算法是Dempster等人在1977年提出的一种参数优化算法。其通过不断迭代E步和M步直到收敛完成参数优化。
在步骤(3)中,选择使用交叉熵代价函数作为损失函数表示事件预测性能的好坏,再通过反向传播算法和梯度下降算法优化交叉熵代价函数,得到训练后的参数Wz,Wr,Wh,bz,br,bh,Uh的局部最优解,作为慢性疾病病情变化事件预测模型的参数;所述交叉熵代价函数的计算方法为:
其中,n是所有输入x的个数,j则代表第几个输入。
具体地,更新w和b的表达式如下:
与现有技术相比,本发明的有益效果体现在:
本发明提供的预测装置通过可导入患者电子健康记录,包括多个分别在不同时间窗口预测不同事件的预测模型,同时预测慢性疾病患者在多个事件窗口内,发生多类标志疾病病情发生变化的事件的概率,从而辅助医生制定合理的诊疗措施,支持临床决策,降低医疗开支,改善慢性疾病患者预后。
本发明提供的预测装置中的预测模型为改进的循环神经网络模型,可以捕获两次相邻入院时间间隔对事件发生的影响。相比于现行的临床医学方法,可以更好的使用疾病病人的长期数据而非某个横断面的数据;相比于现有的基于机器学习的方法,所提出的模型更符合临床的实践经验。
附图说明
图1为本发明提供的慢性疾病病情变化事件预测模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
本发明利用定制化神经元的循环神经网络预测慢病病人在目标时间窗口内是否会发生标志病情发生重大病情的变化;在获取数据后,首先使用Hawkes过程计算得到各个事件之间相互影响的关系,结合定制化后的神经元(HCell),构成疾病发展事件预测模型的循环神经网络;使用随机梯度下降算法对循环神经网络进行优化,最终得到可用的,预测慢性疾病病情变化事件的模型。
本发明提供的基于循环神经网络的慢性疾病病情变化事件预测装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,计算机存储器中存有预处理模块和慢性疾病病情变化事件预测模型,该预测模型通过以下三个阶段获得:
S101,采集慢性疾病患者的电子健康记录,电子健康记录包括患者多次入院所产生的人口学数据、检查检验结果、诊断、医嘱、病程录、手术等数据。对电子健康记录数据进行预处理,对样本是否在目标时间窗口内发生标志病情发生变化的关键事件进行标注,得到训练样本标签,构建训练样本。
构建训练样本的具体步骤为:
S1011,从原始电子健康记录提取患者长期纵向数据,纳入的患者至少包含四次入院记录;每次入院的数据包含患者的诊断、医嘱、检查检验结果、手术、人口学信息;并进行预处理,以患者长期纵向数据作为训练集,最后一次入院的事件为标签,构建样本数据集。
具体地,将样本数据集设为数据集D={P1,P2,…,PN},N代表病人总数;对于第j个病人,存在nj次入院记录。
预处理模块对电子健康记录进行预处理的方法为:处理实验数据缺失值,提取患者的特征样本,并进行二值化处理,整合为一个K维特征向量。
其中,对于数值型特征(例如某些检查检验结果),以正常/异常作为二值化策略。对于有序多分类变量或无序多分类变量,以及某些无法通过正常/异常完成二值化的数值型变量,通过创造哑变量(Dummy Variable)的形式完成二值化。
经过预处理后,其每次入院记录中所含有的人口学、诊断、医嘱、手术、检查检验数据,均可整合为一个K维特征向量,则有其第j次入院的特征向量可被表示为其中xij可以分为两部分,第一部分用于说明标志本次入院时疾病病情的关键事件et,第二部分用于补充说明病人本次入院时身体情况的上下文变量ct。
S102,构建慢性疾病病情变化事件预测网络,包括连接的循环神经网络和分类器,循环神经网络为用Hawkes过程学习到的激发条件强度改进的GRU循环神经网络。
改进的GRU循环神经网络为使用经过定制神经元的循环神经网络,以预处理后的患者长期纵向数据作为输入,得到输出特征y。循环神经网络的最后一个隐层即为需要输出的特征。改进的GRU循环神经网络使用的HCell神经元模型为以GRU神经元为蓝本,进行部分修改的得到。
具体地,在本实施例中,改进GRU循环神经网络的隐层更新计算策略为:
zt=σ(WzHawkes(et-1,Δt,etarget))+bz
rt=σ(WrHawkes(et-1,Δt,etarget))+br
其中,zt表示更新门,rt表示重置门,ht-1表示前一个时刻的状态信息,ht′表示隐藏状态,ht表示新的状态信息;ct为补充说明病人本次入院时身体情况的上下文变量;et-1指上一次入院时表示疾病病情的标志性事件,Δt指上一次入院到本次入院的时间间隔;Hawkes表示通过Hawkes过程学习到的激发条件强度,etarget表示本次预测任务目标预测的病情事件;Hawkes过程所涉及的参数为预先训练完毕的参数;Wz,Wr,Wh,bz,br,bh,Uh为预测网络训练得到的参数。
具体地,计算过程请参考图1,其中,下方矩形框为输入数据,其中ht-1为上个状态的隐层,et为本次输入的事件,ct为本次输入的上下文描述信息,et-1为上次输入的事件,etarget为本次拟进行预测的事件,Δt为两次输入之间的时间差,Α为Hawkes过程优化得到的互激发矩阵,Μ为Hawkes过程优化得到的自激发矩阵;右上矩形框为经由Hawkes过程计算条件强度Hawkes Intensity的过程;左上矩形框为HCell计算新状态ht的过程。计算新状态ht由如图所示步骤和上述公式一步一步计算得到。
具体地,在本实施例中,使用分类器,将y作为输入,输出分类结果;
对第j个病人,经过定制的神经网络在最后一步可以输出隐层向量则有对目标时间窗口内发生事件y的概率为:
其中,u为预测网络训练得到的参数。
S103,以步骤(1)中的训练样本作为步骤(2)中预测网络的输入层,以所述训练样本对应的真值标签作为所述预测网络的输出层,对所述预测网络进行训练,对所述预测网络的参数进行调节,直到收敛,得到训练完成后所对应的特征提取模块和分类模块,组成慢性疾病病情变化事件预测模型。
S1031,以S1011中说明的事件作为训练样本,学习Hawkes过程所需的参数μ和α。
具体而言,对于事件采样序列每一个采样cj均可视为一个事件序列(病人多次入院的长期纵向数据),其中和(病情标志性事件种类)分别代表第j个采样的发生时间和具体类型,nj代表了采样发生事件的数量(病人入院次数),采样cj的时间观察窗口为[0,Tj](病人总时间跨度)。对于此类多元Hawkes过程,有条件激发强度如下所示
参数μ和α通过EM算法优化,优化步骤为:
E步
M步
S1032,参数Wz,Wr,Wh,bz,br,bh,Uh的训练。
在训练过程中,假设给定一个输入x,都会得到一个预测值输出f(x),而这个预测值输出与的真实值Y相比,不一定会是相同的。为了表示拟合的好坏,就用一个函数来度量拟合的程度,也就是损失函数。在一定范围内,损失函数越小,就代表模型拟合的越好。但是若损失函数为0时,表示模型过拟合,此时尽管模型在训练集上完美拟合,但是却很可能在其他测试集上的拟合效果不如人意。
因此,为了直观地看出模型的拟合效果,需要设置损失函数来验证模型的效果。所选择使用交叉熵代价函数作为损失函数,其计算方法如下:
其中,n是所有输入x的个数,j则代表第几个输入。
在训练神经网络过程中,本实施例通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数。而交叉熵代价函数可以克服方差代价函数更新权重过慢的问题,表达式如下:
权重的更新是受f(x)-Y的影响,即受模型误差的影响。当模型的误差越大时,权重更新越快;当模型的误差越小时,权重的更新越慢。模型训练时观察到输出的损失函数的大小后,可以调整模型的迭代次数以及模型的隐藏单元的大小,进而改变损失函数的输出,从而判断模型的拟合效果。
获得的慢性病疾病变化事件预测模型存储在预测装置的存储器中,应用时,接收患者多次入院所生成的长期纵向数据,预处理模块对数进行据预处理,将每次入院的数据重建为一个特征向量,作为待测数据集;以待测数据集作为输入,病情特征提取模块提取病情特征输入到分类模块;分类模块输出各类标志病情发生变化的事件的预测概率。
应用例
本应用例采用的慢性疾病患者病例数据中共有2102名病人的长期纵向数据,总计包括13546次入院记录,由国内某三甲医院提供,为心力衰竭病人的长期纵向数据,不包括姓名等私人信息。根据数据特征和临床医学知识,定义9类标志病情发生变化的事件,心功能1级、心功能2级、心功能3级、心功能4级、再血管化手术、死亡、肺病、肾病、肿瘤事件。定义两个时间观察窗口,分别为三个月,一年。使用实施例提供的预测装置对上述9类事件分别在两个时间观察窗口的发生概率进行预测。
为了更好地比较本发明所提出的预测装置的优越性,进行对比实验。本应用例提供的预测装置与三个对比预测装置进行了对比,对比预测装置的计算机存储器中存有与本应用例不同的慢性疾病病情变化事件预测模型。对比的预测事件是:基于长期纵向数据,对病人三个月内或一年内发生,心功能1级、心功能2级、心功能3级、心功能4级、再血管化手术、死亡、肺病、肾病、肿瘤事件的概率进行预测。
为更好的说明各对比预测装置的意义,在此对于本发明提出的定制化神经元的动机进行简述。传统的循环神经网络(本文中使用GRU为基准神经元)所接受的信息多为时间间隔固定的采样输入,我们将此类模型称为RNN,此类循环神经网络显然不适合处理时间间隔不固定的长期纵向数据。为了建模时间间隔因素的影响,近年来常见的研究工作将时间信息直接整合为循环神经网络输入的一个维度,从而使得模型能够对不同时间间隔的数据做出不同的预测,将这种模型称为TimeFuseRNN。但是TimeFuseRNN在逻辑上存在缺陷,作为长期纵向数据,显然间隔时间比其它信息更适合对隐层信息的更新进行控制,但是在TimeFuseRNN中,时间信息与其他信息处于同一地位,在其他信息的干扰下,加入时间信息可能意义有限。因此对比实验中提出完全依赖于时间信息进行GRU的Gate Value计算,将此类模型称为TimeDecayRNN,TimeDecayRNN可以充分使用时间间隔判断信息更新速度。但是,TimeDecayRNN的问题在于,不同疾病在发展规律上存在不同的表现,TimeDecayRNN完全利用时间信息做信息控制忽视了疾病发展模式的区别,因此本发明提出了基于Hawkes过程的定制化神经元,同时整合当前疾病信息与时间间隔进行信息传递控制,这一模型被称为HawkesRNN。
即,本应用例中,提供的预测装置中计算机存储器中存储的慢性疾病病情变化事件预测模型为HawkesRNN,对比预测装置为三个,计算机存储器中存储的慢性疾病病情变化事件预测模型分别为RNN、TimeFuseRNN和TimeDecayRNN。
表1为预测装置与对比预测装置的预测概率,为确保模型的稳定性,所有数据均为5折交叉验证重复十次取平均得到。显然,计算机存储器中存储有HawkesRNN的预测装置在大多数任务上性能都有显著提升。不难发现,在总计18项任务中,计算机存储器中存储有TimeFuseRNN的预测装置在大部分任务中都没有显著的性能改良,说明只在输入中加入时间信息而不对神经元结构进行改变的确效果有限。计算机存储器中存储有TimeDecayRNN的预测装置相比计算机存储器中存储有TimeFuseRNN的预测装置,在大多数模型中都有较为明显的性能提升,说明时间相比于其他信息,的确是更为重要的信息传递控制因素。而本应用例提供的计算机存储器中存储有HawkesRNN的预测装置则在大部分模型中达到了最佳成绩,说明本发明所提出的预测装置的确在性能上拥有优势。
表1应用例提供的预测装置与对比预测装置的预测概率
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于循环神经网络的慢性疾病病情变化事件预测装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序:
所述计算机存储器中存有预处理模块和慢性疾病病情变化事件预测模型,所述慢性疾病病情变化事件预测模型包括预处理模块、病情特征提取模块和分类模块;
所述计算机处理器执行所述计算机程序时实现以下步骤:
接收患者多次入院所生成的长期纵向数据,预处理模块对数据进行预处理,将每次入院的数据重建为一个特征向量,作为待测数据集;以待测数据集作为输入,病情特征提取模块提取病情特征输入到分类模块;分类模块输出各类标志病情发生变化的事件的预测概率。
2.如权利要求1所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,所述慢性疾病变化事件预测模型的获得过程为:
(1)采集慢性疾病患者的电子健康记录,作为患者多次入院所生成的长期纵向数据,并进行预处理,对样本是否在目标时间窗口内标志病情发生变化的事件进行标注,得到训练样本;
(2)构建慢性疾病病情变化事件预测网络,包括连接的循环神经网络和分类器,所述循环神经网络为用Hawkes过程学习到的激发条件强度改进的GRU循环神经网络;
(3)以步骤(1)中的训练样本作为步骤(2)中预测网络的输入层,以所述训练样本对应的真值标签作为所述预测网络的输出层,对所述预测网络进行训练,对所述预测网络的参数进行调节,直到收敛,得到训练完成后所对应的特征提取模块和分类模块,组成慢性疾病病情变化事件预测模型。
3.如权利要求2所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,在步骤(1)中,所述电子健康记录包括患者入院所产生的人口学数据、检查检验结果、诊断、医嘱、病程录、手术;预处理模块对电子健康记录进行预处理的方法为:处理实验数据缺失值,提取患者的特征样本,将电子健康记录整合为一个K维特征向量作为训练样本,表示如下:
D={P1,P2,…,PN},N代表病人总数,对于第i个病人,存在nj次入院记录,第j次入院的特征向量可被表示为
4.如权利要求3所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,对所述特征样本进行二值化处理,包括:
对于数值型特征,以正常/异常作为二值化;
对于有序多分类变量或无序多分类变量,以及无法通过正常/异常完成二值化的数值型变量,通过创造哑变量的形式完成二值化。
5.如权利要求2所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,在步骤(2)中,所述改进的GRU循环神经网络的隐层更新计算方法为:
zt=σ(WzHawkes(et-1,etarget,Δt))+bz
rt=σ(WrHawkes(et-1,etarget,Δt))+br
h′t=tanh(Wh[et,ct]+Uh(rt*ht-1)+bh),
ht=zt*ht-1+(1-zt)*h′t
其中,zt表示更新门,rt表示重置门,ht-1表示前一个时刻的状态信息,h′t表示隐藏状态,ht表示新的状态信息;ct为补充说明病人本次入院时身体情况的上下文变量;et-1指上一次入院时表示疾病病情的标志性事件,Δt指上一次入院到本次入院的时间间隔;Hawkes表示通过Hawkes过程学习到的激发条件强度,etarget表示本次预测任务目标预测的病情事件;Hawkes过程所涉及的参数为预先训练完毕的参数;Wz,Wr,Wh,bz,br,bh,Uh为预测网络训练得到的参数。
6.如权利要求5所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,所述改进的GRU循环神经网络输出隐层向量分类器输出目标时间窗口内发生事件y的概率为:
其中,u为预测网络训练得到的参数。
7.如权利要求5所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,所述Hawkes过程的学习方法为:
对于事件采样序列其中每一个采样cj视为一个事件序列,一个事件序列指患者多次入院所生成的长期纵向数据,每一个事件序列中的元素可视为序列类型和序列事件的二元组其中,和,U表示病情标志性事件种类,和分别代表第j个采样的发生时间和具体类型,nj代表了采样发生事件的数量(病人入院次数),采样cj的时间观察窗口为[0,Tj](病人总时间跨度);
激发条件强度为:
参数μ和α通过EM算法进行优化,包括:
E步
M步
8.如权利要求5所述的基于循环神经网络的慢性疾病病情变化预测装置,其特征在于,在步骤(3)中,选择使用交叉熵代价函数作为损失函数表示事件预测性能的好坏,再通过反向传播算法和梯度下降算法优化交叉熵代价函数,得到训练后的参数Wz,Wr,Wh,bz,bh,br,Uh的局部最优解,作为慢性疾病病情变化事件预测模型的参数;所述交叉熵代价函数的计算方法为:
其中,n是所有输入x的个数,j则代表第几个输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811548823.2A CN109659033B (zh) | 2018-12-18 | 2018-12-18 | 一种基于循环神经网络的慢性疾病病情变化事件预测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811548823.2A CN109659033B (zh) | 2018-12-18 | 2018-12-18 | 一种基于循环神经网络的慢性疾病病情变化事件预测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109659033A true CN109659033A (zh) | 2019-04-19 |
CN109659033B CN109659033B (zh) | 2021-04-13 |
Family
ID=66113299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811548823.2A Active CN109659033B (zh) | 2018-12-18 | 2018-12-18 | 一种基于循环神经网络的慢性疾病病情变化事件预测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109659033B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111901A (zh) * | 2019-05-16 | 2019-08-09 | 湖南大学 | 基于rnn神经网络的可迁移病人分类*** |
CN110211701A (zh) * | 2019-06-17 | 2019-09-06 | 戴松世 | 一种模型生成方法、数据处理方法及对应装置 |
CN110957036A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军总医院 | 一种基于因果推理构建的疾病预后风险评估模型的方法 |
CN111276242A (zh) * | 2020-01-20 | 2020-06-12 | 吉林大学 | 一种针对医院重症监护室患者疾病诊断与病情状态评估建模方法 |
CN111387938A (zh) * | 2020-02-04 | 2020-07-10 | 华东理工大学 | 一种基于特征重排一维卷积神经网络的病人心衰死亡风险预测*** |
CN111462909A (zh) * | 2020-03-30 | 2020-07-28 | 安徽科大讯飞医疗信息技术有限公司 | 疾病演化跟踪和病情提示方法、装置及电子设备 |
CN111489800A (zh) * | 2020-04-10 | 2020-08-04 | 武汉万屏电子科技有限公司 | 一种病历和报告单图像识别与存储的分析方法及*** |
CN111785370A (zh) * | 2020-07-01 | 2020-10-16 | 医渡云(北京)技术有限公司 | 病历数据处理方法及装置、计算机存储介质、电子设备 |
CN111933303A (zh) * | 2020-09-30 | 2020-11-13 | 平安科技(深圳)有限公司 | 事件预测方法、装置、电子设备及存储介质 |
CN111966780A (zh) * | 2019-05-20 | 2020-11-20 | 天津科技大学 | 一种基于词向量建模和信息检索的回顾性队列选择方法及装置 |
CN112083244A (zh) * | 2020-08-30 | 2020-12-15 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 综合化航空电子设备故障智能诊断*** |
CN112102955A (zh) * | 2020-09-07 | 2020-12-18 | 武汉科瓴智能科技有限公司 | 一种基于高斯混合模型的患者疾病预测控制***与方法 |
CN112102950A (zh) * | 2020-11-04 | 2020-12-18 | 平安科技(深圳)有限公司 | 一种数据处理***、方法、装置及存储介质 |
CN112530575A (zh) * | 2019-09-02 | 2021-03-19 | 佳能医疗***株式会社 | 诊疗辅助装置 |
CN112967816A (zh) * | 2021-04-26 | 2021-06-15 | 四川大学华西医院 | 一种用于急性胰腺炎器官衰竭预测的计算机设备和*** |
CN113192642A (zh) * | 2021-04-01 | 2021-07-30 | 四川大学华西医院 | 外科患者术后恢复状态预测模型构建方法 |
CN113283589A (zh) * | 2021-06-07 | 2021-08-20 | 支付宝(杭州)信息技术有限公司 | 事件预测***的更新方法及装置 |
CN113379706A (zh) * | 2021-06-09 | 2021-09-10 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
CN113450919A (zh) * | 2020-03-26 | 2021-09-28 | 太原理工大学 | 心衰预警模型的构建方法、构建***和心衰预警装置 |
CN113539517A (zh) * | 2021-08-05 | 2021-10-22 | 浙江大学 | 时序干预效果的预测方法 |
CN113782209A (zh) * | 2020-09-25 | 2021-12-10 | 北京大学 | 一种基于循环神经网络的慢性病患者智能预后方法及*** |
CN115359870A (zh) * | 2022-10-20 | 2022-11-18 | 之江实验室 | 一种基于层次图神经网络的疾病诊疗过程异常识别*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8504343B2 (en) * | 2007-01-31 | 2013-08-06 | University Of Notre Dame Du Lac | Disease diagnoses-bases disease prediction |
CN104915560A (zh) * | 2015-06-11 | 2015-09-16 | 万达信息股份有限公司 | 一种基于广义神经网络聚类的疾病病种诊疗方案预测方法 |
CN106066936A (zh) * | 2016-05-30 | 2016-11-02 | 北京千安哲信息技术有限公司 | 一种提高药物不良反应预测精度的方法及*** |
CN106156530A (zh) * | 2016-08-03 | 2016-11-23 | 北京好运到信息科技有限公司 | 基于栈式自编码器的体检数据分析方法及装置 |
CN106202330A (zh) * | 2016-07-01 | 2016-12-07 | 北京小米移动软件有限公司 | 垃圾信息的判断方法及装置 |
CN106778014A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大学 | 一种基于循环神经网络的患病风险预测方法 |
CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及*** |
CN108597614A (zh) * | 2018-04-12 | 2018-09-28 | 上海熙业信息科技有限公司 | 一种基于中文电子病历的辅助诊断决策方法 |
CN108764546A (zh) * | 2018-05-17 | 2018-11-06 | 鞍山师范学院 | 一种基于学术大数据的论文影响力预测方法 |
-
2018
- 2018-12-18 CN CN201811548823.2A patent/CN109659033B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8504343B2 (en) * | 2007-01-31 | 2013-08-06 | University Of Notre Dame Du Lac | Disease diagnoses-bases disease prediction |
CN104915560A (zh) * | 2015-06-11 | 2015-09-16 | 万达信息股份有限公司 | 一种基于广义神经网络聚类的疾病病种诊疗方案预测方法 |
CN106066936A (zh) * | 2016-05-30 | 2016-11-02 | 北京千安哲信息技术有限公司 | 一种提高药物不良反应预测精度的方法及*** |
CN106202330A (zh) * | 2016-07-01 | 2016-12-07 | 北京小米移动软件有限公司 | 垃圾信息的判断方法及装置 |
CN106156530A (zh) * | 2016-08-03 | 2016-11-23 | 北京好运到信息科技有限公司 | 基于栈式自编码器的体检数据分析方法及装置 |
CN106778014A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大学 | 一种基于循环神经网络的患病风险预测方法 |
CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及*** |
CN108597614A (zh) * | 2018-04-12 | 2018-09-28 | 上海熙业信息科技有限公司 | 一种基于中文电子病历的辅助诊断决策方法 |
CN108764546A (zh) * | 2018-05-17 | 2018-11-06 | 鞍山师范学院 | 一种基于学术大数据的论文影响力预测方法 |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111901B (zh) * | 2019-05-16 | 2023-04-18 | 湖南大学 | 基于rnn神经网络的可迁移病人分类*** |
CN110111901A (zh) * | 2019-05-16 | 2019-08-09 | 湖南大学 | 基于rnn神经网络的可迁移病人分类*** |
CN111966780A (zh) * | 2019-05-20 | 2020-11-20 | 天津科技大学 | 一种基于词向量建模和信息检索的回顾性队列选择方法及装置 |
CN110211701A (zh) * | 2019-06-17 | 2019-09-06 | 戴松世 | 一种模型生成方法、数据处理方法及对应装置 |
CN110211701B (zh) * | 2019-06-17 | 2021-05-25 | 戴松世 | 一种模型生成方法、数据处理方法及对应装置 |
CN112530575A (zh) * | 2019-09-02 | 2021-03-19 | 佳能医疗***株式会社 | 诊疗辅助装置 |
CN110957036A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军总医院 | 一种基于因果推理构建的疾病预后风险评估模型的方法 |
CN110957036B (zh) * | 2019-10-24 | 2023-07-14 | 中国人民解放军总医院 | 一种基于因果推理构建的疾病预后风险评估模型的方法 |
CN111276242A (zh) * | 2020-01-20 | 2020-06-12 | 吉林大学 | 一种针对医院重症监护室患者疾病诊断与病情状态评估建模方法 |
CN111387938A (zh) * | 2020-02-04 | 2020-07-10 | 华东理工大学 | 一种基于特征重排一维卷积神经网络的病人心衰死亡风险预测*** |
CN113450919A (zh) * | 2020-03-26 | 2021-09-28 | 太原理工大学 | 心衰预警模型的构建方法、构建***和心衰预警装置 |
CN111462909A (zh) * | 2020-03-30 | 2020-07-28 | 安徽科大讯飞医疗信息技术有限公司 | 疾病演化跟踪和病情提示方法、装置及电子设备 |
CN111462909B (zh) * | 2020-03-30 | 2024-04-05 | 讯飞医疗科技股份有限公司 | 疾病演化跟踪和病情提示方法、装置及电子设备 |
CN111489800A (zh) * | 2020-04-10 | 2020-08-04 | 武汉万屏电子科技有限公司 | 一种病历和报告单图像识别与存储的分析方法及*** |
CN111785370A (zh) * | 2020-07-01 | 2020-10-16 | 医渡云(北京)技术有限公司 | 病历数据处理方法及装置、计算机存储介质、电子设备 |
CN111785370B (zh) * | 2020-07-01 | 2024-05-17 | 医渡云(北京)技术有限公司 | 病历数据处理方法及装置、计算机存储介质、电子设备 |
CN112083244A (zh) * | 2020-08-30 | 2020-12-15 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 综合化航空电子设备故障智能诊断*** |
CN112083244B (zh) * | 2020-08-30 | 2022-10-28 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 综合化航空电子设备故障智能诊断*** |
CN112102955B (zh) * | 2020-09-07 | 2024-03-15 | 武汉科瓴智能科技有限公司 | 一种基于高斯混合模型的患者疾病预测控制***与方法 |
CN112102955A (zh) * | 2020-09-07 | 2020-12-18 | 武汉科瓴智能科技有限公司 | 一种基于高斯混合模型的患者疾病预测控制***与方法 |
CN113782209A (zh) * | 2020-09-25 | 2021-12-10 | 北京大学 | 一种基于循环神经网络的慢性病患者智能预后方法及*** |
CN111933303B (zh) * | 2020-09-30 | 2021-01-15 | 平安科技(深圳)有限公司 | 事件预测方法、装置、电子设备及存储介质 |
CN111933303A (zh) * | 2020-09-30 | 2020-11-13 | 平安科技(深圳)有限公司 | 事件预测方法、装置、电子设备及存储介质 |
CN112102950A (zh) * | 2020-11-04 | 2020-12-18 | 平安科技(深圳)有限公司 | 一种数据处理***、方法、装置及存储介质 |
WO2021190661A1 (zh) * | 2020-11-04 | 2021-09-30 | 平安科技(深圳)有限公司 | 一种数据处理***、方法、装置及存储介质 |
CN113192642B (zh) * | 2021-04-01 | 2023-02-28 | 四川大学华西医院 | 外科患者术后恢复状态预测模型构建*** |
CN113192642A (zh) * | 2021-04-01 | 2021-07-30 | 四川大学华西医院 | 外科患者术后恢复状态预测模型构建方法 |
CN112967816B (zh) * | 2021-04-26 | 2023-08-15 | 四川大学华西医院 | 一种急性胰腺炎器官衰竭预测方法、计算机设备和*** |
CN112967816A (zh) * | 2021-04-26 | 2021-06-15 | 四川大学华西医院 | 一种用于急性胰腺炎器官衰竭预测的计算机设备和*** |
CN113283589A (zh) * | 2021-06-07 | 2021-08-20 | 支付宝(杭州)信息技术有限公司 | 事件预测***的更新方法及装置 |
WO2022257238A1 (zh) * | 2021-06-09 | 2022-12-15 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
CN113379706A (zh) * | 2021-06-09 | 2021-09-10 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
CN113379706B (zh) * | 2021-06-09 | 2024-04-19 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
CN113539517A (zh) * | 2021-08-05 | 2021-10-22 | 浙江大学 | 时序干预效果的预测方法 |
CN113539517B (zh) * | 2021-08-05 | 2024-04-16 | 浙江大学 | 时序干预效果的预测方法 |
CN115359870A (zh) * | 2022-10-20 | 2022-11-18 | 之江实验室 | 一种基于层次图神经网络的疾病诊疗过程异常识别*** |
CN115359870B (zh) * | 2022-10-20 | 2023-03-24 | 之江实验室 | 一种基于层次图神经网络的疾病诊疗过程异常识别*** |
JP7365747B1 (ja) | 2022-10-20 | 2023-10-20 | 之江実験室 | 階層図ニューラルネットワークに基づく疾患診療過程異常識別システム |
Also Published As
Publication number | Publication date |
---|---|
CN109659033B (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109659033A (zh) | 一种基于循环神经网络的慢性疾病病情变化事件预测装置 | |
WO2016192612A1 (zh) | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 | |
Lyu et al. | BP neural network prediction model for suicide attempt among Chinese rural residents | |
CN111899894B (zh) | 一种抑郁症患者预后药效评估***及其评估方法 | |
CN109830303A (zh) | 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法 | |
CN104572583B (zh) | 用于数据致密化的方法和*** | |
CN111967495B (zh) | 一种分类识别模型构建方法 | |
CN112085157B (zh) | 基于神经网络和树模型的疾病预测方法及其装置 | |
CN112489769A (zh) | 基于深度神经网络的慢性病智慧中医诊断与药物推荐*** | |
Rahman et al. | Predicting human design decisions with deep recurrent neural network combining static and dynamic data | |
Taylor et al. | A model to detect heart disease using machine learning algorithm | |
Raju et al. | Optimized building of machine learning technique for thyroid monitoring and analysis | |
Pandiaraj et al. | Effective heart disease prediction using hybridmachine learning | |
CN116864139A (zh) | 疾病风险评估方法、装置、计算机设备及可读存储介质 | |
Al Reshan et al. | A robust heart disease prediction system using hybrid deep neural networks | |
Patel et al. | Predicting Heart Disease Using Machine Learning Algorithms | |
Zhang et al. | Real-time Prediction for Mechanical Ventilation in COVID-19 Patients using A Multi-task Gaussian Process Multi-objective Self-attention Network | |
Babu et al. | Artificial immune recognition systems in medical diagnosis | |
Ahmed et al. | A Weight Based Labeled Classifier Using Machine Learning Technique for Classification of Medical Data. | |
Kanna et al. | Machine Learning Based Cardiovascular Detection Approach | |
Zhang et al. | Learning representations from local to global for fine-grained patient similarity measuring in intensive care unit | |
Zhang et al. | Pneumonia Detection Method based on Convolutional Neural Network | |
Jindal et al. | Design and Development of Cardiovascular Disease Prediction System Using Voting Classifier | |
Bhatia | Deep learning-based approach for thyroid dysfunction prediction | |
CN114239658B (zh) | 一种基于小波分解与gru神经网络的血糖预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |