CN114883003A - 基于卷积神经网络的icu住院时长和死亡风险预测方法 - Google Patents
基于卷积神经网络的icu住院时长和死亡风险预测方法 Download PDFInfo
- Publication number
- CN114883003A CN114883003A CN202210645934.5A CN202210645934A CN114883003A CN 114883003 A CN114883003 A CN 114883003A CN 202210645934 A CN202210645934 A CN 202210645934A CN 114883003 A CN114883003 A CN 114883003A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- layer
- network
- data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 6
- 230000003068 static effect Effects 0.000 claims description 33
- 230000004913 activation Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000003745 diagnosis Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 9
- 230000036541 health Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 13
- 238000012733 comparative method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000288105 Grus Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013058 risk prediction model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于卷积神经网络的ICU住院时长和死亡风险预测方法，包括获取基础数据处理和分类得到训练数据集、验证数据集和测试数据集；基于具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块构建基础预测模型；设定损失函数并采用数据集对基础预测模型进行训练、验证和测试得到最优的预测模型；采用最优的预测模型进行实际人员的ICU住院时长和死亡风险预测。本发明使用时序空洞可分卷积网络对每个特征单独编码并提出了上下文感知特征融合方法；结合多视图和多尺度的特征融合模块生成最后的住院人员表示用于预测；因此本发明方法的可靠性高、精度较高且效果较好。
Description
技术领域
本发明属于数据处理领域，具体涉及一种基于卷积神经网络的ICU住院时长和死亡风险预测方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于医疗资源的关注程度也越来越高。那么，如何进行医疗资源的规划和配置，就成为了研究人员的研究重点。
重症监护室(ICU)的床位数量和管理一直是反映医疗资源的重要因素之一。ICU住院时长和ICU死亡概率数据，也在一定程度上影响着医疗资源的规划和配置。因此，对于ICU住院时长和ICU死亡概率的预测，就成为了新的研究热点之一。
目前，针对ICU住院时长和ICU死亡概率的预测研究，一般是将该问题视作并建模为一个回归问题，并采用均方误差(MSE)或均方对数误差(MSLE)进行优化。然而，大多数现有的方法由于住院时长数据分布的正偏斜和数据缺失而表现不佳。同时，也有研究人员提出了一些基于时序卷积神经网络(TCN)的方法，但是这些方法在对患者电子病历数据建模时忽略了不同临床特征之间的相互关系，这使得现有技术的预测精度较差，而且效果不佳。
发明内容
本发明的目的在于提供一种可靠性高、精度较高且效果较好的基于卷积神经网络的ICU住院时长和死亡风险预测方法。
本发明提供的这种基于卷积神经网络的ICU住院时长和死亡风险预测方法，包括如下步骤：
S1.从已有的电子病历数据库中获取基础数据，并进行处理和分类，得到训练数据集、验证数据集和测试数据集；
S2.基于具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块，构建基础预测模型；
S3.设定损失函数，并采用步骤S1获取的数据集对步骤S2构建的基础预测模型进行训练、验证和测试，从而得到最优的预测模型；
S4.采用步骤S3得到的最优的预测模型，进行实际人员的ICU住院时长和死亡风险预测。
步骤S1所述的从已有的电子病历数据库中获取基础数据，并进行处理和分类，得到训练数据集、验证数据集和测试数据集，具体包括如下步骤：
对于ICU住院时长预测任务，获取住院人员在ICU住院期间的每个小时的剩余住院时长数据；且仅获取住院后X天的数据；X为设定的整数值；
对于死亡风险预测任务，仅获取ICU住院人员在ICU住院后的前24小时数据；
获取住院人员的临床时序序列、静态人口学数据和诊断数据；
临床时序序列包括患者临床变量随时间变化的数据以及对应临床变量的衰减指标；临床时序序列记为x1,x2,...,xT∈RF×2，其中F为临床特征的数量，每个时间步t的时序序列包括实际的临床特征测量值xt'和对应的临床变量衰减指标xt”，临床变量衰减指标xt”用于指示临床特征测量值xt'被记录的时间信息；
静态人口学数据包括住院人员的各项不随时间变化的指标数据；静态人口学数据记为s∈RS×1，S为静态人口学数据特征的数量；
诊断数据包括住院人员的诊断数据及对应编码；诊断数据记为d∈RD×1，D为诊断数据所对应的编码的数量。
步骤S2所述的基于具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块，构建基础预测模型，具体包括如下步骤：
采用N层连续的、具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块所构成的基础预测模型，进行时序特征的学习；
对于基础预测模型的第一层：
时序空洞可分卷积网络的输入h0为原始的临床时序序列x'和衰减指标x”的拼接；上下文感知特征融合网络的输入为原始的临床时序序列x'、衰减指标x”和重复T次的静态人口学数据特征s'；跳跃连接的输入x1为原始的临床时序序列x'；
对于基础预测模型的第n层，1＜n≤N：
时序空洞可分卷积网络对第n-1层输出的变量hn-1分别学习单独的时序趋势gn；
时序空洞可分卷积网络采用堆叠的时序卷积网络从数据中提取时序趋势；所述的时序卷积网络层采用深度可分卷积，且权重仅在时间步之间共享；时序卷积网络的运算定义为：
其中hn,i为基础预测模型的第n层中第i个特征构成的直到第t个时刻的时序输入特征，每个输入特征包含Cn个通道，且
；
为每个特征的卷积滤波器，表示大小为Cout×Cin×k的张量；对于每k个时间步，卷积滤波器将输入通道Cin映射到输出通道Cout；输出
卷积滤波器的感受野(d(K-1)+1)由卷积核大小K和空洞因子d决定；
对于每个时序卷积网络层，在(d(K-1)+1)的左侧添加填充以保证输出大小与输入大小一致；t-d(j-1)项用于确保在卷积的过程中只回顾过去的时间步；通过堆叠的时序卷积网络层，增加时序感受野的大小；最后，将每个输入特征的时序卷积的输出拼接在一起，得到时序趋势gn为：
其中||为拼接操作；时序卷积网络层的输出维度为Rn×C，Rn为第n层的时序特征的数量；每个堆叠的时序卷积网络层后都使用了批归一化层和Dropout层，用于加快模型收敛和防止过拟合；
上下文感知特征融合网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn -1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'进行融合，得到更加全面的住院人员健康状况的特征间上下文表示zn；并将上下文感知特征融合网络每一层的输出通过拼接操作进行叠加，得到第n层上下文感知特征融合网络的多尺度特征
为
其中
为空；
基础预测模型的第n层，将原始的临床时序序列x'和第n-1层的多尺度特征
的最后一个通道通过跳跃连接得到xn；然后采用拼接操作将xn、时序卷积网络层输出的时序趋势gn和上下文感知特征融合网络输出的特征间上下文表示zn融合，得到时序特征vn为vn＝[xn,gn,zn]；
基础预测模型的第n层，还采用基于逐点卷积神经网络的特征注意力块，将时序特征vn进行处理，得到更有效的时序特征hn；hn为最终的基础预测模型的第n层的输出；
取基础预测模型的第N层所输出的时序特征hN作为最终的时序特征；
通过全连接层处理诊断数据，将处理后的诊断数据重复T次后得到编码后的诊断特征d'；然后将重复T次的静态人口学数据特征s'、编码后的诊断特征d'、最终的时序特征hN和多尺度特征
进行拼接，将拼接后的表征通过全连接层进行处理，得到多视图多尺度融合特征hfinal；
最后，将多视图多尺度融合特征hfinal送入全连接层，并通过激活函数得到预测结果。
所述的通过堆叠的时序卷积网络层，具体为每一层的空洞因子增加1。
所述的上下文感知特征融合网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'进行融合，得到更加全面的住院人员健康状况的特征间上下文表示zn，具体包括如下步骤：
将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'通过拼接操作进行结合，然后采用基于逐点卷积神经网络的特征注意力块捕捉动态特征之间的相互关系，生成注意力特征；然后，再通过全连接层调整注意力特征，以获得更加全面的住院人员健康状况的特征间上下文表示zn；第n层上下文感知特征融合网络的计算公式为：
zn＝(PWAtt(E(gn-1))||E(zn-1)||x||s')*Wn+bn
其中E()为展平函数，Wn和bn为全连接层的权重，且
；||为拼接操作；PWAtt()为基于逐点卷积神经网络的特征注意力块所对应的操作函数；Pn为权重矩阵Wn第一个维度的大小，且Pn＝(Rn×C)+Z+F+S，Z为第n-1层上下文感知特征融合网络的融合特征zn-1的维度大小，F为原始的临床时序序列x'的特征数量，S为静态人口学数据特征s'的特征数量。
所述的基于逐点卷积神经网络的特征注意力块，用于捕捉动态特征之间的相互关系，以生成注意力特征；基于逐点卷积神经网络的特征注意力块包括5层神经网络，依次为降维比为r的逐点卷积层、批归一化层、ReLU激活函数层、滤波器数量为C的逐点卷积层和Sigmoid激活函数层；
输入特征X满足X∈RF×C×T，C为通道大小，F为时序序列特征的维度，T为时序序列特征的长度，则基于逐点卷积神经网络的特征注意力块所对应的操作函数为：
式中A(X)为注意力权重图的输出，且A(X)＝σ(PWConv2(δ(β(PWConv1(X)))))，PWConv1()和PWConv2()均为点卷积层操作函数，β为批归一化操作函数；δ为ReLU函数，σ为Sigmoid激活函数；
为逐元素乘法。
所述的将多视图多尺度融合特征hfinal送入全连接层，并通过激活函数得到预测结果，具体包括如下步骤：
对于ICU住院时长预测任务，先采用指数激活函数进行处理，避免无法在整个动态范围内预测住院时长；然后采用HardTanh激活函数对短于第一设定时长或长于第二设定时长的预测结果进行剪切；计算公式为：
式中
为预测的ICU住院时长；
为指数激活函数；τ()为HardTanh激活函数；Wyt和byt为待学习的参数；hfinal为多视图多尺度融合特征；
对于死亡风险预测任务，采用sigmoid激活函数进行预测：
式中
为预测的死亡风险；sigmoid()为sigmoid激活函数；Wy和by为待学习的参数。
步骤S3所述的设定损失函数，具体包括如下步骤：
对于ICU住院时长预测任务，设定损失函数Lt为均分对数误差函数：
式中T为临床时序序列的长度；
为预测的ICU住院时长；yt为实际的ICU住院时长；
对于死亡风险预测任务，设定损失函数L为交叉熵损失函数：
式中N为样本数量；
为预测的死亡风险；yi为样本真实的死亡标签。
本发明提出的这种基于卷积神经网络的ICU住院时长和死亡风险预测方法，包含连续的时序空洞可分卷积网络和上下文感知特征融合模块，以及多视图多尺度的特征融合模块；在每个时序空洞可分卷积网络和上下文感知特征融合模块中，使用时序空洞可分卷积网络对每个特征单独编码，并提出了上下文感知特征融合方法，从原始临床时序序列、静态人口学数据和上一个时序空洞可分卷积网络和上下文感知特征融合模块的输出中获取上下文感知的综合特征表示；多视图和多尺度的特征融合模块用于融合捕获的多尺度特征和不同视图间的特征，并生成最后的住院人员表示用于预测；因此本发明方法的可靠性高、精度较高且效果较好。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法中的预测模型结构示意图。
图3为本发明方法中的基于逐点卷积神经网络的特征注意力块的结构示意图。
具体实施方式
图1为本发明方法的方法流程示意图：本发明提供的这种基于卷积神经网络的ICU住院时长和死亡风险预测方法，包括如下步骤：
S1.从已有的电子病历数据库中获取基础数据，并进行处理和分类，得到训练数据集、验证数据集和测试数据集；具体包括如下步骤：
对于ICU住院时长预测任务，获取住院人员在ICU住院期间的每个小时的剩余住院时长数据；且仅获取住院后X天的数据；X为设定的整数值；
对于死亡风险预测任务，仅获取ICU住院人员在ICU住院后的前24小时数据；
获取住院人员的临床时序序列、静态人口学数据和诊断数据；
临床时序序列包括患者临床变量随时间变化的数据以及对应临床变量的衰减指标；临床时序序列记为x1,x2,...,xT∈RF×2，其中F为临床特征的数量，每个时间步t的时序序列包括实际的临床特征测量值xt'和对应的临床变量衰减指标xt”，临床变量衰减指标xt”用于指示临床特征测量值xt'被记录的时间信息；
静态人口学数据包括住院人员的各项不随时间变化的指标数据；静态人口学数据记为s∈RS×1，S为静态人口学数据特征的数量；
诊断数据包括住院人员的诊断数据及对应编码；诊断数据记为d∈RD×1，D为诊断数据所对应的编码的数量；
S2.基于具有不同感受野的时序空洞可分卷积(TDSC网络)和上下文感知特征融合(CAFF网络)模块，构建基础预测模型(具体如图2所示)；具体包括如下步骤：
采用N层连续的、具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块所构成的基础预测模型，进行时序特征的学习；
对于基础预测模型的第一层：
时序空洞可分卷积网络的输入h0为原始的临床时序序列x'和衰减指标x”的拼接；上下文感知特征融合网络的输入为原始的临床时序序列x'、衰减指标x”和重复T次的静态人口学数据特征s'；跳跃连接的输入x1为原始的临床时序序列x'；
对于基础预测模型的第n层，1＜n≤N：
时序空洞可分卷积(TDSC)网络对第n-1层输出的变量hn-1分别学习单独的时序趋势gn；
时序空洞可分卷积网络采用堆叠的时序卷积网络从数据中提取时序趋势；TDSC网络采用堆叠的时序卷积网络(TCN)层从电子病历数据中提取时序趋势；TCNs是随时间卷积的CNN的变体，它利用因果卷积和空洞卷积来适应于时序数据的建模。它们基于两个重要原则：(1)输入和输出的长度必须相同，(2)当前数据点只依赖于之前时刻的数据点(来自未来的数据不能使用，防止信息泄露)。与常规TCN的设计不同，本方法中的时序卷积网络层采用深度可分卷积，没有特征间的权重共享，且权重仅在时间步之间共享；时序卷积网络的运算定义为：
其中hn,i为基础预测模型的第n层中第i个特征构成的直到第t个时刻的时序输入特征，每个输入特征包含Cn个通道，且
为每个特征的卷积滤波器，表示大小为Cout×Cin×k的张量；对于每k个时间步，卷积滤波器将输入通道Cin映射到输出通道Cout；输出
；卷积滤波器的感受野(d(K-1)+1)由卷积核大小K和空洞因子d决定；
对于每个时序卷积网络层，在(d(K-1)+1)的左侧添加填充以保证输出大小与输入大小一致；t-d(j-1)项用于确保在卷积的过程中只回顾过去的时间步；通过堆叠的时序卷积网络层，增加时序感受野的大小；最后，将每个输入特征的时序卷积的输出拼接在一起，得到时序趋势gn为：
其中||为拼接操作；时序卷积网络层的输出维度为Rn×C，Rn为第n层的时序特征的数量；每个堆叠的时序卷积网络层后都使用了批归一化层和Dropout层，用于加快模型收敛和防止过拟合；其中，通过堆叠的时序卷积网络层，具体为每一层的空洞因子增加1；
上下文感知特征融合(CAFF)网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'进行融合，得到更加全面的住院人员健康状况的特征间上下文表示zn；具体包括如下步骤：
特征融合，也被称为结合来自多个层或分支的特征，常用于现代深度学习方法中，通常使用简单的操作，如拼接或求和，提供一个固定的融合特征的线性聚合而不管特征之间是否相关；为了有效地结合具有不同感受野的时序特征并考虑特征间的关系，本方法提出了CAFF网络；
CAFF网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'通过拼接操作进行结合，然后采用基于逐点卷积神经网络的特征注意力块捕捉动态特征之间的相互关系，生成注意力特征；然后，再通过全连接层调整注意力特征，以获得更加全面的住院人员健康状况的特征间上下文表示zn；第n层上下文感知特征融合网络的计算公式为：
zn＝(PWAtt(E(gn-1))||E(zn-1)||x||s')*Wn+bn
其中E()为展平函数，Wn和bn为全连接层的权重，且
||为拼接操作；PWAtt()为基于逐点卷积神经网络的特征注意力块所对应的操作函数；Pn为权重矩阵Wn第一个维度的大小，且Pn＝(Rn×C)+Z+F+S，Z为第n-1层上下文感知特征融合网络的融合特征zn-1的维度大小，F为原始的临床时序序列x'的特征数量，S为静态人口学数据特征s'的特征数量；
具体实施时，逐点卷积神经网络也被称为一维卷积，在现代深度学习架构中普遍采用，以尽量减少参数的数量，尤其是在图像处理领域；鉴于在TCN中，特征权重只在所有的时间步上共享，没有在不同的特征间进行信息交互，因此，本方法提出了PWAtt块来捕捉动态特征间的相关性，以生成更有效的特征；基于逐点卷积神经网络的特征注意力块，用于捕捉动态特征之间的相互关系，以生成注意力特征；基于逐点卷积神经网络的特征注意力块(具体如图3所示)包括5层神经网络，依次为降维比为r的逐点卷积层、批归一化层、ReLU激活函数层、滤波器数量为C的逐点卷积层和Sigmoid激活函数层；
输入特征X满足X∈RF×C×T，C为通道大小，F为时序序列特征的维度，T为时序序列特征的长度，则基于逐点卷积神经网络的特征注意力块所对应的操作函数为：
式中A(X)为注意力权重图的输出，且A(X)＝σ(PWConv2(δ(β(PWConv1(X)))))，PWConv1()和PWConv2()均为点卷积层操作函数，β为批归一化操作函数；δ为ReLU函数，σ为Sigmoid激活函数；
为逐元素乘法；
然后将上下文感知特征融合网络每一层的输出通过拼接操作进行叠加，得到第n层上下文感知特征融合网络的多尺度特征
为
其中
为空；
基础预测模型的第n层，将原始的临床时序序列x'和第n-1层的多尺度特征
的最后一个通道通过跳跃连接得到xn；然后采用拼接操作将xn、时序卷积网络层输出的时序趋势gn和上下文感知特征融合网络输出的特征间上下文表示zn融合，得到时序特征vn为vn＝[xn,gn,zn]；具体实施时，为了能够处理不经常采样的特征(例如，一个特定的血液测试每天仅进行一次)，本方法对这些数据进行了前向填充，并用空洞因子逐渐增大的TCN层进行卷积，直到达到理想的宽度，在不损失时序分辨率的情况下提取时序趋势；然而，实际的训练过程将更具挑战性，如果卷积后还没有捕捉到有用的时序趋势，前面几层的空洞因子较小的TCN层通过重新加权丢失了原始输入数据的信息；为了确保每一层TDSC网络学习的特征能够提取有用的趋势并捕获多尺度信息(具有不同的感受野)，本方法采用跳跃连接方法将第n-1层CAFF中的多尺度特征
的最后一个通道和原始临床时序序列输入特征x'拼接得到xn；随后，将xn与TDSC网络的输出gn相连接，以获得调整后的特定特征的时序表示rn＝[gn,xn]；最后，将具有特征间上下文的融合特征zn和rn拼接起来，得到串联的时序特征vn＝[rn,zn]；
基础预测模型的第n层，还采用基于逐点卷积神经网络的特征注意力块，将时序特征vn进行处理，得到更有效的时序特征hn；hn为最终的基础预测模型的第n层的输出；具体实施时，hn＝PWAtt(vn)；
取基础预测模型的第N层所输出的时序特征hN作为最终的时序特征；
通过全连接层处理诊断数据，将处理后的诊断数据重复T次后得到编码后的诊断特征d'；然后将重复T次的静态人口学数据特征s'、编码后的诊断特征d'、最终的时序特征hN和多尺度特征
进行拼接，将拼接后的表征通过全连接层进行处理，得到多视图多尺度融合特征hfinal；具体实施时，对于输入的原始静态人口学数据s，通过将其重复T次进行编码；对于输入的原始诊断数据d，通过全连接层进行编码，然后将其重复T次；重新编码后的人口学数据和诊断数据为：
s'＝[s0,...,st,...,sT]
其中s'和d'分别是编码后的静态人口学特征和诊断特征，T是时序序列的长度，st和原始静态人口学数据s等价，
是原始诊断数据d经过全连接层编码后的输出，[·]表示拼接操作；
最后，将多视图多尺度融合特征hfinal送入全连接层，并通过激活函数得到预测结果；具体包括如下步骤：
对于ICU住院时长预测任务，先采用指数激活函数进行处理，避免无法在整个动态范围内预测住院时长；然后采用HardTanh激活函数对短于第一设定时长(优选为30min)或长于第二设定时长(优选为100天)的预测结果进行剪切；计算公式为：
式中
为预测的ICU住院时长；
为指数激活函数；τ()为HardTanh激活函数；Wyt和byt为待学习的参数；hfinal为多视图多尺度融合特征；
对于死亡风险预测任务，采用sigmoid激活函数进行预测：
式中
为预测的死亡风险；sigmoid()为sigmoid激活函数；Wy和by为待学习的参数；
S3.设定损失函数，并采用步骤S1获取的数据集对步骤S2构建的基础预测模型进行训练、验证和测试，从而得到最优的预测模型；具体包括如下步骤：
对于ICU住院时长预测任务，设定损失函数Lt为均分对数误差函数：
式中T为临床时序序列的长度；
为预测的ICU住院时长；yt为实际的ICU住院时长；
对于死亡风险预测任务，设定损失函数L为交叉熵损失函数：
式中N为样本数量；
为预测的死亡风险；yi为样本真实的死亡标签；
S4.采用步骤S3得到的最优的预测模型，进行实际人员的ICU住院时长和死亡风险预测。
以下结合一个实施例，对本发明方法进行进一步说明：
本方法实验基于Pytorch深度学习框架，模型训练使用NVIDIARTX 2080Ti显卡进行GPU加速。模型最终选择的超参数值如表1所示：
表1本方法在两个数据集上的超参数值示意表
| 超参数 | eICU | MIMIC-IV |
| 通道数 | 12 | 11 |
| Dropout大小(TDSC网络) | 0.05 | 0.05 |
| Dropout大小(主模型) | 0.45 | 0 |
| 卷积核大小 | 4 | 5 |
| TDSC-CAFF的层数 | 11 | 8 |
| 诊断数据嵌入维度 | 64 | - |
| 最后一个全连接层的输出大小 | 32 | 32 |
| 训练批大小 | 32 | 8 |
| 学习率 | 0.00226 | 0.00221 |
在LoS预测任务中，本方法使用以下评价指标：Cohen Kappa Score，判定系数(R2)，平均对数误差(MSLE)，平均对数根误差(RMSLE)，平均平方误差(MSE)，平均平方根误差(RMSE)，平均绝对百分比误差(MAPE)，以及平均绝对偏差(MAD)。除了Cohen Kappa Score和R2指标，其他指标值越低表明方法性能越好。
在死亡风险预测任务中，本方法使用准确率(Accuracy)、精确-召回曲线下的面积(AUPRC)、接收操作特征曲线下的面积(AUROC)和F1-Score作为模型性能评价指标。对于所有这四个指标，指标越高表明方法预测性能越好。
为评价本发明所提出的ICU住院时长和死亡风险预测模型的有效性，将本方法与以下几种对比方法进行了比较：
Mean and Median：该方法计算出eICU训练集中LoS的平均值(3.47天)和中位数(1.67天)，以及MIMIC-IV训练集中LoS的平均值(5.70天)和中位数(2.70天)，作为在合理范围内进行预测所获得的性能水平的基线，以及为每个数据集设置预期性能时的参考点。
APACHE-IV：该方法是一种广泛使用的临床预测技术，为ICU中的每个患者每24小时生成一个值(LoS或死亡风险)。值得注意的是，该方法仅使用于eICU数据集。
LSTM：这种方法是标准LSTM模型的一个变体，只使用时序序列数据作为输入。
Multi-Channel LSTM(MC-LSTM)：该方法由一系列不同的LSTM组成，分别处理临床时序序列特征。各个LSTM的输出被拼接起来，产生最终的输出。
Transformer：该方法基于多头自注意力机制，与本发明方法类似，但它不能独立地扩大感受野或处理特征。
ConCare：该方法使用多通道GRU，用时间感知的注意力机制提取临床特征的变化趋势，并用多头注意力机制提取特征间的上下文信息。本发明把该方法作为死亡风险预测任务的对比方法，因为它只能一次处理整个24小时的预测窗口数据。
TPC：该方法使用时序卷积神经网络单独处理每个特征，并使用逐点卷积融合这些特征并提取特征间的相互关系。然而，与本发明方法不同，该方法不能提取不同特征之间的上下文信息。
注意，在上述基线中，只有TPC方法利用多视图特征作为输入。为了公平比较性能，在实现其他对比方法时，在利用各对比方法获得时序特征后，将其与静态人口学和诊断特征相融合。
将本方法和对比方法在相同的测试集上进行评估。首先验证在Los预测任务上的性能，实验结果如表2和表3所示，其中，除了前三个对比方法，其余方法的结果为10次运行的平均值±标准差的形式。
表2在eICU数据集上进行LoS预测任务时的预测性能比较示意表
| 方法 | MAD | MSE | RMSE | MAPE | MSLE | RMSLE | R2 | Kappa |
| Mean | 3.58 | 35.1 | 5.92 | 418.3 | 2.92 | 1.71 | -7.04 | 0.00 |
| Median | 3.10 | 39.1 | 6.25 | 194.8 | 2.19 | 1.48 | -0.11 | 0.00 |
| APACHE-IV | 2.54 | 16.3 | 4.04 | 182.6 | 1.10 | 1.05 | -0.01 | 0.21 |
| LSTM | 2.66±0.01 | 31.7±0.2 | 5.63±0.02 | 129.2±2.3 | 1.48±0.01 | 1.21±0.00 | 0.10±0.01 | 0.31±0.01 |
| MC-LSTM | 2.65±0.01 | 31.3±0.3 | 5.59±0.03 | 130.4±1.7 | 1.46±0.01 | 1.20±0.00 | 0.11±0.01 | 0.33±0.01 |
| Transformer | 2.58±0.01 | 30.6±0.3 | 5.53±0.03 | 120.0±1.9 | 1.41±0.00 | 1.19±0.00 | 0.13±0.01 | 0.34±0.01 |
| TPC | 1.50±0.04 | 18.4±0.8 | 4.30±0.09 | 36.7±1.0 | 0.32±0.01 | 0.57±0.01 | 0.48±0.02 | 0.77±0.02 |
| 本发明 | 0.85±0.03 | 11.6±0.5 | 3.40±0.07 | 14.4±1.2 | 0.07±0.01 | 0.26±0.01 | 0.66±0.01 | 0.92±0.01 |
表3在MIMIC-IV数据集上进行LoS预测任务时的预测性能比较示意表
| 方法 | MAD | MSE | RMSE | MAPE | MSLE | RMSLE | R2 | Kappa |
| Mean | 4.55 | 52.2 | 7.23 | 445.1 | 2.77 | 1.66 | 0.00 | 0.00 |
| Median | 3.97 | 59.4 | 7.71 | 198.8 | 2.08 | 1.44 | -0.14 | 0.00 |
| LSTM | 2.99±0.03 | 37.4±0.9 | 6.61±0.07 | 104.7±2.4 | 1.09±0.01 | 1.04±0.01 | 0.28±0.02 | 0.51±0.01 |
| MC-LSTM | 2.97±0.03 | 38.5±1.0 | 6.20±0.08 | 98.0±1.1 | 1.05±0.01 | 1.02±0.00 | 0.26±0.02 | 0.50±0.01 |
| Transformer | 2.94±0.02 | 38.2±0.9 | 6.18±0.07 | 97.7±1.8 | 1.05±0.01 | 1.02±0.00 | 0.27±0.02 | 0.49±0.01 |
| TPC | 1.60±0.10 | 24.3±3.5 | 4.90±0.3 | 24.4±1.9 | 0.14±0.01 | 0.38±0.01 | 0.54±0.05 | 0.88±0.01 |
| 本发明 | 1.26±0.03 | 18.6±0.6 | 4.30±0.1 | 15.3±0.7 | 0.08±0.00 | 0.23±0.01 | 0.64±0.01 | 0.92±0.00 |
从表2和表3可以看到，本发明提出的方法——TDSC-CAFF模型在eICU和MIMIC-IV数据集上取得了所有对比方法中最好的性能，其中，在eICU数据集上的MSE为11.6，MSLE为0.07，R2为0.66，Kappa分数为0.92。在MIMIC-IV数据集上，LoS预测的MSLE为0.08，R2为0.64，Kappa评分为0.92。这些结果表明，本发明提出的方法在LoS预测任务上优于对比方法。
在LoS预测任务中，两个基于RNN的对比方法：LSTM和MC-LSTM不能很好地对较长的LoS序列进行编码，导致其比基于TCN的模型(TPC和本发明TDSC-CAFF)表现更差，验证了TCN在LoS预测方面表现良好。LSTM和Transformer将时间序列特征作为一个整体来处理，比单独处理时序序列特征的TPC和本方法提出的TDSC-CAFF的性能要差，这一比较表明了单独处理时序序列特征的重要性。此外，由于TPC不能有效地捕捉特征间的上下文信息，其表现比本方法差，这意味着特征间上下文信息的重要性，以及多视角和多尺度特征融合对LoS预测任务的重要性。
随后，本发明验证了在死亡风险预测任务上的性能，实验结果如表4和表5所示，其中，结果显示的格式为10次运行的平均值±标准差的形式。
表4在eICU数据集上进行死亡风险预测任务时的预测性能比较示意表
| 方法 | Accuracy | AUROC | AUPRC | F1 |
| LSTM | 0.899±0.003 | 0.838±0.004 | 0.361±0.015 | 0.632±0.010 |
| MC-LSTM | 0.907±0.001 | 0.855±0.002 | 0.440±0.008 | 0.606±0.027 |
| Transformer | 0.907±0.001 | 0.849±0.003 | 0.428±0.007 | 0.591±0.017 |
| ConCare | 0.928±0.001 | 0.905±0.001 | 0.615±0.002 | 0.707±0.008 |
| TPC | 0.912±0.003 | 0.864±0.002 | 0.498±0.009 | 0.617±0.016 |
| 本发明 | 0.947±0.003 | 0.909±0.002 | 0.735±0.008 | 0.806±0.006 |
表5在MIMICIV数据集上进行死亡风险预测任务时的预测性能比较示意表
| 方法 | Accuracy | AUROC | AUPRC | F1 |
| LSTM | 0.911±0.001 | 0.896±0.002 | 0.639±0.005 | 0.745±0.005 |
| MC-LSTM | 0.911±0.001 | 0.899±0.002 | 0.634±0.008 | 0.751±0.008 |
| Transformer | 0.912±0.002 | 0.895±0.001 | 0.630±0.007 | 0.738±0.004 |
| ConCare | 0.927±0.001 | 0.922±0.001 | 0.726±0.002 | 0.778±0.004 |
| TPC | 0.912±0.003 | 0.898±0.003 | 0.671±0.008 | 0.779±0.005 |
| 本发明 | 0.934±0.003 | 0.926±0.002 | 0.744±0.006 | 0.821±0.004 |
表4和表5分别显示了本方法在eICU和MIMIC-IV数据集上和其他5个对比方法的比较。本方法提出的TDSC-CAFF在eICU数据集上实现了0.909的AUROC，0.735的AURC和0.806的F1值，在MIMIC-IV数据集上实现了0.926的AUROC，0.744的AURC和0.821的F1值，优于所有的对比方法，包括专门针对死亡风险预测的对比方法。
在死亡风险预测任务中，对比方法ConCare在eICU数据集上实现了0.905的AUROC，0.616的AUPRC和0.707的F1值，在MIMIC-IV数据集上实现了0.922的AUROC，0.726的AUPRC和0.778的F1值，这比其他对比方法好。与本方法提出的TDSC-CAFF类似，ConCare也使用多通道GRU对每个特征进行单独编码，并使用多头注意力机制捕捉特征间的上下文。这些比较表明，对时序序列特征进行单独编码和捕捉特征间上下文信息对死亡风险预测是有效的。
综上，本发明提出的这种方法，在eICU和MIMIC-IV数据集上的实验结果表明，本发明具有良好的单独学习临床时序特征编码和以及学习多视图和多尺度特征的能力，并能够准确预测ICU患者的住院时长和死亡风险。
Claims (8)
1.一种基于卷积神经网络的ICU住院时长和死亡风险预测方法，包括如下步骤：
S1.从已有的电子病历数据库中获取基础数据，并进行处理和分类，得到训练数据集、验证数据集和测试数据集；
S2.基于具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块，构建基础预测模型；
S3.设定损失函数，并采用步骤S1获取的数据集对步骤S2构建的基础预测模型进行训练、验证和测试，从而得到最优的预测模型；
S4.采用步骤S3得到的最优的预测模型，进行实际人员的ICU住院时长和死亡风险预测。
2.根据权利要求1所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于步骤S1所述的从已有的电子病历数据库中获取基础数据，并进行处理和分类，得到训练数据集、验证数据集和测试数据集，具体包括如下步骤：
对于ICU住院时长预测任务，获取住院人员在ICU住院期间的每个小时的剩余住院时长数据；且仅获取住院后X天的数据；X为设定的整数值；
对于死亡风险预测任务，仅获取ICU住院人员在ICU住院后的前24小时数据；
获取住院人员的临床时序序列、静态人口学数据和诊断数据；
临床时序序列包括患者临床变量随时间变化的数据以及对应临床变量的衰减指标；临床时序序列记为x1,x2,...,xT∈RF×2，其中F为临床特征的数量，每个时间步t的时序序列包括实际的临床特征测量值x′t和对应的临床变量衰减指标x″t，临床变量衰减指标x″t用于指示临床特征测量值x′t被记录的时间信息；
静态人口学数据包括住院人员的各项不随时间变化的指标数据；静态人口学数据记为s∈RS×1，S为静态人口学数据特征的数量；
诊断数据包括住院人员的诊断数据及对应编码；诊断数据记为d∈RD×1，D为诊断数据所对应的编码的数量。
3.根据权利要求2所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于步骤S2所述的基于具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块，构建基础预测模型，具体包括如下步骤：
采用N层连续的、具有不同感受野的时序空洞可分卷积和上下文感知特征融合模块所构成的基础预测模型，进行时序特征的学习；
对于基础预测模型的第一层：
时序空洞可分卷积网络的输入h0为原始的临床时序序列x'和衰减指标x”的拼接；上下文感知特征融合网络的输入为原始的临床时序序列x'、衰减指标x”和重复T次的静态人口学数据特征s'；跳跃连接的输入x1为原始的临床时序序列x'；
对于基础预测模型的第n层，1＜n≤N：
时序空洞可分卷积网络对第n-1层输出的变量hn-1分别学习单独的时序趋势gn；
时序空洞可分卷积网络采用堆叠的时序卷积网络从数据中提取时序趋势；所述的时序卷积网络层采用深度可分卷积，且权重仅在时间步之间共享；时序卷积网络的运算定义为：
其中hn,i为基础预测模型的第n层中第i个特征构成的直到第t个时刻的时序输入特征，每个输入特征包含Cn个通道，且
fn,i:
为每个特征的卷积滤波器，表示大小为Cout×Cin×k的张量；对于每k个时间步，卷积滤波器将输入通道Cin映射到输出通道Cout；输出
卷积滤波器的感受野(d(K-1)+1)由卷积核大小K和空洞因子d决定；
对于每个时序卷积网络层，在(d(K-1)+1)的左侧添加填充以保证输出大小与输入大小一致；t-d(j-1)项用于确保在卷积的过程中只回顾过去的时间步；通过堆叠的时序卷积网络层，增加时序感受野的大小；最后，将每个输入特征的时序卷积的输出拼接在一起，得到时序趋势gn为：
其中||为拼接操作；时序卷积网络层的输出维度为Rn×C，Rn为第n层的时序特征的数量；每个堆叠的时序卷积网络层后都使用了批归一化层和Dropout层，用于加快模型收敛和防止过拟合；
上下文感知特征融合网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'进行融合，得到更加全面的住院人员健康状况的特征间上下文表示zn；并将上下文感知特征融合网络每一层的输出通过拼接操作进行叠加，得到第n层上下文感知特征融合网络的多尺度特征
为
其中
为空；
基础预测模型的第n层，将原始的临床时序序列x'和第n-1层的多尺度特征
的最后一个通道通过跳跃连接得到xn；然后采用拼接操作将xn、时序卷积网络层输出的时序趋势gn和上下文感知特征融合网络输出的特征间上下文表示zn融合，得到时序特征vn为vn＝[xn,gn,zn]；
基础预测模型的第n层，还采用基于逐点卷积神经网络的特征注意力块，将时序特征vn进行处理，得到更有效的时序特征hn；hn为最终的基础预测模型的第n层的输出；
取基础预测模型的第N层所输出的时序特征hN作为最终的时序特征；
通过全连接层处理诊断数据，将处理后的诊断数据重复T次后得到编码后的诊断特征d'；然后将重复T次的静态人口学数据特征s'、编码后的诊断特征d'、最终的时序特征hN和多尺度特征
进行拼接，将拼接后的表征通过全连接层进行处理，得到多视图多尺度融合特征hfinal；
最后，将多视图多尺度融合特征hfinal送入全连接层，并通过激活函数得到预测结果。
4.根据权利要求3所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于所述的通过堆叠的时序卷积网络层，具体为每一层的空洞因子增加1。
5.根据权利要求4所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于所述的上下文感知特征融合网络将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'进行融合，得到更加全面的住院人员健康状况的特征间上下文表示zn，具体包括如下步骤：
将第n-1层时序空洞可分卷积网络学习到的时序特征gn-1、第n-1层上下文感知特征融合网络学习到的时序特征zn-1、原始的临床时序序列x'和重复T次的静态人口学数据特征s'通过拼接操作进行结合，然后采用基于逐点卷积神经网络的特征注意力块捕捉动态特征之间的相互关系，生成注意力特征；然后，再通过全连接层调整注意力特征，以获得更加全面的住院人员健康状况的特征间上下文表示zn；第n层上下文感知特征融合网络的计算公式为：
zn＝(PWAtt(E(gn-1))||E(zn-1)||x||s')*Wn+bn
其中E()为展平函数，Wn和bn为全连接层的权重，且
||为拼接操作；PWAtt()为基于逐点卷积神经网络的特征注意力块所对应的操作函数；Pn为权重矩阵Wn第一个维度的大小，且Pn＝(Rn×C)+Z+F+S，Z为第n-1层上下文感知特征融合网络的融合特征zn-1的维度大小，F为原始的临床时序序列x'的特征数量，S为静态人口学数据特征s'的特征数量。
6.根据权利要求5所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于所述的基于逐点卷积神经网络的特征注意力块，用于捕捉动态特征之间的相互关系，以生成注意力特征；基于逐点卷积神经网络的特征注意力块包括5层神经网络，依次为降维比为r的逐点卷积层、批归一化层、ReLU激活函数层、滤波器数量为C的逐点卷积层和Sigmoid激活函数层；
输入特征X满足X∈RF×C×T，C为通道大小，F为时序序列特征的维度，T为时序序列特征的长度，则基于逐点卷积神经网络的特征注意力块所对应的操作函数为：
式中A(X)为注意力权重图的输出，且A(X)＝σ(PWConv2(δ(β(PWConv1(X)))))，PWConv1()和PWConv2()均为点卷积层操作函数，β为批归一化操作函数；δ为ReLU函数，σ为Sigmoid激活函数；
为逐元素乘法。
7.根据权利要求6所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于所述的将多视图多尺度融合特征hfinal送入全连接层，并通过激活函数得到预测结果，具体包括如下步骤：
对于ICU住院时长预测任务，先采用指数激活函数进行处理，避免无法在整个动态范围内预测住院时长；然后采用HardTanh激活函数对短于第一设定时长或长于第二设定时长的预测结果进行剪切；计算公式为：
式中
为预测的ICU住院时长；
为指数激活函数；τ()为HardTanh激活函数；Wyt和byt为待学习的参数；hfinal为多视图多尺度融合特征；
对于死亡风险预测任务，采用sigmoid激活函数进行预测：
式中
为预测的死亡风险；sigmoid()为sigmoid激活函数；Wy和by为待学习的参数。
8.根据权利要求7所述的基于卷积神经网络的ICU住院时长和死亡风险预测方法，其特征在于步骤S3所述的设定损失函数，具体包括如下步骤：
对于ICU住院时长预测任务，设定损失函数Lt为均分对数误差函数：
式中T为临床时序序列的长度；
为预测的ICU住院时长；yt为实际的ICU住院时长；
对于死亡风险预测任务，设定损失函数L为交叉熵损失函数：
式中N为样本数量；
为预测的死亡风险；yi为样本真实的死亡标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210645934.5A CN114883003B (zh) | 2022-06-08 | 基于卷积神经网络的icu住院时长和死亡风险预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210645934.5A CN114883003B (zh) | 2022-06-08 | 基于卷积神经网络的icu住院时长和死亡风险预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114883003A true CN114883003A (zh) | 2022-08-09 |
| CN114883003B CN114883003B (zh) | 2024-07-26 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115547502A (zh) * | 2022-11-23 | 2022-12-30 | 浙江大学 | 基于时序数据的血透病人风险预测装置 |
| CN116227365A (zh) * | 2023-05-06 | 2023-06-06 | 成都理工大学 | 一种基于改进vmd-tcn的滑坡位移预测方法 |
| CN116364290A (zh) * | 2023-06-02 | 2023-06-30 | 之江实验室 | 基于多视图对齐的血透表征识别与并发症风险预测*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190034591A1 (en) * | 2017-07-28 | 2019-01-31 | Google Inc. | System and Method for Predicting and Summarizing Medical Events from Electronic Health Records |
| CN111387938A (zh) * | 2020-02-04 | 2020-07-10 | 华东理工大学 | 一种基于特征重排一维卷积神经网络的病人心衰死亡风险预测*** |
| CN113902186A (zh) * | 2021-09-30 | 2022-01-07 | 中南大学 | 一种基于电子病历的患者死亡风险预测方法、***、终端及可读存储介质 |
| CN113990502A (zh) * | 2021-10-28 | 2022-01-28 | 浙江大学 | 一种基于异构图神经网络的icu心衰预测*** |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190034591A1 (en) * | 2017-07-28 | 2019-01-31 | Google Inc. | System and Method for Predicting and Summarizing Medical Events from Electronic Health Records |
| CN111387938A (zh) * | 2020-02-04 | 2020-07-10 | 华东理工大学 | 一种基于特征重排一维卷积神经网络的病人心衰死亡风险预测*** |
| CN113902186A (zh) * | 2021-09-30 | 2022-01-07 | 中南大学 | 一种基于电子病历的患者死亡风险预测方法、***、终端及可读存储介质 |
| CN113990502A (zh) * | 2021-10-28 | 2022-01-28 | 浙江大学 | 一种基于异构图神经网络的icu心衰预测*** |
Non-Patent Citations (1)
| Title |
|---|
| 刘瑞;: "深度学习技术在重症监护室患者住院死亡风险预测中的应用", 中国医学工程, no. 05, 25 May 2020 (2020-05-25) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115547502A (zh) * | 2022-11-23 | 2022-12-30 | 浙江大学 | 基于时序数据的血透病人风险预测装置 |
| CN115547502B (zh) * | 2022-11-23 | 2023-04-07 | 浙江大学 | 基于时序数据的血透病人风险预测装置 |
| CN116227365A (zh) * | 2023-05-06 | 2023-06-06 | 成都理工大学 | 一种基于改进vmd-tcn的滑坡位移预测方法 |
| CN116227365B (zh) * | 2023-05-06 | 2023-07-07 | 成都理工大学 | 一种基于改进vmd-tcn的滑坡位移预测方法 |
| CN116364290A (zh) * | 2023-06-02 | 2023-06-30 | 之江实验室 | 基于多视图对齐的血透表征识别与并发症风险预测*** |
| CN116364290B (zh) * | 2023-06-02 | 2023-09-08 | 之江实验室 | 基于多视图对齐的血透表征识别与并发症风险预测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baytas et al. | Patient subtyping via time-aware LSTM networks | |
| CN111367961A (zh) | 基于图卷积神经网络的时序数据事件预测方法、***及其应用 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN110491465A (zh) | 基于深度学习的疾病分类编码方法、***、设备及介质 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN117034142B (zh) | 一种不平衡医疗数据缺失值填充方法及*** | |
| CN113223656A (zh) | 一种基于深度学习的药物组合预测方法 | |
| Barhate et al. | Analysis of classifiers for prediction of type ii diabetes mellitus | |
| CN111477328B (zh) | 一种非接触式的心理状态预测方法 | |
| CN111477329B (zh) | 一种基于图文结合评估心理状态的方法 | |
| CN116628597A (zh) | 一种基于关系路径注意力的异质图节点分类方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN117438029A (zh) | 一种骨科创伤患者创伤严重程度智能评估*** | |
| CN110335160A (zh) | 一种基于分组和注意力改进Bi-GRU的就医迁移行为预测方法及*** | |
| CN109119155A (zh) | 基于深度学习的icu死亡危险性评估*** | |
| CN114883003B (zh) | 基于卷积神经网络的icu住院时长和死亡风险预测方法 | |
| CN114883003A (zh) | 基于卷积神经网络的icu住院时长和死亡风险预测方法 | |
| Raj et al. | Alzheimers Disease Recognition using CNN Model with EfficientNetV2 | |
| CN116189048A (zh) | 一种基于深度神经网络和自注意力机制的非接触心率检测方法和*** | |
| CN116091763A (zh) | 苹果叶部病害图像语义分割***及分割方法、设备和介质 | |
| Wang et al. | Tagnet: Temporal aware graph convolution network for clinical information extraction | |
| CN113782209A (zh) | 一种基于循环神经网络的慢性病患者智能预后方法及*** | |
| CN118097312B (zh) | 基于卷积神经网络和胶囊网络的乳腺超声图像的分类方法 | |
| Ravale et al. | Unveiling Alzheimer's: Early Detection Through Deep Neural Networks | |
| Pellegrini et al. | Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |