CN114334162A - 疾病患者智能预后预测方法、装置、存储介质及设备 - Google Patents

Abstract

本发明提供了一种疾病患者智能预后预测方法、装置、存储介质及设备，该方法包括：获取目标对象的时序生理生化指标和时序生理生化指标对应时间点的核磁共振影像数据，将时序生理生化指标和核磁共振影像数据分别输入预设的预后预测模型，利用预后预测模型学习得到时序生理生化指标对应的第一时序表征和核磁共振影像数据对应的第二时序表征，利用预后预测模型将第一时序表征和第二时序表征拼接得到目标时序表征，以根据目标时序表征得到包括目标对象疾病发展结果的预后结果。本发明提供的方案通过融合目标对象的时序生理生化指标以及核磁共振影像数据，进行智能预后预测，以真实数据的角度客观且高效率的分析疾病患者的复发概率。

Description

疾病患者智能预后预测方法、装置、存储介质及设备

技术领域

本发明涉及人工智能及智慧医疗技术领域，特别是一种疾病患者智能预后预测方法、装置、存储介质及设备。

背景技术

肝细胞癌(hepatocellular carcinoma，HCC)是全球第4位肿瘤致死病因，具有侵袭性强、预后差等特点。随着对高危人群监测筛查的规范化和影像学检查手段的进步，早期HCC诊断率显著提高，已占所有HCC病例的40％～50％。目前，手术切除仍是肝功能储备良好的早期HCC患者的首选治疗方法，但术后5年复发率高达50％，这与HCC微小播散灶(肝内转移)或多中心发生机制(多中心起源)密切相关。准确的复发风险预测对优化早期HCC术后管理方案和提高外科治疗远期效果具有重要意义。

传统的分期预测方法如根据专家经验设计的癌症TNM(Tumor Node Metastasis)分期法，这种方法人工进行判断，受限于医生的主观判断因素，无法根据具体的数据给出客观的预测结果。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的疾病患者智能预后预测方法、装置、存储介质及设备。

根据本发明的第一方面，提供了一种基于时序多模态数据的疾病患者智能预后预测方法，其特征在于，所述方法包括：

获取目标对象的时序生理生化指标；

获取所述时序生理生化指标对应时间点的核磁共振影像数据；

将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；

利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

可选地，所述将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型之前，所述方法还包括：

构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征；

建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层的输入数据；

收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征；

收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；

分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。

可选地，利用所述第一数据集训练第一神经网络模型包括：

将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；

利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。

可选地，所述利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征包括：

将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，

利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征以及连续时间点的时序生理生化指标对应关联关系的关联特征；

根据所述时序生理生化指标各自对应指标特征和所述关联特征得到所述时序生理生化指标对应的第一时序表征。

可选地，所述获取所述时序生理生化指标对应时间点的核磁共振影像数据包括：

识别连续多次检测所述时序生理生化指标时对应的多个检测时间点；

从头颈部核磁共振影像数据中选取所述多个检测时间点在对应时间点检测的核磁共振影像数据，作为所述核磁共振影像数据；其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。

可选地，所述利用所述预后预测模型学习得到所述核磁共振影像数据对应的第二时序表征包括：

将各所述检测时间点对应的多个子序列输入所述预后预测模型中的第二神经网络模型；

利用所述第二神经网络模型对每个时间点对应的多个子序列进行学习，得到每个子序列在不同检测时间点的序列特征以及连续的检测时间点的关联特征，整合所述序列特征和所述关联特征得到并输出所述核磁共振影像数据对应的第二时序表征。

可选地，所述根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果包括：

将所述目标时序表征输入所述预后预测模型中的多个全连接层，经过函数激活得到复发风险概率；

利用所述复发风险概率对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果，所述预后结果包括所述目标对象对应的疾病复发风险等级。

根据本发明的第二方面，还提供了一种基于时序多模态数据的疾病患者智能预后预测***，所述***包括：

第一获取模块，用于获取目标对象的时序生理生化指标；

第二获取模块，用于获取所述时序生理生化指标对应时间点的核磁共振影像数据；

特征学习模块，用于将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；

预测模块，用于利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

根据本发明的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面中任一项所述的方法。

根据本发明的第四方面，还提供了一种计算设备，所述计算设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面中任一项所述的方法。

本发明提供了一种疾病患者智能预后预测方法、装置、存储介质及设备，在本发明提供的方法中，通过融合目标对象的时序生理生化指标以及核磁共振影像数据，通过学习各自的特征后进行拼接以对目标对象进行智能预后预测，无需人工进行特征提取即可实现从输入到输出的端到端完全自动化，以真实数据的角度客观且高效率的分析疾病患者的复发概率，尤其是对于肝癌患者来讲，可以为早期HCC术后管理方案提供数据参考。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施例的基于时序多模态数据的疾病患者智能预后预测方法流程示意图；

图2示出了根据本发明实施例的预后预测模型中第一神经网络模型结构示意图；

图3示出了根据本发明实施例的预后预测模型中第二神经网络模型结构示意图；

图4示出了根据本发明一实施例的基于时序多模态数据的疾病患者智能预后预测装置结构示意图；

图5示出了根据本发明另一实施例的基于时序多模态数据的疾病患者智能预后预测装置结构示意图；

图6示出了根据本发明实施例的计算设备结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本实施例提供的方案主要结合人工智能技术对相关的数据进行获取和处理，其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制器的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

人工智能技术基础一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语音处理技术以及机器学习/深度学习等几大方向。

本实施例所记载的基于时序多模态数据的疾病患者智能预后预测方法可以利用预先建立并训练的机器学习模型执行。图1示出了根据本发明一实施例的基于时序多模态数据的疾病患者智能预后预测方法流程示意图，参见图1可知，本发明实施例提供的基于时序多模态数据的疾病患者智能预后预测方法至少可以包括以下步骤S101～S104。

S101，获取目标对象的时序生理生化指标。所述目标对象为待评估的疾病患者。

本实施例中，任一疾病患者均可作为目标对象，对于目标对象，可获取先获取该目标对象对象的时序生理生化指标。其中，时序生理生化指标用于表征目标对象在多个不同的时间点对应的生理生化指标。

生理生化指标主要包括生理指标和生化指标，生理指标是指目标对象的各项生理活动新陈代谢指标，如心跳频率、呼吸频率等，生化指标是指各项化学成分的含量指标，丽日肝功能(总蛋白、白蛋白、球蛋白、白球比，总胆红素、直接、间接胆红素，转氨酶)；血脂(总胆固醇，甘油三酯，高、低密度脂蛋白，载脂蛋白)；空腹血糖；肾功能(肌酐、尿素氮)等指标。

本实施例中的时序生理生化指标可以在不同时间点(如时间点1、时间点2和时间点3共三个依次连续且递进的时间点)检测得到的多组生理生化指标，三个时间点可以根据不同的需求进行选择，三个时间点的间隔时间也可以根据不同的需求进行设置，本发明实施例对此不做限定。

S102，获取所述时序生理生化指标对应时间点的核磁共振影像数据。

在获取到时序生理生化指标之后，还可以进一步获取目标对象对应的核磁共振(Magnetic Resonance，MR)影像数据。可选地，上述步骤S102获取所述时序生理生化指标对应时间点的核磁共振影像数据时，可以先识别连续多次检测所述时序生理生化指标对应的多个检测时间点；再从头颈部核磁共振影像数据中选取所述多个检测时间点在对应时间点检测的核磁共振影像数据，作为所述核磁共振影像数据；其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。

前文介绍，步骤S101获取到的时序生理生化指标是对应多个时间点检测得到的多组数据，相应地，在获取时序生理生化指标对应时间点的核磁共振影像数据时，可以获取与时序生理生化指标对应时间点的多组核磁共振影像数据，即时间点1检测获得的MR影像数据、时间点2对应的MR影像数据以及时间点3对应的MR影像数据。本实施例中的核磁共振影像数据优选为头颈部核磁共振影像数据。即，获取核磁共振影像数据的时间点和获取时序生理生化指标的时间点相同，或是差值在预先设置的允许时间范围内，以确保后期检测的结构准确性。

其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。具体地，每个时间点的MR影像又包含T1w、T2w、T1c、T2c四个子序列，上述四个子序列是在磁共振成像上的专业术语，代表信号的情况，四个子序列分别为从不同角度和防伪拍摄的MR图像，展示了肿瘤区域的空间信息。

S103，将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征。

对于上述步骤S101～S102获取到的时序生理生化指标和核磁共振影像数据，可输入预先建立并训练的预后预测模型进行特征学习。

可选地，对于获取到的时序生理生化指标，可以对其进行学习以得到对应的第一时序表征。第一时序表征是用于表示目标对象时序生理生化指标特征的机器学习语言表征方式，表征是对原始信息的提炼，达到剔除原始数据的无效或冗余信息，把有效信息进行提炼，形成特征(feature)的过程。特征提取可以人为地手工处理，也可以借助特定的算法自动提取。前者为特征工程，后者为表征学习(Representation Learning)。如果数据量较小，可以根据自身的经验和先验知识，人为地设计出合适的特征，用作下游的任务，比如分类；但数据量很大且复杂时，则需要依赖自动化的表征学习。其可以用向量、矩阵、字符串或是能够被机器学习模型可识别的形式进行表示。

进一步地，在获取得到对应不同时间点的核磁共振影像数据之后，就可以学习所述核磁共振影像数据对应的第二时序表征。本实施例中的第二时序表征是用于表示目标对象对应的核磁共振影像数据特征的机器学习语言表征方式，其同样可以用向量或是能够被机器学习模型可识别的形式进行表示。

在得到时序生理生化指标对应的第一时序表征和核磁共振影像数据对应的第二时序表征之后，可将第一时序表征和第二时序表征进行拼接，以得到目标时序表征。

上文提及，第一时序表征和第二时序表征均可以是多维的时序表征，对第一时序表征和第二时序表征顺次拼接得到最终的目标时序表征。

S104，利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

对于第一时序表征和第二时序表征拼接获得的目标时序表征，可以利用该目标时序表征对目标对象进行智能预后预测。具体地，可以利用分类器对目标时序表征进行学习，以得到目标对象对应的健康风险概率，如肝癌的复发概率，作为目标对象疾病发展结果的预后结果。

前文介绍，可以利用机器学习模型实现本实施例记载的基于时序多模态数据的疾病患者智能预后预测方法，因此，在本发明可选实施例中，还可以预先建立并训练机器学习模型以实现疾病患者智能预后预测，具体过程可以包括如下步骤A1～A4。

A1，构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征。

A2，建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层的输入数据,。

本实施例中的预后预测模型属于机器学习模型，主要用于对疾病患者智能预后预测，其中，输入数据可以是疾病患者的相关数据，输出数据为该疾病患者疾病复发风险等级值。预后预测模型主要分为三个部分，分别为基于注意力的第一神经网络模型、基于时空卷积的第二神经网络模型以及多个全连接层。

图2示出了根据本发明实施例的预后预测模型中第一神经网络模型结构示意图。如图2所示，第一神经网络模型包括多个LSTM(Long Short-Term Memory，长短期记忆网络)单元。LSTM是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度***问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

对于获取到的各个时序生理化指标可以作为第一神经网络模型的输入数据以输入至各个LSTM单元中，对于每一个LSTM单元均有一个隐藏层h_n向量，如图2中每个LSTM单元输出的h₁,h₂....,h_n向量，对于各个隐藏层h_n向量则会对应有不同权重，即图2中的a₁,a₁......a_n，将隐藏层h_n向量和各自对应的权重输入注意力机制中进行再次学习，a₁,a₁......a_n可作为模型参数进行训练得到。本实施例采用attention-based LSTM对应的表征学习算法，能够高效地得到时序生理生化指标对应的特征表征。

图3示出了根据本发明实施例的预后预测模型中第二神经网络模型结构示意图，本实施例中的第二神经网络模型是基于时空卷积的神经网络模型(Spatio-TemporalConvolutional LSTM)。第二神经网络模型的输入数据为对应多个时间点的核磁共振影像数据，图3示意性地输出了时间点1和时间点2对应核磁共振影像数据的处理过程示意图。对于时间点1来讲，图3中所示的slice1、slice2、slice3和slice4四个维度可以分别对应该时间点1所获取的核磁共振影像数据中四个子序列，进而输入至图3所示的第二神经网络模型中进行学习，以得到核磁共振影像数据对应的特征表征。

全连接层在整个卷积神经网络中起到“分类器”的作用，在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h x w的全局卷积。全连接的核心操作就是矩阵向量乘积。

A3，收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征。

本实施例中的疾病患者可以是已患有疾病患者且已复发和未复发两种情况下的多个对象，对于上述对象，可以获取在多个时间点的时序生理生化指标和对应的时序表征，构建第一样本数据集。

A4，收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；

收集多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集。对于上述第一样本数据集中的各个对象，可获取对应时间点对应的头颈部核磁共振影像数据，每个对象在每个时间点所对应的核磁共振影像数据均具有四个子序列。

A5，分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。具体地，可以将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。

对于初次搭建的预后预测模型需进行训练及优化，其中，对于第一神经网络模型，可以将第一样本数据集分为训练集和测试集，在训练集上学习并调整网络结构的参数，然后在测试集上验证模型，在第一神经网络模型中各参数确定后，第一神经网络模型构建完成。

同理，对于第二神经网络模型可以采用类似于第一神经网络模型的训练方式，可以将第二样本数据集分为训练集和测试集，在训练集上学习并调整第二神经网络模型的模型参数，然后在测试集上验证第二神经网络模型，在第二神经网络模型中各参数确定后，第二神经网络模型构建完成。实际应用中，无论是对于第一神经网络模型的训练还是对于第二神经网络模型的训练，可以利用各自对应的训练集采用5倍交叉验证调整模型超参数。

实际应用中，在上述模型的训练过程中，还可以通过以下生存损失函数对复发风险概率risk和数据样本集中的真实标签进行学习。生存损失函数I(θ)如下：

其中T_i,E_i,x_i分别表示第i个对象的结局发生时间、结局类型以及输入表征R，x_j表示第j个对象的的表征，θ为需要学习的参数值，h_θ为计算函数，上述公式中表示线性回归计算公式。

其中，结局发生时间是对应的时间点，结局类型可以是复发或者是不复发。

最后，最后在第一样本测试集和第二样本测试集上，利用C-index对预后预测模型进行评价。C-index，C指数即一致性指数(concordance index)，用来评价模型的预测能力。c指数是指所有病人对子中预测结果与实际结果一致的对子所占的比例。它估计了预测结果与实际观察到的结果相一致的概率。c指数的计算方法是：把所研究的资料中的所有研究对象随机地两两组成对子。以生存分析为例，对于一对病人，如果生存时间较长的一位的预测生存时间也长于另一位的预测生存时间，或预测的生存概率高的一位的生存时间长于生存概率低的另一位，则称之为预测结果与实际结果一致。

进一步地，上述步骤S101学习所述时序生理生化指标对应的第一时序表征时，可以将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征以及连续时间点的时序生理生化指标对应关联关系的关联特征；根据所述时序生理生化指标各自对应指标特征和所述关联特征得到所述时序生理生化指标对应的第一时序表征R1。具体地，可以将上述实施例介绍的目标对象的三个时间点所检测到的时序生理生化指标输入至图2所示的attention-based LSTM第一神经网络模型中，利用第一神经网络模型进行特征学习并输出目标对象对应的第一时序表征R1，该第一时序表征R1可以为向量、数字或者是矩阵形式。

上述步骤S102学习所述核磁共振影像数据对应的第二时序表征时，可以将各所述检测时间点对应的多个子序列输入所述预后预测模型中的第二神经网络模型，利用所述第二神经网络模型对每个时间点对应的多个子序列进行学习，得到每个子序列在不同检测时间点的序列特征以及连续的检测时间点的关联特征，整合所述序列特征和所述关联特征得到并输出所述核磁共振影像数据对应的第二时序表征R2。具体地，可以从头颈部核磁共振影像数据中选取与时序生理生化指标对应时间点的目标核磁共振影像数据，每个时间点的目标核磁共振影像数据又包含T1w、T2w、T1c、T2c四个子序列，将三个时间点对应的共十二个序列数据输入至Spatio-Temporal Convolutional LSTM第二神经网络模型中，利用第二神经网络模型进行特征学习核磁共振影像数据的跟随时间变化而变化的变化特征，并输出核磁共振影像数据对应的第二时序表征R2，第一时序表征R2同样可以为向量、数字或者是矩阵形式，具体与第一时序表征所对应。

对于得到的第一时序表征R1和第二时序表征R2，可以进行拼接以得到目标时序表征R。第一时序表征R1和第二时序表征R2的拼接方式具体根据第一时序表征R1和第二时序表征R2的数据形式进行适应选取，如维度拼接等。

最后，在得到目标时序表征R后，可执行步骤S104，利用所述目标时序表征对所述目标对象进行智能预后预测，在本实施例中，步骤S104可进一步包括：

S104-1，将所述目标时序表征输入所述预后预测模型中的多个全连接层，经过函数激活得到复发风险概率。

预后预测模型中的多个全连接层，在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。本实施例中，全连接层对预后预测模型的影响参数主要包括全接解层的总层数(长度)、单个全连接层的神经元数(宽度)以及激活函数，激活函数的作用是增加模型的非线性表达能力。通过全连接层对目标时序表征进行分类后，利用ReLU函数激活得到risk，作为复发风险概率。通过利用全连接层对目标时序表征映射为相应地复发风险概率，

本实施例中全连接层使用的函数可以为ReLU函数，ReLU(Rectified LinearUnits，线性整流函数)，ReLU能够在x>0时保持梯度不衰减，从而缓解梯度消失问题。这让我们能够直接以监督的方式训练深度神经网络，而无需依赖无监督的逐层预训练。ReLU函数主要是将目标对象对应的目标时序特征通过函数把特征保留并映射出来。当然，实际应用中还可以使用其他激活函数，本发明实施例不做限定。

S104-2，利用所述复发风险概率对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果，所述预后结果包括所述目标对象对应的疾病复发风险等级。

对于上述步骤S104-1得到的复发风险概率可进一步根据其确定对应的疾病复发风险等级。具体地，可以先划分处不同的疾病复发风险等级，每个疾病复发风险等级对应一个复发风险概率范围区间，例如，可以将风险等级划分从低到高五个风险等级，其中，从低到高，每个风险等级对应的复发风险概率范围区间分别为0～20％，20～40％，40～60％，60～80％，80～100％。当利用预后预测模型评估得到目标对象对应的复发风险概率后，可判断其属于上述哪个区间，进而确定对应的风险等级。

本发明实施例提供了一种疾病患者智能预后预测方法，通过融合目标对象的时序生理生化指标以及核磁共振影像数据，通过学习各自的特征后进行拼接以对目标对象进行智能预后预测，本实施例使用了attention-based LSTM和Spatio-TemporalConvolutional LSTM算法，搭建了端到端的预后预测模型，该模型不需要人工进行特征提取，实现了从输入到输出的端到端完全自动化，和以往模型相比，融合了时序与多组学信息，达到了较好的性能。为早期HCC术后管理方案提供数据参考。

基于同一发明构思，本发明实施例还提供了一种基于时序多模态数据的疾病患者智能预后预测***，如图4所示，该疾病患者智能预后预测***可以包括：

第一获取模块410，用于获取目标对象的时序生理生化指标；

第二获取模块420，用于获取所述时序生理生化指标对应时间点的核磁共振影像数据；

特征学习模块430，用于将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；

预测模块440，用于利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

在本发明一可选实施例中，如图5所示，本实施例的疾病患者智能预后预测***还可以包括模型构建模块450；

模型构建模块450，用于构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征；

建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层的输入数据；

收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征；

收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；

分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。

在本发明一可选实施例中，模型构建模块450还可以用于：

将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；

利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。

在本发明一可选实施例中，特征学习模块430还可以用于：

将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，

利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征以及连续时间点的时序生理生化指标对应关联关系的关联特征；

根据所述时序生理生化指标各自对应指标特征和所述关联特征得到所述时序生理生化指标对应的第一时序表征。

在本发明一可选实施例中，第二获取模块420还可以用于：

识别连续多次检测所述时序生理生化指标时对应的多个检测时间点；

从头颈部核磁共振影像数据中选取所述多个检测时间点在对应时间点检测的核磁共振影像数据，作为所述核磁共振影像数据；其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。

在本发明一可选实施例中，特征学习模块430还可以用于：

将各所述检测时间点对应的多个子序列输入所述预后预测模型中的第二神经网络模型；

利用所述第二神经网络模型对每个时间点对应的多个子序列进行学习，得到每个子序列在不同检测时间点的序列特征以及连续的检测时间点的关联特征，整合所述序列特征和所述关联特征得到并输出所述核磁共振影像数据对应的第二时序表征。

在本发明一可选实施例中，预测模块440还可以用于：

将所述目标时序表征输入所述预后预测模型中的多个全连接层，经过函数激活得到复发风险概率；

利用所述复发风险概率对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果，所述预后结果包括所述目标对象对应的疾病复发风险等级。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述实施例所述的方法。

本发明实施例还提供了一种计算设备，如图6所示，所述计算设备包括处理器610以及存储器620：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述实施例所述的方法。可选地，参见图6，该计算机设备还可以包括总线660、输入/输出接口630、显示设备640以及通信接口650。除此之外还可以包括摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。显示设备640可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选显示设备640还可以包括USB接口、读卡器接口等。通信接口650可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

所属领域的技术人员可以清楚地了解到，上述描述的***、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。

本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种基于时序多模态数据的疾病患者智能预后预测方法，其特征在于，所述方法包括：

获取目标对象的时序生理生化指标；

获取所述时序生理生化指标对应时间点的核磁共振影像数据；

将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；

利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型之前，所述方法还包括：

构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征；

建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层的输入数据；

收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征；

收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；

分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。

3.根据权利要求2所述的方法，其特征在于，利用所述第一数据集训练第一神经网络模型包括：

将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；

利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。

4.根据权利要求2所述的方法，其特征在于，所述利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征包括：

将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，

利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征以及连续时间点的时序生理生化指标对应关联关系的关联特征；

根据所述时序生理生化指标各自对应指标特征和所述关联特征得到所述时序生理生化指标对应的第一时序表征。

5.根据权利要求1所述的方法，其特征在于，所述获取所述时序生理生化指标对应时间点的核磁共振影像数据包括：

识别连续多次检测所述时序生理生化指标时对应的多个检测时间点；

从头颈部核磁共振影像数据中选取所述多个检测时间点在对应时间点检测的核磁共振影像数据，作为所述核磁共振影像数据；其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。

6.根据权利要求4所述的方法，其特征在于，所述利用所述预后预测模型学习得到所述核磁共振影像数据对应的第二时序表征包括：

将各所述检测时间点对应的多个子序列输入所述预后预测模型中的第二神经网络模型；

利用所述第二神经网络模型对每个时间点对应的多个子序列进行学习，得到每个子序列在不同检测时间点的序列特征以及连续的检测时间点的关联特征，整合所述序列特征和所述关联特征得到并输出所述核磁共振影像数据对应的第二时序表征。

7.根据权利要求2所述的方法，其特征在于，所述根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果包括：

将所述目标时序表征输入所述预后预测模型中的多个全连接层，经过函数激活得到复发风险概率；

利用所述复发风险概率对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果，所述预后结果包括所述目标对象对应的疾病复发风险等级。

8.一种基于时序多模态数据的疾病患者智能预后预测***，其特征在于，所述***包括：

第一获取模块，用于获取目标对象的时序生理生化指标；

第二获取模块，用于获取所述时序生理生化指标对应时间点的核磁共振影像数据；

特征学习模块，用于将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；

预测模块，用于利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7中任一项所述的方法。

10.一种计算设备，其特征在于，所述计算设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7中任一项所述的方法。

Images