CN115761371A - 医学影像分类方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种医学影像分类方法、装置、存储介质及电子设备，可以获取待分类的医学影像对应的元数据信息；根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

Description

医学影像分类方法、装置、存储介质及电子设备

技术领域

本公开涉及对医学数据的分析领域，具体地，涉及一种医学影像分类方法、装置、存储介质及电子设备。

背景技术

多模态指的是信息承载及展现的多种方式。多模态承载了丰富、异构的多样化信息，具有极大的价值。因此，在计算机领域，多模态的研究逐渐成为无论学术界还是工业界研究的热点。

在医疗领域，研究者利用机器学习将多个模态的数据进行综合处理，融合各个模态的特征来提高目标预测的准确性。但不同于通用领域内的多模态融合，当前医疗图像领域内的多模态信息往往聚焦在对不同检查技术下产出的信息进行融合推理。比如在脑部影像的分类模型中，通常通过融合计算机X线断层摄影(CT扫描)、正电子发射断层扫描术(PET)、磁共振成像(MRI)、功能磁共振成像(fMRI)等成像技术的结果提供辅助医学参考。

发明内容

本公开的目的是提供一种医学影像分类方法、装置、存储介质及电子设备。

第一方面，本公开提供一种医学影像分类方法，所述方法包括：

获取待分类的医学影像对应的元数据信息；

根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；

根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

可选地，所述元数据信息包括所述医学影像对应的目标用户的用户标识信息，所述根据所述元数据信息获取所述医学影像对应的医学文本信息包括：

根据所述用户标识信息确定所述目标用户的所述临床诊疗信息；

根据所述临床诊疗信息确定与所述目标用户关联的所述医学先验知识。

可选地，所述根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类包括：

根据所述医学影像、所述临床诊疗信息以及所述医学先验知识构建多模态知识图谱，所述多模态知识图谱表征所述医学影像的影像特征以及所述医学文本信息的文本特征；

根据所述多模态知识图谱通过所述目标分类模型对所述医学影像进行分类。

可选地，所述根据所述医学影像、所述临床诊疗信息以及所述医学先验知识构建多模态知识图谱包括：

根据所述临床诊疗信息构建目标用户对应的第一知识图谱，所述第一知识图谱包括一个中心节点以及分别与所述中心节点相连的多个第一节点，所述中心节点为与所述目标用户对应的节点，所述第一节点表征所述目标用户的诊疗信息；

根据所述医学先验知识在所述第一知识图谱的基础上构建第二知识图谱，所述第二知识图谱包括所述中心节点、分别与所述中心节点相连的多个第一节点以及分别与所述第一节点相连的多个第二节点，所述第二节点表征所述目标用户关联的所述医学先验知识；

在所述第二知识图谱上添加与所述医学影像对应的预设虚拟节点后生成所述多模态知识图谱，所述预设虚拟节点与所述中心节点连接。

可选地，所述目标分类模型包括医学影像向量表征模型、与所述医学影像向量表征模型连接的知识图谱向量表征模型以及与所述知识图谱向量表征模型连接的分类器，所述根据所述多模态知识图谱通过所述目标分类模型对所述医学影像进行分类包括：

根据所述元数据信息通过所述医学影像向量表征模型确定所述医学影像的第一向量表示，所述第一向量表示表征所述医学影像的语义特征和序列特征；

通过所述知识图谱向量表征模型确定所述多模态知识图谱中每个节点的第二向量表示；

根据所述第一向量表示和所述第二向量表示确定所述多模态知识图谱的目标向量表示；

根据所述目标向量表示通过所述分类器对所述医学影像进行分类。

可选地，所述医学影像向量表征模型包括语义特征提取模型，和与所述语义特征提取模型连接的序列特征提取模型，所述根据所述元数据信息通过所述医学影像向量表征模型确定所述医学影像的第一向量表示包括：

从所述元数据信息中读取所述医学影像对应的影像采集序列信息；

根据所述影像采集序列信息将所述医学影像划分为多个序列图片；

针对每个所述序列图片，通过所述语义特征提取模型提取所述序列图片的语义特征；

根据每个所述序列图片分别对应的所述语义特征，通过所述序列特征提取模型确定所述医学影像的所述第一向量表示。

可选地，所述知识图谱向量表征模型包括GAT(GraphAttentionNetwork，图注意力网络)，所述GAT包括多个依次连接的网络层，所述通过所述知识图谱向量表征模型确定所述多模态知识图谱中每个节点的第二向量表示包括：

针对所述GAT的每个网络层，通过所述网络层计算所述多模态知识图谱中，关联节点对中的两个节点的相关系数；所述关联节点对为通过一条边连接的两个节点；

针对每个所述关联节点对中的第三节点，根据所述关联节点对的所述相关系数、所述第三节点在所述网络层的上一层网络得到的向量表示以及所述上一层网络得到的第四节点的向量表示，确定所述第三节点在所述网络层对应的向量表示，所述第三节点为所述关联节点对中的一个节点，所述第四节点为所述关联节点对中的另一个节点；

在所述网络层为所述GAT的最后一层网络的情况下，将所述第三节点在所述网络层对应的向量表示作为所述第三节点的所述第二向量表示。

可选地，所述方法还包括：

在所述网络层不是所述GAT的最后一层网络的情况下，获取所述网络层计算的所述多模态知识图谱中每个目标关联节点对分别对应的相关系数，所述目标关联节点对包括中心节点和与所述中心节点相连的节点；

根据每个所述目标关联节点对分别对应的相关系数更新所述目标关联节点对中指定节点对的相关系数，所述指定节点对中的一个节点为所述中心节点，所述指定节点对中的另一个节点为与所述中心节点连接的预设虚拟节点；

根据更新后的相关系数通过所述网络层的下一个网络层计算每个节点的向量表示，并在所述下一个网络层为所述GAT的最后一层网络的情况下，将每个节点的向量表示作为所述第二向量表示。

可选地，所述根据每个所述目标关联节点对分别对应的相关系数更新所述目标关联节点对中指定节点对的相关系数包括：

从每个所述目标关联节点对分别对应的相关系数中确定最大相关系数；

将所述最大相关系数的预设倍数作为目标相关系数，所述预设倍数大于或者等于预设数值；

将所述指定节点对的相关系数更新为所述目标相关系数。

可选地，所述根据所述第一向量表示和所述第二向量表示确定所述多模态知识图谱的目标向量表示包括：

将所述预设虚拟节点对应的第二向量表示替换为所述第一向量表示，得到所述预设虚拟节点更新后的第二向量表示；

根据所述预设虚拟节点对应的预设权重、以及每个节点的所述第二向量表示确定所述目标向量表示。

第二方面，本公开提供一种医学影像分类装置，所述装置包括：

第一获取模块，用于获取待分类的医学影像对应的元数据信息；

第二获取模块，用于根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；

分类模块，用于根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

第三方面，本公开提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

通过上述技术方案，可以根据用户的医学影像结果、与该医学影像关联的临床诊疗信息以及医学先验知识这几种不同模态的数据对医学影像进行分类，由于不同模态的数据包含的语义信息不同，本公开基于多模态的医学数据进行医学影像的分类，相比较于仅依靠医学图像的一维图像特征进行分类的方式，可以显著提升医学影像分类结果的准确率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种医学影像分类方法的流程图；

图2是根据图1所示实施例示出的一种医学影像分类方法的流程图；

图3是根据图2所示实施例示出的一种构建多模态知识图谱的方法的流程图；

图4是根据一示例性实施例示出的一种第一知识图谱的示意图；

图5是根据图4所示实施例示出的一种第二知识图谱的示意图；

图6是根据图5所示实施例示出的一种多模态知识图谱的示意图；

图7是根据图2所示实施例示出的一种医学影像分类方法的流程图；

图8是根据一示例性实施例示出的一种基于多模态知识图谱进行医学影像分类的架构示意图；

图9是根据一示例性实施例示出的一种医学影像分类装置的框图；

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

本公开主要应用于对医学影像的分析场景中，相关技术中主要是通过融合在不同检查技术(如X线断层摄影、正电子发射断层扫描术、磁共振成像、功能磁共振成像)的成像结果进行融合后，基于机器学习模型结合融合结果对医学影像进行分类判断，这种分类方式是基于医学影像的图像特征，对医学影像进行图像识别，从而根据识别结果进行医学影像分类，但医学影像的图像特征仅能表征医学影像的一个维度的特征信息，无法表征医学影像其它维度的特征信息，这会影响医学影像的分类准确性。

为解决上述存在的问题，本公开提供一种医学影像分类方法、装置、存储介质及电子设备，下面结合附图对本公开的具体实施方式进行详细说明。

图1是根据一示例性实施例示出的一种医学影像分类方法的流程图，如图1所示，该方法包括以下步骤：

在步骤S11中，获取待分类的医学影像对应的元数据信息。

其中，该医学影像可以包括DICOM(Digital Imaging and Communications inMedicine，医学数字成像和通信)格式的图像，如CT医学图像、磁共振图像等，该元数据信息中记录有与之对应的DICOM图像的检查设备、检查方法(一般指成像技术)以及用户基本信息(如用户标识、性别、年龄)等。

对于医学影像的分类任务中，若能充分利用对应的元数据信息中隐含的丰富信息，可以增强图像的表示能力，尤其对于特征并不明显的长尾问题，可以提升图像识别的准确性。

在步骤S12中，根据该元数据信息获取该医学影像对应的医学文本信息，该医学文本信息包括临床诊疗信息和医学先验知识。

其中，该临床诊疗信息可以包括用户的临床、生物学信息，例如可以包括用户的姓名、性别、年龄、症状、医学辅助检查、体检指标参数、疑似诊断结果等信息，该医学先验知识通常是基于医学知识以及大量的临床数据总结出的医学诊疗标准信息，在该医学先验知识中定义了各种疾病的名称、每种疾病的症状、该疾病需进行的检查项目、每项检查的检查流程、检查结果的判别流程等一系列的医学相关知识。该医学先验知识可以从预先设置的先验知识库获取到，该先验知识库例如可以包括SNOMED(Systematized Nomenclature ofMedicine，医学***命名法)先验知识库、ICD(International Classification ofDiseases，国际疾病分类)先验知识库以及BMJ(British Medical Journal，英国医学杂志)先验知识库等。

该元数据信息包括该医学影像对应的目标用户的用户标识信息，在本步骤中，可以根据该用户标识信息确定该目标用户的该临床诊疗信息；然后根据该临床诊疗信息确定与该目标用户关联的该医学先验知识。例如，可以根据临床诊疗信息中的疑似诊断结果关联与该疑似诊断结果相关的医学先验知识，也可以根据该临床诊疗信息中的症状，关联与该症状相关的医学先验知识等。

在步骤S13中，根据该医学影像和该医学文本信息通过预先训练得到的目标分类模型对该医学影像进行分类。

其中，该目标分类模型可以为预先训练得到的深度学习模型。

采用上述方法，可以根据用户的医学影像结果、与该医学影像关联的临床诊疗信息以及医学先验知识这几种不同模态的数据对医学影像进行分类，由于不同模态的数据包含的语义信息不同，本公开基于多模态的医学数据进行医学影像的分类，相比较于仅依靠医学图像的一维图像特征进行分类的方式，可以显著提升医学影像分类结果的准确率。

图2是根据图1所示实施例示出的一种医学影像分类方法的流程图，如图2所示，步骤S13包括以下子步骤：

在步骤S131中，根据该医学影像、该临床诊疗信息以及该医学先验知识构建多模态知识图谱，该多模态知识图谱表征该医学影像的影像特征以及该医学文本信息的文本特征。

图3是根据图2所示实施例示出的一种构建多模态知识图谱的方法的流程图，如图3所示，步骤S131包括以下子步骤：

在步骤S1311中，根据该临床诊疗信息构建目标用户对应的第一知识图谱，该第一知识图谱包括一个中心节点以及分别与该中心节点相连的多个第一节点，该中心节点为与该目标用户对应的节点，该第一节点表征该目标用户的诊疗信息。

本步骤一种可能的实现方式中，可以将获取到的目标用户的用户ID作为该中心节点，然后将与该目标用户对应的各种诊疗信息(如性别、年龄、症状、医学辅助检查、体检指标参数、疑似诊断结果等信息)作为与该中心节点连接的第一节点，并且不同的诊疗信息对应不同的第一节点，从该中心节点指向各个第一节点后，构建得到该第一知识图谱。

示例地，图4是根据一示例性实施例示出的一种第一知识图谱的示意图，如图4所示，该第一知识图谱的中心节点对应“用户ID”，从该中心节点出发，指向多个第一节点，该第一节点分别对应：“女”、“36”、“嗜睡”、“头晕”、“肢体无力”、“185/105”等临床诊疗信息，图4所示的第一知识图谱仅是一种示例性表示，本公开对该第一知识图谱中各个节点对应的具体信息不作限定。

在步骤S1312中，根据该医学先验知识在该第一知识图谱的基础上构建第二知识图谱，该第二知识图谱包括该中心节点、分别与该中心节点相连的多个第一节点以及分别与该第一节点相连的多个第二节点，该第二节点表征该目标用户关联的该医学先验知识。

在本步骤中，可以在第一知识图谱的第一节点上继续连接第二节点，并且第一节点指向第二节点。图5是根据图4所示实施例示出的一种第二知识图谱的示意图，举例来说，对于图4中第一节点“糖尿病”来说，可以从先验知识库中获取到与“糖尿病”相关的全部医学先验知识，然后可以通过如图5所示的，与第一节点“糖尿病”相连的第二节点“糖尿病医学先验知识”记录与“糖尿病”相关的全部医学先验知识。

在步骤S1313中，在该第二知识图谱上添加与该医学影像对应的预设虚拟节点后生成该多模态知识图谱，该预设虚拟节点与该中心节点连接。

一种可能的实现方式中，可以通过该预设虚拟节点，以(用户ID，影像学检查，医学影像)三元组数据的形式在该第二知识图谱上添加医学影像对应的节点，例如，图6是根据图5所示实施例示出的一种多模态知识图谱的示意图，如图6所示，灰色填充的节点即为该预设虚拟节点，该中心节点指向该预设虚拟节点，该预设虚拟节点为与医学影像对应的节点。

基于图3所示的步骤，即可构建包含医学影像、临床诊疗信息以及医学先验知识的多模态知识图谱。

在步骤S132中，根据该多模态知识图谱通过该目标分类模型对该医学影像进行分类。

其中，该目标分类模型包括医学影像向量表征模型、与该医学影像向量表征模型连接的知识图谱向量表征模型以及与该知识图谱向量表征模型连接的分类器。

图7是根据图2所示实施例示出的一种医学影像分类方法的流程图，如图7所示，步骤S132包括以下子步骤：

在步骤S1321中，根据该元数据信息通过该医学影像向量表征模型确定该医学影像的第一向量表示，该第一向量表示表征该医学影像的语义特征和序列特征。

其中，该医学影像向量表征模型包括语义特征提取模型，和与该语义特征提取模型连接的序列特征提取模型，该语义特征提取模型例如可以包括CNN(ConvolutionalNeural Networks，卷积神经网络)模型，该序列特征提取模型例如可以包括LSTM(LongShort-Term Memory，长短期记忆网络)模型。

在本步骤中，可以通过以下方式确定该医学影像的该第一向量表示：

从该元数据信息中读取该医学影像对应的影像采集序列信息；该图像采集序列信息例如可以包括采集时间、用户姿态(如侧卧、仰卧、俯卧)以及基于同一参考点的采集位置等任一序列信息。然后根据该影像采集序列信息将该医学影像划分为多个序列图片；针对每个该序列图片，通过该语义特征提取模型提取该序列图片的语义特征；根据每个该序列图片分别对应的该语义特征，通过该序列特征提取模型确定该医学影像的该第一向量表示。

通常情况下，DICOM格式的医学图像具备时序特征，以CT影像为例，最终打印输出的CT影像是由多张序列图片合成的，不同的序列图片其对应的采集时间可以不同，或者对应的用户姿态不同，或者对应的采集位置不同，因此，在本步骤中，可以根据任一影像采集序列信息将该医学影像划分为多个序列图片。

示例地，图8是根据一示例性实施例示出的一种基于多模态知识图谱进行医学影像分类的架构示意图，如图8所示，首先可以根据影像采集序列信息将CT检查结果DICOM图像划分为图像1、图像2以及图像3三个序列图片，针对每个序列图片，可以通过CNN卷积神经网络提取每个序列图片的语义特征，并转换为对应的特征向量x，具体计算过程如公式(1)所示：

其中，*为卷积操作，即按位相乘在相加，X_in表示输入的其中一个序列图片，w_i为卷积核，i为卷积核的通道数，例如可以选择维度为(3，3，3)的卷积核。maxPooling为最大池化操作，即取filter对应特征图中的最大值作为池化层输出，之后可以将3个通道输出的特征图按位相加，得到最终的特征图，然后使用flatten拉伸函数将输出的特征图矩阵按第0维进行拼接、展平后得到其中一个序列图片的向量表示x。

之后可以根据每个该序列图片分别对应的该语义特征，通过该序列特征提取模型确定该医学影像的该第一向量表示。一种可能的实现方式中，可以将讲过CNN卷积神经网络提取的语义特征按照序列顺序排列成向量序列{x1，x2，x3}，如图8所示，可以将该向量序列输入LSTM网络后提取其序列特征后，输出对应的具有序列特征的CT图像的第一向量表示h_c。具体计算过程如公式(2)所示：

h_i＝tanh(U·x_i+W·h_i-1) (2)

其中，U，W为可学习的权重参数，h_i为LSTM网络第i层的隐藏层向量，假设LSTM网络包括3层隐藏层，i＝1,2,3，h₀为LSTM网络隐藏层的初始化向量；tanh为非线性激活函数，在本公开中，可以取LSTM网络最后一层的隐藏层向量h₃作为CT图像的第一向量表示h_c。上述示例仅是举例说明，本公开对此不作限定。

需要说明的是，上述示例中仅示出了基于一种影像采集序列信息对医学影像进行划分得到多个序列图片，在本公开另一种可能的实现方式中，若存在多种该影像采集序列信息，可以先针对每种影像采集序列信息划分得到的多个序列图片得到医学影像的向量表示，然后将每种向量表示进行融合后(如加权求和)得到医学影像最终的该第一向量表示。

在步骤S1322中，通过该知识图谱向量表征模型确定该多模态知识图谱中每个节点的第二向量表示。

如图8所示，该知识图谱向量表征模型例如可以为GAT(图注意力网络)网络，该GAT网络可以包括多个依次连接的网络层。

在本步骤中，可以将构建的如图6所示的多模态知识图谱输入该GAT网络，这样，针对该GAT的每个网络层，通过该网络层计算该多模态知识图谱中，关联节点对中的两个节点的相关系数；该关联节点对为通过一条边连接的两个节点，如图6所示，该关联节点对可以包括(节点“用户ID”→节点“糖尿病”)、(节点“用户ID”→节点“女”)、(节点“用户ID”→节点“嗜睡”)等；针对每个该关联节点对中的第三节点，根据该关联节点对的该相关系数、该第三节点在该网络层的上一层网络得到的向量表示以及该上一层网络得到的第四节点的向量表示，确定该第三节点在该网络层对应的向量表示，该第三节点为该关联节点对中的一个节点，该第四节点为该关联节点对中的另一个节点；以关联节点对(节点“用户ID”→节点“嗜睡”)为例，第三节点可以为节点“用户ID”，第四节点可以为节点“嗜睡”；这样，在该网络层为该GAT的最后一层网络的情况下，可以将该第三节点在该网络层对应的向量表示作为该第三节点的该第二向量表示。

示例地，在对多模态知识图谱进行编码的过程中，本公开可以经过“原始编码-微调编码”两个阶段，其中在原始编码阶段，可以将多模态知识图谱(该图谱中的预设虚拟节点仅为简单的表征“医学影像”的符号节点)输入GAT网络，然后通过GAT网络的每个网络层，基于公式(3)计算多模态知识图谱中，每个关联节点对中的两个节点的相关系数：

其中，α_ij表示关联节点对中的两个节点(即节点i和节点j)的相关系数，W为可学习参数矩阵，a为可学习向量，h_i表示图中节点i的向量，N_i为节点i的所有一阶邻居节点，这里的一阶邻居矩阵是指与节点i通过边直接相连的节点，||为拼接操作，可以将两个向量在最后一维进行拼接，LeakyReLU表示非线性激活函数。

之后针对每个关联节点对中的第三节点，可以通过以下公式(4)计算该第三节点在每一网络层的向量表示：

其中，h_i′表示当前网络层计算得到的该第三节点i的向量表示；h_i表示第三节点i在当前网络层的上一层网络得到的向量表示，h_j表示第四节点j在当前网络层的上一层网络得到的向量表示，K表示GAT网络使用的头数，W^k为第k个头的可学习参数矩阵，ReLU为非线性激活函数。

这样，当确定当前网络层为GAT的最后一层网络的情况下，可以将第三节点i在当前网络层对应的向量表示h_i′作为第三节点i的第二向量表示。

上述示例仅是举例说明，本公开对此不作限定。

需要说明的是，针对GAT网络的每一层，在确定该网络层不是GAT网络的最后一层网络的情况下，可以获取该网络层计算的该多模态知识图谱中每个目标关联节点对分别对应的相关系数，该目标关联节点对包括中心节点和与该中心节点相连的节点；例如，图6中的“用户ID”即为中心节点，与“用户ID”直接相连的每个第一节点，分别与该“用户ID”中心节点组成该目标关联节点对；然后根据每个该目标关联节点对分别对应的相关系数更新该目标关联节点对中指定节点对的相关系数，该指定节点对中的一个节点为该中心节点，该指定节点对中的另一个节点为与该中心节点连接的预设虚拟节点；如图6所示，“医学影像”节点即为该预设虚拟节点，该指定节点对即为图6中的(“用户ID”→“医学影像”)，这里，可以通过以下方式更新该指定节点对的相关系数：

从每个该目标关联节点对分别对应的相关系数中确定最大相关系数；将该最大相关系数的预设倍数作为目标相关系数，该预设倍数大于或者等于预设数值；例如，该预设数值可以为1，该预设倍数可以为1.5倍，从而将该指定节点对的相关系数更新为该目标相关系数，之后可以将每个目标关联节点对分别对应的相关系数进行归一化处理，这样可以显著提高多模态知识图谱中“医学影像”节点对应的影像特征(即语义特征和序列特征)在分类任务中的贡献率，从而可以进一步提高分类的准确率。

接下来可以根据更新后的相关系数通过该网络层的下一个网络层计算每个节点的向量表示(例如可以通过公式4计算)，并在该下一个网络层为该GAT的最后一层网络的情况下，将每个节点的向量表示作为该第二向量表示。

在步骤S1323中，根据该第一向量表示和该第二向量表示确定该多模态知识图谱的目标向量表示。

基于步骤S1322提供的方法，可以确定出多模态知识图谱中每个节点的第二向量表示，需要特别指出的是，该多模态知识图谱中表征“医学影像”的预设虚拟节点也会得到对应的向量表示，但由于该节点仅是一个符号节点，因此，在本步骤中，可以将该预设虚拟节点对应的第二向量表示替换为步骤S1321中编码得到的医学影像的第一向量表示，得到该预设虚拟节点更新后的第二向量表示(即微调阶段)，之后，可以根据预设虚拟节点对应的预设权重、以及每个节点的该第二向量表示确定该目标向量表示。

示例地，可以通过以下公式(5)计算得到该多模态知识图谱的目标向量表示：

其中，h_G为多模态知识图谱的目标向量表示，h_i为“医学影像”这个图像节点的更新后的第二向量表示，h_i为图中其他节点的第二向量表示，G为图中节点的集合。β为超参数，例如可以设置为70％。

在步骤S1324中，根据该目标向量表示通过该分类器对该医学影像进行分类。

其中，该分类器例如可以包括DNN(Deep Neural Networks，深度神经网络)。

在本步骤中，如图8所示，可以将该多模态知识图谱的目标向量表示(即多模态知识图谱的全局表示)输入DNN深度神经网络，然后通过DNN深度神经网络输出医学影像的分类结果。

一种可能的实现方式中，该DNN深度神经网络例如可以设计为10层的网络，并使用交叉熵损失函数进行模型训练，其具体的计算过程如公式(6)和公式(7)所示：

h_pred＝W⁹(…ReLU(W¹·ReLU(W′⁰·h_G))) (6)

loss＝CrossEntropy(h_pred，y_label) (7)

其中，h_pred为DNN输出的预测值，ReLu为非线性激活函数，W为可学习参数矩阵，loss为损失函数值，CrossEntropy为交叉熵损失函数，y_label为训练标签值。

采用上述方法，可以根据用户的医学影像结果、与该医学影像关联的临床诊疗信息以及医学先验知识这几种不同模态的数据对医学影像进行分类，由于不同模态的数据包含的语义信息不同，本公开基于多模态的医学数据进行医学影像的分类，相比较于仅依靠医学图像的一维图像特征进行分类的方式，可以显著提升医学影像分类结果的准确率。

图9是根据一示例性实施例示出的一种医学影像分类装置的框图，如图9所示，该装置包括：

第一获取模块901，用于获取待分类的医学影像对应的元数据信息；

第二获取模块902，用于根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；

分类模块903，用于根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

可选地，所述元数据信息包括所述医学影像对应的目标用户的用户标识信息，所述第二获取模块902，用于根据所述用户标识信息确定所述目标用户的所述临床诊疗信息；根据所述临床诊疗信息确定与所述目标用户关联的所述医学先验知识。

可选地，所述分类模块903，用于根据所述医学影像、所述临床诊疗信息以及所述医学先验知识构建多模态知识图谱，所述多模态知识图谱表征所述医学影像的影像特征以及所述医学文本信息的文本特征；根据所述多模态知识图谱通过所述目标分类模型对所述医学影像进行分类。

可选地，所述分类模块903，用于根据所述临床诊疗信息构建目标用户对应的第一知识图谱，所述第一知识图谱包括一个中心节点以及分别与所述中心节点相连的多个第一节点，所述中心节点为与所述目标用户对应的节点，所述第一节点表征所述目标用户的诊疗信息；

根据所述医学先验知识在所述第一知识图谱的基础上构建第二知识图谱，所述第二知识图谱包括所述中心节点、分别与所述中心节点相连的多个第一节点以及分别与所述第一节点相连的多个第二节点，所述第二节点表征所述目标用户关联的所述医学先验知识；

在所述第二知识图谱上添加与所述医学影像对应的预设虚拟节点后生成所述多模态知识图谱，所述预设虚拟节点与所述中心节点连接。

可选地，所述目标分类模型包括医学影像向量表征模型、与所述医学影像向量表征模型连接的知识图谱向量表征模型以及与所述知识图谱向量表征模型连接的分类器，所述分类模块903，用于根据所述元数据信息通过所述医学影像向量表征模型确定所述医学影像的第一向量表示，所述第一向量表示表征所述医学影像的语义特征和序列特征；通过所述知识图谱向量表征模型确定所述多模态知识图谱中每个节点的第二向量表示；根据所述第一向量表示和所述第二向量表示确定所述多模态知识图谱的目标向量表示；根据所述目标向量表示通过所述分类器对所述医学影像进行分类。

可选地，所述医学影像向量表征模型包括语义特征提取模型，和与所述语义特征提取模型连接的序列特征提取模型，所述分类模块903，用于从所述元数据信息中读取所述医学影像对应的影像采集序列信息；根据所述影像采集序列信息将所述医学影像划分为多个序列图片；针对每个所述序列图片，通过所述语义特征提取模型提取所述序列图片的语义特征；根据每个所述序列图片分别对应的所述语义特征，通过所述序列特征提取模型确定所述医学影像的所述第一向量表示。

可选地，所述知识图谱向量表征模型包括图注意力网络GAT，所述GAT包括多个依次连接的网络层，所述分类模块903，用于针对所述GAT的每个网络层，通过所述网络层计算所述多模态知识图谱中，关联节点对中的两个节点的相关系数；所述关联节点对为通过一条边连接的两个节点；针对每个所述关联节点对中的第三节点，根据所述关联节点对的所述相关系数、所述第三节点在所述网络层的上一层网络得到的向量表示以及所述上一层网络得到的第四节点的向量表示，确定所述第三节点在所述网络层对应的向量表示，所述第三节点为所述关联节点对中的一个节点，所述第四节点为所述关联节点对中的另一个节点；在所述网络层为所述GAT的最后一层网络的情况下，将所述第三节点在所述网络层对应的向量表示作为所述第三节点的所述第二向量表示。

可选地，所述分类模块903，用于在所述网络层不是所述GAT的最后一层网络的情况下，获取所述网络层计算的所述多模态知识图谱中每个目标关联节点对分别对应的相关系数，所述目标关联节点对包括中心节点和与所述中心节点相连的节点；根据每个所述目标关联节点对分别对应的相关系数更新所述目标关联节点对中指定节点对的相关系数，所述指定节点对中的一个节点为所述中心节点，所述指定节点对中的另一个节点为与所述中心节点连接的预设虚拟节点；根据更新后的相关系数通过所述网络层的下一个网络层计算每个节点的向量表示，并在所述下一个网络层为所述GAT的最后一层网络的情况下，将每个节点的向量表示作为所述第二向量表示。

可选地，所述分类模块903，用于从每个所述目标关联节点对分别对应的相关系数中确定最大相关系数；将所述最大相关系数的预设倍数作为目标相关系数，所述预设倍数大于或者等于预设数值；将所述指定节点对的相关系数更新为所述目标相关系数。

可选地，所述分类模块903，用于将所述预设虚拟节点对应的第二向量表示替换为所述第一向量表示，得到所述预设虚拟节点更新后的第二向量表示；根据所述预设虚拟节点对应的预设权重、以及每个节点的所述第二向量表示确定所述目标向量表示。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。

其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的医学影像分类方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的医学影像分类方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的医学影像分类方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的医学影像分类方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的医学影像分类方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (13)

1.一种医学影像分类方法，其特征在于，所述方法包括：

获取待分类的医学影像对应的元数据信息；

根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；

根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

2.根据权利要求1所述的方法，其特征在于，所述元数据信息包括所述医学影像对应的目标用户的用户标识信息，所述根据所述元数据信息获取所述医学影像对应的医学文本信息包括：

根据所述用户标识信息确定所述目标用户的所述临床诊疗信息；

根据所述临床诊疗信息确定与所述目标用户关联的所述医学先验知识。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类包括：

根据所述医学影像、所述临床诊疗信息以及所述医学先验知识构建多模态知识图谱，所述多模态知识图谱表征所述医学影像的影像特征以及所述医学文本信息的文本特征；

根据所述多模态知识图谱通过所述目标分类模型对所述医学影像进行分类。

4.根据权利要求3所述的方法，其特征在于，根据所述医学影像、所述临床诊疗信息以及所述医学先验知识构建多模态知识图谱包括：

根据所述临床诊疗信息构建目标用户对应的第一知识图谱，所述第一知识图谱包括一个中心节点以及分别与所述中心节点相连的多个第一节点，所述中心节点为与所述目标用户对应的节点，所述第一节点表征所述目标用户的诊疗信息；

根据所述医学先验知识在所述第一知识图谱的基础上构建第二知识图谱，所述第二知识图谱包括所述中心节点、分别与所述中心节点相连的多个第一节点以及分别与所述第一节点相连的多个第二节点，所述第二节点表征所述目标用户关联的所述医学先验知识；

在所述第二知识图谱上添加与所述医学影像对应的预设虚拟节点后生成所述多模态知识图谱，所述预设虚拟节点与所述中心节点连接。

5.根据权利要求4所述的方法，其特征在于，所述目标分类模型包括医学影像向量表征模型、与所述医学影像向量表征模型连接的知识图谱向量表征模型以及与所述知识图谱向量表征模型连接的分类器，所述根据所述多模态知识图谱通过所述目标分类模型对所述医学影像进行分类包括：

根据所述元数据信息通过所述医学影像向量表征模型确定所述医学影像的第一向量表示，所述第一向量表示表征所述医学影像的语义特征和序列特征；

通过所述知识图谱向量表征模型确定所述多模态知识图谱中每个节点的第二向量表示；

根据所述第一向量表示和所述第二向量表示确定所述多模态知识图谱的目标向量表示；

根据所述目标向量表示通过所述分类器对所述医学影像进行分类。

6.根据权利要求5所述的方法，其特征在于，所述医学影像向量表征模型包括语义特征提取模型，和与所述语义特征提取模型连接的序列特征提取模型，所述根据所述元数据信息通过所述医学影像向量表征模型确定所述医学影像的第一向量表示包括：

从所述元数据信息中读取所述医学影像对应的影像采集序列信息；

根据所述影像采集序列信息将所述医学影像划分为多个序列图片；

针对每个所述序列图片，通过所述语义特征提取模型提取所述序列图片的语义特征；

根据每个所述序列图片分别对应的所述语义特征，通过所述序列特征提取模型确定所述医学影像的所述第一向量表示。

7.根据权利要求5所述的方法，其特征在于，所述知识图谱向量表征模型包括图注意力网络GAT，所述GAT包括多个依次连接的网络层，所述通过所述知识图谱向量表征模型确定所述多模态知识图谱中每个节点的第二向量表示包括：

针对所述GAT的每个网络层，通过所述网络层计算所述多模态知识图谱中，关联节点对中的两个节点的相关系数；所述关联节点对为通过一条边连接的两个节点；

针对每个所述关联节点对中的第三节点，根据所述关联节点对的所述相关系数、所述第三节点在所述网络层的上一层网络得到的向量表示以及所述上一层网络得到的第四节点的向量表示，确定所述第三节点在所述网络层对应的向量表示，所述第三节点为所述关联节点对中的一个节点，所述第四节点为所述关联节点对中的另一个节点；

在所述网络层为所述GAT的最后一层网络的情况下，将所述第三节点在所述网络层对应的向量表示作为所述第三节点的所述第二向量表示。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在所述网络层不是所述GAT的最后一层网络的情况下，获取所述网络层计算的所述多模态知识图谱中每个目标关联节点对分别对应的相关系数，所述目标关联节点对包括中心节点和与所述中心节点相连的节点；

根据每个所述目标关联节点对分别对应的相关系数更新所述目标关联节点对中指定节点对的相关系数，所述指定节点对中的一个节点为所述中心节点，所述指定节点对中的另一个节点为与所述中心节点连接的预设虚拟节点；

根据更新后的相关系数通过所述网络层的下一个网络层计算每个节点的向量表示，并在所述下一个网络层为所述GAT的最后一层网络的情况下，将每个节点的向量表示作为所述第二向量表示。

9.根据权利要求8所述的方法，其特征在于，所述根据每个所述目标关联节点对分别对应的相关系数更新所述目标关联节点对中指定节点对的相关系数包括：

从每个所述目标关联节点对分别对应的相关系数中确定最大相关系数；

将所述最大相关系数的预设倍数作为目标相关系数，所述预设倍数大于或者等于预设数值；

将所述指定节点对的相关系数更新为所述目标相关系数。

10.根据权利要求5所述的方法，其特征在于，所述根据所述第一向量表示和所述第二向量表示确定所述多模态知识图谱的目标向量表示包括：

将所述预设虚拟节点对应的第二向量表示替换为所述第一向量表示，得到所述预设虚拟节点更新后的第二向量表示；

根据所述预设虚拟节点对应的预设权重、以及每个节点的所述第二向量表示确定所述目标向量表示。

11.一种医学影像分类装置，其特征在于，所述装置包括：

第一获取模块，用于获取待分类的医学影像对应的元数据信息；

第二获取模块，用于根据所述元数据信息获取所述医学影像对应的医学文本信息，所述医学文本信息包括临床诊疗信息和医学先验知识；

分类模块，用于根据所述医学影像和所述医学文本信息通过预先训练得到的目标分类模型对所述医学影像进行分类。

12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。

13.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-10中任一项所述方法的步骤。

Images