CN115690556B - 一种基于多模态影像学特征的图像识别方法及*** - Google Patents

Abstract

本申请提供一种基于多模态影像学特征的图像识别方法及***，该方法包括如下子步骤：将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型；基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据；将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域；将相关联的异常区域进行融合在一起，形成异常区块。本申请对多个模态影像中的异常区域进行关联性分析，以三维模型展示多模态影像中的信息，提高异常区域直观展示效果并展示更多数据信息。

Description

一种基于多模态影像学特征的图像识别方法及***

技术领域

本申请涉及图像识别技术领域，尤其涉及一种基于多模态影像学特征的图像识别方法及***。

背景技术

近年来，医学成像技术迅速发展，并广泛应用于临床诊断和治疗。为了使多次成像或多种成像设备的信息可以得到综合利用，弥补信息不完整等缺陷，使临床的诊断及治疗更准确，医学影像有很多的模态，例如核磁共振影像(MRI)、超声波、DSA(数字减影血管造影技术)、CT等等。单模态数据存在各自的适用范围及局限性。相较于单模态数据，多模态影像数据能提供更多的信息。现有技术中将多种模态的医学图像进行配准，在一幅图像上同时表达来自人体的多方面的信息。存在的不足之处在于：并未对多个模态影像中的异常区域进行关联性分析，从二维图像体现的信息不够直观，信息量较少。

因此，目前亟需解决的技术问题是：如何对多个模态影像中的异常区域进行关联性分析，以三维模型展示多模态影像中的信息，提高异常区域直观展示效果并展示更多数据信息。

发明内容

本申请的目的在于提供一种基于多模态影像学特征的图像识别方法及***，对多个模态影像中的异常区域进行关联性分析，以三维模型展示多模态影像中的信息，提高异常区域直观展示效果并展示更多数据信息。

为达到上述目的，本申请提供一种基于多模态影像学特征的图像识别方法，该方法包括如下子步骤：将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型；基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据；将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域；将相关联的异常区域进行融合在一起，形成异常区块。

如上所述的基于多模态影像学特征的图像识别方法，还包括如下子步骤：根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度；根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序。

如上所述的基于多模态影像学特征的图像识别方法，其中，预先构建的卷积神经网络基础模型包括依次构建卷积层、池化层、全连接层和Softmax分类器。

如上所述的基于多模态影像学特征的图像识别方法，其中，训练多模态影像异常识别模型的方法包括如下步骤：获取多模态训练图像集；将多模态训练图像集，输入到卷积神经网络基础模型中，训练各个模态的异常识别模型。

如上所述的基于多模态影像学特征的图像识别方法，其中，将同一检测部位的多模态影像配准在对应部位的三维框架模型内的方法包括如下子步骤：提取多模态影像中检测部位的边缘轮廓和形状特征；根据提取的边缘轮廓和形状特征，将多模态影像匹配显示在三维框架模型内；根据异常区域数据，在多模态影像中标记异常区域。

如上所述的基于多模态影像学特征的图像识别方法，其中，将相关联的异常区域进行融合在一起，形成异常区块的方法包括如下子步骤：获取第一异常区域和第二异常区域之间的关联特征数据；根据关联特征数据，计算第一异常区域和第二异常区域的关联性值；比较关联性值和预设阈值的大小，若关联性值大于预设阈值，则将第一异常区域和第二异常区域融合在一起，形成异常区块。

如上所述的基于多模态影像学特征的图像识别方法，其中，获取异常区块的特征信息，并将特征信息显示在对应的异常区块。

本申请还提供一种基于多模态影像学特征的图像识别***，该***包括：训练模块，用于将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型；异常识别模块，用于基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据；配准模块，用于将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域；融合模块，用于将相关联的异常区域进行融合在一起，形成异常区块。

如上所述的基于多模态影像学特征的图像识别***还包括：数据处理器，用于根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度；推荐模块，用于根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序，获得疾病匹配列表。

如上所述的基于多模态影像学特征的图像识别***还包括：模型构建模块，用于预先构建的卷积神经网络基础模型。

本申请实现的有益效果如下：

(1)本申请对多个模态影像中的异常区域进行关联性分析，将关联性较强的异常区域融合在一起，形成异常区块，以三维模型展示多模态影像中的异常区块信息，提高异常区域直观展示效果并展示更多数据信息。

(2)本申请根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度，根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种基于多模态影像学特征的图像识别方法的流程图。

图2为本申请实施例的训练多模态影像异常识别模型的方法流程图。

图3为本申请实施例的将多模态影响配准在三维框架模型内的方法流程图。

图4为本申请实施例的将相关联的第一异常区域和第二异常区域进行融合的方法流程图。

图5为本申请实施例的一种基于多模态影像学特征的图像识别***的结构示意图。

附图标记：10-模型构建模块；20-训练模块；30-异常识别模块；40-配准模块；50-融合模块；60-数据处理器；70-推荐模块；100-图像识别***。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

如图1所示，本申请提供一种基于多模态影像学特征的图像识别方法，该方法包括如下子步骤：

步骤S1，预先构建卷积神经网络基础模型。

具体的，卷积神经网络基础模型包括卷积层、池化层、全连接层和Softmax分类器。卷积层使用尺寸为3*3，深度为16的卷积核。卷积层的滤波器大小预设定为3×3，步长预设定为1×1。池化层与卷积层连接，使用池化层即加快了计算速度又在一定程度上防止了过拟合现象。全连接层一端与池化层连接，另一端与Softmax分类器连接。Softmax分类器，用于对输入的特征矩阵进行分类。

步骤S2，将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型。

根据预先构建的卷积神经网络基础模型，对多模态训练图像集中异常区域的特征进行训练学习，用多模态训练图像集分别训练每个模态下不同区域的识别模型。不同模态图像通过不同的设备采用不同的成像方式得到。模态的类型包括核磁共振影像(MRI)、超声波和CT等，区域的种类包括水肿组织、积液和肿瘤等异常区域，异常区域的特征包括：形状特征、灰度特征和纹理特征。

如图2所示，步骤S2包括如下子步骤：

步骤S210，获取多模态训练图像集。

其中，多模态训练图像集中包括多个模态的训练图像集。多模态训练图像集中包括多模态影像，多模态影像包括超声波或CT的多序列断层影像。

其中，训练图像集中的异常区域为经过预先标记的。异常区域包括水肿组织、积液和肿瘤等区域。

步骤S220，将多模态训练图像集，输入到卷积神经网络基础模型中，训练多模态影像异常识别模型。

具体的，训练图像集输入到卷积神经网络中，依次经过卷积层、池化层、全连接层和Softmax分类器，对异常区域的特征进行训练学习，以获得各个模态的异常识别模型。各个模态的异常识别模型用于根据异常区域的特征识别异常区域的种类。

步骤S3，基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据。

具体的，基于各个模态影像的异常识别模型，对待检测多模态影像进行识别和分类，从而识别出每一个模态影像中的异常区域的种类、边缘轮廓和位置信息。异常区域数据包括异常区域的种类、边缘轮廓和位置信息。

步骤S4，将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域。

具体的，检测部位包括头部、胸部或肺部等。多模态影像包括超声波或CT的多序列断层影像。

如图3所示，步骤S4包括如下子步骤：

步骤S410，提取多模态影像中检测部位的边缘轮廓和形状特征。

步骤S420，根据提取的边缘轮廓和形状特征，将多模态影像匹配显示在三维框架模型内。

具体的，依次将多个模态的影像匹配融合在三维框架模型内。在对一个模态影像与三维框架模型匹配的过程中，首先根据提取的形状特征，自动选择对应的三维框架模型；例如，形状特征为心脏的形状，则选择心脏的三维框架模型；形状特征为肺部的形状，则选择肺部的三维框架模型；形状特征为头部的形状，则选择头部的三维框架模型。然后根据一种模态影像提取的边缘轮廓(例如：心脏边缘轮廓、肺部边缘轮廓或头部边缘轮廓等)，将该模态影像置入三维框架模型的对应位置进行匹配，以使得该模态影像的边缘轮廓与三维框架模型的轮廓重合。匹配过程中，自动调整三维框架模型的边缘，以与模态影像提取的边缘轮廓融合。

步骤S430，根据提取的异常区域，在多模态影像中标记异常区域。

作为本发明的一个具体实施例，标记的方法可以是对异常区域高亮显示或显示边缘轮廓线等方法。

本申请实现了医学影像中异常区域(病变)的自动识别，减少了医生的工作量同时加快了识别速度，并且根据异常区域在所述多模态影像中的位置在三维框架模型内对应位置进行显示，将多模态影像显示在三维框架模型内，以便于医生直观观察模型，从而方便进行诊断。

步骤S5，将相关联的异常区域进行融合在一起，形成异常区块。

如图4所示，步骤S5包括如下子步骤：

步骤S510，获取第一异常区域和第二异常区域之间的关联特征数据。

具体的，第一异常区域和第二异常区域之间的关联特征数据包括：异常区域种类、显示在三维框架模型内两个不相交叉异常区域向同一方向(垂直于异常区域方向)映射重合的面积、两个异常区域相交叉的面积、两个不相交叉异常区域最相近点之间的距离和像素均值。

步骤S520，根据关联特征数据，计算第一异常区域和第二异常区域的关联性值。

其中，第一异常区域和第二异常区域的关联性值的计算公式如下：

其中，L表示第一异常区域和第二异常区域的关联性值；Kind表示异常区域种类一致性因子，若第一异常区域和第二异常区域种类一致，则Kind＝1，否则，Kind＝0；α表示映射重合面积的关联性影响因子；SB表示不相交叉的第一异常区域和第二异常区域的映射重合面积；DB表示两个不相交叉异常区域最相近点之间的距离；β表示两个异常区域相交叉面积的关联性影响因子；SJ表示两个异常区域相交叉的面积；S1表示第一异常区域的面积；S2表示第二异常区域的面积；γ表示两个异常区域像素均值对关联性值的影响因子，当两个区域相交叉时，γ＝1-β；当两个区域不相交叉时，γ＝1-α；X1表示第一异常区域的像素均值；X2表示第二异常区域的像素均值。

步骤S530，比较关联性值和预设阈值的大小，若关联性值大于预设阈值，则将第一异常区域和第二异常区域融合在一起，形成异常区块。

将第一异常区域和第二异常区域融合在一起的方法为：将第一异常区域和第二异常区域的边界轮廓通过曲面圆滑连接在一起。

步骤S540，获取异常区块的特征信息，并将特征信息显示在对应的异常区块。

特征信息包括体积、异常区域种类和灰度均值等。

步骤S6，根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度。

其中，在数据库中预先设置并存储有每一种类疾病对应的异常属性特征数据，异常属性特征数据包括：异常区域的种类、体积范围值和灰度范围值。

具体的，待检测多模态影像与预设疾病种类的匹配度的计算公式如下：

其中，P表示待检测多模态影像与预设疾病种类的匹配度；Nx表示异常区块属于预设疾病种类对应的异常区域类型的数量；Nb表示异常区块不属于预设疾病种类对应的异常区域类型的数量；Q表示异常区块的总数量；g₁表示体积影响因子；g₂表示灰度影响因子；W_i表示第i个异常区块的体积匹配因子，若第i个异常区块的体积在预设疾病种类对应的体积范围值内，则W_i＝1；否则，W_i＝0；

表示第i个异常区块的灰度值均值；H_min表示灰度范围值的最小值；H_max表示灰度范围值的最大值；e＝2.718。

步骤S7，根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序，获得疾病匹配列表。疾病匹配列表以辅助医生诊断使用。

实施例二

如图5所示，本申请提供一种基于多模态影像学特征的图像识别***100，该***包括：

模型构建模块10，用于预先构建的卷积神经网络基础模型。

训练模块20，用于将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型。

异常识别模块30，用于基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据。

配准模块40，用于将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域。

融合模块50，用于将相关联的异常区域进行融合在一起，形成异常区块。

数据处理器60，用于根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度。

推荐模块70，用于根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序，获得疾病匹配列表。

融合模块50包括：

获取模块，用于获取第一异常区域和第二异常区域之间的关联特征数据。

计算处理器，用于根据关联特征数据，计算第一异常区域和第二异常区域的关联性值。

比较器，用于比较关联性值和预设阈值的大小，若关联性值大于预设阈值，则将第一异常区域和第二异常区域融合在一起，形成异常区块。

显示模块，用于获取异常区块的特征信息，并将特征信息显示在对应的异常区块。

其中，第一异常区域和第二异常区域的关联性值的计算公式如下：

其中，L表示第一异常区域和第二异常区域的关联性值；Kind表示异常区域种类一致性因子，若第一异常区域和第二异常区域种类一致，则Kind＝1，否则，Kind＝0；α表示映射重合面积的关联性影响因子；SB表示不相交叉的第一异常区域和第二异常区域的映射重合面积；DB表示两个不相交叉异常区域最相近点之间的距离；β表示两个异常区域相交叉面积的关联性影响因子；SJ表示两个异常区域相交叉的面积；S1表示第一异常区域的面积；S2表示第二异常区域的面积；γ表示两个异常区域像素均值对关联性值的影响因子，当两个区域相交叉时，γ＝1-β；当两个区域不相交叉时，γ＝1-α；X1表示第一异常区域的像素均值；X2表示第二异常区域的像素均值。

其中，待检测多模态影像与预设疾病种类的匹配度的计算公式如下：

其中，P表示待检测多模态影像与预设疾病种类的匹配度；Nx表示异常区块属于预设疾病种类对应的异常区域类型的数量；Nb表示异常区块不属于预设疾病种类对应的异常区域类型的数量；Q表示异常区块的总数量；g₁表示体积影响因子；g₂表示灰度影响因子；W_i表示第i个异常区块的体积匹配因子，若第i个异常区块的体积在预设疾病种类对应的体积范围值内，则W_i＝1；否则，W_i＝0；

表示第i个异常区块的灰度值均值；H_min表示灰度范围值的最小值；H_max表示灰度范围值的最大值。

本申请实现的有益效果如下：

(1)本申请对多个模态影像中的异常区域进行关联性分析，将关联性较强的异常区域融合在一起，形成异常区块，以三维模型展示多模态影像中的异常区块信息，提高异常区域直观展示效果并展示更多数据信息。

(2)本申请根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度，根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (9)

1.一种基于多模态影像学特征的图像识别方法，其特征在于，该方法包括如下子步骤：

将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型；

基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据；

将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域；

将相关联的异常区域进行融合在一起，形成异常区块；

其中，将相关联的异常区域进行融合在一起，形成异常区块的方法包括如下子步骤：

获取第一异常区域和第二异常区域之间的关联特征数据；

根据关联特征数据，计算第一异常区域和第二异常区域的关联性值；

比较关联性值和预设阈值的大小，若关联性值大于预设阈值，则将第一异常区域和第二异常区域融合在一起，形成异常区块；

其中，第一异常区域和第二异常区域为不同模态影像中的区域或相同模态影像中的区域，第一异常区域和第二异常区域之间的关联特征数据包括：异常区域种类、显示在三维框架模型内两个不相交叉异常区域向同一方向映射重合的面积、两个异常区域相交叉的面积、两个不相交叉异常区域最相近点之间的距离和两个异常区域的像素均值；

其中，第一异常区域和第二异常区域的关联性值的计算公式如下：

其中，L表示第一异常区域和第二异常区域的关联性值；Kind表示异常区域种类一致性因子，若第一异常区域和第二异常区域种类一致，则Kind＝1，否则，Kind＝0；α表示映射重合面积的关联性影响因子；SB表示不相交叉的第一异常区域和第二异常区域的映射重合面积；DB表示两个不相交叉异常区域最相近点之间的距离；β表示两个异常区域相交叉面积的关联性影响因子；SJ表示两个异常区域相交叉的面积；S1表示第一异常区域的面积；S2表示第二异常区域的面积；γ表示两个异常区域像素均值对关联性值的影响因子，当两个区域相交叉时，γ＝1-β；当两个区域不相交叉时，γ＝1-α；X1表示第一异常区域的像素均值；X2表示第二异常区域的像素均值。

2.根据权利要求1所述的基于多模态影像学特征的图像识别方法，其特征在于，该方法还包括如下子步骤：

根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度；

根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序。

3.根据权利要求1所述的基于多模态影像学特征的图像识别方法，其特征在于，预先构建的卷积神经网络基础模型包括依次构建卷积层、池化层、全连接层和Softmax分类器。

4.根据权利要求1所述的基于多模态影像学特征的图像识别方法，其特征在于，训练多模态影像异常识别模型的方法包括如下步骤：

获取多模态训练图像集；

将多模态训练图像集，输入到卷积神经网络基础模型中，训练各个模态的异常识别模型。

5.根据权利要求1所述的基于多模态影像学特征的图像识别方法，其特征在于，将同一检测部位的多模态影像配准在对应部位的三维框架模型内的方法包括如下子步骤：

提取多模态影像中检测部位的边缘轮廓和形状特征；

根据提取的边缘轮廓和形状特征，将多模态影像匹配显示在三维框架模型内；

根据异常区域数据，在多模态影像中标记异常区域。

6.根据权利要求1所述的基于多模态影像学特征的图像识别方法，其特征在于，获取异常区块的特征信息，并将特征信息显示在对应的异常区块。

7.一种基于多模态影像学特征的图像识别***，其特征在于，该***包括：

训练模块，用于将预先获取的多模态训练图像集输入到预先构建的卷积神经网络基础模型中，训练多模态影像异常识别模型；

异常识别模块，用于基于多模态影像异常识别模型，对待检测多模态影像进行识别，输出每一个模态影像中的异常区域数据；

配准模块，用于将同一检测部位的多模态影像配准在对应部位的三维框架模型内，并标记每一个模态影像中的异常区域；

融合模块，用于将相关联的异常区域进行融合在一起，形成异常区块；

其中，将相关联的异常区域进行融合在一起，形成异常区块的方法包括如下子步骤：

获取第一异常区域和第二异常区域之间的关联特征数据；

根据关联特征数据，计算第一异常区域和第二异常区域的关联性值；

比较关联性值和预设阈值的大小，若关联性值大于预设阈值，则将第一异常区域和第二异常区域融合在一起，形成异常区块；

其中，第一异常区域和第二异常区域为不同模态影像中的区域或相同模态影像中的区域，第一异常区域和第二异常区域之间的关联特征数据包括：异常区域种类、显示在三维框架模型内两个不相交叉异常区域向同一方向映射重合的面积、两个异常区域相交叉的面积、两个不相交叉异常区域最相近点之间的距离和两个异常区域的像素均值；

其中，第一异常区域和第二异常区域的关联性值的计算公式如下：

其中，L表示第一异常区域和第二异常区域的关联性值；Kind表示异常区域种类一致性因子，若第一异常区域和第二异常区域种类一致，则Kind＝1，否则，Kind＝0；α表示映射重合面积的关联性影响因子；SB表示不相交叉的第一异常区域和第二异常区域的映射重合面积；DB表示两个不相交叉异常区域最相近点之间的距离；β表示两个异常区域相交叉面积的关联性影响因子；SJ表示两个异常区域相交叉的面积；S1表示第一异常区域的面积；S2表示第二异常区域的面积；γ表示两个异常区域像素均值对关联性值的影响因子，当两个区域相交叉时，γ＝1-β；当两个区域不相交叉时，γ＝1-α；X1表示第一异常区域的像素均值；X2表示第二异常区域的像素均值。

8.根据权利要求7所述的基于多模态影像学特征的图像识别***，其特征在于，该***还包括：

数据处理器，用于根据异常区块的特征信息和预设疾病种类对应的异常属性特征数据，计算待检测多模态影像与预设疾病种类的匹配度；

推荐模块，用于根据计算的待检测多模态影像与预设疾病种类的匹配度，按照匹配度由高到低的顺序，将匹配的疾病种类进行排序，获得疾病匹配列表。

9.根据权利要求8所述的基于多模态影像学特征的图像识别***，其特征在于，该***还包括：模型构建模块，用于预先构建的卷积神经网络基础模型。

Images