一种图像分类方法和装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像分类方法和装置。
背景技术
图像处理技术领域的图像分类是指通过图像的灰度、颜色、纹理、形状和位置等底层特征对不同类型的图像进行分类。目前,主要是通过卷积神经网络捕获图像的卷积特征,进而通过分析所捕获的卷积特征对图像进行分类。
然而,由于通过卷积神经网络所捕获的图像特征有限,对于相似程度较高的两类或多类图像,现有的图像分类技术的分类效果仍有待提高。
发明内容
本发明实施例的目的在于提供一种图像分类方法和装置,以提高图像分类的分类效果。
为了达到上述目的,本发明实施例提供了一种图像分类方法,包括:
获得目标待分类人脑图像;
将所述目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;其中,所述第一特征提取神经网络模型为基于多个第一样本图像和多个第一样本图像的标签进行训练得到的,所述第二特征提取神经网络模型为基于多个第二样本图像和多个第二样本图像的标签进行训练得到的,所述第三特征提取神经网络模型为基于多个第三样本图像和多个第三样本图像的标签进行训练得到的;其中,所述第一样本图像为具有AD(Alzheimer,阿尔茨海默病)特征的人脑图像,所述第二样本图像为具有MCI(Mild cognitive impairment,轻度认知障碍)特征的人脑图像,所述第三样本图像为既不具有AD特征也不具有MCI特征的人脑图像;
使用所述指定的图像处理软件提取所述目标待分类人脑图像的形态学特征;
将所述目标待分类人脑图像的形态学特征和所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到所述目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;
将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第一图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第二图像分类模型,得到所述目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第三图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;其中,所述第一图像分类模型为基于多个第四样本图像的融合特征和多个第四样本图像的标签进行训练得到的,每个第四样本图像的标签表示该第四样本图像为具有AD特征的人脑图像或具有MCI特征的人脑图像;所述第二图像分类模型为基于多个第五样本图像的融合特征和多个第五样本图像的标签进行训练得到的,每个第五样本图像的标签表示该第五样本图像为具有MCI特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;所述第三图像分类模型为基于多个第六样本图像的融合特征和多个第六样本图像的标签进行训练得到的,每个第六样本图像的标签表示该第六样本图像为具有AD特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;
基于各个所述第一分类结果、各个所述第二分类结果和各个所述第三分类结果,确定出所述目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。
为了达到上述目的,本发明实施例还提供了一种图像分类装置,包括:
图像获取模块,用于获得目标待分类人脑图像;
第一特征提取模块,用于将所述目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;其中,所述第一特征提取神经网络模型为基于多个第一样本图像和多个第一样本图像的标签进行训练得到的,所述第二特征提取神经网络模型为基于多个第二样本图像和多个第二样本图像的标签进行训练得到的,所述第三特征提取神经网络模型为基于多个第三样本图像和多个第三样本图像的标签进行训练得到的;其中,所述第一样本图像为具有AD(Alzheimer,阿尔茨海默病)特征的人脑图像,所述第二样本图像为具有MCI(Mildcognitive impairment,轻度认知障碍)特征的人脑图像,所述第三样本图像为既不具有AD特征也不具有MCI特征的人脑图像;
第二特征提取模块,用于使用所述指定的图像处理软件提取所述目标待分类人脑图像的形态学特征;
特征融合模块,用于将所述目标待分类人脑图像的形态学特征和所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到所述目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;
图像分类模块,用于将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第一图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第二图像分类模型,得到所述目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第三图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;其中,所述第一图像分类模型为基于多个第四样本图像的融合特征和多个第四样本图像的标签进行训练得到的,每个第四样本图像的标签表示该第四样本图像为具有AD特征的人脑图像或具有MCI特征的人脑图像;所述第二图像分类模型为基于多个第五样本图像的融合特征和多个第五样本图像的标签进行训练得到的,每个第五样本图像的标签表示该第五样本图像为具有MCI特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;所述第三图像分类模型为基于多个第六样本图像的融合特征和多个第六样本图像的标签进行训练得到的,每个第六样本图像的标签表示该第六样本图像为具有AD特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;
分类结果确定模块,用于基于各个所述第一分类结果、各个所述第二分类结果和各个所述第三分类结果,确定出所述目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。
为了达到上述目的,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述图像分类方法步骤。
为了达到上述目的,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述图像分类方法步骤。
为了达到上述目的,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述图像分类方法步骤。
本发明实施例有益效果:
采用本发明实施例提供的方法,获得目标待分类人脑图像;将目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;使用指定的图像处理软件提取目标待分类人脑图像的形态学特征;将目标待分类人脑图像的形态学特征和目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第一图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第二图像分类模型,得到目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第三图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;基于各个第一分类结果、各个第二分类结果和各个第三分类结果,确定出目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。即通过将目标待分类人脑图像的形态学特征和深度卷积特征进行融合得到融合特征,然后将融合特征输入预先训练的图像分类模型对目标待分类人脑图像进行分类。由于融合特征融合了不同种类的特征信息,能够获得更具判别力的分类特征,因而可以提高对目标待分类人脑图像的分类准确率,即提高了图像分类的分类效果。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的图像分类方法的一种流程图;
图2为本发明实施例提供的图像分类方法的另一种流程图;
图3为应用本发明实施例对人脑图像进行灰度归一化处理前和进行灰度归一化处理后的图像;
图4为应用本发明实施例对人脑图像进行指定区域去除处理前和进行指定区域去除处理后的图像;
图5为本发明实施例中预先训练的特征提取神经网络模型的一种结构图;
图6为本发明实施例提供的图像分类方法的又一种流程图;
图7为本发明实施例中训练第一特征提取神经网络模型的一种流程图;
图8为本发明实施例中训练第一图像分类模型的一种流程图;
图9为本发明实施例提供的图像分类装置的一种结构示意图;
图10为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有的图像分类方法的分类效果有待提高,为了提高图像分类的分类效果,本发明实施例提供了一种图像分类方法和装置。
参见图1,图1为本发明实施例提供的图像分类方法的一种流程,包括:
步骤101,获得目标待分类人脑图像。
步骤102,将目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征。
其中,第一特征提取神经网络模型为基于多个第一样本图像和多个第一样本图像的标签进行训练得到的,第二特征提取神经网络模型为基于多个第二样本图像和多个第二样本图像的标签进行训练得到的,第三特征提取神经网络模型为基于多个第三样本图像和多个第三样本图像的标签进行训练得到的;其中,第一样本图像为具有AD(Alzheimer,阿尔茨海默病)特征的人脑图像,第二样本图像为具有MCI(Mild cognitive impairment,轻度认知障碍)特征的人脑图像,第三样本图像为既不具有AD特征也不具有MCI特征的人脑图像。
步骤103,使用指定的图像处理软件提取目标待分类人脑图像的形态学特征。
本发明实施例中,目标待分类人脑图像的形态学特征可以包括:目标待分类人脑图像的表面积、灰质体积、平均曲率、皮层厚度和海马亚区体积等等。
其中,指定图像处理软件可以为FreeSurfer软件。
步骤104,将目标待分类人脑图像的形态学特征和目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征。
举例说明,若形态学特征为:目标待分类人脑图像的表面积h1、灰质体积h2、平均曲率h3、皮层厚度h4和海马亚区体积h5,即提取到的目标待分类人脑图像的形态学特征可以表示为:[h1 h2 h3 h4 h5];
第一深度卷积特征为可以表示为:[g1 g2 g3 g4 g5],其中,g1-g5均表示通过第一特征提取神经网络模型所提取的目标待分类人脑图像的深度卷积特征;
将形态学特征与第一深度卷积特征进行融合后得到的第一融合特征为:
第二深度卷积特征可以表示为:[k1 k2 k3 k4 k5],其中,k1-k5均表示通过第二特征提取神经网络模型所提取的目标待分类人脑图像的深度卷积特征;
将形态学特征与第二深度卷积特征进行融合后得到的第二融合特征为:
第三深度卷积特征可以表示为:[m1 m2 m3 m4 m5],其中,m1-m5均表示通过第三特征提取神经网络模型所提取的目标待分类人脑图像的深度卷积特征;
将形态学特征与第三深度卷积特征进行融合后得到的第三融合特征为:
步骤105,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第一图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第二图像分类模型,得到目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第三图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果。
其中,第一图像分类模型为基于多个第四样本图像的融合特征和多个第四样本图像的标签进行训练得到的,每个第四样本图像的标签表示该第四样本图像为具有AD特征的人脑图像或具有MCI特征的人脑图像;第二图像分类模型为基于多个第五样本图像的融合特征和多个第五样本图像的标签进行训练得到的,每个第五样本图像的标签表示该第五样本图像为具有MCI特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;第三图像分类模型为基于多个第六样本图像的融合特征和多个第六样本图像的标签进行训练得到的,每个第六样本图像的标签表示该第六样本图像为具有AD特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像。
步骤106,基于各个第一分类结果、各个第二分类结果和各个第三分类结果,确定出目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。
采用本发明实施例提供的方法,获得目标待分类人脑图像;将目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;使用指定的图像处理软件提取目标待分类人脑图像的形态学特征;将目标待分类人脑图像的形态学特征和目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第一图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第二图像分类模型,得到目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第三图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;基于各个第一分类结果、各个第二分类结果和各个第三分类结果,确定出目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。即通过将目标待分类人脑图像的形态学特征和深度卷积特征进行融合得到融合特征,然后将融合特征输入预先训练的图像分类模型对目标待分类人脑图像进行分类。由于融合特征融合了不同种类的特征信息,能够获得更具判别力的分类特征,因而可以提高对目标待分类人脑图像的分类准确率,即提高了图像分类的分类效果。
参见图2,图2本发明实施例提供的图像分类方法的另一种流程,包括:
步骤201,获得待分类人脑图像。
具体的,可以通过扫描被测试人员的头部,得到被测试人员的人脑图像作为待分类人脑图像。
步骤202,使用指定的图像处理软件对待分类人脑图像进行预处理,得到预处理后的待分类人脑图像。
本发明实施例中,指定的图像处理软件可以是FreeSurfer软件。本步骤中,使用FreeSurfer软件对待分类人脑图像进行预处理的操作可以包括步骤A1-步骤A4:
步骤A1,使用FreeSurfer软件对待分类人脑图像进行运动校正处理,得到运动校正处理后的人脑图像。
具体的,在获得待分类人脑图像时可能会因为被测试人员头部的轻微晃动,影响待分类人脑图像数据。因此,本步骤中,可以使用FreeSurfer软件对待分类人脑图像进行运动校正处理,校正因被测试人员头部的轻微晃动给待分类人脑图像数据造成的影响。
步骤A2,使用FreeSurfer软件对运动校正处理后的人脑图像进行空间标准化处理,得到空间标准化处理后的人脑图像。
具体的,使用FreeSurfer软件对运动校正处理后的人脑图像进行空间标准化处理实际上是对原本不同容积和形状的人脑图像转换到一个标准空间中,用同一个坐标系来描述各个人脑图像中的大脑的具***置。
步骤A3,使用FreeSurfer软件对空间标准化处理后的人脑图像进行灰度归一化处理,得到灰度归一化处理后的人脑图像。
具体的,使用指定的图像处理软件对空间标准化处理后的人脑图像进行灰度归一化处理可以减少人脑图像的灰度值波动所带来的影响。参见图3,图3中左侧为灰度归一化处理前的人脑图像310,图3中右侧为灰度归一化处理后的人脑图像320。
步骤A4,使用指定的图像处理软件对灰度归一化处理后的人脑图像进行指定区域去除处理,得到预处理后的待分类人脑图像。
其中,指定区域可以为图像中的非人脑区域,如人体颅骨区域和人体颈部区域等。具体的,可以通过FreeSurfer软件基于分水岭算法和可变形表面模型的混合算法等,去除灰度归一化处理后的人脑图像中的非人脑区域,得到预处理后的待分类人脑图像。参见图4,图4中左侧为进行指定区域去除处理前的人脑图像410,图4中右侧为进行指定区域去除处理后的人脑图像420。将图4中左侧的人脑图像中的人体颅骨区域和人体颈部区域去除后,可以得到图4中右侧的人脑图像420。
步骤203,裁剪得到预处理后的待分类人脑图像的目标区域,得到目标待分类人脑图像。
本步骤中,可以将预处理后的待分类人脑图像中只覆盖人脑的区域作为目标区域,裁剪出目标区域的图像作为目标待分类人脑图像。
步骤204,将目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征。
本发明实施例中预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,均包括:预设数量的密集块,每个密集块包括指定数量的密集层,且最后一个密集块的最后一个密集层为全局平均池化层。预设数量可以设定为2或3或4等等,不做具体限定。
具体的,若预设数量设定为2,参见图5,图5为预先训练的特征提取神经网络模型的一种结构图,包括:输入层、密集块、过渡层、全局平均池化层和激活函数Softmax。
若预设数量设定为3,则预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,均包括:3个密集块,每个密集块可以包括4个密集层。每两个密集层之间由一个过渡层连接,且最后一个密集块的最后一个密集层为全局平均池化层,以Softmax为激活函数。具体的,每个密集块的操作具体如下:
xl=Hl([x0,x1,...,xl-1])
其中,xl表示密集块中第l层的输出,[x0,x1,...,xl-1]表示第0,...,l-1层的输出的连接,非线性变换Hl(·)由3部分运算组成:批标准化、线性整流函数和k个3×3×3的卷积核。
且每两个密集层之间的过渡层由一个1×1×1的卷积层和一个2×2×2的池化层构成。
本发明实施例中,可以将目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取第一特征提取神经网络模型的全局平均池化层的输出、第二特征提取神经网络模型的全局平均池化层的输出和第三特征提取神经网络模型的全局平均池化层的输出,作为目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征。
步骤205与步骤103对应相同,步骤206与步骤104对应相同,此处不再赘述。
步骤207,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第一图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第二图像分类模型,得到目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第三图像分类模型,得到目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果。
本步骤中,第一图像分类模型、第二图像分类模型和第三图像分类模型的输出结果均为目标待分类人脑图像的图像类别信息。
本发明实施例中,第一图像分类模型、第二图像分类模型和第三图像分类模型的输出结果还可以为目标待分类人脑图像所属各个图像类别的概率。即第一图像分类模型的输出可以为目标待分类人脑图像为第一类人脑图像概率和第二类人脑图像的概率;第二图像分类模型的输出可以为目标待分类人脑图像为第二类人脑图像概率和第三类人脑图像的概率;第三图像分类模型的输出可以为目标待分类人脑图像为第一类人脑图像概率和第三类人脑图像的概率。
步骤208,基于各个第一分类结果、各个第二分类结果和各个第三分类结果,确定出目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。
其中,第一类人脑图像为具有AD特征的人脑图像,第二类人脑图像为具有MCI特征的人脑图像,第三类人脑图像为既不具有AD特征也不具有MCI特征的人脑图像。
本发明实施例中,确定出目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像的方法可以为包括如下步骤B1-步骤B2的方法:
步骤B1,分别统计各个第一分类结果、各个第二分类结果和各个第三分类结果中,目标待分类人脑图像为第一类人脑图像的数量、目标待分类人脑图像为第二类人脑图像的数量和目标待分类人脑图像为第三类人脑图像的数量;
步骤B2,若目标待分类人脑图像为第一类人脑图像的数量最多,则确定目标待分类人脑图像为第一类人脑图像,即确定出目标待分类人脑图像为具有AD特征的人脑图像;若目标待分类人脑图像为第二类人脑图像的数量最多,则确定目标待分类人脑图像为第二类人脑图像,即确定出目标待分类人脑图像为具有MCI特征的人脑图像;若目标待分类人脑图像为第三类人脑图像的数量最多,则确定目标待分类人脑图像为第三类人脑图像,即确定出目标待分类人脑图像为既不具有AD特征也不具有MCI特征的人脑图像。
举例说明,若3个第一分类结果中,目标待分类人脑图像为第一类人脑图像的第一分类结果的数量为2,目标待分类人脑图像为第二类人脑图像的第一分类结果的数量1;若3个第二分类结果中,目标待分类人脑图像为第二类人脑图像图像的第二分类结果的数量为1,目标待分类人脑图像为第三类人脑图像的第二分类结果的数量2;若3个第三分类结果中,目标待分类人脑图像为第一类人脑图像的第三分类结果的数量为2,目标待分类人脑图像为第三类人脑图像的第三分类结果的数量1。则可以统计出目标待分类人脑图像为第一类人脑图像的数量为4,目标待分类人脑图像为第二类人脑图像的数量为2,目标待分类人脑图像为第三类人脑图像的数量为3。其中,目标待分类人脑图像为第一类人脑图像的数量最多,则可以确定目标待分类人脑图像为第一类人脑图像,即目标待分类人脑图像为具有AD图像特征的人脑图像。
采用本发明实施例提供的方法,通过将目标待分类人脑图像的形态学特征和深度卷积特征进行融合得到融合特征,然后将融合特征输入预先训练的图像分类模型对目标待分类人脑图像进行分类。由于融合特征融合了不同种类的特征信息,能够获得更具判别力的分类特征,因而可以提高对目标待分类人脑图像的分类准确率,即提高了图像分类的分类效果。
参见图6,图6本发明实施例提供的图像分类方法的又一种流程,包括:
步骤601-步骤606与步骤201-步骤206分别对应相同,此处不再赘述。
本发明实施例中,预先训练的第一图像分类模型、第二图像分类模型和第三图像分类模型的输出结果为目标待分类人脑图像所属各个图像类别的概率。
步骤607,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第一图像分类模型,得到第一融合特征、第二融合特征和第三融合特征对应分类为第一类人脑图像和第二类人脑图像的概率,然后执行步骤608。
步骤608,将第一融合特征、第二融合特征和第三融合特征对应分类为第一类人脑图像的概率相加后取均值,作为第一一类图像概率均值;并将第一融合特征、第二融合特征和第三融合特征对应分类为第二类人脑图像图像的概率相加后取均值,作为第一二类图像概率均值;将第一一类图像概率均值和第一二类图像概率均值都作为第一分类结果,然后执行步骤613。
步骤609,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第二图像分类模型,得到第一融合特征、第二融合特征和第三融合特征对应分类为第二类人脑图像和第三类人脑图像的概率,然后执行步骤610。
步骤610,将第一融合特征、第二融合特征和第三融合特征对应分类为第二类人脑图像的概率相加后取均值,作为第二二类图像概率均值;并将第一融合特征、第二融合特征和第三融合特征对应分类为第三类人脑图像的概率相加后取均值,作为第一三类图像概率均值;将第二二类图像概率均值和第一三类图像概率均值都作为第二分类结果,然后执行步骤613。
步骤611,将第一融合特征、第二融合特征和第三融合特征分别输入预先训练的第三图像分类模型,得到第一融合特征、第二融合特征和第三融合特征对应分类为第一类人脑图像和第三类人脑图像的概率,然后执行步骤612。
步骤612,将第一融合特征、第二融合特征和第三融合特征对应分类为第一类人脑图像的概率相加后取均值,作为第二一类图像概率均值;并将第一融合特征、第二融合特征和第三融合特征对应分类为第三类人脑图像的概率相加后取均值,作为第二三类图像概率均值;将第二一类图像概率均值和第二三类图像概率均值都作为第三分类结果,然后执行步骤613。
步骤613,将第一一类图像概率均值和第二一类图像概率均值相加,得到一类图像概率;将第一二类图像概率均值和第二二类图像概率均值相加,得到二类图像概率;将第一三类图像概率均值和第二三类图像概率均值相加,得到三类图像概率。
步骤614,比较一类图像概率、二类图像概率和三类图像概率的大小。
步骤615,若一类图像概率最大,则确定目标待分类人脑图像为第一类人脑图像;若二类图像概率最大,则确定目标待分类人脑图像为第二类人脑图像;若三类图像概率最大,则确定目标待分类人脑图像为第三类人脑图像。
其中,步骤607、步骤609和步骤611的执行顺序不做具体限定。
举例说明,待分类图像有第一融合特征α、第二融合特征β和第三融合特征γ,若将第一融合特征α、第二融合特征β和第三融合特征γ分别输入预先训练的第一图像分类模型,若得到第一融合特征α对应分类为第一类人脑图像和第二类人脑图像的概率分别为60%和40%,第二融合特征β对应分类为第一类人脑图像和第二类人脑图像的概率分别为70%和30%,第三融合特征γ对应分类为第一类人脑图像和第二类人脑图像的概率分别为80%和20%;将第一融合特征α、第二融合特征β和第三融合特征γ对应分类为第一类人脑图像的概率相加后取均值为70%,则第一一类图像概率均值为70%;并将第一融合特征α、第二融合特征β和第三融合特征γ对应分类为第二类人脑图像的概率相加后取均值为30%,则第一二类图像概率均值为30%;
并且,若将第一融合特征α、第二融合特征β和第三融合特征γ分别输入预先训练的第二图像分类模型;若得到第一融合特征α对应分类为第二类人脑图像和第三类人脑图像的概率分别为60%和40%,第二融合特征β对应分类为第二类人脑图像和第三类人脑图像的概率分别为65%和35%,第三融合特征γ对应分类为第二类人脑图像和第三类人脑图像的概率分别为55%和45%;将第一融合特征、第二融合特征和第三融合特征对应分类为第二类人脑图像的概率相加后取均值为60%,则第二二类图像概率均值60%;并将第一融合特征α、第二融合特征β和第三融合特征γ对应分类为第三类人脑图像的概率相加后取均值为40%,则第一三类图像概率均值为40%;
并且,将第一融合特征α、第二融合特征β和第三融合特征γ分别输入预先训练的第三图像分类模型,若得到第一融合特征α对应分类为第一类人脑图像和第三类人脑图像的概率分别为80%和20%,第二融合特征β对应分类为第一类人脑图像和第三类人脑图像的概率分别为85%和15%,第三融合特征γ对应分类为第一类人脑图像和第三类人脑图像的概率分别为65%和35%;将第一融合特征α、第二融合特征β和第三融合特征γ对应分类为第一类人脑图像的概率相加后取均值为76.7%,则第二一类图像概率均值为76.7%;并将第一融合特征α、第二融合特征β和第三融合特征γ对应分类为第三类人脑图像的概率相加后取均值为23.3%,则第二三类图像概率均值为23.3%。
然后,将第一一类图像概率均值和第二一类图像概率均值相加后得到一类图像概率为146.7%;将第一二类图像概率均值和第二二类图像概率均值相加后得到二类图像概率为90%;将第一三类图像概率均值和第二三类图像概率均值相加后得到三类图像概率63.3%,可以得到一类图像概率146.7%最大,则可以确定待分类图像的类型为第一类人脑图像,即待分类图像具有AD图像特征的人脑图像。
采用本发明实施例提供的方法,通过将目标待分类人脑图像的形态学特征和深度卷积特征进行融合得到融合特征,然后将融合特征输入预先训练的图像分类模型对目标待分类人脑图像进行分类。由于融合特征融合了不同种类的特征信息,能够获得更具判别力的分类特征,因而可以提高对目标待分类人脑图像的分类准确率,即提高了图像分类的分类效果。
参见图7,图7本发明实施例提供的训练第一特征提取神经网络模型的一种流程,包括:
步骤701,将第一样本图像输入第一待训练神经网络模型,得到第一样本图像对应的特征分类,作为第一输出结果。
步骤702,基于第一样本图像的标签和第一输出结果,确定当前的第一待训练神经网络模型的交叉熵损失函数。
第一样本图像的标签为0或1,若标签为1表示第一样本图像为具有AD图像特征的人脑图像,若标签为0表示第一样本图像为不具有AD图像特征的人脑图像。
步骤703,判断当前的第一待训练神经网络模型的交叉熵损失函数是否收敛,若判断结果为是,执行步骤704,若判断结果为否,执行步骤705。
具体的,可以采用如下公式确定当前的第一待训练神经网络模型的交叉熵损失函数:
其中,CrossEntropy表示当前的第一待训练神经网络模型的交叉熵损失函数,m表示第一样本图像的数量,y(i)表示第一样本图像i的标签值,hθ(x(i))表示第一样本图像i的第一输出结果。
步骤704,确定当前的第一待训练神经网络模型为训练得到的第一特征提取神经网络模型。
步骤705,调整当前的第一待训练神经网络模型的参数,返回执行步骤701。
本发明实施例中,也可以采用上述步骤701-步骤705所述的方法,基于第二样本图像和第二样本图像的标签以及第二待训练神经网络模型,训练得到第二特征提取神经网络模型。其中,第二样本图像的标签为0或1,若标签为1表示第二样本图像为具有MCI图像特征的人脑图像,若标签为0表示第二样本图像为不具有MCI图像特征的人脑图像。
本发明实施例中,也可以采用上述步骤701-步骤705所述的方法,基于第三样本图像和第三样本图像的标签以及第三待训练神经网络模型,训练得到第三特征提取神经网络模型。其中,第三样本图像的标签为0或1,若第三样本图像为既不具有AD图像特征也不具有MCI图像特征的人脑图像则标签为1,否则,第三样本图像的标签为0。
参见图8,图8本发明实施例提供的训练第一图像分类模型的一种流程,包括:
步骤801,将第四样本图像的融合特征输入第一待训练支持向量机,得到第四样本图像对应的分类结果。
其中,支持向量机具体可以是SVM(SupportVector Machine,支持向量机)。支持向量机的分类结果可以为第四样本图像所属的图像类别信息;支持向量机的分类结果也可以为第四样本图像所属各个图像类别的概率。
步骤802,基于第四样本图像的标签和第四样本图像对应的分类结果,确定当前的第一待训练支持向量机的第一损失函数。
第四样本图像的标签为0或1,若标签为1表示第四样本图像为具有AD图像特征的人脑图像,若标签为0表示第四样本图像为不具有AD图像特征的人脑图像。
步骤803,判断第一损失函数是否收敛,若判断结果为是,执行步骤804,若判断结果为否,执行步骤805。
步骤804,确定当前的第一待训练支持向量机为训练得到的第一图像分类模型。
步骤805,调整当前的第一待训练支持向量机的参数,返回执行步骤801。
本发明实施例中,也可以采用上述步骤801-步骤805所述的方法,基于第五样本图像和第五样本图像的标签以及第二待训练支持向量机,训练得到第二图像分类模型。其中,第五样本图像的标签为0或1,若标签为1表示第五样本图像为具有MCI图像特征的人脑图像,若标签为0表示第五样本图像为不具有MCI图像特征的人脑图像。
本发明实施例中,也可以采用上述步骤801-步骤805所述的方法,基于第六样本图像和第六样本图像的标签以及第三待训练支持向量机,训练得到第三图像分类模型。其中,第六样本图像的标签为0或1,若第六样本图像为既不具有AD图像特征也不具有MCI图像特征的人脑图像则标签为1,否则,第六样本图像的标签为0。
基于同样的发明构思,参见图9,本发明实施例还提供了一种图像分类装置,包括:
图像获取模块901,用于获得目标待分类人脑图像;
第一特征提取模块902,用于将所述目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;其中,所述第一特征提取神经网络模型为基于多个第一样本图像和多个第一样本图像的标签进行训练得到的,所述第二特征提取神经网络模型为基于多个第二样本图像和多个第二样本图像的标签进行训练得到的,所述第三特征提取神经网络模型为基于多个第三样本图像和多个第三样本图像的标签进行训练得到的;其中,所述第一样本图像为具有AD(Alzheimer,阿尔茨海默病)特征的人脑图像,所述第二样本图像为具有MCI(Mildcognitive impairment,轻度认知障碍)特征的人脑图像,所述第三样本图像为既不具有AD特征也不具有MCI特征的人脑图像;
第二特征提取模块903,用于使用所述指定的图像处理软件提取所述目标待分类人脑图像的形态学特征;
特征融合模块904,用于将所述目标待分类人脑图像的形态学特征和所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到所述目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;
图像分类模块905,用于将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第一图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第二图像分类模型,得到所述目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第三图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;其中,所述第一图像分类模型为基于多个第四样本图像的融合特征和多个第四样本图像的标签进行训练得到的,每个第四样本图像的标签表示该第四样本图像为具有AD特征的人脑图像或具有MCI特征的人脑图像;所述第二图像分类模型为基于多个第五样本图像的融合特征和多个第五样本图像的标签进行训练得到的,每个第五样本图像的标签表示该第五样本图像为具有MCI特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;所述第三图像分类模型为基于多个第六样本图像的融合特征和多个第六样本图像的标签进行训练得到的,每个第六样本图像的标签表示该第六样本图像为具有AD特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;
分类结果确定模块906,用于基于各个所述第一分类结果、各个所述第二分类结果和各个所述第三分类结果,确定出所述目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像。
采用本发明实施例提供的装置,通过将目标待分类人脑图像的形态学特征和深度卷积特征进行融合得到融合特征,然后将融合特征输入预先训练的图像分类模型对目标待分类人脑图像进行分类。由于融合特征融合了不同种类的特征信息,能够获得更具判别力的分类特征,因而可以提高对目标待分类人脑图像的分类准确率,即提高了图像分类的分类效果。
本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
获得目标待分类人脑图像;
将所述目标待分类人脑图像输入预先训练的第一特征提取神经网络模型、第二特征提取神经网络模型和第三特征提取神经网络模型,分别提取得到所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征;其中,所述第一特征提取神经网络模型为基于多个第一样本图像和多个第一样本图像的标签进行训练得到的,所述第二特征提取神经网络模型为基于多个第二样本图像和多个第二样本图像的标签进行训练得到的,所述第三特征提取神经网络模型为基于多个第三样本图像和多个第三样本图像的标签进行训练得到的;其中,所述第一样本图像为具有AD(Alzheimer,阿尔茨海默病)特征的人脑图像,所述第二样本图像为具有MCI(Mild cognitive impairment,轻度认知障碍)特征的人脑图像,所述第三样本图像为既不具有AD特征也不具有MCI特征的人脑图像;
使用所述指定的图像处理软件提取所述目标待分类人脑图像的形态学特征;
将所述目标待分类人脑图像的形态学特征和所述目标待分类人脑图像的第一深度卷积特征、第二深度卷积特征和第三深度卷积特征分别进行融合,得到所述目标待分类人脑图像的第一融合特征、第二融合特征和第三融合特征;
将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第一图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第二类人脑图像的三个第一分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第二图像分类模型,得到所述目标待分类人脑图像为第二类人脑图像或第三类人脑图像的三个第二分类结果;以及,将所述第一融合特征、所述第二融合特征和所述第三融合特征分别输入预先训练的第三图像分类模型,得到所述目标待分类人脑图像为第一类人脑图像或第三类人脑图像的三个第三分类结果;其中,所述第一图像分类模型为基于多个第四样本图像的融合特征和多个第四样本图像的标签进行训练得到的,每个第四样本图像的标签表示该第四样本图像为具有AD特征的人脑图像或具有MCI特征的人脑图像;所述第二图像分类模型为基于多个第五样本图像的融合特征和多个第五样本图像的标签进行训练得到的,每个第五样本图像的标签表示该第五样本图像为具有MCI特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;所述第三图像分类模型为基于多个第六样本图像的融合特征和多个第六样本图像的标签进行训练得到的,每个第六样本图像的标签表示该第六样本图像为具有AD特征的人脑图像或既不具有AD特征也不具有MCI特征的人脑图像;
基于各个所述第一分类结果、各个所述第二分类结果和各个所述第三分类结果,确定出所述目标待分类人脑图像为第一类人脑图像、第二类人脑图像或第三类人脑图像;其中,第一类人脑图像为具有AD特征的人脑图像,第二类人脑图像为具有MCI特征的人脑图像,第三类人脑图像为既不具有AD特征也不具有MCI特征的人脑图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一图像分类方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一图像分类方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。