CN107563434B - 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 - Google Patents

Abstract

本发明提出了一种基于三维卷积神经网络的分类方法，应用于脑部MRI图像上。在主网络的基础上，设计辅助的监督分支网络对中间层进行监督学习，最后融合主流网络和分支网络来得到最后的分类结果。该方法不仅可以充分利用三维卷积神经网络提取图像三维重要信息，而且利用辅助的监督分支网络提取更鲁棒的图像局部信息，弥补了二维卷积神经网络在三维特征提取方面的不足；中间层的监督学习可以使得网络在学习过程中尽早提取具有显著区分能力的特征，学习速度快，对最终的分类结果有重要影响，加入辅助监督的卷积神经网络不仅可以提高脑部MRI图像分类的准确性和鲁棒性，而且加快了学习过程的收敛。

Description

一种基于三维卷积神经网络的脑部MRI图像分类方法、装置

技术领域

本发明涉及一种基于三维卷积神经网络的脑部MRI图像分类方法、装置。

背景技术

脑肿瘤是世界上最常见和致命的疾病之一，医生根据肿瘤的病理学形态、生长方式以及对病人的危害程度，将肿瘤分为恶性和良性两大类。对肿瘤图像的分析可以帮助医生评估疾病的发展情况，从而提出和改变治疗方案。核磁共振技术是一种非侵害性的医学成像技术，通过分析MRI图像序列，我们可以得到具有高分辨率的带有解剖学和功能信息的3D图像，这有利于提高诊断水平和对疾病的处理。近年来，基于监督学习的机器学习方法越来越多被用于MRI图像的分类中，并取得了较好的识别效果。

传统的机器学习方法一般分为两大部分：特征提取和分类，其中特征提取是关键，将最终影响分类器的性能。传统的机器学习方法都是人工提取特征，然而，提取到强大和鲁棒性的特征是非常困难的，需要对待提取特征的图像或者领域有比较深的知识了解，并且设计特征的过程也是非常耗时的。同时，MRI图像的分类也面临诸多挑战：图像整体灰度值对比度较差、图像各类之间差异不明显等。这些问题使得传统的机器学习方法也很难取得较为精确的分类效果。

卷积神经网络具有强大的学习能力，其在医学图像分类(例如，乳腺X线肿瘤图像的分类、CT肺间质图像的分类、糖尿病性视网膜眼底彩照分类等)中已取得了巨大的成功。相比较于传统的机器学习方法，卷积神经网络不需要人工提取特征，而是学习针对当前分类任务的卷积核。卷积神经网络根据复杂的分级特征表示来识别特定的疾病类型，这些对于人或者传统的分类来说是比较困难的。

然而，以上的医学图像都是二维图像，都使用二维卷积神经网络来达到分类效果，由于MRI图像为3D图像，直接使用传统的二维卷积神经网络对图像进行分类存在不足：二维网络结构不能利用图像的三维空间信息，会损失很多有用信息，从而限制了模型的分类性能。此外，卷积神经网络为多层学习网络，传统的方法只是对网络的最后一层进行监督，忽略了中间层监督对模型分类效果的影响。

发明内容

针对现有技术中存在的不足，本发明提供了一种基于三维卷积神经网络的脑部MRI图像分类方法，利用深度学习中三维卷积神经网络的方法来进行MRI图像的自动分类，其中三维卷积神经网络除了主网络以外，还设计了辅助网络对中间层进行监督，加入中间层的监督使得网络在学习过程中尽早学习到具有显著区分能力的特征，避免了学习到的对分类无益的错误特征对后面特征学习产生的影响，加快了收敛速度并且提高了分类的准确性和鲁棒性。

本发明的技术方案为：

一种基于三维卷积神经网络的脑部MRI图像分类方法，包括：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；辅助网络插接在主网络的卷积层中。

进一步的，所述主网络具有多个卷积层，辅助网络插接在中部卷积层中。

进一步的，所述辅助网络具有多个，分别插接在中部卷积层中，且多个辅助网络彼此不相邻。

进一步的，本方法还包括对所述脑部MRI原始图像进行预处理：采用三维线性插值法，对脑部MRI原始图像进行降采样，将经降采样后的图像分为训练集和测试集。

进一步的，所述用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果包括：

用测试集图像输入至训练好的三维卷积神经网络后，得到主网络和辅助网络的输出概率，采用最大概率融合方法得到唯一的分类输出结果。

进一步的，所述主网络或辅助网络中的卷积层具有多个三维卷积核，采用上述多个三维卷积核分别对输入图像做卷积，输出不同的映射结果。

进一步的，采用随机梯度下降法对所述三维卷积神经网络进行迭代训练，输出最优的网络参数。

进一步的，所述输出层采用softmax函数输出每一输入图像属于每个类的概率。

本发明还提出了一种存储装置，其中存储有多条指令，所述指令由处理器加载并执行以下处理：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；辅助网络插接在主网络的卷积层中。

本发明又提出了一种基于三维卷积神经网络的脑部MRI图像分类装置，包括处理器，用于实现各指令；以及存储设备，用于存储多条指令，所述指令由处理器加载并执行以下处理：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；辅助网络插接在主网络的卷积层中。

本发明的有益效果：

本发明通过利用深度学习中三维卷积神经网络的方法来进行MRI图像的自动分类，该方法可以从不同的层次对MRI图像进行特征的提取，学习出一些MRI图像中的中、高级的特征，这些特征能够对原有的图像特征具有更好的表达，并且利用三维权重提取MRI图像三维重要信息，弥补了传统二维卷积神经网络无法利用三维空间信息的缺陷，从而提高了分类的准确性。

此外，除了主网络在最后一层的监督学习，设计辅助的分支网络对中间层进行监督，因为中间层的特征学习对最后的分类结果也有重要的影响，加入中间层的监督使得网络在学习过程中尽早学习到具有显著区分能力的特征，避免了学习到的对分类无益的错误特征对后面特征学习产生的影响，加快了收敛速度并且提高了分类的准确性和鲁棒性。

附图说明

图1是本发明的方法流程图；

图2是本发明三维卷积神经网络的网络结构模型。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明的一种典型实施例是：

一种基于三维卷积神经网络的脑部MRI图像分类方法，分为三个步骤：1)对脑部原始MRI图像进行分类，得到测试集和训练集；2)设计并训练多分支网络结构模型，实现分类任务；3)识别，将测试图像输入网络模型，融合多分支输出得到分类结果。具体流程如图1所示：

考虑到原始图像的分辨率较大，然和在分类工作中，并不需要分辨率很高的图像，所以我们队脑部MRI图像进行了预处理，使用三维线性插值的方法，对整个三维MRI图像进行降采样，而不是固定某些切片，对二维图像进行降采样。最后我们得到96×96×16尺寸大小的三维MRI图像。经过降采样后的图像，可以降低计算复杂度和固定输入尺寸，节约了整个计算的时间跨度。

在本文中，我们采用的是多分支的三维卷积神经网络结构模型，所谓多分支三维卷积神经网络结构模型是指三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；辅助网络插接在主网络的卷积层中。

通常，在一个卷积神经网络中，前几层一般包含卷积层和池化层。卷积层一般有C个卷积核，对图像分别做卷积，输出不同的映射。卷积层能够学到图像中不同层次的局部特点。一般来说，卷积层后面会加一个池化层，卷积层的输出是池化层的输入。池化层一般采用最大池化法对输入映射进行降采样，即在一个邻域内选择该邻域内最大的点来代表该邻域。池化层能够减少映射的大小，从而降低计算复杂度。经过后面几层的卷积层-池化层循环之后，连接一个全连接层。该层将池化层的所有输出映射转换为一个列向量。一般一个全连接层后面连接一个输出层，输出层经过一个softmax函数输出网络的输入图片属于每个类的概率。

这里，输出属于良性肿瘤和恶性肿瘤两类的概率，为一个2行1列的矩阵，两类的概率值相加和为1。通常使用随机梯度下降法对卷积神经网络的权重进行求解。权重也就是卷积核，我们采用随机梯度下降法可以有效迭代训练网络模型，进行快速收敛，得到神经网络模型的最优参数。

本实施例中的主网络，采用现有技术中已经训练好的网络进行微调，在整个网络学习过程中主网络占主导地位，对最终的分类结果影响较大。除此以外，为了利用好主网络卷积层的中间层信息，在某些中间层后面加入了辅助的监督分支网络，这个中间层既不能太靠前，这样只能利用好局部信息；也不能太靠后，这样只有整体信息。实验证明，加在第3、5个卷积层之后得到最好的效果。分支网络同样是由卷积层、池化层、全连接层和输出层组成，这样我们得到了三个输出矩阵。

在训练好三维卷积网络后，我们需要采用测试集中的图像进行真正的分类工作，对测试图像做与训练图像相同的预处理，将处理好的测试图像输入到网络模型，得到三个输出概率矩阵，把主网络和辅助网络的三个输出层进行融合，用最大概率融合方法，得到唯一的输出(输出属于概率最大的类别)。最大概率融合方法如下：

1)设主网络的概率输出矩阵为P＝(p₁,p₂)，p₁为属于恶性肿瘤的概率，p₂为属于良性肿瘤的概率；

2)设两个分支网络的输出概率为P_sub1＝(p₁₁,p₁₂)和P_sub2＝(p₂₁,p₂₂)。其中p₁₁为分支网络1中属于恶性肿瘤的概率，p₁₂为分支网络1中属于良性肿瘤的概率，p₂₁为分支网络2中属于恶性肿瘤的概率，p₂₂为分支网络2中属于良性肿瘤的概率；

3)计算max{p₁,p₂,p₁₁,p₁₂,p₂₁,p₂₂}，找出最大的概率p^*，它是属于哪一类的概率，则输出的分类结果为哪一类。

本发明利用深度学习中三维卷积神经网络的方法来进行MRI图像的自动分类，该方法可以从不同的层次对MRI图像进行特征的提取，学习出一些MRI图像中的中、高级的特征，这些特征能够对原有的图像特征具有更好的表达，并且利用三维权重提取MRI图像三维重要信息，弥补了传统二维卷积神经网络无法利用三维空间信息的缺陷，从而提高了分类的准确性。

此外，除了主网络在最后一层的监督学习，设计辅助的分支网络对中间层进行监督，因为中间层的特征学习对最后的分类结果也有重要的影响，加入中间层的监督使得网络在学习过程中尽早学习到具有显著区分能力的特征，避免了学习到的对分类无益的错误特征对后面特征学习产生的影响，加快了收敛速度并且提高了分类的准确性和鲁棒性。

另外，本发明基于上述方法还提出了另外两个实施例，一个是存储装置，一个是基于三维卷积神经网络的脑部MRI图像分类装置，存储装置中存储有多条指令，指令由处理器加载并执行以下处理：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；辅助网络插接在主网络的卷积层中。

基于三维卷积神经网络的脑部MRI图像分类装置包括处理器和上述存储装置，处理器调用上述存储装置中的指令，用于执行相应的处理。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于三维卷积神经网络的脑部MRI图像分类方法，其特征在于，包括：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；从不同的层次对MRI图像进行特征的提取，学习出脑部MRI图像中的中、高级的特征，所述辅助网络插接在主网络的卷积层中；

所述主网络具有多个卷积层，辅助网络插接在中部卷积层中；

所述辅助网络具有多个，分别插接在中部卷积层中，且多个辅助网络彼此不相邻；

所述用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果包括：

用测试集图像输入至训练好的三维卷积神经网络后，得到主网络和辅助网络的输出概率，采用最大概率融合方法得到唯一的分类输出结果；

最大概率融合方法为：

1)设主网络的概率输出矩阵为P＝(p₁，p₂)，p₁为属于恶性肿瘤的概率，p₂ 为属于良性肿瘤的概率；

2)设两个辅助网络的输出概率为P_sub1＝(p₁₁，p₁₂)和P_sub2＝(p₂₁，p₂₂)，其中p₁₁为辅助网络1中属于恶性肿瘤的概率，p₁₂为辅助网络1中属于良性肿瘤的概率，p₂₁为辅助网络2中属于恶性肿瘤的概率，p₂₂为辅助网络2中属于良性肿瘤的概率；

3)计算max{p₁,p₂,p₁₁,p₁₂,p₂₁,p₂₂}，得到最大概率p^*，最大概率p^*所述的类别即为分类结果。

2.根据权利要求1所述的一种基于三维卷积神经网络的脑部MRI图像分类方法，其特征在于，还包括对所述脑部MRI原始图像进行预处理：采用三维线性插值法，对脑部MRI原始图像进行降采样，将经降采样后的图像分为训练集和测试集。

3.根据权利要求1所述的一种基于三维卷积神经网络的脑部MRI图像分类方法，其特征在于，所述主网络或辅助网络中的卷积层具有多个三维卷积核，采用上述多个三维卷积核分别对输入图像做卷积，输出不同的映射结果。

4.根据权利要求1所述的一种基于三维卷积神经网络的脑部MRI图像分类方法，其特征在于，采用随机梯度下降法对所述三维卷积神经网络进行迭代训练，输出最优的网络参数。

5.根据权利要求1所述的一种基于三维卷积神经网络的脑部MRI图像分类方法，其特征在于，所述输出层采用softmax函数输出每一输入图像属于每个类的概率。

6.一种存储装置，其特征在于，其中存储有多条指令，所述指令由处理器加载并执行以下处理：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；从不同的层次对MRI图像进行特征的提取，学习出脑部MRI图像中的中、高级的特征，所述辅助网络插接在主网络的卷积层中；

所述主网络具有多个卷积层，辅助网络插接在中部卷积层中；

所述辅助网络具有多个，分别插接在中部卷积层中，且多个辅助网络彼此不相邻；

所述用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果包括：

用测试集图像输入至训练好的三维卷积神经网络后，得到主网络和辅助网络的输出概率，采用最大概率融合方法得到唯一的分类输出结果；

最大概率融合方法为：

1)设主网络的概率输出矩阵为P＝(p₁，p₂)，p₁为属于恶性肿瘤的概率，p₂ 为属于良性肿瘤的概率；

2)设两个辅助网络的输出概率为P_sub1＝(p₁₁，p₁₂)和P_sub2＝(p₂₁，p₂₂)，其中p₁₁为辅助网络1中属于恶性肿瘤的概率，p₁₂为辅助网络1中属于良性肿瘤的概率，p₂₁为辅助网络2中属于恶性肿瘤的概率，p₂₂为辅助网络2中属于良性肿瘤的概率；

3)计算max{p₁,p₂,p₁₁,p₁₂,p₂₁,p₂₂}，得到最大概率p^*，最大概率p^*所述的类别即为分类结果。

7.一种基于三维卷积神经网络的脑部MRI图像分类装置，其特征在于，包括处理器，用于实现各指令；以及存储设备，用于存储多条指令，所述指令由处理器加载并执行以下处理：

获取脑部MRI原始图像，将所述原始图像分为图像数量相等的一个训练集和一个测试集；

采用训练集图像对三维卷积神经网络进行训练，用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果；

所述三维卷积神经网络包括主网络和辅助网络，主网络和辅助网络均包括卷积层、池化层、全连接层和输出层；从不同的层次对MRI图像进行特征的提取，学习出脑部MRI图像中的中、高级的特征，所述辅助网络插接在主网络的卷积层中；

所述主网络具有多个卷积层，辅助网络插接在中部卷积层中；

所述辅助网络具有多个，分别插接在中部卷积层中，且多个辅助网络彼此不相邻；

所述用测试集图像输入至训练好的三维卷积神经网络中，得到脑部MRI图像分类结果包括：

用测试集图像输入至训练好的三维卷积神经网络后，得到主网络和辅助网络的输出概率，采用最大概率融合方法得到唯一的分类输出结果；

最大概率融合方法为：

1)设主网络的概率输出矩阵为P＝(p₁，p₂)，p₁为属于恶性肿瘤的概率，p₂ 为属于良性肿瘤的概率；

2)设两个辅助网络的输出概率为P_sub1＝(p₁₁，p₁₂)和P_sub2＝(p₂₁，p₂₂)，其中p₁₁为辅助网络1中属于恶性肿瘤的概率，p₁₂为辅助网络1中属于良性肿瘤的概率，p₂₁为辅助网络2中属于恶性肿瘤的概率，p₂₂为辅助网络2中属于良性肿瘤的概率；

3)计算max{p₁,p₂,p₁₁,p₁₂,p₂₁,p₂₂}，得到最大概率p^*，最大概率p^*所述的类别即为分类结果。

Images