CN112633416A - 一种融合多尺度超像素的脑ct图像分类方法 - Google Patents

Abstract

一种融合多尺度超像素的脑CT图像分类方法，属于医学图像研究领域。所述方法具有以下特点：1)利用多尺度超像素与脑CT图像融合，去除了图像冗余信息，降低了病灶和周围脑组织像素的灰度相似性。2)设计了一种基于区域和边界的多尺度超像素编码器，有效的提取多尺度超像素中包含的病灶低层次信息。3)设计了一种融合多尺度超像素特征融合模型，综合利用了残差神经网络提取的高层次特征和多尺度超像素的低层次特征，实现对脑CT的分类。4)相比传统深度学习算法，本发明所述方法可以有效利用多尺度超像素中包含的病灶信息，从而更准确地对脑CT图像中存在的疾病进行分类，且该方法合理可靠，可为脑CT图像的分类提供有力的帮助。

Description

一种融合多尺度超像素的脑CT图像分类方法

技术领域

本发明属于医学图像研究领域，具体地说，本发明涉及一种融合多尺度超像素的脑CT图像分类方法。

背景技术

临床急诊中脑部损伤的诊断是极其紧迫的，即使短时间的延误也可能导致患者病情恶化。电子计算机断层扫描(Computed Tomography，CT)是最常用的诊断工具之一，具有成像快、成本低、适用范围广、病变检查率高等特点。尽管脑CT能检测出颅内出血、颅内压升高和颅骨骨折等关键且时效性强的异常，但是传统的疾病分类方法通常需要放射科医生目测出血面积大小、估计出中线偏移等信息，这个过程是相对耗时的。近年来，伴随着医学影像技术的进步和发展，脑CT图像数量呈现出几何形式的增长，但放射科医生数量的增长速度却相对缓慢，而且培养一名合格的放射科医生成本高、周期长，致使在职放射科医生的工作任务与日俱增，间接导致了看病难等社会问题。因此，脑CT自动分类方法能够辅助放射科医生工作，提升诊断效率，减少误诊、漏诊率，具有十分重要的现实意义。

近年来，深度学习(Deep learning,DL)在计算机视觉领域的巨大成功，也促进了医疗图像分析技术的快速发展，卷积神经网络(Convolutional Neural Networks,CNN)是一种传统的深度学习模型，能够捕获图像的局部区域信息、提取高层语义特征，被广泛用于图像的特征提取与分类任务。如今CNN已经广泛应用在医学图像的识别和处理上,并且经过不断的迭代优化，已经构成很多以CNN为架构的分类器。

然而，现有工作在使用传统CNN提取脑CT图像特征时，并没有考虑脑CT图像和自然光学图像具有的差异：首先，脑CT图像空间分辨率低、对比度低；缺少亮度、颜色、纹理等易于识别的自然视觉特征；区域之间的分界线并不清晰,纹理差异也不大；图像会因患者个体差异和成像***不同而显著不同；图像还具有位移产生的伪影、容积效应产生误差、设备原因产生噪声的诸多不稳定因素。且考虑到医学图像大多属于医院私有数据，隐私保护条例会阻碍医学图像的共享，数据集的数量会直接影响深度学习的效果。研究表明，无监督生成的超像素由一系列特征相似像素点组成，能够保留原图像的局部细节并且能够突出局部特征，无需，有利于图像高级特征的提取与表达，超像素的数量远小于原图像像素的数量，用超像素代替像素作为图像处理的基元，能够大幅度降低后续图像处理的计算复杂度，提高图像处理算法的效率。

发明内容

本发明针对上述现有方法忽略了脑CT图像视觉特性的问题，提出一种融合多尺度超像素(multi-scale superpixel fusion,MSF)的脑CT图像分类方法。本发明所述方法能够通过多尺度超像素优化图像，并无监督的提取病灶区域的信息，以此加强残差神经网络生成特征的表达性，提升分类任务的准确率。

为实现上述目的，本发明采用的技术方案为一种融合多尺度超像素的脑CT图像分类方法。本发明的流程如图1所示，包含以下几个步骤。1)首先，构建数据集并进行预处理，得到多尺度超像素；其次，通过多尺度超像素图像融合进行数据增强，获得优化的融合图像；然后采用基于区域和边界信息的多尺度超像素特征编码算法，得到多尺度超像素低层次特征；最后利用多尺度超像素特征融合分类模型，来对脑CT图像进行分类；

步骤(1)获取数据并预处理：

步骤(1.1)数据：采集脑CT图像构建数据集，每一个患者数据包含其脑CT图像生成的RGB矩阵

与脑CT分类标签向量Y＝[Y₁，Y₂，…Y_T]，Y_i∈{0，1}，其中N表示图像像素尺寸，T表示采集的疾病类别个数。

步骤(1.2)将所有患者数据划分为训练集、验证集和测试集。其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果。

步骤(1.3)数据预处理：基于超层次分割算法(Super Hierarchy，SH)，对给定的脑CT图像I和设定的超像素的分割尺度{scale¹，scale²，…scale^s}，其中S表示设定超像素的数量，生成第s个分割尺度下超像素图

的计算过程如下：

P^s＝SH(I，scale^s)

其中，s∈{1，2…S}，scale^s为第s个分割尺度，对每个分割尺度进行计算得到

表示包含S个不同尺度超像素图的多尺度超像素。

步骤(2)多尺度超像素图像融合模型：对给定的脑CT图像I及其多尺度超像素

融合图像I′计算过程如下：

其中，⊙表示点积，f(·)为SoftMax函数，

表示训练的权重，P^s表不

中第s个元素，W实现了各个尺度比重的自适应分配。

步骤(3)多尺度超像素特征编码：

步骤(3.1)对脑CT图像I的多尺度超像素

中分割尺度为scale^s的超像素图

生成其像素值集合

对

中每个像素生成映射矩阵集合

其中，第k个映射矩阵

中第i，j个元素

的计算方式如下：

其中，k∈{1，2，…scale^s}，其中

表示P^s中第k个超像素的像素值，M^s，k表示像素值为

的超像素区域映射。

步骤(3.2)基于面积和边界信息对集合M^s中每个映射矩阵进行编码，得到的超像素图P^s编码结果

计算过程如下：

其中N²表示超像素图所含像素点个数，s_k表示第k个超像素区域包含的的像素点个数。

步骤(3.3)对

中每个超像素图重复步骤(3.1)和步骤(3.2)，依次生成编码结果b¹，b²，…b^S，将其通过矩阵拼接成

得到多尺度超像素

的多尺度超像素特征编码B。

步骤(4)多尺度超像素特征融合分类模型：

步骤(4.1)构建一个残差神经网络(Residual Network，ResNet)作为主干网络，使用步骤(2)提取的脑CT融合图像I′输入，选择ResNet中四个Layer的最后一个残差结构(Basic Block)的特征激活输出l₁、l₂、l₃、l₄作为高层次特征。

步骤(4.2)对(3.3)提取的低层次特征B进行降维处理，通过256个3×3卷积核构成的卷积层生成特征

将f₀自下而上依次和l₁、l₂、l₃、l₄进行多层融合，生成融合特征f₁、f₂、f₃、f₄。其中f_i(i∈{1，2，3，4})的计算如下：先采用池化操作将f_(i-1)转化为和l_i相同尺寸的特征矩阵，之后通过256个1×1卷积核构成的卷积层将l_i的通道数转换为256，之后通过矩阵相加进行特征融合，得到第i层融合特征f_i。

步骤(4.3)将得到的融合特征f₄输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x，将其通过Sigmoid线性回归生成预测值向量y＝[y₁，y₂，…y_T]，其中y_i∈[0，1]，x中第i个元素生成对应标签为正例的概率y_i表示为：y_i＝Sigmoid(x_i)，根据设定的分类阈值t确定分类结果，当y_i大于设定阈值t时，模型判定该脑CT存在对应标签疾病，若y_i小于设定阈值t时则为正常。t＝0.5。

步骤(4.4)本发明所述的一种融合多尺度超像素的脑CT图像分类方法的输入为患者脑CT图像I与脑疾病分类标签Y，然后得到该被试属于各个类别的概率y。若给出M个患者的数据集D＝{(I¹，Y¹)，(I²，Y²)，…，(I^M，Y^M)}，对于给定的脑CT图像Iⁱ对应标签Yⁱ以及通过模型生成的标签预测yⁱ，我们通过二分类交叉熵损失(Binary cross entropy loss，BCEloss)来计算样本中每个标签的分类误差，之后通过对所有标签分类误差求均值得到样本误差，损失函数计算如下：

其中

表示样本的第j个标签的值，

表示模型预测的第j个标签的值，T表示样本中标签的个数。

步骤(4.5)针对步骤(1.2)中的训练集，利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数，通过比较模型在不同学习率λ设置下，观察模型经过训练集训练后在验证集上的分类准确率，一般λ初始值设置为10^-3至10^-6，下一次学习率设置为上次的3倍，λ最大值设置为0.1至0.5，然后来选择其中准确率最高的学习率来训练模型。

步骤(5)在完成上述所有步骤后，可以将新的脑CT数据集输入至模型中，根据模型输出的预测结果对这些脑CT图像进行分类。

与现有方法相比，本发明具有以下明显的优势和有益效果：

本发明提出一种融合多尺度超像素的脑CT图像分类方法，相较于传统图像分类网络，所述方法具有以下特点：1)利用多尺度超像素与脑CT图像融合，去除了图像冗余信息，降低了病灶和周围脑组织像素的灰度相似性。2)设计了一种基于区域和边界的多尺度超像素编码器，有效的提取多尺度超像素中包含的病灶低层次信息。3)设计了一种融合多尺度超像素特征融合模型，综合利用了残差神经网络提取的高层次特征和多尺度超像素的低层次特征，实现对脑CT的分类。4)相比传统深度学习算法，本发明所述方法可以有效利用多尺度超像素中包含的病灶信息，从而更准确地对脑CT图像中存在的疾病进行分类。

附图说明

图1：一种融合多尺度超像素的脑CT图像分类方法流程图。

图2：多尺度超像素特征融合分类模型。

图3：不同尺寸特征融合模型。

图4：多尺度超像素脑CT图像融合可视化。

具体实施方式

本实施例中以脑出血患者为研究对象，但本方法不限于此，还可以以他脑疾病患者脑CT图像为研究对象。下面以真实脑出血CT数据集为例，具体说明本方法的实施步骤：

步骤(1)获取数据并预处理：

步骤(1.1)数据：本发明使用CQ500数据集(http://headctstudy.qure.ai/dataset)采集脑CT图像构建数据集，实际获得451例扫描数据，总共22773张脑CT图像，每个患者标签信息包含脑部疾病的14种诊断类别：颅内出血、脑实质出血、脑室出血、硬膜下出血、硬膜外出血、蛛网膜下出血、左侧脑出血、右侧脑出血、慢性出血、骨折、颅骨骨折、其他骨折、中线偏移、质量效应。首先，针对数据集标签，由于三名放射学专家对同一标签可能有不同标注，因此针对标注不统一的情况，我们选择多数的专家的选择作为真实的标签。然后，根据确定的颅内出血标签信息将数据集分为确诊脑出血患者病例204例，未确诊的有247例，从确诊脑出血患者病例中根据诊断类别标签选取对应病灶位置的图像742张，从未确诊病例中选取和脑出血患者病例中病灶位置相同位置的图像1045张，总共M＝1787张脑CT图像作为数据集D＝{(I¹，Y¹)，(I²，Y²)，…，(I¹⁷⁸⁷，Y¹⁷⁸⁷)}。每一个数据包含其脑CT图像生成的RGB矩阵

与T＝14种脑疾病诊断标签向量Y＝[Y₁，Y₂，…Y₁₄]，Y_i∈{0，1}，其中标签的元素Y_i＝1表示经该脑CT图像存在第i个标签相应的脑疾病，Y_i＝0则是正常。

步骤(1.2)将所有患者数据按8∶1∶1划分为训练集、验证集和测试集。其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果。

步骤(1.3)数据预处理：基于超层次分割算法(Super Hierarchy，SH)，对给定的脑CT图像I和设定的S＝3个超像素的分割尺度{5，10，15}，生成不同分割尺度下超像素图

的计算过程如下：

P¹＝SH(I，5)

P²＝SH(I，10)

P³＝SH(I，15)

其中，

表示包含3个不同尺度超像素图的多尺度超像素。

步骤(2)多尺度超像素图像融合模型：对给定的脑CT图像I及其多尺度超像素

融合图像

计算过程如下：

其中，⊙表示点积，f(·)为SoftMax函数，

表示训练的权重，P^s表不

中第s个元素，W实现了各个尺度比重的自适应分配。。

步骤(3)多尺度超像素特征编码：

步骤(3.1)对脑CT图像I的多尺度超像素

中分割尺度为5的超像素图

其中scale¹＝5，生成其像素值集合

对

中每个像素生成映射矩阵集合M¹＝{M^1，1，M^1，2，…，M^1，5}，其中，第k个映射矩阵

中第i，j个元素

的计算方式如下：

其中，k∈{1，2，…5}，其中

表示P¹中第k个超像素的像素值，M^1，k表示像素值为

的超像素区域映射

步骤(3.2)基于面积和边界信息对集合M¹中每个映射矩阵进行编码，得到的超像素图P¹编码结果

计算过程如下：

其中s_k表示第k个超像素区域包含的的像素点个数。

步骤(3.3)对

中每个超像素图重复步骤(3.1)和步骤(3.2)，依次生成编码结果b¹，b²，b³，将其通过矩阵拼接成

得到多尺度超像素

的多尺度超像素特征编码B。

步骤(4)多尺度超像素特征融合分类模型：

步骤(4.1)构建一个34层的残差神经网络ResNet-34作为主干网络，使用步骤(2)提取的脑CT融合图像I′输入，选择ResNet-34中四个Layer的最后一个残差结构(BasicBlock)的特征激活输出

作为高层次特征。

步骤(4.2)对(3.3)提取的低层次特征B进行降维处理，通过256个3×3卷积核构成的卷积层生成特征

将f₀自下而上依次和l₁、l₂、l₃、l₄进行多层融合，生成融合特征f₁、f₂、f₃、f₄。其中f_i(i∈{1，2，3，4})的计算如下：先采用池化操作将f_(i-1)转化为和l_i相同尺寸的特征矩阵，之后通过256个1×1卷积核构成的卷积层将l_i的通道数转换为256，之后通过矩阵相加进行特征融合，得到第f层融合特征f_i。

步骤(4.3)将得到的融合特征f₄输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x，将其通过Sigmoid线性回归生成预测值向量y＝[y₁，y₂，…y₁₄]，其中y_i∈[0，1]，x中第i个元素生成对应标签为正例的概率y_i表示为：y_i＝Sigmoid(x_i)，此时分类阈值设定为t＝0.5，当y_i大于设定阈值0.5时，模型判定该脑CT存在对应标签疾病，若y_i小于设定阈值0.5则为正常。

步骤(4.4)本发明所述的一种融合多尺度超像素的脑CT图像分类方法的输入为患者脑CT图像I与脑疾病分类标签Y，然后得到该被试属于各个类别的概率y。对于输入的的脑CT图像I对应标签Y以及通过模型生成的标签预测y，我们通过二分类交叉熵损失(Binarycross entropy loss，BCE loss)来计算样本中每个标签的分类误差，之后通过对所有标签分类误差求均值得到样本误差，损失函数计算如下：

步骤(4.5)针对步骤(1.2)中的训练集，利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数，通过比较模型在不同学习率λ设置下，观察模型经过训练集训练后在验证集上的分类准确率，λ初始值设置为10^-5，下一次学习率设置为上次的3倍，λ最大值设置为0.1，然后来选择其中准确率最高的学习率来训练模型。

步骤(5)在完成上述所有步骤后，可以将新的脑CT数据集输入至模型中，根据模型输出的预测结果对这些脑CT图像进行分类。

为了说明本发明所述方法的有益效果，在具体实施过程中，我们与本文作为主干网络的传统分类模型ResNet-34进行对比，并且对融合多尺度超像素的脑CT分类模型中三个部分：超像素图像融合、超像素特征编码算法和不同层次特征融合模型，进行了消融实验来验证每一部分有效性，实验采用目前广泛使用的准确率(Accuracy，ACC)，灵敏度(Sensitivity，SEN)，和F1评估值(F-score，F)作为评价指标，实验结果如表1所示。

多尺度超像素选择使用5、10、15和10、15、20两种尺度的超像素图的组合。其中实验的对照组Baseline为使用脑CT图像进行分类，MSF表示本发明所述方法，MSF₀₀₁表示使用脑CT原图像作为输入，仅使用特征融合模型进行分类的结果；MSF₀₁₁方法表示去除MSF方法中多尺度超像素图像融合部分；MSF₁₀₁表示去除MSF方法中超像素特征编码部分；MSF₁₀₀表示去除MSF方法中多尺度超像素图像融合和超像素特征编码部分。

表1融合多尺度超像素的脑CT分类模型对比实验

通过对比MSF₀₁₁和MSF的分类效果可以看出：不使用多尺度超像素脑CT图像融合的情况下分类效果对比Baseline有了少许提升，但仍不及本文的MSF方法。通过对比MSF₁₀₁和MSF的分类结果可以看出：不使用超像素特征编码算法的情况下分类效果虽然对比Baseline有了显著提升，但由于直接使用多尺度超像素图没有参考区域面积和边界信息，表达不佳，不能直接作为低层次特征，导致和高层特征的融合特征效果不好，和MSF分类效果有较大的差距。通过MSF₀₀₁和Baseline，MSF₁₀₀和MSF₁₀₁两组对比实验可以看出，不论输入是原图像还是经过多尺度超像素融合后的图像，与仅使用ResNet提取特征相比特征融合模型的使用都显著的提升了分类的效果。

此外，我们还进行了多尺度超像素融合过程中多尺度超像素与权重的加权图和多尺度超像素融合图像I′进行了可视化展示，如图4所示。可以清晰的看出，加权图很好的去除了颅脑外的冗余信息，准确的划分出病灶区域且没有过度分割；融合图像I′可以明显区分病灶区域，降低了病灶和周围脑组织像素的灰度相似性，更好的表达了病灶区域。

综上所述，通过对比Baseline方法和消融实验，验证了本文提出的MSF方法在脑CT图像分类任务中的有效性。这是由于基于多尺度超像素脑CT图像模型融合生成的融合图像有效的降低了图像的噪声，并且准确地划分了病灶区域；多尺度超像素编码器提取准确的低层次特征，其中包含了区域面积和边界信息，能更好的关注小面积病灶；特征融合模型通过融合两种不同层次的特征生成了更具判别性的融合特征，对面积不固定的病灶区域有更有效的表达。因此，本发明所述方法合理可靠，可为脑CT图像的分类提供有力的帮助。

Claims (1)

1.一种融合多尺度超像素的脑CT图像分类方法，其特征在于：首先，构建数据集并进行预处理，得到多尺度超像素；其次，通过多尺度超像素图像融合进行数据增强，获得优化的融合图像；然后采用基于区域和边界信息的特征编码算法处理多尺度超像素，得到多尺度超像素低层次特征；最后利用多尺度超像素特征融合分类模型，来对脑CT图像进行分类；

步骤(1)获取数据并预处理：

步骤(1.1)数据：采集脑CT图像构建数据集，每一个患者数据包含其通过脑CT图像生成的RGB矩阵

与脑CT分类标签向量Y＝[Y₁，Y₂，…Y_T]，Y_i∈{0，1}，其中

表示实数集合，N表示图像像素尺寸，T表示采集的疾病类别个数；

步骤(1.2)将所有患者数据划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定超参数；测试集用于验证神经网络分类效果；

步骤(1.3)数据预处理：基于超层次分割算法(Super Hierarchy，SH)，对给定的脑CT图像I和设定的超像素的分割尺度{scale¹，scale²，…scale^S}，其中S表示设定超像素的数量，生成第s个分割尺度下超像素图

的计算过程如下：

P^s＝SH(I，scale^s)

其中，s∈{1，2…S}，scale^s为第s个分割尺度，对每个分割尺度进行计算得到

表示包含S个不同尺度超像素图的多尺度超像素；

步骤(2)多尺度超像素图像融合模型：对给定的脑CT图像I及其多尺度超像素

融合图像I′计算过程如下：

其中，⊙表示点积，f(·)为SoftMax函数，

表示训练的权重，P^s表示

中第s个元素，W实现了各个尺度比重的自适应分配；

步骤(3)多尺度超像素特征编码：

步骤(3.1)对脑CT图像I的多尺度超像素

中分割尺度为scale^s的超像素图

生成其像素值集合

对

中每个像素生成映射矩阵集合

其中，第k个映射矩阵

中第i，j个元素

的计算方式如下：

其中，k∈{1，2，…scale^s}，其中

表示P^s中第k个超像素的像素值，M^s，k表示像素值为

的超像素区域映射；

步骤(3.2)基于面积和边界信息对集合M^s中每个映射矩阵进行编码，得到的超像素图P^s编码结果

计算过程如下：

其中N²表示超像素图所含像素点个数，s_k表示第k个超像素区域包含的的像素点个数，⊙表示点积；

步骤(3.3)对

中每个超像素图重复步骤(3.1)和步骤(3.2)，依次生成编码结果b¹，b²，…b^S，将其通过矩阵拼接成

得到多尺度超像素

的多尺度超像素特征编码B；

步骤(4)多尺度超像素特征融合分类模型：

步骤(4.1)构建一个残差神经网络ResNet作为主干网络，使用步骤(2)提取的脑CT融合图像I′输入，选择ResNet中四个Layer的最后一个残差结构(Basic Block)的特征激活输出l₁、l₂、l₃、l₄作为高层次特征；

步骤(4.2)对(3.3)提取的低层次特征B进行降维处理，通过256个3×3卷积核构成的卷积层生成特征

将f₀自下而上依次和l₁、l₂、l₃、l₄进行多层融合，生成融合特征f₁、f₂、f₃、f₄；其中f_i(i∈{1，2，3，4})的计算如下：先采用池化操作将f_(i-1)转化为和l_i相同尺寸的特征矩阵，之后通过256个1×1卷积核构成的卷积层将l_i的通道数转换为256，之后通过矩阵相加进行特征融合，得到第i层融合特征f_i；

步骤(4.3)将得到的融合特征f₄输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x，将其通过Sigmoid线性回归生成预测值向量y＝[y₁，y₂，…y_T]，其中y_i∈[0，1]，x中第i个元素生成对应标签为正例的概率y_i表示为：y_i＝Sigmoid(x_i)，根据设定的分类阈值t确定分类结果，当y_i大于设定阈值t时，模型判定该脑CT存在对应标签疾病，若y_i小于设定阈值t时则为正常；t为0.5；

步骤(4.4)输入为患者脑CT图像I与脑疾病分类标签Y，然后得到该被试属于各个类别的概率y；若给出M个患者的数据集D＝{(I¹，Y¹)，(I²，Y²)，…，(I^M，Y^M)}，对于给定的脑CT图像Iⁱ对应标签Yⁱ以及通过模型生成的标签预测yⁱ，通过二分类交叉熵损失来计算样本中每个标签的分类误差，之后通过对所有标签分类误差求均值得到样本误差，损失函数计算如下：

其中

表示样本的第j个标签的值，

表示模型预测的第j个标签的值，T表示样本中标签的个数；

步骤(4.5)针对步骤(1.2)中的训练集，利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数，通过比较模型在不同学习率λ设置下，观察模型经过训练集训练后在验证集上的分类准确率，λ初始值设置为10^-5，下一次学习率设置为上次的3倍，λ最大值设置为0.1，然后来选择其中准确率最高的学习率来训练模型；

步骤(5)在完成上述所有步骤后，将新的脑CT数据集输入至模型中，根据模型输出的预测结果对这些脑CT图像进行分类。

Images