CN112633416A - 一种融合多尺度超像素的脑ct图像分类方法 - Google Patents
一种融合多尺度超像素的脑ct图像分类方法 Download PDFInfo
- Publication number
- CN112633416A CN112633416A CN202110058684.0A CN202110058684A CN112633416A CN 112633416 A CN112633416 A CN 112633416A CN 202110058684 A CN202110058684 A CN 202110058684A CN 112633416 A CN112633416 A CN 112633416A
- Authority
- CN
- China
- Prior art keywords
- scale
- brain
- image
- classification
- superpixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 201000010099 disease Diseases 0.000 claims abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 208000014644 Brain disease Diseases 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 2
- 208000037919 acquired disease Diseases 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 210000005013 brain tissue Anatomy 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 59
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 208000032843 Hemorrhage Diseases 0.000 description 4
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 3
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 206010017076 Fracture Diseases 0.000 description 2
- 208000028979 Skull fracture Diseases 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 208000018152 Cerebral disease Diseases 0.000 description 1
- 206010073681 Epidural haemorrhage Diseases 0.000 description 1
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 1
- 208000002667 Subdural Hematoma Diseases 0.000 description 1
- 206010042364 Subdural haemorrhage Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000009941 intracranial hypertension Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种融合多尺度超像素的脑CT图像分类方法,属于医学图像研究领域。所述方法具有以下特点:1)利用多尺度超像素与脑CT图像融合,去除了图像冗余信息,降低了病灶和周围脑组织像素的灰度相似性。2)设计了一种基于区域和边界的多尺度超像素编码器,有效的提取多尺度超像素中包含的病灶低层次信息。3)设计了一种融合多尺度超像素特征融合模型,综合利用了残差神经网络提取的高层次特征和多尺度超像素的低层次特征,实现对脑CT的分类。4)相比传统深度学习算法,本发明所述方法可以有效利用多尺度超像素中包含的病灶信息,从而更准确地对脑CT图像中存在的疾病进行分类,且该方法合理可靠,可为脑CT图像的分类提供有力的帮助。
Description
技术领域
本发明属于医学图像研究领域,具体地说,本发明涉及一种融合多尺度超像素的脑CT图像分类方法。
背景技术
临床急诊中脑部损伤的诊断是极其紧迫的,即使短时间的延误也可能导致患者病情恶化。电子计算机断层扫描(Computed Tomography,CT)是最常用的诊断工具之一,具有成像快、成本低、适用范围广、病变检查率高等特点。尽管脑CT能检测出颅内出血、颅内压升高和颅骨骨折等关键且时效性强的异常,但是传统的疾病分类方法通常需要放射科医生目测出血面积大小、估计出中线偏移等信息,这个过程是相对耗时的。近年来,伴随着医学影像技术的进步和发展,脑CT图像数量呈现出几何形式的增长,但放射科医生数量的增长速度却相对缓慢,而且培养一名合格的放射科医生成本高、周期长,致使在职放射科医生的工作任务与日俱增,间接导致了看病难等社会问题。因此,脑CT自动分类方法能够辅助放射科医生工作,提升诊断效率,减少误诊、漏诊率,具有十分重要的现实意义。
近年来,深度学习(Deep learning,DL)在计算机视觉领域的巨大成功,也促进了医疗图像分析技术的快速发展,卷积神经网络(Convolutional Neural Networks,CNN)是一种传统的深度学习模型,能够捕获图像的局部区域信息、提取高层语义特征,被广泛用于图像的特征提取与分类任务。如今CNN已经广泛应用在医学图像的识别和处理上,并且经过不断的迭代优化,已经构成很多以CNN为架构的分类器。
然而,现有工作在使用传统CNN提取脑CT图像特征时,并没有考虑脑CT图像和自然光学图像具有的差异:首先,脑CT图像空间分辨率低、对比度低;缺少亮度、颜色、纹理等易于识别的自然视觉特征;区域之间的分界线并不清晰,纹理差异也不大;图像会因患者个体差异和成像***不同而显著不同;图像还具有位移产生的伪影、容积效应产生误差、设备原因产生噪声的诸多不稳定因素。且考虑到医学图像大多属于医院私有数据,隐私保护条例会阻碍医学图像的共享,数据集的数量会直接影响深度学习的效果。研究表明,无监督生成的超像素由一系列特征相似像素点组成,能够保留原图像的局部细节并且能够突出局部特征,无需,有利于图像高级特征的提取与表达,超像素的数量远小于原图像像素的数量,用超像素代替像素作为图像处理的基元,能够大幅度降低后续图像处理的计算复杂度,提高图像处理算法的效率。
发明内容
本发明针对上述现有方法忽略了脑CT图像视觉特性的问题,提出一种融合多尺度超像素(multi-scale superpixel fusion,MSF)的脑CT图像分类方法。本发明所述方法能够通过多尺度超像素优化图像,并无监督的提取病灶区域的信息,以此加强残差神经网络生成特征的表达性,提升分类任务的准确率。
为实现上述目的,本发明采用的技术方案为一种融合多尺度超像素的脑CT图像分类方法。本发明的流程如图1所示,包含以下几个步骤。1)首先,构建数据集并进行预处理,得到多尺度超像素;其次,通过多尺度超像素图像融合进行数据增强,获得优化的融合图像;然后采用基于区域和边界信息的多尺度超像素特征编码算法,得到多尺度超像素低层次特征;最后利用多尺度超像素特征融合分类模型,来对脑CT图像进行分类;
步骤(1)获取数据并预处理:
步骤(1.1)数据:采集脑CT图像构建数据集,每一个患者数据包含其脑CT图像生成的RGB矩阵与脑CT分类标签向量Y=[Y1,Y2,…YT],Yi∈{0,1},其中N表示图像像素尺寸,T表示采集的疾病类别个数。
步骤(1.2)将所有患者数据划分为训练集、验证集和测试集。其中,训练集用于学习神经网络的参数;验证集用于确定网络结构和超参数;测试集用于验证神经网络分类效果。
步骤(1.3)数据预处理:基于超层次分割算法(Super Hierarchy,SH),对给定的脑CT图像I和设定的超像素的分割尺度{scale1,scale2,…scales},其中S表示设定超像素的数量,生成第s个分割尺度下超像素图的计算过程如下:
Ps=SH(I,scales)
步骤(3)多尺度超像素特征编码:
其中N2表示超像素图所含像素点个数,sk表示第k个超像素区域包含的的像素点个数。
步骤(4)多尺度超像素特征融合分类模型:
步骤(4.1)构建一个残差神经网络(Residual Network,ResNet)作为主干网络,使用步骤(2)提取的脑CT融合图像I′输入,选择ResNet中四个Layer的最后一个残差结构(Basic Block)的特征激活输出l1、l2、l3、l4作为高层次特征。
步骤(4.2)对(3.3)提取的低层次特征B进行降维处理,通过256个3×3卷积核构成的卷积层生成特征将f0自下而上依次和l1、l2、l3、l4进行多层融合,生成融合特征f1、f2、f3、f4。其中fi(i∈{1,2,3,4})的计算如下:先采用池化操作将f(i-1)转化为和li相同尺寸的特征矩阵,之后通过256个1×1卷积核构成的卷积层将li的通道数转换为256,之后通过矩阵相加进行特征融合,得到第i层融合特征fi。
步骤(4.3)将得到的融合特征f4输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x,将其通过Sigmoid线性回归生成预测值向量y=[y1,y2,…yT],其中yi∈[0,1],x中第i个元素生成对应标签为正例的概率yi表示为:yi=Sigmoid(xi),根据设定的分类阈值t确定分类结果,当yi大于设定阈值t时,模型判定该脑CT存在对应标签疾病,若yi小于设定阈值t时则为正常。t=0.5。
步骤(4.4)本发明所述的一种融合多尺度超像素的脑CT图像分类方法的输入为患者脑CT图像I与脑疾病分类标签Y,然后得到该被试属于各个类别的概率y。若给出M个患者的数据集D={(I1,Y1),(I2,Y2),…,(IM,YM)},对于给定的脑CT图像Ii对应标签Yi以及通过模型生成的标签预测yi,我们通过二分类交叉熵损失(Binary cross entropy loss,BCEloss)来计算样本中每个标签的分类误差,之后通过对所有标签分类误差求均值得到样本误差,损失函数计算如下:
步骤(4.5)针对步骤(1.2)中的训练集,利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数,通过比较模型在不同学习率λ设置下,观察模型经过训练集训练后在验证集上的分类准确率,一般λ初始值设置为10-3至10-6,下一次学习率设置为上次的3倍,λ最大值设置为0.1至0.5,然后来选择其中准确率最高的学习率来训练模型。
步骤(5)在完成上述所有步骤后,可以将新的脑CT数据集输入至模型中,根据模型输出的预测结果对这些脑CT图像进行分类。
与现有方法相比,本发明具有以下明显的优势和有益效果:
本发明提出一种融合多尺度超像素的脑CT图像分类方法,相较于传统图像分类网络,所述方法具有以下特点:1)利用多尺度超像素与脑CT图像融合,去除了图像冗余信息,降低了病灶和周围脑组织像素的灰度相似性。2)设计了一种基于区域和边界的多尺度超像素编码器,有效的提取多尺度超像素中包含的病灶低层次信息。3)设计了一种融合多尺度超像素特征融合模型,综合利用了残差神经网络提取的高层次特征和多尺度超像素的低层次特征,实现对脑CT的分类。4)相比传统深度学习算法,本发明所述方法可以有效利用多尺度超像素中包含的病灶信息,从而更准确地对脑CT图像中存在的疾病进行分类。
附图说明
图1:一种融合多尺度超像素的脑CT图像分类方法流程图。
图2:多尺度超像素特征融合分类模型。
图3:不同尺寸特征融合模型。
图4:多尺度超像素脑CT图像融合可视化。
具体实施方式
本实施例中以脑出血患者为研究对象,但本方法不限于此,还可以以他脑疾病患者脑CT图像为研究对象。下面以真实脑出血CT数据集为例,具体说明本方法的实施步骤:
步骤(1)获取数据并预处理:
步骤(1.1)数据:本发明使用CQ500数据集(http://headctstudy.qure.ai/dataset)采集脑CT图像构建数据集,实际获得451例扫描数据,总共22773张脑CT图像,每个患者标签信息包含脑部疾病的14种诊断类别:颅内出血、脑实质出血、脑室出血、硬膜下出血、硬膜外出血、蛛网膜下出血、左侧脑出血、右侧脑出血、慢性出血、骨折、颅骨骨折、其他骨折、中线偏移、质量效应。首先,针对数据集标签,由于三名放射学专家对同一标签可能有不同标注,因此针对标注不统一的情况,我们选择多数的专家的选择作为真实的标签。然后,根据确定的颅内出血标签信息将数据集分为确诊脑出血患者病例204例,未确诊的有247例,从确诊脑出血患者病例中根据诊断类别标签选取对应病灶位置的图像742张,从未确诊病例中选取和脑出血患者病例中病灶位置相同位置的图像1045张,总共M=1787张脑CT图像作为数据集D={(I1,Y1),(I2,Y2),…,(I1787,Y1787)}。每一个数据包含其脑CT图像生成的RGB矩阵与T=14种脑疾病诊断标签向量Y=[Y1,Y2,…Y14],Yi∈{0,1},其中标签的元素Yi=1表示经该脑CT图像存在第i个标签相应的脑疾病,Yi=0则是正常。
步骤(1.2)将所有患者数据按8∶1∶1划分为训练集、验证集和测试集。其中,训练集用于学习神经网络的参数;验证集用于确定网络结构和超参数;测试集用于验证神经网络分类效果。
步骤(1.3)数据预处理:基于超层次分割算法(Super Hierarchy,SH),对给定的脑CT图像I和设定的S=3个超像素的分割尺度{5,10,15},生成不同分割尺度下超像素图的计算过程如下:
P1=SH(I,5)
P2=SH(I,10)
P3=SH(I,15)
步骤(3)多尺度超像素特征编码:
步骤(3.1)对脑CT图像I的多尺度超像素中分割尺度为5的超像素图其中scale1=5,生成其像素值集合对中每个像素生成映射矩阵集合M1={M1,1,M1,2,…,M1,5},其中,第k个映射矩阵中第i,j个元素的计算方式如下:
其中sk表示第k个超像素区域包含的的像素点个数。
步骤(4)多尺度超像素特征融合分类模型:
步骤(4.1)构建一个34层的残差神经网络ResNet-34作为主干网络,使用步骤(2)提取的脑CT融合图像I′输入,选择ResNet-34中四个Layer的最后一个残差结构(BasicBlock)的特征激活输出 作为高层次特征。
步骤(4.2)对(3.3)提取的低层次特征B进行降维处理,通过256个3×3卷积核构成的卷积层生成特征将f0自下而上依次和l1、l2、l3、l4进行多层融合,生成融合特征f1、f2、f3、f4。其中fi(i∈{1,2,3,4})的计算如下:先采用池化操作将f(i-1)转化为和li相同尺寸的特征矩阵,之后通过256个1×1卷积核构成的卷积层将li的通道数转换为256,之后通过矩阵相加进行特征融合,得到第f层融合特征fi。
步骤(4.3)将得到的融合特征f4输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x,将其通过Sigmoid线性回归生成预测值向量y=[y1,y2,…y14],其中yi∈[0,1],x中第i个元素生成对应标签为正例的概率yi表示为:yi=Sigmoid(xi),此时分类阈值设定为t=0.5,当yi大于设定阈值0.5时,模型判定该脑CT存在对应标签疾病,若yi小于设定阈值0.5则为正常。
步骤(4.4)本发明所述的一种融合多尺度超像素的脑CT图像分类方法的输入为患者脑CT图像I与脑疾病分类标签Y,然后得到该被试属于各个类别的概率y。对于输入的的脑CT图像I对应标签Y以及通过模型生成的标签预测y,我们通过二分类交叉熵损失(Binarycross entropy loss,BCE loss)来计算样本中每个标签的分类误差,之后通过对所有标签分类误差求均值得到样本误差,损失函数计算如下:
步骤(4.5)针对步骤(1.2)中的训练集,利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数,通过比较模型在不同学习率λ设置下,观察模型经过训练集训练后在验证集上的分类准确率,λ初始值设置为10-5,下一次学习率设置为上次的3倍,λ最大值设置为0.1,然后来选择其中准确率最高的学习率来训练模型。
步骤(5)在完成上述所有步骤后,可以将新的脑CT数据集输入至模型中,根据模型输出的预测结果对这些脑CT图像进行分类。
为了说明本发明所述方法的有益效果,在具体实施过程中,我们与本文作为主干网络的传统分类模型ResNet-34进行对比,并且对融合多尺度超像素的脑CT分类模型中三个部分:超像素图像融合、超像素特征编码算法和不同层次特征融合模型,进行了消融实验来验证每一部分有效性,实验采用目前广泛使用的准确率(Accuracy,ACC),灵敏度(Sensitivity,SEN),和F1评估值(F-score,F)作为评价指标,实验结果如表1所示。
多尺度超像素选择使用5、10、15和10、15、20两种尺度的超像素图的组合。其中实验的对照组Baseline为使用脑CT图像进行分类,MSF表示本发明所述方法,MSF001表示使用脑CT原图像作为输入,仅使用特征融合模型进行分类的结果;MSF011方法表示去除MSF方法中多尺度超像素图像融合部分;MSF101表示去除MSF方法中超像素特征编码部分;MSF100表示去除MSF方法中多尺度超像素图像融合和超像素特征编码部分。
表1融合多尺度超像素的脑CT分类模型对比实验
通过对比MSF011和MSF的分类效果可以看出:不使用多尺度超像素脑CT图像融合的情况下分类效果对比Baseline有了少许提升,但仍不及本文的MSF方法。通过对比MSF101和MSF的分类结果可以看出:不使用超像素特征编码算法的情况下分类效果虽然对比Baseline有了显著提升,但由于直接使用多尺度超像素图没有参考区域面积和边界信息,表达不佳,不能直接作为低层次特征,导致和高层特征的融合特征效果不好,和MSF分类效果有较大的差距。通过MSF001和Baseline,MSF100和MSF101两组对比实验可以看出,不论输入是原图像还是经过多尺度超像素融合后的图像,与仅使用ResNet提取特征相比特征融合模型的使用都显著的提升了分类的效果。
此外,我们还进行了多尺度超像素融合过程中多尺度超像素与权重的加权图和多尺度超像素融合图像I′进行了可视化展示,如图4所示。可以清晰的看出,加权图很好的去除了颅脑外的冗余信息,准确的划分出病灶区域且没有过度分割;融合图像I′可以明显区分病灶区域,降低了病灶和周围脑组织像素的灰度相似性,更好的表达了病灶区域。
综上所述,通过对比Baseline方法和消融实验,验证了本文提出的MSF方法在脑CT图像分类任务中的有效性。这是由于基于多尺度超像素脑CT图像模型融合生成的融合图像有效的降低了图像的噪声,并且准确地划分了病灶区域;多尺度超像素编码器提取准确的低层次特征,其中包含了区域面积和边界信息,能更好的关注小面积病灶;特征融合模型通过融合两种不同层次的特征生成了更具判别性的融合特征,对面积不固定的病灶区域有更有效的表达。因此,本发明所述方法合理可靠,可为脑CT图像的分类提供有力的帮助。
Claims (1)
1.一种融合多尺度超像素的脑CT图像分类方法,其特征在于:首先,构建数据集并进行预处理,得到多尺度超像素;其次,通过多尺度超像素图像融合进行数据增强,获得优化的融合图像;然后采用基于区域和边界信息的特征编码算法处理多尺度超像素,得到多尺度超像素低层次特征;最后利用多尺度超像素特征融合分类模型,来对脑CT图像进行分类;
步骤(1)获取数据并预处理:
步骤(1.1)数据:采集脑CT图像构建数据集,每一个患者数据包含其通过脑CT图像生成的RGB矩阵与脑CT分类标签向量Y=[Y1,Y2,…YT],Yi∈{0,1},其中表示实数集合,N表示图像像素尺寸,T表示采集的疾病类别个数;
步骤(1.2)将所有患者数据划分为训练集、验证集和测试集;其中,训练集用于学习神经网络的参数;验证集用于确定超参数;测试集用于验证神经网络分类效果;
步骤(1.3)数据预处理:基于超层次分割算法(Super Hierarchy,SH),对给定的脑CT图像I和设定的超像素的分割尺度{scale1,scale2,…scaleS},其中S表示设定超像素的数量,生成第s个分割尺度下超像素图的计算过程如下:
Ps=SH(I,scales)
步骤(3)多尺度超像素特征编码:
其中N2表示超像素图所含像素点个数,sk表示第k个超像素区域包含的的像素点个数,⊙表示点积;
步骤(4)多尺度超像素特征融合分类模型:
步骤(4.1)构建一个残差神经网络ResNet作为主干网络,使用步骤(2)提取的脑CT融合图像I′输入,选择ResNet中四个Layer的最后一个残差结构(Basic Block)的特征激活输出l1、l2、l3、l4作为高层次特征;
步骤(4.2)对(3.3)提取的低层次特征B进行降维处理,通过256个3×3卷积核构成的卷积层生成特征将f0自下而上依次和l1、l2、l3、l4进行多层融合,生成融合特征f1、f2、f3、f4;其中fi(i∈{1,2,3,4})的计算如下:先采用池化操作将f(i-1)转化为和li相同尺寸的特征矩阵,之后通过256个1×1卷积核构成的卷积层将li的通道数转换为256,之后通过矩阵相加进行特征融合,得到第i层融合特征fi;
步骤(4.3)将得到的融合特征f4输入512个3×3卷积核构成的卷积层、池化层和全连接层得到和标签数量T等长的分类向量x,将其通过Sigmoid线性回归生成预测值向量y=[y1,y2,…yT],其中yi∈[0,1],x中第i个元素生成对应标签为正例的概率yi表示为:yi=Sigmoid(xi),根据设定的分类阈值t确定分类结果,当yi大于设定阈值t时,模型判定该脑CT存在对应标签疾病,若yi小于设定阈值t时则为正常;t为0.5;
步骤(4.4)输入为患者脑CT图像I与脑疾病分类标签Y,然后得到该被试属于各个类别的概率y;若给出M个患者的数据集D={(I1,Y1),(I2,Y2),…,(IM,YM)},对于给定的脑CT图像Ii对应标签Yi以及通过模型生成的标签预测yi,通过二分类交叉熵损失来计算样本中每个标签的分类误差,之后通过对所有标签分类误差求均值得到样本误差,损失函数计算如下:
步骤(4.5)针对步骤(1.2)中的训练集,利用Adam自适应优化算法最小化步骤(4.4)中所述损失函数,通过比较模型在不同学习率λ设置下,观察模型经过训练集训练后在验证集上的分类准确率,λ初始值设置为10-5,下一次学习率设置为上次的3倍,λ最大值设置为0.1,然后来选择其中准确率最高的学习率来训练模型;
步骤(5)在完成上述所有步骤后,将新的脑CT数据集输入至模型中,根据模型输出的预测结果对这些脑CT图像进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110058684.0A CN112633416A (zh) | 2021-01-16 | 2021-01-16 | 一种融合多尺度超像素的脑ct图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110058684.0A CN112633416A (zh) | 2021-01-16 | 2021-01-16 | 一种融合多尺度超像素的脑ct图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112633416A true CN112633416A (zh) | 2021-04-09 |
Family
ID=75294799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110058684.0A Pending CN112633416A (zh) | 2021-01-16 | 2021-01-16 | 一种融合多尺度超像素的脑ct图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633416A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362347A (zh) * | 2021-07-15 | 2021-09-07 | 广东工业大学 | 基于多尺度超像素特征增强的图像缺陷区域分割方法和*** |
CN113707278A (zh) * | 2021-08-30 | 2021-11-26 | 北京工业大学 | 一种基于空间编码的脑ct医学报告生成方法 |
CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100172567A1 (en) * | 2007-04-17 | 2010-07-08 | Prokoski Francine J | System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps |
CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
CN110910404A (zh) * | 2019-11-18 | 2020-03-24 | 西南交通大学 | 一种抗噪声数据的乳腺超声结节分割方法 |
-
2021
- 2021-01-16 CN CN202110058684.0A patent/CN112633416A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100172567A1 (en) * | 2007-04-17 | 2010-07-08 | Prokoski Francine J | System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps |
CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
CN110910404A (zh) * | 2019-11-18 | 2020-03-24 | 西南交通大学 | 一种抗噪声数据的乳腺超声结节分割方法 |
Non-Patent Citations (2)
Title |
---|
康文杰 等: "生成对抗网络及其在神经影像应用中的研究进展", 医疗卫生装备, no. 09, 15 September 2020 (2020-09-15) * |
王玉丽 等: "基于深度学习的脑图像分割算法研究综述", 生物医学工程学杂志, no. 04, 31 December 2020 (2020-12-31) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362347A (zh) * | 2021-07-15 | 2021-09-07 | 广东工业大学 | 基于多尺度超像素特征增强的图像缺陷区域分割方法和*** |
CN113707278A (zh) * | 2021-08-30 | 2021-11-26 | 北京工业大学 | 一种基于空间编码的脑ct医学报告生成方法 |
CN113707278B (zh) * | 2021-08-30 | 2023-11-03 | 北京工业大学 | 一种基于空间编码的脑ct医学报告生成方法 |
CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
CN114141339B (zh) * | 2022-01-26 | 2022-08-05 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108268870B (zh) | 基于对抗学习的多尺度特征融合超声图像语义分割方法 | |
CN112633416A (zh) | 一种融合多尺度超像素的脑ct图像分类方法 | |
US12008757B2 (en) | Method and system for automatic multiple lesion annotation of medical images | |
CN113744178B (zh) | 一种基于卷积注意力模型的皮肤病变分割方法 | |
Rajee et al. | Gender classification on digital dental x-ray images using deep convolutional neural network | |
CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
Angkoso et al. | Multiplane Convolutional Neural Network (Mp-CNN) for Alzheimer’s Disease Classification. | |
CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
CN116664931A (zh) | 基于量子向经典迁移学习的膝骨关节炎分级方法 | |
CN116309431B (zh) | 一种基于医学影像的视觉解释方法 | |
CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
CN117036386A (zh) | 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法 | |
CN112508902A (zh) | 白质高信号分级方法、电子设备及存储介质 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割***及方法 | |
CN117218453A (zh) | 一种不完备多模态医学影像学习方法 | |
Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与*** | |
CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
Chen et al. | Alzheimer's Disease Clinical Scores Prediction based on the Label Distribution Learning using Brain Structural MRI | |
CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及*** | |
Vanmore et al. | Liver Lesions Classification System using CNN with Improved Accuracy | |
CN116563524B (zh) | 一种基于多视觉记忆单元的扫视路径预测方法 | |
Moh'd Rasoul et al. | Pneumonia identification using organizing map algorithm | |
Mehendale et al. | A Graphical Approach For Brain Haemorrhage Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |