CN109886273B - 一种cmr图像分割分类*** - Google Patents

一种cmr图像分割分类*** Download PDF

Info

Publication number
CN109886273B
CN109886273B CN201910149716.0A CN201910149716A CN109886273B CN 109886273 B CN109886273 B CN 109886273B CN 201910149716 A CN201910149716 A CN 201910149716A CN 109886273 B CN109886273 B CN 109886273B
Authority
CN
China
Prior art keywords
image
segmentation
feature map
layer
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910149716.0A
Other languages
English (en)
Other versions
CN109886273A (zh
Inventor
陈玉成
吴锡
李孝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN201910149716.0A priority Critical patent/CN109886273B/zh
Publication of CN109886273A publication Critical patent/CN109886273A/zh
Application granted granted Critical
Publication of CN109886273B publication Critical patent/CN109886273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种CMR图像分割分类***,包括:图像预处理模块,图像分割分类模块;图像预处理模块用于获取并剪裁原始CMR图像,获取目标区域图像;图像分割分类模块为训练后的卷积神经网络,其包括编码器,解码器,图像后处理模块;编码器包括依次连接的卷积层、空间金字塔池化层和第一softmax分类器;卷积层输出目标区域图像的浅层特征图;第一softmax分类器输出目标区域图像的深层特征图和分类结果;解码器用于将浅层特征图与深层特征图相融合,获取分割概率响应图;图像后处理模块用于根据分割概率响应图,获取目标区域图像的分割掩膜。本发明提供的技术方案,能够对CMR图像进行自动、准确地目标区域分割与图像分类,辅助医生进行疾病诊断。

Description

一种CMR图像分割分类***
技术领域
本发明涉及图像处理技术领域,尤其涉及一种CMR图像分割分类***。
背景技术
图像的语义分割(Semantic lmage Segmentation)和图像分类(ImageClassification)是人工智能和计算机视觉领域的经典的研究课题。图像的语义分割旨在利用计算机算法自动地将图像中不同物体所在区域进行逐像素的分类,形成分割掩膜。图像语义分割要求分割算法得到的分割掩膜能够保留精确的边缘细节和与原始图像相同的分辨率大小,同时对图像中的不同物体要正确分类。与图像的语义分割不同,图像分类是对整张图像进行类别区分,在已有的标签合集中找到一个最有可能的标签赋予图像,以表明整张图像的类别特征。
临床工作中,医生会借助于医学影像技术对某些疾病进行精确分析与诊断。例如,扩张性心肌病(Dilated Cardiomyopathy,DCM)需要借助于心脏磁共振(Cardiac MagneticResonance,CMR)影像来进行确诊以及病情严重程度的判断。CMR影像是近年来新兴的一种先进心脏影像技术,它可以通过图像的信号值及其变化展示心肌的形态、结构、功能和组织特征信息,医生通过对图像定性定量地分析和判读来对心脏疾病、特别是包括DCM在内的心肌疾病进行判断,并根据判断结果指导治疗。
现有技术中,医生在对CMR图像进行分析时,均是采用手动的方式勾画出CMR图像上的心肌和血池等感兴趣的解剖结构区域,然后再对该区域内的信号值进行进一步分析。显然,这种手动勾画过程不仅繁琐、效率低,而且勾画准确度很大程度上取决于医生的个人经验和专业程度。因此,如何对CMR图像进行目标区域的自动分割,进而对该CMR图像进行准确地分类,以辅助医生诊断,是目前需要解决的问题。
发明内容
本发明旨在提供一种CMR图像分割分类***,能够对CMR图像进行自动、准确地目标区域分割与图像分类,辅助医生进行疾病诊断。
为达到上述目的,本发明采用的技术方案如下:
一种CMR图像分割分类***,包括:图像预处理模块,图像分割分类模块;所述图像预处理模块用于获取原始CMR图像,对所述原始CMR图像进行剪裁,获取目标区域图像;所述图像分割分类模块为训练后的卷积神经网络,所述训练后的卷积神经网络包括编码器,解码器,图像后处理模块;所述编码器包括依次连接的卷积层、空间金字塔池化层和第一softmax分类器;所述卷积层的输入连接所述图像预处理模块的输出;所述卷积层输出所述目标区域图像的浅层特征图;所述第一softmax分类器输出所述目标区域图像的深层特征图和所述目标区域图像的分类结果;所述解码器用于将所述浅层特征图与所述深层特征图相融合,获取第一分割概率响应图;所述图像后处理模块用于根据所述第一分割概率响应图,获取所述目标区域图像的分割掩膜。
进一步地,所述编码器还包括:第一上采样模块,用于对所述深层特征图进行上采样,获取第一深层特征图;所述解码器包括依次连接的解码模块、特征组合模块、第二softmax分类器;所述解码模块用于接收所述浅层特征图和所述第一深层特征图,并对其进行解码,获取解码后的浅层特征图和解码后的第一深层特征图;所述特征组合模块用于将所述解码后的浅层特征图和所述解码后的第一深层特征图进行特征组合,获取组合特征图;所述第二softmax分类器接收所述组合特征图,并根据所述组合特征图输出所述第一分割概率响应图。
进一步地,所述解码器还包括:第二上采样模块,用于对所述第一分割概率响应图进行上采样,获取第二分割概率响应图;所述图像后处理模块还用于根据所述第二分割概率响应图,获取所述目标区域图像的分割掩膜。
优选地,所述图像后处理模块包括:二值化模块,用于将所述第二分割概率响应图进行二值化,获取第一分割掩膜;形态学处理模块,用于对所述第一分割掩膜进行图像形态学处理,获取所述目标区域图像的分割掩膜。
优选地,所述卷积层包括依次连接的第一卷积层、第二卷积层;所述第二卷积层为深度可分离卷积层;所述第一卷积层的输入连接所述图像预处理模块的输出;所述第二卷积层的输出连接所述空间金字塔池化层。
进一步地,所述第一卷积层与所述第二卷积层之间还采用残差连接结构,第一卷积层与第二卷积层形成残差单元;所述残差单元有两个以上,残差单元之间依次连接。
进一步地,所述第二卷积层与所述空间金字塔池化层之间还依次设有批规范化模块和ReLU激活函数。
优选地,所述特征组合模块将所述解码后的浅层特征图和所述解码后的第一深层特征图进行特征组合的方法为:将多个所述解码后的浅层特征图和所述解码后的第一深层特征图进行逐级特征组合;每级特征组合完成后均对特征组合结果进行一次上采样。
优选地,所述空间金字塔池化层包括:两个以上3×3带孔卷积层;每个所述3×3带孔卷积层配置有不同的孔径。
进一步地,所述图像预处理模块还用于对所述原始CMR图像进行采样和归一化操作。
本发明实施例提供的CMR图像分割分类***,基于卷积神经网络,并在卷积神经网络中设置编码器和解码器,其中,编码器用于采集目标区域图像的深层特征图,并通过第一softmax分类器对目标区域图像进行分类;解码器用于接收来自编码器的浅层特征图和深层特征图,由于浅层特征图可以提供图像的细节信息,而深层特征图能够提供图像的语义信息,因此,通过解码器将其二者融合后,可以获得准确的分割概率响应图,通过该分割概率响应图即可对目标区域图像进行精确地分割。可见,本发明采用训练好的卷积神经网络,能够对CMR图像进行自动、准确地目标区域分割与图像分类,不仅能够辅助医生进行疾病诊断,而且大大提高了医生的工作效率。
附图说明
图1为本发明实施例的***结构图一;
图2为本发明实施例的***结构图二;
图3为本发明实施例中卷积神经网络的结构图;
图4为本发明实施例中卷积神经网络入口处的结构图;
图5为本发明实施例中ReLU激活函数的函数图像;
图6为本发明实施例中空间金字塔池化层的结构示意图;
图7为本发明实施例中解码器的结构示意图;
图8为采用本发明***进行心肌分割的定性效果图;
图9为采用本***进行CMR图像分割、分类的方法流程图;
图3和图7中,1为目标区域图像,2为目标区域图像的分割掩膜。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
本发明基于卷积神经网络,通过使用带孔卷积、深度可分离卷积、残差连接、空间金字塔池化等技术,解决了传统分割和分类网络不能很好地应对物体的多尺度性的问题,同时利用编码器和解码器结构的自身特性,将分割和分类两个不同的任务融合到一个网络中。具体来说,就是将编码器学习到的密集的特征表示用于分类,分类器利用其高度抽象的特性来得到准确的分类结果。同时利用解码器恢复的高分辨率特征图作为分割掩膜特征,使用端到端的方式,全自动地生成心脏磁共振图像的分割掩膜,本发明所获得的分割掩膜在被分割物体边缘上细节保留完整,能够处理不同大小、形状各异的分割对象。
图1为本发明实施例的***结构图,包括:图像预处理模块,图像分割分类模块;所述图像预处理模块用于获取原始CMR图像,对所述原始CMR图像进行剪裁,获取目标区域图像;所述图像预处理模块还用于对所述原始CMR图像进行采样和归一化操作。所述图像分割分类模块为训练后的卷积神经网络,所述训练后的卷积神经网络包括编码器,解码器,图像后处理模块;所述编码器包括依次连接的卷积层、空间金字塔池化层和第一softmax分类器;所述卷积层的输入连接所述图像预处理模块的输出;所述卷积层输出所述目标区域图像的浅层特征图;所述第一softmax分类器输出所述目标区域图像的深层特征图和所述目标区域图像的分类结果;所述解码器用于将所述浅层特征图与所述深层特征图相融合,获取第一分割概率响应图;所述图像后处理模块用于根据所述第一分割概率响应图,获取所述目标区域图像的分割掩膜。
本实施例中,如图2所示,所述编码器还包括:第一上采样模块,用于对所述深层特征图进行上采样,获取第一深层特征图;所述解码器包括依次连接的解码模块、特征组合模块、第二softmax分类器;所述解码模块用于接收所述浅层特征图和所述第一深层特征图,并对其进行解码,获取解码后的浅层特征图和解码后的第一深层特征图;所述特征组合模块用于将所述解码后的浅层特征图和所述解码后的第一深层特征图进行特征组合,获取组合特征图;所述第二softmax分类器接收所述组合特征图,并根据所述组合特征图输出所述第一分割概率响应图。进一步地,所述解码器还包括:第二上采样模块,用于对所述第一分割概率响应图进行上采样,获取第二分割概率响应图;所述图像后处理模块还用于根据所述第二分割概率响应图,获取所述目标区域图像的分割掩膜。
本实施例中,所述图像后处理模块包括:二值化模块,用于将所述第二分割概率响应图进行二值化,获取第一分割掩膜;形态学处理模块,用于对所述第一分割掩膜进行图像形态学处理,获取所述目标区域图像的分割掩膜。
图3为本发明提出的具有编码器、解码器和空间金字塔池化结构的卷积神经网络结构图,即本发明实施例的***结构图二。该卷积神经网络包括了图像输入、图像特征提取、空间金字塔池化、编码器和解码器结构等计算机视觉技术。利用这些计算机视觉技术和处理模块,我们可以处理图像的多尺度特性,有效地发掘图像深层的特征信息。下面我们将这个多任务网络进行分解说明,旨在将每部分的结构和功能、部分与部分之间的处理逻辑流程进行详尽描述。
图4为卷积神经网络入口处的结构图,由卷积层构成,该卷积层包括依次连接的第一卷积层、第二卷积层,其中,第二卷积层为深度可分离卷积层。第一卷积层的输入连接图像预处理模块的输出,第二卷积层的输出连接空间金字塔池化层。
输入一张尺寸为m×m×1的目标区域图像I至该卷积层,输出的是一张二维灰度图像。第一卷积层使用卷积核大小为k×k、输出通道数为n1的卷积对目标区域图像进行特征提取。此时得到的特征图尺寸可以使用以下公式得出:
N=(M-K+2P)/S+1
其中,M为目标区域图像的尺寸m x m,K为卷积核尺寸k x k,P为第一卷积层padding延拓的大小,S为第一卷积层的步长stride,通过第一卷积层后得到的特征图尺寸为N x N。
然后进入第二卷积层一一深度可分离卷积层(depthwise separableconvolutions)。可分离卷积(separable convolution)可将卷积核操作拆分成多个步骤。卷积操作用y=conv(x,k)来表示,其中输出图像为y,输入图像为x,卷积核为k。接着,假设k可以由下式计算得出:k=k1.dot(k2)。这就实现了一个可分离卷积操作,因为不用k执行二维卷积操作,而是通过k1和k2分别实现两次一维卷积来取得相同效果。在神经网络中,我们通常会使用这种深度可分离卷积操作。这种方法在保持通道分离的前提下,接上一个深度卷积结构,即可实现空间卷积。例如,假设有一个3×3大小的卷积层,其输入通道为16、输出通道为32。具体为,32个3×3大小的卷积核会遍历16个通道中的每个数据,从而产生16×32=512个特征图谱。进而通过叠加每个输入通道对应的特征图谱后融合得到1个特征图谱。最后可得到所需的32个输出通道。针对这个例子应用深度可分离卷积,用1个3×3大小的卷积核遍历16通道的数据,得到了16个特征图谱。在融合操作之前,接着用32个1×1大小的卷积核遍历这16个特征图谱,进行相加融合。这个过程使用了16×3×3+16×32×1×1=656个参数,远少于上面的16×32×3×3=4608个参数。这个例子就是深度可分离卷积的具体操作,其中上面的深度乘数(depth multiplier)设为1,这也是目前这类网络层的通用参数,这么做是为了对空间信息和深度信息进行解耦。最后一个深度可分离卷积的步长为2,而且后面没有池化层,它的作用就是代替池化层。
在深度可分离卷积上方有一个来自前面的特征图做卷积之后的跳跃连接,这种特殊的连接结构叫残差连接(Residual Connection),深的网络一般会比浅的网络效果好,如果要进一步地提升模型的准确率,最直接的方法就是把网络设计得越深越好,这样模型的准确率也就会越来越准确。但是随着网络层级的不断增加,模型精度不断得到提升,而当网络层级增加到一定的数目以后,训练精度和测试精度迅速下降,这说明当网络变得很深以后,深度网络就变得更加难以训练了。这主要是因为深度学习的反向传播机制导致的深层的网络模型的梯度消失问题导致的。残差连接的原理是直接把输入x传到输出作为初始结果,输出结果为H(x)=F(x)+x,即本实施例中的第一卷积层与第二卷积层之间还采用残差连接结构,第一卷积层与第二卷积层形成残差单元。这种残差跳跃式的结构,打破了传统的神经网络n-1层的输出只能给n层作为输入的惯例,使某一层的输出可以直接跨过几层作为后面某一层的输入,解决了叠加多层网络而使得整个学习模型的错误率不降反升的难题。本实施例中,上述残差单元有两个以上,残差单元之间依次连接。重复多次残差单元能够通过深层的网络结构,提取图像高级的语义特征。
本实施例中,第二卷积层与空间金字塔池化层之间还依次设有批规范化模块和ReLU激活函数。批规范化在每次SGD(Stochastic Gradient Descent,随机梯度下降)时,通过mini-batch来对相应的激活做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1,其作用是为了防止反向传播时梯度消失的问题。
ReLU的全称是修正线性单元(Rectified linear unit),其公式为ReLU=max(0,x),函数图像如图5所示。使用ReLU作为激活函数有很多优点,比如对于线性函数而言,ReLU的表达能力更强,尤其体现在深度网络中;而对于非线性函数而言,ReLU由于非负区间的梯度为常数,因此不存在梯度消失问题,使得模型的收敛速度维持在一个稳定状态。
空间金字塔池化是一种图像特征检测技术,它可以使用尺寸不固定的图像作为输入,不需要像传统方法那样对图像进行裁剪和缩放,因为那样会改变或丢失图像特征,降低分类精度。而此方法是在卷积后的特征上,使用不同大小的卷积核,例如使用一组5x5、3x3、2x2、1x1的卷积核对特征进行不同尺度的卷积,获得的多尺度特征再进行组合,得到固定的尺度。最后就可以送到全连接层,或者其他分类器中。这样一来,输入的图像的尺度就不需要固定了,而且特征尺度也丰富了。空间金字塔池化有三个优点,第一,它可以解决输入图片大小不一造成的缺陷,不需要裁剪和缩放,保持图像原有的特征;第二,由于把一个特征图从不同的角度和尺度进行特征提取,再聚合,信息利用率提高;第三,增加了目标检测的精度。本实施例中,空间金字塔池化层包括两个以上3×3带孔卷积层,每个所述3×3带孔卷积层配置有不同的孔径来作为多尺度特征提取卷积,最后使用concat组合提取到的特征。空间金字塔池化层的结构示意图如图6所示。
图7为本发明实施例中解码器的结构示意图。由于卷积神经网络本身固有的旋转不变性,因此图像特征提取越密集越有利于分类,但这种特性与图像分割天然地对立,因为图像分割要求输出与原图同样尺寸的分割掩膜,而且要有清晰的边缘,所以需要将经过多次下采样的密集特征图进行解码,恢复空间分辨率,恢复细节信息。本发明采用的解码器使用了来自编码器卷积层的浅层特征图和来自第一softmax分类器的深层特征图,浅层特征图可以提供细节信息,而深层特征图提供语义信息,两者互补,得到最终分类准确的分类结果和细节清晰的分割掩膜。解码器中的上采样操作是为了输出结果恢复到原图的尺寸。
图8为采用本发明***进行心肌分割的定性效果图。其中每一行为不同样本及其结果。从左往右第一列为原始图像,第二列为手工标注的ground-truth,第三列为本***的分割结果,第四列为本***分割结果与ground-truth之间的误差。通过第四列中不同的颜色标注,我们可以获取准确分割区域、过分割区域和欠分割区域。
通过上述定性效果图我们可以看到,本***的分割结果与专业医生手工绘制的ground-truth很接近,甚至在有些特殊的细微的部分还避免了人工可能出现的误差。观察最右边一列的误差分析结果,在过分割区域和欠分割区域面积上,都能做到很好的控制,误差较小,精度较高。
同时为了更有说服力地证明本***的效果,我们使用了K-Fold交叉验证的方法来进行试验,在实验中取K=5,使用5折后的结果的平均分数作为最终结果。得到表1所示的分割指标和表2所示的分类指标,指标可以定量且精确地评价一个方法的好坏。我们将本发明***与其他分割分类***进行比较,采用对比的方式来说明本***的效果。观察表格中的数据,同样可以得出结论,以分割最为关心的DSC和Jaccard指标为例,本***比现有的deeplabv3+网络要好,分别达到了0.7945和0.6681。分类结果与现有的Xception网络相比也有一定的提高,达到了0.855的准确率,0.896的敏感性和0.731的特异性。
表1心肌分割结果评价指标
方法\指标 DSC Jaccard AUC F-Measure
U-Net 0.6150 0.4546 0.7695 0.6150
Deeplabv3+ 0.7476 0.5942 0.9610 0.7476
本*** 0.7945 0.6681 0.8861 0.7945
表2 CMR分类结果评价指标
方法\指标 Accuracy Sensitivity Specificity
ResNet50 0.741 0.888 0.293
Xception 0.849 0.880 0.756
本*** 0.855 0.896 0.731
图9为采用本***进行CMR图像分割、分类的方法流程图,具体步骤为:
步骤一,输入原始CMR图像;
步骤二,图像预处理模块对原始CMR图像进行预处理,具体处理过程为:将原始CMR图像重新采样,保证图像的空间分辨率为1x1x1m3;将重采样后的图像归一化,保证图像的亮度值在-1.0到1.0之间;将归一化后的图像进行剪裁,只保留ROI区域,即心肌和血池等感兴趣的解剖结构区域。剪裁后获取目标区域图像。
步骤三,使用编码器中的卷积层对目标区域图像进行特征提取。本实施例中的卷积层包括第一卷积层和第二卷积层,其中,第一卷积层为普通卷积层,第二卷积层为深度可分离卷积层。第一卷积层与第二卷积层之间还采用残差连接结构,使其形成残差单元,本实施例中,该残差单元有多个,即采用多个残差单元对目标区域图像进行特征提取。
步骤四,将进行特征提取后的图像送入空间金字塔池化层进行池化。
步骤五,将池化后的图像送入第一softmax分类器进行分类,获取目标区域图像的分类结果。
步骤六,将来自第一softmax分类器的深层特征图进行上采样后,送入解码器;解码器的解码模块接收来自编码器卷积层的浅层特征图和上采样后的深层特征图,并对其进行解码,获取解码后的浅层特征图和解码后的第一深层特征图;解码器的特征组合模块将解码后的浅层特征图和解码后的第一深层特征图进行特征组合,获取组合特征图;解码器的第二softmax分类器接收组合特征图,第二上采样模块对第二softmax分类器的输出进行上采样后,输出第二分割概率响应图。
本步骤中,特征组合模块将解码后的浅层特征图和解码后的第一深层特征图进行特征组合的方法为:将多个解码后的浅层特征图和解码后的第一深层特征图进行逐级特征组合;每级特征组合完成后均对特征组合结果进行一次上采样。
步骤七,图像后处理模块根据第二分割概率响应图,获取目标区域图像的分割掩膜。具体地,图像后处理模块中的二值化模块将第二分割概率响应图进行二值化,获取第一分割掩膜;图像后处理模块中的形态学处理模块对第一分割掩膜进行图像形态学处理,获取目标区域图像的分割掩膜。
本发明能够准确地对CMR图像进行分割和分类,将两个计算机视觉任务融合到一个网络当中,实现了自动化和同时化,而且分割和分类两个任务相互促进,都能获得准确地结果。图像分割方面,卷积神经网络能完整地分割出心肌和血池等医学解剖结构,为进一步地诊断分析提供先决条件。图像分类方面,卷积神经网络能够准确地对CMR图像进行分类,判断受试者是否患病,为医生的诊断提供参考依据。本发明通过使用带孔卷积取代传统的卷积,其优点是卷积核的感受野更大能够获取到更大的上下文信息;通过使用空间金字塔池化层,可以在不同尺度上对图像进行信息提取,应对图像的多尺度特性,即使是很小的物体也能有效地捕捉;通过使用编码器和解码器结构可以发挥不同分支的优势,实现多任务的协同。编码器分支获取高级语义,解码器分支恢复细节信息,将浅层特征图和深层特征图进行融合,得到语义丰富且细节完整的分割掩膜。通过对上述多种深度学习技术进行的合理利用,本发明可以有效且自动地获取高质量的心脏分割掩膜和准确的心脏病分类结果,可以极大地减轻医务人员的工作负担,而且对病情分析和后续的治疗计划评估都有重大的意义。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种CMR图像分割分类***,其特征在于,包括:图像预处理模块,图像分割分类模块;
所述图像预处理模块用于获取原始CMR图像,对所述原始CMR图像进行剪裁,获取目标区域图像;
所述图像分割分类模块为训练后的卷积神经网络,所述训练后的卷积神经网络包括编码器,解码器,图像后处理模块;
所述编码器包括依次连接的卷积层、空间金字塔池化层和第一softmax分类器;所述卷积层的输入连接所述图像预处理模块的输出;所述卷积层输出所述目标区域图像的浅层特征图;所述第一softmax分类器输出所述目标区域图像的深层特征图和所述目标区域图像的分类结果;
所述解码器用于将所述浅层特征图与所述深层特征图相融合,获取第一分割概率响应图;所述编码器还包括:第一上采样模块,用于对所述深层特征图进行上采样,获取第一深层特征图;所述解码器包括依次连接的解码模块、特征组合模块、第二softmax分类器;所述解码模块用于接收所述浅层特征图和所述第一深层特征图,并对其进行解码,获取解码后的浅层特征图和解码后的第一深层特征图;所述特征组合模块用于将所述解码后的浅层特征图和所述解码后的第一深层特征图进行特征组合,获取组合特征图;所述第二softmax分类器接收所述组合特征图,并根据所述组合特征图输出所述第一分割概率响应图;
所述特征组合模块将所述解码后的浅层特征图和所述解码后的第一深层特征图进行特征组合的方法为:
将多个所述解码后的浅层特征图和所述解码后的第一深层特征图进行逐级特征组合;每级特征组合完成后均对特征组合结果进行一次上采样;
所述图像后处理模块用于根据所述第一分割概率响应图,获取所述目标区域图像的分割掩膜。
2.根据权利要求1所述的CMR图像分割分类***,其特征在于,所述解码器还包括:第二上采样模块,用于对所述第一分割概率响应图进行上采样,获取第二分割概率响应图;所述图像后处理模块还用于根据所述第二分割概率响应图,获取所述目标区域图像的分割掩膜。
3.根据权利要求2所述的CMR图像分割分类***,其特征在于,所述图像后处理模块包括:
二值化模块,用于将所述第二分割概率响应图进行二值化,获取第一分割掩膜;
形态学处理模块,用于对所述第一分割掩膜进行图像形态学处理,获取所述目标区域图像的分割掩膜。
4.根据权利要求1所述的CMR图像分割分类***,其特征在于,所述卷积层包括依次连接的第一卷积层、第二卷积层;所述第二卷积层为深度可分离卷积层;所述第一卷积层的输入连接所述图像预处理模块的输出;所述第二卷积层的输出连接所述空间金字塔池化层。
5.根据权利要求4所述的CMR图像分割分类***,其特征在于,所述第一卷积层与所述第二卷积层之间还采用残差连接结构,第一卷积层与第二卷积层形成残差单元;所述残差单元有两个以上,残差单元之间依次连接。
6.根据权利要求4所述的CMR图像分割分类***,其特征在于,所述第二卷积层与所述空间金字塔池化层之间还依次设有批规范化模块和ReLU激活函数。
7.根据权利要求1所述的CMR图像分割分类***,其特征在于,所述空间金字塔池化层包括:两个以上3×3带孔卷积层;每个所述3×3带孔卷积层配置有不同的孔径。
8.根据权利要求1所述的CMR图像分割分类***,其特征在于,所述图像预处理模块还用于对所述原始CMR图像进行采样和归一化操作。
CN201910149716.0A 2019-02-26 2019-02-26 一种cmr图像分割分类*** Active CN109886273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149716.0A CN109886273B (zh) 2019-02-26 2019-02-26 一种cmr图像分割分类***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149716.0A CN109886273B (zh) 2019-02-26 2019-02-26 一种cmr图像分割分类***

Publications (2)

Publication Number Publication Date
CN109886273A CN109886273A (zh) 2019-06-14
CN109886273B true CN109886273B (zh) 2022-12-16

Family

ID=66929841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149716.0A Active CN109886273B (zh) 2019-02-26 2019-02-26 一种cmr图像分割分类***

Country Status (1)

Country Link
CN (1) CN109886273B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424795B (zh) * 2019-06-20 2024-05-28 深圳市汇顶科技股份有限公司 人脸防伪方法、处理器芯片及电子设备
CN110378913B (zh) * 2019-07-18 2023-04-11 深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN110400275B (zh) * 2019-07-22 2021-06-22 中电健康云科技有限公司 一种基于全卷积神经网络和特征金字塔的颜色校正方法
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN110599467B (zh) * 2019-08-29 2022-09-27 上海联影智能医疗科技有限公司 非限束器区域检测方法、装置、计算机设备和存储介质
CN110659653A (zh) * 2019-09-12 2020-01-07 复旦大学 一种可充分保留图像特征的特征提取模型及特征提取方法
ES2813777B2 (es) * 2019-09-23 2023-10-27 Quibim S L Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral
CN110675385B (zh) * 2019-09-25 2024-05-14 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备以及存储介质
US11144790B2 (en) * 2019-10-11 2021-10-12 Baidu Usa Llc Deep learning model embodiments and training embodiments for faster training
CN110853047B (zh) * 2019-10-12 2023-09-15 平安科技(深圳)有限公司 智能图像分割及分类方法、装置及计算机可读存储介质
CN110866931B (zh) * 2019-11-18 2022-11-01 东声(苏州)智能科技有限公司 图像分割模型训练方法及基于分类的强化图像分割方法
CN110991617B (zh) * 2019-12-02 2020-12-01 华东师范大学 万花筒卷积网络的构建方法
CN111144486B (zh) * 2019-12-27 2022-06-10 电子科技大学 基于卷积神经网络的心脏核磁共振图像关键点检测方法
CN111192215B (zh) * 2019-12-30 2023-08-29 百度时代网络技术(北京)有限公司 图像处理方法、装置、设备和可读存储介质
CN111209916B (zh) * 2019-12-31 2024-01-23 中国科学技术大学 病灶识别方法及***、识别设备
CN111368685B (zh) * 2020-02-27 2023-09-29 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111368899B (zh) * 2020-02-28 2023-07-25 中国人民解放军南部战区总医院 一种基于递归聚合深度学习分割超声心动图的方法和***
CN111369565B (zh) * 2020-03-09 2023-09-15 麦克奥迪(厦门)医疗诊断***有限公司 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111523403B (zh) * 2020-04-03 2023-10-20 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN111429459A (zh) * 2020-04-07 2020-07-17 上海极链网络科技有限公司 一种端到端的联合分类的医学图像分割方法及***
CN111814833B (zh) * 2020-06-11 2024-06-07 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN111724365B (zh) * 2020-06-16 2021-11-09 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、***及装置
CN111681254A (zh) * 2020-06-16 2020-09-18 中国科学院自动化研究所 用于血管动脉瘤介入手术导航***的导管检测方法及***
CN111860233B (zh) * 2020-07-06 2021-05-18 中国科学院空天信息创新研究院 基于选择注意力网络的sar图像复杂建筑物提取方法及***
CN111986181B (zh) * 2020-08-24 2021-07-30 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和***
CN111931684B (zh) * 2020-08-26 2021-04-06 北京建筑大学 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN112837278B (zh) * 2021-01-25 2024-04-19 浙江工业大学 基于深度边界监督的牙齿全景片龋齿识别方法
CN113284088B (zh) * 2021-04-02 2024-03-29 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113129294A (zh) * 2021-04-28 2021-07-16 桂林电子科技大学 多尺度连接深度学习一步相位展开方法
CN113255766B (zh) * 2021-05-25 2023-12-22 平安科技(深圳)有限公司 一种图像分类方法、装置、设备和存储介质
CN113269794A (zh) * 2021-05-27 2021-08-17 中山大学孙逸仙纪念医院 一种图像区域分割方法、装置、终端设备及存储介质
CN113936220B (zh) * 2021-12-14 2022-03-04 深圳致星科技有限公司 图像处理方法、存储介质、电子设备及图像处理装置
CN114609631B (zh) * 2022-03-08 2023-12-22 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN114626470B (zh) * 2022-03-18 2024-02-02 南京航空航天大学深圳研究院 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN116189179B (zh) * 2023-04-28 2023-08-15 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
CN116363123B (zh) * 2023-05-23 2023-12-22 杭州华得森生物技术有限公司 对循环肿瘤细胞检测的荧光显微成像***及其方法
CN116309595B (zh) * 2023-05-23 2023-08-01 杭州华得森生物技术有限公司 Ctc智能全自动检测一体机及其方法
CN116434226B (zh) * 2023-06-08 2024-03-19 杭州华得森生物技术有限公司 循环肿瘤细胞分析仪

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192129B2 (en) * 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN108805209B (zh) * 2018-06-14 2021-11-19 清华大学深圳研究生院 一种基于深度学习的肺结节筛查方法
CN109034249B (zh) * 2018-07-27 2021-08-06 广州大学 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质
CN109101975B (zh) * 2018-08-20 2022-01-25 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109145920A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于深度神经网络的图像语义分割方法

Also Published As

Publication number Publication date
CN109886273A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109886273B (zh) 一种cmr图像分割分类***
CN109584246B (zh) 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别***、计算机设备、存储介质
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
Al-Kharraz et al. Automated system for chromosome karyotyping to recognize the most common numerical abnormalities using deep learning
CN111540467B (zh) 精神***症分类识别方法、运行控制装置及医疗设备
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
Bhatia et al. Retinal vessel extraction via assisted multi-channel feature map and U-net
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及***
CN111986189A (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN112750132A (zh) 基于双路径网络和通道注意的白细胞图像分割方法
CN113486752A (zh) 基于心电信号的情感识别方法及***
Sadeghibakhi et al. Multiple sclerosis lesions segmentation using attention-based CNNs in FLAIR images
CN114399465A (zh) 良恶性溃疡识别方法及***
CN116758336A (zh) 一种基于人工智能的医学图像智能分析***
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
Wen et al. ACSN: Attention capsule sampling network for diagnosing COVID-19 based on chest CT scans
CN114881105A (zh) 基于transformer模型和对比学习的睡眠分期方法及***
Mahapatra et al. CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis
Xia et al. Retinal vessel segmentation via a coarse-to-fine convolutional neural network
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
Mukherjee et al. Application of deep learning approaches for classification of diabetic retinopathy stages from fundus retinal images: a survey
Magpantay et al. A transfer learning-based deep CNN approach for classification and diagnosis of acute lymphocytic leukemia cells
CN114066850A (zh) 一种基于分类框架的图像二值化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant