CN113393469A - 基于循环残差卷积神经网络的医学图像分割方法和装置 - Google Patents
基于循环残差卷积神经网络的医学图像分割方法和装置 Download PDFInfo
- Publication number
- CN113393469A CN113393469A CN202110776917.0A CN202110776917A CN113393469A CN 113393469 A CN113393469 A CN 113393469A CN 202110776917 A CN202110776917 A CN 202110776917A CN 113393469 A CN113393469 A CN 113393469A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- medical
- layer
- separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 37
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000926 separation method Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 4
- 210000000056 organ Anatomy 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 201000003144 pneumothorax Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于循环残差卷积神经网络的医学图像分割方法,包括获取数据集,并将医学图像和基准真值图像组成图像对作为样本,构建样本集;基于嵌入残差卷积神经网络的U‑net网络结构,构建医学图像分隔训练***,包括用于提取医学图像特征信息的编码器,用于将医学图像特征信息进行融合得到清晰医学分隔图像的解码器;根据医学分隔图像和基准真值图像的交叉熵构建训练***的损失函数;利用样本集,采用损失函数对医学图像分隔训练***进行训练,训练结束时,提取确定参数的解码器和编码器作为医学图像分隔模型;本发明还提供了一种基于循环残差卷积神经网络的医学图像分割装置,该装置能够能够提供清晰分隔医学图像。
Description
技术领域
本发明属于数字图像领域,具体涉及一种基于循环残差卷积神经网络的医学图像分割方法和装置。
背景技术
医学影像学已成为诊断和医学干预的一个标准,它可以直观地反映器官和组织的功能。随着像X光片、磁共振成像这样的现代医学成像的可用性和使用率的增加,对扫描成像数据的自动化处理的需求非常强烈。
随着医学图像的快速增长,基于计算机的自动医学图像分析成为现代医学影像学的主要研究方向之一,然而,由于人体解剖结构的多样性和复杂性,医学图像分割一直是一个难题。
目前,医学图像的评价是由医生手工进行的,阅览大量医学图像并作出诊断对于医生来说是一件繁琐的任务,容易受到医生经验和疲劳程度的影响,通过计算机辅助诊断***有助于降低医生阅片负担和提高诊断准确率。
医学图像分割在临床诊断、医学研究、病理分析等方面具有很高的实用价值,具体表现有:(1)提取需要的区域信息,避免多余的区域对关键区域信息造成干扰;(2)用于测量病灶区域或人体器官的大小、体积、容积等,方便医生进行诊断前的定量分析;(3)用于在保持关键信息的前提下进行数据的压缩与传输,方便远程会诊;(4)建立医学数据库,用于医学研究及科研任务。
图像分割是将图片的前景与背景进行分离,从整个区域中检测出目标区域,从而可以进行下一步的图像处理操作,诸如图像配准与融合,分析和理解,语义识别,三维重建等。其中,医学图像分割对于辅助医生诊断是尤为重要的,医学影像分割是根据医学影像中的器官,组织或病变部分分离成不可相交的区域。传统的图像分割,这种方法通常是根据图像的灰度、纹理、颜色、空间结构等特性将图像分割不同的区域。如基于阀值的分割方法、基于边缘的分割方法、基于区域的分割方法,它们对不同类型的图像分割效果差异较大,且依赖于医生手动调整输入参数特性,对医生往往有较高的经验要求,而往往大部分医生都不具备充分的案例经验,导致传统图像分割的使用范围和性能都有一定限制,而且由于医学影像较为复杂,且对比度低,易受到噪声影响,存在边界不明显,人眼无法识别某些特征等特点,利用计算机分割医学影响的技术具有重要的研究意义和较高的应用价值。
发明内容
本发明提供一种能够提供清晰分隔医学图像的基于循环残差卷积神经网络的医学图像分割方法。
基于循环残差卷积神经网络的医学图像分割方法,包括:
(1)获取数据集,并将医学图像和对所述医学图像标准分隔后的基准真值图像(Ground Truth图像)组成图像对作为样本,构建样本集;
(2)基于嵌入残差卷积神经网络的U-net网络结构,构建医学图像分隔训练***,包括两个部分,第一部分为用于提取医学图像特征信息的编码器,第二部分为用于将医学图像特征信息进行融合得到清晰医学分隔图像的解码器;
(3)构建医学图像分隔训练***的损失函数,根据医学分隔图像和基准真值图像的交叉熵构建训练***的损失函数;
(4)利用样本集,采用损失函数对医学图像分隔训练***进行训练,训练结束时,提取确定参数的解码器和编码器作为医学图像分隔模型;
(5)应用时,将医学图像输入至医学图像分隔模型中,经计算输出清晰医学分隔图像。
本发明将残差卷积模块,以及U-net网络结构相结合,提取医学图像中的深层、浅层医学图像特征信息,通过全尺寸跳跃连接以及残差反循环卷积块,对所述医学图像特征信息进行逐层融合得到清晰,精确度较高的分割医学图像。
Ground Truth图像是经过专业医学机构或临床医生标注处理后的准确图像分割结果图,对于深度学习图像分割算法的性能评估主要通过将算法生成分割结果与GroundTruth进行对比来计算算法的准确性。
所述的编码器利用多个编码层实现对输入的医学图像逐层特征分解得到多尺寸医学图像特征信息,所述编码层包括残差卷积模块,用于将输入医学图像或上层编码层输入第一医学图像特征信息进行特征提取,然后将特征提取结果输入至池化层得到第二医学图像特征信息,并将第二医学图像特征信息输入至深层编码层。将输入医学图像编码成具有较低维数的大量特征图,增大感受野,更好的提取医学图像特征信息。
所述的残差卷积模块,包括多个带有Relu非线性激活函数的循环卷积模块,用于对输入医学图像提取低级特征信息,然后利用残差学习方法,将输入医学图像或上层编码层输入第一医学图像特征信息,低级特征信息进行融合得到第二医学图像特征信息。
经过循环卷积模块操作后得到的低级特征信息与输入图像进行融合操作,实现残差连通性,循环卷积层基于不同时间步长的特征积累保证了更好、更强的特征表示。因此,它有助于提取非常低级的特征,这些特征对于特征复杂的医学成图像分割任务提供了更加细节的特征,提高了分割医学图像的精准性。
所述的解码器利用多个解码层实现对多尺寸医学图像特征信息的融合得到清晰医学分隔图像,所述解码层用于将多尺寸医学图像特征信息和深层解码层输入的第一分割医学图像进行融合得到第二分割医学图像,并将第二分割医学图像输入至上层解码层。解码器的上采样操作将不同尺度的特征融合,还原出分割图像。
所述的解码层包括全尺寸跳跃连接,残差反卷积模块和池化层,全尺寸跳跃连接用于将编码层输入多尺度医学特征信息和深层解码层输入的第一分割医学图像进行特征融合得到融合特征图像,然后将融合特征图像发送至残差反卷积模块,残差反卷积模块用于将输入融合特征图像进行还原,将还原结果发送至池化层得到与对应编码层输入的第一医学图像特征信息相同尺寸的第二分割医学图像。
所述的全尺寸跳跃连接用于将编码层输入多尺度医学特征信息和深层解码层输入的第一分割医学图像进行特征融合具体步骤为:
将第一编码层输入的图像特征信息直接连接至第一解码层,所示第一编码层与第一解码层相对应;
将第二编码层输入的图像特征信息,采用非重叠的最大池方法跳跃连接至第一解码层,所述第二编码层位于第一编码层的上层;
将解码器内的第二解码层输入的第一分割医学图像通过双线性插值方法连接至所述第一解码层,所述第二解码层位于第一解码层的深层;
通过多个前向卷积层将输入的多尺度医学特征信息和第一分割医学图像的通道数进行统一,然后将统一结果输入至批量归一化和Relu非线性激层得到融合特征图像。
所述全尺度跳跃连接采用拼接操作,将下采样阶段得到的较小尺度特征与对应上采样层收到的大尺度特征融合,使得对于网络的每一个解码器层,都包含了来自编码器的小尺度和等尺度的特征映射以及来自解码器的大尺度特征映射,扩大了特征融合的范围,获得了更加细致的特征。
对训练***进行训练时,优化器采用adam,初始学习率设置为0.0002,然后每70个epoch衰减0.000003倍。
如果优化器adam中的reduction参数设置为“none”,所述的损失函数loss_d为:
loss-d=L={l1,...,lN}T
ln=-wn[yn·logxn+(1-yn)·log(1-xn)]
如果优化器adam中的reduction参数设置不为“none”,则:
其中,N为样本数,ln为第n个样本的损失函数,wn为第n个样本的权重,xn为样本集中第n个样本的清晰医学分隔图像,yn为样本集中第n个样本的医学图像标准分隔后的基准真值图像。
一种基于循环残差卷积神经网络的医学图像分割装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,所述计算机存储器中采用权利要求1~8任一项所述的医学图像分隔模型;
所述计算机处理器执行所述计算机程序时实现以下步骤:将医学图像输入至医学图像分隔模型中,经计算输出清晰医学分隔图像。
与现有技术相比,本发明的有益效果为:
(1)本发明提供的基于循环残差卷积神经网络的医学图像分割方法,通过使用残差卷积模块代替传统的前向卷积层,基于不同时间步长持续性提取图像特征,实现特征积累,有助于开发更有效的深层模型,保证了更好、更强的特征表示,残差单元的引入也有效避免了网络深度加深引发的网络退化问题。
(2)普通连接的U-Net网络缺乏从全尺度中获取足够信息的能力,缺乏来自编码器较小尺度与解码器较大尺度的特征信息,不能明确地了解器官的位置和边界。全尺度跳跃连接转换了编码器和解码器之间的互连以及解码器子网之间的内部连接,全尺度跳跃连接使得网络中每一个解码器层,都包含了来自编码器的小尺度和等尺度的特征映射以及来自解码器的大尺度特征映射,提高了图像分割准确性。
附图说明
图1是本发明实施例提供的卷积神经网络的结构示意图;
图2是本发明实施例提供的残差卷积模块的结构示意图;
图3是本发明实施例提供的循环卷积操作的展开流程;
图4是本发明实施例提供的全尺度跳跃连接的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚与明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
实施例提供了一种基于循环残差卷积神经网络的医学图像分割方法,包括以下步骤:
步骤1:收集不同器官或病理部位的医学图像以及其标准分割后的Ground Truth图像,并通过预处理方法,调整图像大小及分辨率。
具体过程为:
步骤1:收集医学图像(病理,器官)数据集,如肺部分割数据集,气胸分割数据集,皮肤瘢痕分割数据集等,请确保数据集为医学图像分割用途的数据集,除了用于网络训练的病理及器官部分的图像以外,应具备已经过医学验证的准确Ground Truth图像,并转换为常用图片格式,如jpg,png等,得到原始样本集;
步骤2:构建用于医学图像分割的循环残差卷积神经网络。
如图1所示,循环残差卷积神经网络包含编码器和解码器,其中,编码器用于对输入的医学图像进行下采样操作,提取图像特征,生成不同尺度特征图。编码器包括多个编码层,每个编码层包括残差卷积模块,Relu非线性激活函数,2×2最大池化层。解码器将编码器生成的大量具有较低维数的不同尺度的特征图进行特征融合,还原出分割图像。解码器包括多个解码层,每个解码层包括上采样层,残差循环反卷积块、Relu非线性激活函数、全尺度跳跃连接。
循环残差卷积神经网络的具体构建过程为:
步骤2.1:构建残差循环卷积模块。如图2所示,基于循环残差卷积神经网络的医学图像分割方法,在编码器(下采样)部分使用残差卷积模块,通过使用循环卷积操作基于不同时间步长持续性提取图像特征,输入图像首先经过两个卷积核为3×3的循环卷积层,图3表示了循环卷积操作在t=3时间步长上的展开流程,在t=0时将图像输入至循环卷积层,t=1时对图像进行第一次3×3前向卷积操作,t=2将输入图像以及第一次前向卷积操作的输出整体作为第二次前向卷积操作的输入,以此类推,t=3时的输出即为循环卷积层的输出。随后使用残差学习方法。将输入以及循环卷积层的输出直接构成一个大的残差单元。在没有残差单元之前可能会导致梯度消失或没有先验知识约束等,通过这种跳跃结构,可以加快网络收敛,从而使训练难度降低。
步骤2.2:构建网络编码器(下采样)部分。如图1所示,基于循环残差卷积神经网络的医学图像分割方法在编码器部分共有5编码层,每一编码层的内容包括3×3残差循环卷积模块,Relu非线性激活函数以及一个2×2池化层,下采样操作将输入图像编码成具有较低维数的大量特征图,增大感受野,提取更广泛的图像特征。
步骤2.3:构建网络解码器(上采样)部分。如图1所示,由于U-net的U形结构,基于循环残差卷积神经网络的医学图像分割方法在解码器中的解码层与编码器中的编码层一一对应,共有5层解码层,每一解码层的内容包括带残差循环3×3反卷积模块、Relu非线性激活函数、全尺寸层内跳跃连接,对于经过下采样操作得到的大量具有较低维数的特征图,上采样操作将不同尺度的特征融合,生成分割图像。
步骤2.4:构建全尺寸层内跳跃连接,全尺寸层内跳跃连接采用拼接(Concatenate)操作,如图4所示,来自编码器层的特征映射直接在对应解码器中接收;一组编码器-解码器之间的跳跃连接通过应用非重叠的最大池操作来传送来自较浅层编码器层的低层特征信息;而解码器内的一系列跳跃连接则从较深层的解码器层利用双线性插值传输高层特征信息。之后分别用64个3×3的前向卷积层统一这5种来自不同尺度的特征图的通道数。为了将浅层与深层信息进行无缝融合,进一步从5个尺度对拼接后的特征图进行了特征聚合操作,该部分由320个大小为3×3的卷积操作、批量归一化和ReLU激活函数组成。
步骤3:利用样本训练所述残差循环卷积网络优化网络参数,确定的网络参数与编码器,解码器组成图像分割模型。
具体过程为:
步骤3.1:构建预训练模型,基于循环残差卷积神经网络的医学图像分割方法,网络模型采用Adam优化器进行优化,初始学习率设置为0.0002,然后每70个epoch衰减0.000003倍,模型的损失函数(当reduction参数设置为“none”)设置为:
loss-d=L={l1,...,lN}T
ln=-wn[yn·logxn+(1-yn)·log(1-xn)]
如果优化器adam中的reduction参数设置不为“none”,则:
其中,N为样本数,ln为第n个样本的损失函数,wn为第n个样本的权重,xn为样本集中第n个样本的清晰医学分隔图像,yn为样本集中第n个样本的医学图像标准分隔后的基准真值图像。
步骤3.2:微调模型,通过加载在测试集中精度最高的模型,调整学习率和损失函数中的超参数,得到医学图像分割的结果。
步骤3.3:测试训练后模型的医学图像分割准确性,使用测试集验(未在训练集中出现)验证训练后模型的分割效果;通过和数据集携带的Ground Truth图像进行对比,计算准确度,从主观视觉效果及客观评价指标上对模型的去噪效果进行评估。
步骤4,应用时,将带有基准真值图像的医学图像(病理,器官)数据集,输入至医学图像分割模型中,经模型计算输出分割结果图像。
具体实验例
(1)选取实验数据
实验中选取了多个数据集,Kaggle SIIM-ACR气胸分段比赛的第1阶段训练数据集,包含12047张胸部X光片和12047张气胸Ground Truth图片;肺部分割数据集,包含694张肺部X光片以及肺部分割Ground Truth图片,来源https://www.kaggle.com/nikhilpandey360/chest-xray-masks-and-labels;ISIC2018数据集,包含2594张皮肤病变图片及对应Ground Truth图片。
(2)实验结果
按照上述基于循环残差卷积神经网络的医学图像分割方法中步骤训练基于循环残差卷积神经网络的医学图像分割网络,构造完模型后,通过加载训练模型中精度最高的模型进行微调,然后用验证集中的图片对模型性能进行验证,得到医学图像分割模型的分割准确准确率参数acc,通过acc的值来判断模型的性能优劣。从验证结果可知模型在初始的epoch中就取得了良好的效果,准确率达到90%以上,并且在之后的训练中保持。
Claims (9)
1.一种基于循环残差卷积神经网络的医学图像分割方法,其特征在于,包括:
(1)获取数据集,并将医学图像和对所述医学图像标准分隔后的第一基准真值图像组成图像对作为样本,构建样本集;
(2)基于嵌入残差卷积模块的U-net神经网络,构建医学图像分隔训练***,包括两个部分,第一部分为用于提取多尺寸医学图像特征信息的编码器,第二部分为用于将多尺寸医学图像特征信息进行融合得到清晰医学分隔图像的解码器;
(3)构建医学图像分隔训练***的损失函数,根据医学分隔图像和第一基准真值图像的交叉熵构建训练***的损失函数;
(4)利用样本集,采用损失函数对医学图像分隔训练***进行训练,训练结束时,提取确定参数的解码器和编码器作为医学图像分隔模型;
(5)应用时,将带有第二基准真值图像的医学图像输入至医学图像分隔模型中,经计算输出清晰医学分隔图像。
2.根据权利要求1所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,所述的编码器利用多个编码层实现对输入的医学图像逐层特征分解得到多尺寸医学图像特征信息,所述编码层包括残差卷积模块,用于将输入的医学图像或浅层编码层输入的第一医学图像特征信息进行特征提取,然后将特征提取结果输入至池化层得到第二医学图像特征信息,并将第二医学图像特征信息输入至下层编码层。
3.根据权利要求2所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,所述的残差卷积模块,包括多个带有Relu非线性激活函数的循环卷积模块,所述循环卷积模块用于对输入医学图像提取低级特征信息,然后将所述低级特征信息,输入的医学图像或浅层编码层输入的第一医学图像特征信息进行残差连接得到第二医学图像特征信息。
4.根据权利要求1所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,所述的解码器利用多个解码层实现对多尺寸医学图像特征信息的融合得到清晰医学分隔图像,其中,所述解码层用于将多尺寸医学图像特征信息和下层解码层输入的第一分割医学图像进行融合得到第二分割医学图像,并将第二分割医学图像输入至浅层解码层。
5.根据权利要求1或4所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,所述的解码层包括全尺寸跳跃连接,残差反卷积模块和池化层,全尺寸跳跃连接用于将编码层输入的多尺度医学特征信息和下层解码层输入的第一分割医学图像进行融合得到融合特征图像,然后将融合特征图像发送至残差反卷积模块,残差反卷积模块用于将输入融合特征图像进行还原,将还原结果发送至池化层得到与对应编码层输入的第一医学图像特征信息相同尺寸的第二分割医学图像。
6.根据权利要求5所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,所述的全尺寸跳跃连接用于将编码层输入多尺度医学特征信息和下层解码层输入的第一分割医学图像进行特征融合具体步骤为:
将第一编码层输入的图像特征信息直接连接至第一解码层,所示第一编码层与第一解码层相对应;
将第二编码层输入的图像特征信息,采用非重叠的最大池方法跳跃连接至第一解码层,所述第二编码层位于第一编码层的浅层;
将解码器内的第二解码层输入的第一分割医学图像通过双线性插值方法连接至所述第一解码层,所述第二解码层位于第一解码层的下层;
通过多个前向卷积层将输入的多尺度医学特征信息和第一分割医学图像的通道数进行统一,然后将统一结果输入至批量归一化和Relu非线性激层得到融合特征图像。
7.根据权利要求1所述的基于循环残差卷积神经网络的医学图像分割方法,其特征在于,对训练***进行训练时,优化器采用adam,初始学习率设置为0.0002,然后每70个epoch衰减0.000003倍。
9.一种基于循环残差卷积神经网络的医学图像分割装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,其特征在于,所述计算机存储器中采用权利要求1~8任一项所述的医学图像分隔模型;
所述计算机处理器执行所述计算机程序时实现以下步骤:将带有基准真值图像的医学图像输入至医学图像分隔模型中,经计算输出清晰医学分隔图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110776917.0A CN113393469A (zh) | 2021-07-09 | 2021-07-09 | 基于循环残差卷积神经网络的医学图像分割方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110776917.0A CN113393469A (zh) | 2021-07-09 | 2021-07-09 | 基于循环残差卷积神经网络的医学图像分割方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113393469A true CN113393469A (zh) | 2021-09-14 |
Family
ID=77625599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110776917.0A Pending CN113393469A (zh) | 2021-07-09 | 2021-07-09 | 基于循环残差卷积神经网络的医学图像分割方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113393469A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529825A (zh) * | 2022-04-24 | 2022-05-24 | 城云科技(中国)有限公司 | 用于消防通道占用目标检测的目标检测模型、方法及应用 |
CN114757938A (zh) * | 2022-05-16 | 2022-07-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和*** |
CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
CN115908204A (zh) * | 2023-02-21 | 2023-04-04 | 北京唯迈医疗设备有限公司 | 用于利用放射成像设备获取的医学图像的降噪处理方法、装置及介质 |
CN116912489A (zh) * | 2023-06-26 | 2023-10-20 | 天津师范大学 | 一种基于傅里叶先验知识的医学图像分割方法和*** |
CN117078692A (zh) * | 2023-10-13 | 2023-11-17 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
CN117670951A (zh) * | 2023-11-14 | 2024-03-08 | 北京长木谷医疗科技股份有限公司 | 基于多模态交叉注意力机制的膝关节图像配准方法及装置 |
WO2024108505A1 (zh) * | 2022-11-24 | 2024-05-30 | 深圳先进技术研究院 | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
CN111127490A (zh) * | 2019-12-31 | 2020-05-08 | 杭州电子科技大学 | 一种基于循环残差U-Net网络的医学图像分割方法 |
CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN112598650A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 眼底医学影像中视杯视盘的联合分割方法 |
CN113077471A (zh) * | 2021-03-26 | 2021-07-06 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
-
2021
- 2021-07-09 CN CN202110776917.0A patent/CN113393469A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
CN111127490A (zh) * | 2019-12-31 | 2020-05-08 | 杭州电子科技大学 | 一种基于循环残差U-Net网络的医学图像分割方法 |
CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN112598650A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 眼底医学影像中视杯视盘的联合分割方法 |
CN113077471A (zh) * | 2021-03-26 | 2021-07-06 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
Non-Patent Citations (2)
Title |
---|
MD ZAHANGIR ALOM: "Recurrent Residual Convolutional Neural Network based on U-Net(R2U-Net)for Medical Image Segmentation", 《ARXIV》 * |
黄慧敏: "UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation", 《ICASSP》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529825A (zh) * | 2022-04-24 | 2022-05-24 | 城云科技(中国)有限公司 | 用于消防通道占用目标检测的目标检测模型、方法及应用 |
CN114529825B (zh) * | 2022-04-24 | 2022-07-22 | 城云科技(中国)有限公司 | 用于消防通道占用目标检测的目标检测模型、方法及应用 |
CN114757938A (zh) * | 2022-05-16 | 2022-07-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和*** |
CN114757938B (zh) * | 2022-05-16 | 2023-09-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和*** |
CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
WO2024108505A1 (zh) * | 2022-11-24 | 2024-05-30 | 深圳先进技术研究院 | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 |
CN115908204A (zh) * | 2023-02-21 | 2023-04-04 | 北京唯迈医疗设备有限公司 | 用于利用放射成像设备获取的医学图像的降噪处理方法、装置及介质 |
CN116912489A (zh) * | 2023-06-26 | 2023-10-20 | 天津师范大学 | 一种基于傅里叶先验知识的医学图像分割方法和*** |
CN117078692A (zh) * | 2023-10-13 | 2023-11-17 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
CN117078692B (zh) * | 2023-10-13 | 2024-02-06 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
CN117670951A (zh) * | 2023-11-14 | 2024-03-08 | 北京长木谷医疗科技股份有限公司 | 基于多模态交叉注意力机制的膝关节图像配准方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
CN112766377B (zh) | 左心室磁共振影像智能分类方法、装置、设备和介质 | |
CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及*** | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
CN113496495A (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** | |
CN112862830A (zh) | 一种多模态图像分割方法、***、终端及可读存储介质 | |
CN112602114A (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN112465754A (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
CN115809998A (zh) | 基于E2C-Transformer网络的胶质瘤MRI数据分割方法 | |
CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及*** | |
CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |