CN114066905A - 一种基于深度学习的医学图像分割方法、***、装置 - Google Patents
一种基于深度学习的医学图像分割方法、***、装置 Download PDFInfo
- Publication number
- CN114066905A CN114066905A CN202111399439.2A CN202111399439A CN114066905A CN 114066905 A CN114066905 A CN 114066905A CN 202111399439 A CN202111399439 A CN 202111399439A CN 114066905 A CN114066905 A CN 114066905A
- Authority
- CN
- China
- Prior art keywords
- medical image
- feature
- network model
- segmentation
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims 2
- 241000282326 Felis catus Species 0.000 claims 1
- 238000004364 calculation method Methods 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明属于图像处理领域，具体涉及一种基于深度学习的医学图像分割方法、***、装置。该方法包括如下步骤：S1：构建一个包括特征提取模块、U‑net网络和特征融合模块的图像分割网络模型。特征提取模块采用ResNext101网络，U‑net网络模型包括编码器单元和解码器单元。特征融合模块用于特征提取模块和编码器提取的特征进行融合。S2：获取原始数据集并分类，得到训练集和测试集。S3：设定用于对网络模型进行训练的损失函数。S4：采用前述训练集和损失函数对网络模型进行训练。S5：采用测试集对网络模型进行测试，保存测试性能最佳的网络模型用于分割医学图像。本发明解决了现有图像分割方法存在的通用性较差，以及对尺度较大的医学图像的分割结果不精确的问题。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于深度学习的医学图像分割方法、***、装置。
背景技术
医学图像是临床医学诊断与治疗中一个重要的分析工具，运用医学图像分割技术可以快速地定位病变区域和分割出图像纹理，辅助医护人员作出精准的诊断。但是，传统的医学图像分割方法仍然存在数据集不足、图像分割难度大、分割精度不够高等问题，在低数据量情况下完成医学图像的精准分割成为亟待解决的难题。
现有的医学图像分割技术主要分为传统的图像分割方法和基于深度学习的分割方法。传统的图像分割方法主要有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法，等等。这些传统方法只能应用于特定的数据集以及特定的分割需求，并不具备对于多种医学图像数据集分割的通用性。基于深度学习的方法主要采用的是以U-Net为基础架构的分割网络，通过编码解码器的结构，扩大像素感受野并还原到原图像大小，融合图像浅层和深层空间上的信息进而得出目标区域的分割结果。但是对于尺度变化较大的医学图像，基于U-Net的医学图像分割方法仍然会产生分割结果不精确的问题。
发明内容
为了解决现有图像分割方法存在的通用性较差以及对尺度较大的医学图像的分割结果不精确的问题，本发明提供一种基于深度学习的医学图像分割方法、***、装置。
本发明采用以下技术方案实现：
一种基于深度学习的医学图像分割方法，该医学图像分割方法包括如下步骤：
S1：构建一个图像分割网络模型，图像分割网络模型包括特征提取模块、U-net网络和特征融合模块。特征提取模块采用ResNext101网络，特征提取模型的输入为待分割的医学图像，输出为经ResNext101网络提取出的不同尺度的第一特征。U-net网络模型包括编码器单元和解码器单元。编码器单元的输入为待分割的医学图像，输出为不同尺度的第二特征。特征融合模块用于对第一特征和第二特征进行卷积、池化、拼接，进而得到融合特征。融合特征通过跳跃连接的方式联合输入到U-net网络模型的解码器单元中。解码器单元的输入包括融合特征和解码器中前一层的上采样输出；解码器单元的最终输出为二值化的医学图像分割结果。
S2：获取用于对图像分割网络模型进行训练的原始数据集，对原始数据集进行分类，得到训练集和测试集。
S3：设定图像分割网络模型的参数进行联合优化的损失函数，损失函数包括传统的交叉熵损失函数和一种基于图像像素关联度的损失函数。
S4：采用步骤S2中的训练集和步骤S3中的损失函数，对构建的图像分割网络模型进行训练，得到参数全面优化调整的网络模型，保存该模型作为最终的分割网络。
S5：采用步骤S2中的测试集，对步骤S4中保存的完成训练的分割网络进行测试，根据测试结果确定图像分割网络模型的分割性能。保存测试性能最佳的网络模型，并使用该网络模型对待分割的医学图像进行分割处理。
本发明提供的医学图像分割方法中构建了一种新型的图像分割网络模型，该网络模型采用U-net网络中的解-编码结构作为基础网络，并增加了ResNext101网络对待分割的医学图像进行特征提取，将ResNext101网络提取的特征和U-net网络中解码器提取的特征进行融合融合特征作为编码器的联合输入。本发明提供图像分割网络通过对不同的特征进行多尺度融合，考虑到了图像空间特征上的联系，增大了特征像素的感受野，联合了图像中的原始信息，使得分割的结果更加精细化，同时克服了常规U-net网络对输入的医学图像尺寸的限制。
作为本发明进一步的改进，步骤S1中，ResNext101网络提取的第一特征包括四种不同尺度的特征图，分别为m1、m2、m3和m4。U-Net网络的编码器单元中包括四个不同尺度的卷积池化层模块，进而提取出的四个不同尺度的第二特征的特征图分别为n1、n2、n3和n4。第一特征和第二特征中的四个特征图的尺寸依次相对应。
作为本发明进一步的改进，步骤S1中，特征融合模块的处理过程如下：
首先，对编码层输入的第二特征分别进行1×1，3×3，5×5的卷积操作。然后对三种卷积操作的处理结果进行级联操作，并依次进行3×3的卷积处理和池化处理。接着，将池化处理的结果和ResNext101网络提取的对应的第一特征在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到融合特征。
作为本发明进一步的改进，特征融合处理过程的表达式如下：
pi＝Conv3{Cat[Conv1(ni),Conv3(ni),Conv5(ni)]}
outi＝Conv3{Cat[pool(pi),mi]}
其中，Conv1，Conv3，Conv5分别代表的就是卷积核大小为1×1、3×3、5×5的卷积操作。ni表示U-Net网络的编码器单元提取的不同尺度的第二特征，i＝1、2、3、4。Cat表示特征图在通道空间上的拼接；pool表示池化操作。
作为本发明进一步的改进，图像分割网络模型的输出包括两个部分，一部分是输出的医学图像的分割结果，另一部分输出是医学图像以及编码器单元第一层联合之后的特征图。后者即是用来计算图像像素关联度损失函数的特征图结果，即下文提到的嵌入层特征。
作为本发明进一步的改进，步骤S3中，交叉熵损失函数用于优化全局网络模型参数，损失的目标即为使得分割结果接近给出的标签结果，然后通过反向传播的方式优化整个网络参数；交叉熵损失函数的表示式如下：
上式中，yi代表医学图像分割的输出结果，p(yi)表示对应的分割结果中分割预测正确的概率。
作为本发明进一步的改进，步骤S4中，基于图像像素关联度的损失函数用来计算每一个像素点和其周围邻域之间的关联关系，位于同一类上的像素对应该产生相似的特征空间；对于任意的两个像素索引i和j，输出对应的特征为ei和ej，其对应的对象标签分别为Ii和Ij；优化的目标是对于相同标签的特征，要拉近特征间的差异；而对于不同的标签特征，要使得特征之间的差异性增大；图像像素关联度的损失函数的表达式如下：
上式中，||·||表示向量范数，α和β来分别代表特征远近的阈值大小，α和β的阈值大小分别为0.5和2。
其中，为了评价整体的嵌入层特征，需要计算每一个特征与其周围的特征关系，对于所有的损失进行求和，求和公式如下：
上式中，j∈Ni表示迭代索引i的空间领域，在实验上采用每一个像素点的八邻域特征做特征的关联度计算，通过随机梯度下降的方式来最小化这种损失，从而优化网络模型的分割结果。
在网络上模型的训练过程中，本发明使用了联合的损失函数，一部分是采用交叉熵损失函数，该该函数可以突出特征像素和标签像素的距离差异，用来优化整体的网络结构参数，另一部分提出的新颖的像素关联度损失，该损失函数可以考虑输出的分割结果中像素领域之间的关联关系，目的是增大像素类间差异，同时缩小像素的类内差异，锐化实验的分割效果。
本发明还包括一种基于深度学习的医学图像分割***，该***用于采用如前述的基于深度学习的医学图像分割方法，对输入的待分割的医学图像进行分割处理，进而得到目标区域的分割结果。该医学图像分割***包括：图像获取模块、特征提取模块，U-net网络模型，特征融合模块，以及优化处理模块。
其中，图像获取模块中包括优化通道和应用通道。优化通道用于获取训练或测试用医学图像的数据集，进而利用数据集对医学图像分割***中的其它模块进行训练和测试，优化医学图像分割***中的各个网络模型的参数；应用通道用于获取待分割的医学图像，然后利用优化后的网络模型对医学图像进行分割处理。
特征提取模块采用ResNext101网络特征提取的核心网络。特征提取模块用于对输入的医学图像进行多层次的特征提取，进而得到对个不同尺度的第一特征图。
U-net网络模型包括编码器单元和解码器单元。编码器单元中包括多个不同尺度的卷积池化层，编码器单元的输入为待分割的医学图像，输出为多个不同尺度的第二特特征图。第一特征图和第二特征图按照对应尺度进行特征融合并作为解码器单元的部分输入。解码器单元的输入包括编码器单元的输出以及特征融合的结果，解码器单元的输出包括两个部分：分别是医学图像的分割结果，以及医学图像以及编码器单元第一层联合之后的特征图。
特征融合模块用于对第二特征图先分别进行1×1，3×3，5×5的卷积操作。然后对三种卷积操作的处理结果进行级联操作。并依次进行3×3的卷积处理和池化处理。接着，将池化处理的结果和对应尺度的第二特征图在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到所需的融合特征。融合特征通过跳跃连接的方式输入到U-net网络模型的解码器单元中作为联合输入。
优化处理模块采用交叉熵损失函数和基于图像像素关联度的损失函数作为医学图像分割***的损失函数，并利用优化通道中获取的数据集对医学图像分割***进行训练和测试，同时优化整体的网络结构参数以及最终的分割效果，得到完成训练的优化后的网络模型。
作为本发明进一步的改进，特征提取模块提取的第一特征图的尺度包括四种，U-net网络模型的编码器单元提取的第二特征图的尺度也包括四种。且第一特征图和第二特征图中的尺度层级一一对应。
本发明还包括一种基于深度学习的医学图像分割装置，该装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如前述的基于深度学习的医学图像分割方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明提供的一种基于深度学习的医学图像分割方法中构建了一个结合了ResNext101网络的改进型的U-net网络，该网络模型克服了传统U型网络对输入图像的尺寸限制，解决了医学图像分割领域中当图像尺度变化较大时，存在的分割结果不精确的问题。同时，在构建的网络模型中，还引入特征融合模块对ResNext101网络和U-net网络的编码器提取的特征进行融合处理，进而使得网络模型的处理过程中能够考虑到图像空间特征上的联系，增大特征像素的感受野，联合图像中的原始信息，使得分割的结果更加精细化。
本发明中还采用包含交叉熵损失函数和图像像素关联度损失函数的联合损失函数，对构建的网络模型进行优化训练。训练过程中，前者是通过突出特征像素和标签像素的距离差异，来优化整体的网络结构参数。后者则考虑到分割结果中像素领域之间的关联关系，增大像素类间差异，同时缩小像素的类内差异；进而锐化网络模型的图像分割效果。
经过对不同来源的数据集进行测试后发现，本发明提供的方法中构建的图像分割网络模型还具有很好的泛化性能，对于各类不同的医学图像均表现出较好的分割效果。适于在临床诊断过程中进行应用，为医生的诊断过程提供辅助。
附图说明
图1为本发明实施例1中提供的一种基于深度学习的医学图像分割方法的步骤流程图。
图2为本发明实施例1中构建的图像分割网络模型的框架简图。
图3为本发明实施例1中特征融合模块的结构示意图。
图4为本发明实施例2中提供的基于深度学习的医学图像分割***的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种基于深度学习的医学图像分割方法，如图1所示，该医学图像分割方法包括如下步骤：
S1：构建一个图像分割网络模型，图像分割网络模型包括特征提取模块、U-net网络和特征融合模块。特征提取模块采用ResNext101网络，特征提取模型的输入为待分割的医学图像，输出为经ResNext101网络提取出的不同尺度的第一特征。如图2所示，U-net网络模型包括编码器单元和解码器单元。编码器单元的输入为待分割的医学图像，输出为不同尺度的第二特征。特征融合模块用于对第一特征和第二特征进行卷积、池化、拼接，进而得到融合特征。融合特征通过跳跃连接的方式联合输入到U-net网络模型的解码器单元中。解码器单元的输入包括融合特征和解码器中前一层的上采样输出；解码器单元各层的输出为每一个特征进行拼接、卷积、上采样的结果。整个解码器模块的最终输出为二值化的结果图。
其中，ResNext101网络提取的第一特征包括四种不同尺度的特征图，分别为m1、m2、m3和m4。U-Net网络的编码器单元中包括四个不同尺度的卷积池化层模块，进而提取出的四个不同尺度的第二特征的特征图分别为n1、n2、n3和n4。第一特征和第二特征中的四个特征图的尺寸依次相对应。
如图3所示，特征融合模块的处理过程如下：
首先，对编码层输入的第二特征分别进行1×1，3×3，5×5的卷积操作。然后对三种卷积操作的处理结果进行级联操作，并依次进行3×3的卷积处理和池化处理。接着，将池化处理的结果和ResNext101网络提取的对应的第一特征在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到融合特征。
特征融合处理过程的表达式如下：
pi＝Conv3{Cat[Conv1(ni),Conv3(ni),Conv5(ni)]}
outi＝Conv3{Cat[pool(pi),mi]}
其中，Conv1，Conv3，Conv5分别代表的就是卷积核大小为1×1、3×3、5×5的卷积操作。ni表示U-Net网络的编码器单元提取的不同尺度的第二特征，i＝1、2、3、4。Cat表示特征图在通道空间上的拼接；pool表示池化操作
图像分割网络模型的输出包括两个部分，一部分是输出的医学图像的分割结果，另一部分是医学图像以及编码器单元第一层联合之后的特征图；后者即是用来计算图像像素关联度损失函数的特征图结果，即下文提到的嵌入层特征，特征数据的传递关系具体如图2所示。
S2：获取用于对图像分割网络模型进行训练的原始数据集，对原始数据集进行分类，得到训练集和测试集。
S3：设定图像分割网络模型的参数进行联合优化的损失函数，损失函数包括传统的交叉熵损失函数和一种基于图像像素关联度的损失函数。
S4：采用步骤S2中的训练集和步骤S3中的损失函数，对构建的图像分割网络模型进行训练，得到参数全面优化调整的网络模型，保存该模型作为最终的分割网络。
S5：采用步骤S2中的测试集，对步骤S4中保存的完成训练的分割网络进行测试，根据测试结果确定图像分割网络模型的分割性能。保存测试性能最佳的网络模型，并使用该网络模型对待分割的医学图像进行分割处理。
以下针对本实施例中图像分割网络模型详细的处理过程，对该网络模型的特性进行更清楚的说明。
首先，将输入的待分割的医学图像送到ResNext101网络中进行特征提取，ResNext101网络提取出的特征图包括四个不同的层级，按照由浅至深的顺序分别包括m1、m2、m3和m4，这四个层级特征图分别对于本实施例中图像分割网络模型中U-net网解码器的四个不同的layer层的输出。
其次，输入的待分割的医学图像还经过U-net网络的编码器的四个不同尺度的卷积池化层处理后，得到四个不同尺度特征图为n1、n2、n3和n4。U-net网络中编码器的输出和前面的ResNext101网络的输出均输入到特征融合模块中进行特征融合处理。
在特征融合模块中，如图3所示，特征融合模块首先对于编码器输入的特征图分别进行1×1，3×3，5×5的卷积操作，以此来扩大特征感受野，然后将三个层次的卷积结果进行级联操作后，再进行3×3的卷积处理和池化操作；池化完成后的特征为Pi，将输出的特征Pi和ResNext101网络提取出的不同尺度的特征mi在通道空间上进行特征拼接。最后通过3×3的卷积处理恢复为原始输入的通道大小，最终特征融合模块输出的融合特征为outi。本实施例在特征融合过程中，采用残差网络的方式保留了特征的细节信息，同时便于网络的反向传播和网络参数的优化。
本实施例中，如图2所示，特征融合模块输出的融合特征outi通过跳跃连接的方式，连接到U-net网络中对应的解码器中处理，实现对特征中细节信息的保留。
接着，本实施例还采用两种不同的损失函数联合对图像分割网络模型的参数进行优化。具体地，对于医学图像的分割结果res采用传统的交叉熵损失进行逐像素的差异计算，具体的公式如下所示：
其中，yi代表医学图像分割的输出结果，p(yi)表示对应的分割结果中分割预测正确的概率。
该损失函数的目标就是使得分割结果接近给出的标签结果，然后通过反向传播的方式优化整个网络参数。
此外，本实施例还提出一种基于图像像素关联度的损失函数来计算每一个像素点和其周围邻域之间的关联关系；使得位于同一类上的像素对应产生相似的特征空间。对于任意的两个像素索引i和j，输出对应的特征为ei和ej，其对应的对象标签分别为Ii和Ij。该损失函数优化的目标是对于相同标签的特征，拉近特征间的差异；而对于不同的标签特征，使得特征之间的差异性增大。发明使用α和β来分别代表特征远近的阈值大小，优化的损失函数如下所示：
其中，||·||表示向量范数，α和β的阈值大小分别为0.5和2。
通过该损失函数优化后，图像分割网络模型在处理图像分割问题时，当特征相近时，能够拉近特征间距离；当特征差异较大时，会拉大特征距离，进而达到锐化分割效果，使得分割结果更加精细的效果。
为了评价整体的嵌入层特征，需要计算每一个特征与其周围的特征关系，对于所有的损失进行求和，公式如下：
上式中，j∈Ni表示迭代索引i的空间领域，在实验上采用每一个像素点的八邻域特征做特征的关联度计算，通过随机梯度下降的方式来最小化这种损失，从而优化模型的分割结果。
对于构建完成的图像分割网络模型，还需要进行训练和测试，优化网络模型的参数。本实施例的模型的整体训练流程过程中，输入的医学图像首先经过预训练的ResNext101网络，提取出不同尺度大小的特征图，作为特征融合模块的部分输入。本实施例中使用预训练模型能够极大缩短实验的训练时间，提升实验的效率。另一部分是U-Net主体网络模型的训练，医学图像输入到U-Net网络，从浅层次的特征空间到深层次的特征空间，使得特征具有上下文的感知能力，通过解码器上采样还原特征尺度，最终得到分割结果。本实施例中使用交叉熵损失函数来优化全局网络模型参数，并通过图像像素关联度的损失函数来优化部分的网络模型参数，二者结合使得图像分割网络模型的分割结果更加精细准确。
模型的测试流程是使用上述已训练完成的网络模型去测试测试集中的医学图像，整体流程同上述一致，当得到分割结果后，不再需要使用提出的损失函数对于网络参数进行优化调整，从而完成了测试结果的输出。本实施例最终的模型性能测试结果显示：本实施例提供的医学图像分割网络模型，对于多种不同的医学图像数据集，都能够达到很好的分割结果，图像分割的准确率好于传统的U型网络。
实施例2
本实施例提供一种基于深度学习的医学图像分割***，该***用于采用如实施例1中的的基于深度学习的医学图像分割方法，对输入的待分割的医学图像进行分割处理，进而得到目标区域的分割结果。如图4所示，该医学图像分割***包括：图像获取模块、特征提取模块，U-net网络模型，特征融合模块，以及优化处理模块。
其中，图像获取模块中包括优化通道和应用通道。优化通道用于获取训练或测试用医学图像的数据集，进而利用数据集对医学图像分割***中的其它模块进行训练和测试，优化医学图像分割***中的各个网络模型的参数；应用通道用于获取待分割的医学图像，然后利用优化后的网络模型对医学图像进行分割处理。
特征提取模块采用ResNext101网络特征提取的核心网络。特征提取模块用于对输入的医学图像进行多层次的特征提取，进而得到对个不同尺度的第一特征图。
U-net网络模型包括编码器单元和解码器单元。编码器单元中包括多个不同尺度的卷积池化层，编码器单元的输入为待分割的医学图像，输出为多个不同尺度的第二特特征图。第一特征图和第二特征图按照对应尺度进行特征融合并作为解码器单元的部分输入。解码器单元的输入包括编码器单元的输出以及特征融合的结果，解码器单元的输出包括两个部分：分别是医学图像的分割结果，以及医学图像以及编码器单元第一层联合之后的特征图。
特征融合模块用于对第二特征图先分别进行1×1，3×3，5×5的卷积操作。然后对三种卷积操作的处理结果进行级联操作。并依次进行3×3的卷积处理和池化处理。接着，将池化处理的结果和对应尺度的第二特征图在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到所需的融合特征。融合特征通过跳跃连接的方式输入到U-net网络模型的解码器单元中作为联合输入。
优化处理模块采用交叉熵损失函数和基于图像像素关联度的损失函数作为医学图像分割***的损失函数，并利用优化通道中获取的数据集对医学图像分割***进行训练和测试，同时优化整体的网络结构参数以及最终的分割效果，得到完成训练的优化后的网络模型。
其中，特征提取模块提取的第一特征图的尺度包括四种，U-net网络模型的编码器单元提取的第二特征图的尺度也包括四种。且第一特征图和第二特征图中的尺度层级一一对应。
实施例3
本实施例提供一种基于深度学习的医学图像分割装置，该装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如实施例1中的基于深度学习的医学图像分割方法的步骤。
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过***总线相互通信连接的存储器、处理器。
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作***和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现前述实施例中的基于深度学习的医学图像分割方法的处理过程，从而根据给出的医学图像，得到医学图像中目标区域的分割结果。
本市实施提供的一种基于深度学习的医学图像分割装置至少应当包括，或者是连接有一个显示模块，用于显示输入到的待分割的医学图像，以及显示图像分割网络模型的分割结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的医学图像分割方法，其特征在于，所述医学图像分割方法包括如下步骤：
S1：构建一个图像分割网络模型，所述图像分割网络模型包括特征提取模块、U-net网络和特征融合模块；所述特征提取模块采用ResNext101网络，特征提取模型的输入为待分割的医学图像，输出为经ResNext101网络提取出的不同尺度的第一特征；所述U-net网络模型包括编码器单元和解码器单元；所述编码器单元的输入为待分割的医学图像，输出为不同尺度的第二特征；所述特征融合模块用于对所述第一特征和第二特征进行卷积、池化、拼接，进而得到融合特征；所述融合特征通过跳跃连接的方式联合输入到所述U-net网络模型的解码器单元中；所述解码器单元的输入包括所述融合特征和所述解码器中前一层的上采样输出；所述解码器单元的最终输出为二值化的医学图像分割结果；
S2：获取用于对所述图像分割网络模型进行训练的原始数据集，对原始数据集进行分类，得到训练集和测试集；
S3：设定图像分割网络模型的参数进行联合优化的损失函数，所述损失函数包括传统的交叉熵损失函数和一种基于图像像素关联度的损失函数；
S4：采用步骤S2中的训练集和步骤S3中的损失函数，对构建的所述图像分割网络模型进行训练，得到参数全面优化调整的网络模型，保存该模型作为最终的分割网络；
S5：采用步骤S2中的测试集，对步骤S4中保存的完成训练的分割网络进行测试，根据测试结果确定所述图像分割网络模型的分割性能；保存测试性能最佳的网络模型，并使用该网络模型对待分割的医学图像进行分割处理。
2.如权利要求1所述的基于深度学习的医学图像分割方法，其特征在于：步骤S1中，所述ResNext101网络提取的第一特征包括四种不同尺度的特征图，分别为m1、m2、m3和m4；所述U-Net网络的编码器单元中包括四个不同尺度的卷积池化层模块，进而提取出的四个不同尺度的第二特征的特征图分别为n1、n2、n3和n4；所述第一特征和第二特征中的四个特征图的尺寸依次相对应。
3.如权利要求1所述的基于深度学习的医学图像分割方法，其特征在于：步骤S1中，所述特征融合模块的处理过程如下：
首先，对所述编码层输入的第二特征分别进行1×1，3×3，5×5的卷积操作；然后对三种卷积操作的处理结果进行级联操作，并依次进行3×3的卷积处理和池化处理；接着，将池化处理的结果和所述ResNext101网络提取的对应的第一特征在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到所述融合特征。
4.如权利要求3所述的基于深度学习的医学图像分割方法，其特征在于：特征融合处理过程的表达式如下：
pi＝Conv3{Cat[Conv1(ni),Conv3(ni),Conv5(ni)]}
outi＝Conv3{Cat[pool(pi),mi]}
其中，Conv1，Conv3，Conv5分别代表的就是卷积核大小为1×1、3×3、5×5的卷积操作；ni表示U-Net网络的编码器单元提取的不同尺度的第二特征，i＝1、2、3、4；Cat表示特征图在通道空间上的拼接；pool表示池化操作。
5.如权利要求1所述的基于深度学习的医学图像分割方法，其特征在于：所述图像分割网络模型的输出包括两个部分，一部分是输出的医学图像的分割结果，另一个是医学图像与编码器单元第一层联合之后的特征图，该特征图用于计算图像像素关联度的损失函数。
6.如权利要求5所述的基于深度学习的医学图像分割方法，其特征在于：步骤S3中，所述交叉熵损失函数用于优化全局网络模型参数，损失的目标即为使得分割结果接近给出的标签结果，然后通过反向传播的方式优化整个网络参数；所述交叉熵损失函数的表示式如下：
上式中，yi代表医学图像分割的输出结果，p(yi)表示对应的分割结果中分割预测正确的概率。
7.如权利要求1所述的基于深度学习的医学图像分割方法，其特征在于：步骤S4中，基于图像像素关联度的损失函数用来计算每一个像素点和其周围邻域之间的关联关系，使得位于同一类上的像素对应产生相似的特征空间；对于任意的两个像素索引i和j，输出对应的特征为ei和ej，其对应的对象标签分别为Ii和Ij；优化的目标是对于相同标签的特征，要拉近特征间的差异；而对于不同的标签特征，要使得特征之间的差异性增大；所述图像像素关联度的损失函数的表达式如下：
上式中，||·||表示向量范数，α和β来分别代表特征远近的阈值大小，α和β的阈值大小分别为0.5和2；
其中，为了评价整体的嵌入层特征，需要计算每一个特征与其周围的特征关系，对于所有的损失进行求和，求和公式如下：
上式中，j∈Ni表示迭代索引i的空间领域，在实验上采用每一个像素点的八邻域特征做特征的关联度计算，通过随机梯度下降的方式来最小化这种损失，从而优化网络模型的分割结果。
8.一种基于深度学习的医学图像分割***，其特征在于，其用于采用如权利要求1-7任意一项所述的基于深度学习的医学图像分割方法，对输入的待分割的医学图像进行分割处理，进而得到目标区域的分割结果；所述医学图像分割***包括：
图像获取模块，其包括优化通道和应用通道；所述优化通道用于获取训练或测试用医学图像的数据集，进而利用所述数据集对医学图像分割***中的其它模块进行训练和测试，优化医学图像分割***中的各个网络模型的参数；所述应用通道用于获取待分割的医学图像，然后利用优化的网络模型对医学图像进行分割处理；
特征提取模块，其采用ResNext101网络特征提取的核心网络；所述特征提取模块用于对输入的医学图像进行多层次的特征提取，进而得到对个不同尺度的第一特征图；
U-net网络模型，其包括编码器单元和解码器单元；所述编码器单元中包括多个不同尺度的卷积池化层，所述编码器单元的输入为待分割的医学图像，输出为多个不同尺度的第二特特征图；所述第一特征图和第二特征图按照对应尺度进行特征融合并作为所述解码器单元的部分输入；所述解码器单元的输入包括编码器单元的输出以及特征融合的结果，所述解码器单元的输出包括两个部分：分别是医学图像的分割结果，以及医学图像与编码器单元第一层联合之后的特征图；
特征融合模块，其用于对第二特征图先分别进行1×1，3×3，5×5的卷积操作；然后对三种卷积操作的处理结果进行级联操作，并依次进行3×3的卷积处理和池化处理；接着，将池化处理的结果和对应尺度的第二特征图在通道空间上进行拼接，最后对拼接的结果再进行3×3的卷积处理得到所需的融合特征；所述融合特征通过跳跃连接的方式输入到所述U-net网络模型的解码器单元中作为联合输入；以及
优化处理模块，其采用交叉熵损失函数和基于图像像素关联度的损失函数作为医学图像分割***的损失函数，并利用优化通道中获取的数据集对医学图像分割***进行训练和测试，同时优化整体的网络结构参数以及最终的分割效果，得到完成训练的优化后的网络模型。
9.如权利要求8所述的基于深度学习的医学图像分割***，其特征在于：所述特征提取模块提取的第一特征图的尺度包括四种，所述U-net网络模型的编码器单元提取的第二特征图的尺度也包括四种；且所述第一特征图和第二特征图中的尺度层级一一对应。
10.一种基于深度学习的医学图像分割装置，其特征在于：其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任意一项所述的基于深度学习的医学图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111399439.2A CN114066905A (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的医学图像分割方法、***、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111399439.2A CN114066905A (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的医学图像分割方法、***、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066905A true CN114066905A (zh) | 2022-02-18 |
Family
ID=80276040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111399439.2A Pending CN114066905A (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的医学图像分割方法、***、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066905A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN117115444A (zh) * | 2023-09-08 | 2023-11-24 | 北京卓视智通科技有限责任公司 | 一种多任务图像分割方法、***、计算机设备和存储介质 |
-
2021
- 2021-11-19 CN CN202111399439.2A patent/CN114066905A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN117115444A (zh) * | 2023-09-08 | 2023-11-24 | 北京卓视智通科技有限责任公司 | 一种多任务图像分割方法、***、计算机设备和存储介质 |
| CN117115444B (zh) * | 2023-09-08 | 2024-04-16 | 北京卓视智通科技有限责任公司 | 一种多任务图像分割方法、***、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理*** | |
| WO2022001623A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| AU2019268184B2 (en) | Precise and robust camera calibration | |
| CN114066902A (zh) | 一种基于卷积和transformer融合的医学图像分割方法、***、装置 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN118334070A (zh) | 用于在图像分析中进行解剖结构分割的***和方法 | |
| CN113159056B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN114066905A (zh) | 一种基于深度学习的医学图像分割方法、***、装置 | |
| WO2022032824A1 (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN113326851B (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| CN112614144A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN112465834A (zh) | 一种血管分割方法及装置 | |
| CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
| CN116205967A (zh) | 医学影像语义分割方法、装置、设备及介质 | |
| CN111192320B (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN115880317A (zh) | 一种基于多分支特征融合精炼的医学图像分割方法 | |
| CN110992439B (zh) | 纤维束追踪方法、计算机设备和存储介质 | |
| CN115100185A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Jiang et al. | TransCUNet: UNet cross fused transformer for medical image segmentation | |
| CN110992310A (zh) | 一种确定纵隔***所在分区的方法及装置 | |
| CN114463856A (zh) | 姿态估计模型的训练与姿态估计方法、装置、设备及介质 | |
| CN112766314B (zh) | 解剖结构的识别方法、电子设备及存储介质 | |
| CN111582449B (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |