CN115115648A - 一种结合UNet和体绘制先验知识的脑组织分割方法 - Google Patents
一种结合UNet和体绘制先验知识的脑组织分割方法 Download PDFInfo
- Publication number
- CN115115648A CN115115648A CN202210701401.4A CN202210701401A CN115115648A CN 115115648 A CN115115648 A CN 115115648A CN 202210701401 A CN202210701401 A CN 202210701401A CN 115115648 A CN115115648 A CN 115115648A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- module
- input
- multiplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 63
- 210000005013 brain tissue Anatomy 0.000 title claims abstract description 32
- 238000009877 rendering Methods 0.000 title claims abstract description 25
- 210000004556 brain Anatomy 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012546 transfer Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 76
- 238000010606 normalization Methods 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 31
- 210000001175 cerebrospinal fluid Anatomy 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 24
- 210000004885 white matter Anatomy 0.000 claims description 23
- 210000004884 grey matter Anatomy 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000003625 skull Anatomy 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 101100065248 Neosartorya fumigata (strain ATCC MYA-4609 / Af293 / CBS 101355 / FGSC A1100) encB gene Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种结合UNet和体绘制先验知识的脑组织分割方法，属于医学图像分割技术领域。该方法包括：获取脑部医学图像数据集，并做必要的预处理；将数据集划分为训练集和测试集；设置体绘制不透明度传输函数，计算脑部医学图像的不透明度先验知识；构造UNet型卷积神经网络模型；使用训练集数据按照交叉熵损失函数训练模型；将脑部医学图像及其先验知识输入模型，得到模型输出的分割结果。本发明方法能够借助脑部医学图像的体绘制不透明度先验知识，提升脑组织的分割精度和准确度，获得更接近真值的脑组织分割结果。
Description
技术领域
本发明涉及一种从脑部医学图像中分割脑组织的方法，特别涉及一种结合UNet和体绘制先验知识的脑组织分割方法，属于医学图像分割技术领域。
背景技术
脑组织分割(Brain Tissue Segmentation)是脑部医学图像分析领域的基本任务之一，主要目标是将灰质(Gray Matter，GM)、白质(White Matter，WM)以及脑脊液(Cerebrospinal Fluid，CSF)等组织从脑部MR图像中分离开来，从而为后续的脑组织体积量化和大脑解剖结构分析等工作提供基础。
目前已有不少脑组织分割方法。这些方法可大致分为传统的非深度学习方法以及基于深度学习的方法。
传统的非深度学习方法受限于人工特征提取与分析，分割精度有限。基于深度学习的方法，通过深度神经网络从大量训练数据中自动学习数据特征，避免了人工特征分析的局限性，因而取得了比传统方法更高的分割精度。其中备受关注的是Ronneberger等人提出的UNet模型(Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks forBiomedical Image Segmentation.Springer International Publishing,2015.)
为了进一步提高分割精度，大部分基于深度学习的方法都引入了注意力机制。注意力机制的基本思想是：通过网络的学习和训练，为输入数据的各个部分赋予不同的权重，以此帮助网络抑制非重要的特征，强调重要的特征，从而提升分割精度。基于这一思想，Ozan Oktay等人提出了一种基于空间注意力机制的AttentionUNet模型(Oktay O,Schlemper J,Folgoc L L,et al.Attention u-net:Learning where to look for thepancreas.ArXiv,2018.)。该模型在UNet的基础上添加了注意力门(Attention Gate)，注意力门能控制各空间位置特征图的重要性，从而提升网络的分割精度。
然而，在实际的脑组织分割任务中，AttentionUNet通过学习得到的注意力权重，并没有按照预期的那样对每个类别做单独的特征强化。这意味着，在脑组织分割任务中，AttentionUNet通过学习得到的注意力权重并没有很好地关注到分割目标的信息。其结果是AttentionUNet虽然能够在一定程度上提升分割效果，但是提升的空间非常有限。
发明内容
为解决上述问题，本发明提供一种结合UNet和体绘制先验知识的脑组织分割方法。该方法将对脑部医学图像进行体绘制可视化时的不透明度先验知识，融入UNet型脑组织分割神经网络模型，直接将先验知识作为注意力权重，以此帮助网络在学习的过程中抑制非重要特征而强调重要特征，从而提高脑组织的分割精度和准确度。
本发明的目的是通过以下技术方案实现的。
一种结合UNet和体绘制先验知识的脑组织分割方法，包括以下步骤：
步骤1：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求。
预处理可能包含数据格式转换、数据裁剪与合并、数据增强、数据扩充、数据归一化、颅骨去除以及人工标注等操作。在实际应用中，具体的预处理操作依脑部医学图像的实际情况而定。如果脑部医学图像已经部分或全部满足神经网络处理要求，则可省略部分或全部预处理操作。
步骤2：将脑部医学图像数据集划分为训练集S和测试集T。
步骤3：分别针对脑脊液、灰质和白质设置体绘制不透明度传输函数，并依据不透明度传输函数，计算脑部医学图像的不透明度先验知识OTFCSF、OTFGM和OTFWM。
步骤4：令BS为从训练数据集S中采样的脑部医学图像块，BS的大小为H×W×D，依据BS的大小构造UNet型的卷积神经网络模型M，并对M进行随机初始化；其中模型M的网格结构和构造方法如下：
模型M包括一个初始化模块、四个编码器模块、四个解码器模块、四个先验知识模块以及一个分类预测模块。各模块的连接关系如下：
初始化模块InitB的输入是大小为H×W×D的三维脑部医学图像块，输出为32×H×W×D的聚合特征图。
初始化模块InitB的输出经最大池化层处理后作为编码器模块EncB1的输入；EncB1的输出经最大池化层处理后作为编码器模块EncB2的输入；EncB2的输出经最大池化层处理后作为编码器模块EncB3的输入；EncB3的输出经最大池化层处理后作为编码器模块EncB4的输入；其中最大池化层的作用是实现空间分辨率的下采样，因此每个最大池化层的池化核大小都设置为2×2×2，滑动步长也都为2。
同时，初始化模块InitB的输出作为先验知识模块OtfB1的输入；编码器模块EncB1的输出作为先验知识模块OtfB2的输入；编码器模块EncB2的输出作为先验知识模块OtfB3的输入；编码器模块EncB3的输出作为先验知识模块OtfB4的输入。
编码器模块EncB4的输出经一个反卷积层处理后作为解码器模块DecB4的输入；DecB4的输出与OtfB4的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB3的输入；DecB3的输出与OtfB3的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB2的输入；DecB2的输出与OtfB2的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB1的输入；DecB1的输出与OtfB1的输出逐元素相加后，作为分类预测模块CnpB的输入；其中反卷积层的作用是实现空间分辨率的上采样，因此每个反卷积层的卷积核大小设置为4×4×4，滑动步长为2，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化，各个反卷积层的输出通道数与其所接收的输入的通道数相同。
初始化模块包含三个连续的卷积层。每个卷积层的通道数为32，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
所有编码器模块(包括EncB1～EncB4)的内部结构都是一致的。每个编码器模块都是由四个依次连接的子模块和一个过渡块组成。每个子模块都包含两个卷积层和一个Dropout层，其中：卷积层1的通道数为64，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；卷积层2的通道数为16，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；Dropout层的丢弃率为0.2。卷积层1的输出作为卷积层2的输入；卷积层2的输出经过Dropout层处理后，与卷积层1的输入(也是该子模块的输入)以通道拼接的方式拼接在一起，作为该子模块的输出。过渡块仅包含一个卷积层，该层的通道数为所在编码器最后一个子模块通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。过渡块的输入为所在编码器最后一个子模块的输出，过渡块的输出就是整个编码器模块的输出。
所有先验知识模块(包括OtfB1～OtfB4)的内部结构都是一致的。每个先验知识模块都包含四个输入：一个是来自其它模块的特征数据Fmap，另外三个是在步骤三获得的不透明度先验知识OTFCSF、OTFGM和OTFWM。OTFCSF、OTFGM和OTFWM数据分别通过模块内的最大池化(MaxPool)操作和通道扩展(Expand)操作，实现与Fmap的维度对齐；对齐后的OTFCSF、OTFGM和OTFWM分别与Fmap进行逐元素乘法操作，所得结果再经过一个卷积层处理后，得到该模块的输出；其中卷积层的输出通道数与Fmap的通道数一样，卷积核大小为1×1×1，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
所有解码器模块(包括DecB1～DecB4)都只包含一个卷积层，该层的输出通道数为解码器模块输入通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。
分类预测模块CnpB是整个模型M的最后一个模块，包含一个卷积层和一个SoftMax层。卷积层的输出通道数为4，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。卷积层的作用是将前面网络聚集得到的多通道特征图转换为四通道特征图。四通道特征图传递给SoftMax层处理后，得到的就是模型M预测的输入图像各像素点属于不同类别的概率。
步骤5：采用交叉熵作为损失函数，用训练集S中的数据，对模型M进行训练，直到模型训练过程中的损失函数值收敛到稳定状态。
步骤6：从测试集T中选取脑部医学图像BT，使用模型M，对其进行分割，得到BT对应的分割掩码LT，具体的过程如下：
步骤6-1：将BT分割成大小为H×W×D的图像块；
步骤6-2：按照步骤3的方法，计算各个图像块的先验知识；
步骤6-3：将各个图像块及其先验知识数据输入模型M，得到模型预测的各个图像块像素点属于不同类别的概率，并通过argmax函数得到各个图像块的分割掩码；
步骤6-4：将各个图像块的分割掩码按照原来图像块的分割方式拼接起来，得到与BT的分割掩码LT。
有益效果
本发明所述的一有种结合UNet和体绘制先验知识的脑组织分割方法，与现技术和方法相比，具有以下的技术优势和特点：
(1)本发明方法将对脑部医学图像进行体绘制可视化时的不透明度先验知识，融入了UNet型脑组织分割神经网络模型，借助体绘制不透明度先验知识，提升了脑组织的分割精度和准确度，可以获得更接近真值的脑组织分割结果。
(2)本发明方法将不同脑组织的不透明度先验知识直接作为网络注意力机制的权重信息，不仅避免了注意力权重的学习过程，还使模型能更好地关注到分割目标的信息，强化并提高对目标特征的关注度，增强模型的表达能力，获得更好的分割结果。
(3)本发明方法采用了不对称的UNet型编解码网络，具有更快的训练速度，以及更强的防过拟合能力。
附图说明
图1一种结合UNet和体绘制先验知识的大脑提取方法的流程图；
图2针对不同脑组织的体绘制不透明度传输函数，其中(a)是脑脊液的不透明度传输函数，(b)是灰质的不透明度传输函数，(c)是白质的不透明度传输函数，图中横坐标上各个参考点的取值分别是：TH1＝0.1，TH2＝0.12，TH3＝0.14，TH4＝0.52，TH5＝0.88；
图3模型M的网络结构图；
图4编码器模块的一般结构；
图5先验知识模块的一般结构；
图6二维切片分割结果对比，其中(i)是横切面视图，(ii)是冠状面视图，(iii)是矢状面视图，(a)是脑部MR图像，(b)是U-DenseResNet的分割结果，(c)是本发明方法的分割结果，(f)是真实的分割标签。
具体实施方法
下面结合附图和实施例阐述本发明的具体实施方式。
图1给出了本发明所述的一种结合UNet和体绘制先验知识的脑组织分割方法的流程图，其主要步骤如下：
步骤一：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求。
预处理可能包含数据格式转换、数据裁剪与合并、数据增强、数据扩充、数据归一化、颅骨去除以及人工标注等操作。在实际应用中，具体的预处理操作依脑部医学图像的实际情况而定。如果脑部医学图像已经部分或全部满足神经网络处理要求，则可省略部分或全部预处理操作。
本实施例采用公开的IBSR数据集(Frazier J A,Caviness V S,Kennedy D N,etal.Internet Brain Segmentation Repository.2019.https://www.nitrc.org/frs/？group id＝48)进行模型的训练和测试。该数据集来自美国马萨诸塞州总医院的形态分析中心(Center for Morphometric Analysis at Massachusetts General Hospital)，共有18个样本，每个样本都包含T1加权脑部MR图像以及专家手动标注的真实分割标签。真实分割标签将脑组织分为四类，分别是背景、脑脊液、灰质和白质，其对应的标签值分别是0、1、2和3。MR图像和分割标签的大小都是256×128×256。
由于IBSR数据集已经具备用于模型训练的真实分割标签，且真实分割标签已经将脑部MR图像中的头皮和颅骨都当作背景标注了，所以不需要对MR图像进行人工标注和颅骨去除等预处理操作。在实际应用中，如果数据集不具备事先标注好的分割标签，则需要在本步骤的预处理中纳入人工标注和颅骨去除工作，以便获取用于模型训练的分割标签数据。
本实施例在本步骤实施的预处理工作是对数据集中的MR图像进行归一化处理。
步骤二：将脑部医学图像数据集划分为训练集S和测试集T。
本实施例从选定的IBSR数据集中，随机选择了13个样本的数据作为训练集S，其余5个样本的数据作为测试集T。
由于所获数据集的样本数较少，本实施例在后续的模型训练步骤中，采用了基于patch(小块)的训练方式，每次训练时从输入图像中随机采样与patch大小相同的图像块，将其作为网络模型的输入。patch的大小可根据实际需要选取。如果数据集的样本数足够多，可令patch大小与原始输入图像一致，即将完整的图像作为网络模型的输入。
本实施例选取的patch大小为64×64×64，即后续输入网络模型的图像块的大小为64×64×64。
步骤三：分别针对脑脊液、灰质和白质设置体绘制不透明度传输函数，并依据不透明度传输函数，计算脑部医学图像的不透明度先验知识OTFCSF、OTFGM和OTFWM。
在本实施例中，脑部医学图像为MR图像。结合MR图像的特点以及不同脑组织的差异，本实施例为脑脊液、灰质和白质设置的体绘制不透明度传输函数如图2所示，其中横坐标上各个参考点的取值分别是：TH1＝0.1，TH2＝0.12，TH3＝0.14，TH4＝0.52，TH5＝0.88。
当采用这些不透明度传输函数分别对脑部MR图像进行体绘制时，将得到显示不同脑组织的可视化图像。这些可视化图像一般无法准确区分不同的脑组织，但是可以展示不同脑组织的大致分布情况。这意味着体绘制不透明度传输函数蕴含了某种有利于脑组织分类的先验知识。因此，本发明采用体绘制不透明度传输函数，计算脑部医学图像的不透明度先验知识。
本实施例为脑脊液、灰质和白质设置的体绘制不透明度传输函数，都是分段线性函数，其输入为归一化后的三维图像的体素值，其输出为相应体素的不透明度值。将脑脊液、灰质和白质的不透明度传输函数，分别应用于脑部医学图像，即可得到相应的不透明度先验知识OTFCSF、OTFGM和OTFWM。所获得的OTFCSF、OTFGM和OTFWM数据是跟脑部医学图像一样大小的三维体数据。
步骤四：令BS为从训练数据集S中采样的脑部医学图像块，BS的大小为H×W×D，依据BS的大小构造UNet型的卷积神经网络模型M，并对M进行随机初始化；其中模型M的网格结构和构造方法如下：
模型M包括一个初始化模块、四个编码器模块、四个解码器模块、四个先验知识模块以及一个分类预测模块。各模块的连接关系如下：
初始化模块InitB的输入是大小为H×W×D的三维脑部医学图像块，输出为32×H×W×D的聚合特征图。
初始化模块InitB的输出经最大池化层处理后作为编码器模块EncB1的输入；EncB1的输出经最大池化层处理后作为编码器模块EncB2的输入；EncB2的输出经最大池化层处理后作为编码器模块EncB3的输入；EncB3的输出经最大池化层处理后作为编码器模块EncB4的输入；其中最大池化层的作用是实现空间分辨率的下采样，因此每个最大池化层的池化核大小都设置为2×2×2，滑动步长也都为2。
同时，初始化模块InitB的输出作为先验知识模块OtfB1的输入；编码器模块EncB1的输出作为先验知识模块OtfB2的输入；编码器模块EncB2的输出作为先验知识模块OtfB3的输入；编码器模块EncB3的输出作为先验知识模块OtfB4的输入。
编码器模块EncB4的输出经一个反卷积层处理后作为解码器模块DecB4的输入；DecB4的输出与OtfB4的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB3的输入；DecB3的输出与OtfB3的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB2的输入；DecB2的输出与OtfB2的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB1的输入；DecB1的输出与OtfB1的输出逐元素相加后，作为分类预测模块CnpB的输入；其中反卷积层的作用是实现空间分辨率的上采样，因此每个反卷积层的卷积核大小设置为4×4×4，滑动步长为2，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化，各个反卷积层的输出通道数与其所接收的输入的通道数相同。
初始化模块包含三个连续的卷积层。每个卷积层的通道数为32，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
所有编码器模块(包括EncB1～EncB4)的内部结构都是一致的。每个编码器模块都是由四个依次连接的子模块和一个过渡块组成。每个子模块都包含两个卷积层和一个Dropout层，其中：卷积层1的通道数为64，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；卷积层2的通道数为16，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；Dropout层的丢弃率为0.2。卷积层1的输出作为卷积层2的输入；卷积层2的输出经过Dropout层处理后，与卷积层1的输入(也是该子模块的输入)以通道拼接的方式拼接在一起，作为该子模块的输出。过渡块仅包含一个卷积层，该层的通道数为所在编码器最后一个子模块通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。过渡块的输入为所在编码器最后一个子模块的输出，过渡块的输出就是整个编码器模块的输出。
所有先验知识模块(包括OtfB1～OtfB4)的内部结构都是一致的。每个先验知识模块都包含四个输入：一个是来自其它模块的特征数据Fmap，另外三个是在步骤三获得的不透明度先验知识OTFCSF、OTFGM和OTFWM。OTFCSF、OTFGM和OTFWM数据分别通过模块内的最大池化(MaxPool)操作和通道扩展(Expand)操作，实现与Fmap的维度对齐；对齐后的OTFCSF、OTFGM和OTFWM分别与Fmap进行逐元素乘法操作，所得结果再经过一个卷积层处理后，得到该模块的输出；其中卷积层的输出通道数与Fmap的通道数一样，卷积核大小为1×1×1，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
所有解码器模块(包括DecB1～DecB4)都只包含一个卷积层，该层的输出通道数为解码器模块输入通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。
分类预测模块CnpB是整个模型M的最后一个模块，包含一个卷积层和一个SoftMax层。卷积层的输出通道数为4，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化。卷积层的作用是将前面网络聚集得到的多通道特征图转换为四通道特征图。四通道特征图传递给SoftMax层处理后，得到的就是模型M预测的输入图像各像素点属于不同类别的概率。
本实施例针对所采用的训练数据，设定的图像块大小为64×64×64。在此基础上，按照步骤4所述方法构造的模型M的网络结构如图3所示，其中编码器模块的一般结构如图4所示，先验知识模块的一般结构如图5所示。
从图3可见，与先验知识模块连接的编码器模块的输出维度是不一样的。为了匹配解码器模块的输出维度，不同的先验知识模块需对其接收的不透明度先验知识数据执行不同次数的最大池化操作。具体而言，不透明度先验知识数据OTFCSF、OTFGM和OTFWM在先验知识模块OtfB4中需要经过三次最大池化，在OtfB3中需要经过两次最大池化，在OtfB2中需经过一次最大池化，而在OtfB1中则无需最大池化，因为OtfB1连接的是初始化模块。这里所涉及的最大池化操作都采用滑动步长为2、大小为2×2×2的池化核。先验知识模块所涉及的通道扩展操作是通过通道之间的数据复制来实现的。
步骤五：采用交叉熵作为损失函数，用训练集S中的数据，对模型M进行训练，直到模型训练过程中的损失函数值收敛到稳定状态。
本实施例在对模型M进行随机初始化后，将训练集中的脑部MR图像块以及相应的先验知识数据OTFCSF、OTFGM和OTFWM输入到模型中，对其进行了深度学习训练。在训练过程中，采用Adam算法进行优化，初始学习率为0.0002，并使用等间隔的方式来调整学习率，学习率调整的间隔为3000，调整的倍数为0.1，训练数据的批量大小设置为2，并根据模型预测的分类概率与真实的分割标签值，计算模型的交叉熵损失函数。当模型损失收敛到稳定状态，即可结束训练过程。本实施例在对模型M训练大约6000轮后，损失就已收敛，因此在第6100轮时结束了训练过程。
步骤六：从测试集T中选取脑部医学图像BT，使用模型M，对其进行分割，得到BT对应的分割掩码LT，具体的过程如下：
步骤六-1：将BT分割成大小为H×W×D的图像块；
步骤六-2：按照步骤三的方法，计算各个图像块的先验知识；
步骤六-3：将各个图像块及其先验知识数据输入模型M，得到模型预测的各个图像块像素点属于不同类别的概率，并通过argmax函数得到各个图像块的分割掩码；
步骤六-4：将各个图像块的分割掩码按照原来图像块的分割方式拼接起来，得到与BT的分割掩码LT。
本实施例在步骤六中将医学图像BT依次分割成大小为64×64×64的图像块，使用模型M，对测试集中所有脑部MR图像进行了分割测试。
为说明本发明方法的有效性，本实施例还在同等条件下，选用以下对比方法，对测试集中所有脑部MR图像进行了分割测试：
·3DUNet：这是由Olaf Ronneberger等人提出的、基于普通三维UNet网络的分割方法；
·AttentionUNet：这是由Ozan Oktay等人提出的、增加了注意力机制的UNet网络分割方法；
·U-DenseResNet：这是由Basnet等人提出的、基于U型密集残差网络的分割方法。
本实施例计算了本发明方法以及上述对比方法各自分割结果的Dice系数值，所得结果如表1所示，其中Dice系数越大则分割精度和准确度越高。
表1不同分割结果的Dice系数值
由表1可见，本发明方法的分割精度和准确度明显高于其他对比方法。相对于3DUNet，本发明方法的Dice系数在脑脊液、灰质以及白质上分别提升了5.17％、0.81％以及0.86％；相对于AttentionUNet，分别提升了4.27％、0.42％以及0.34％；相对于U-DenseResNet，则分别提升了1.79％、0.13％以及0.12％。
除了统计结果的提升外，在具体图像的分割效果上，本发明方法相对于其他对比方法也更接近于真实的分割结果。
本实施例选取了与本发明方法最接近的U-DenseResNet进行了二维切片的可视化对比。图6展示了某测试样本的对比结果，其中(i)为横切面，(ii)为冠状面，(iii)为矢状面，(a)是MR图像，(b)是U-DenseResNet的分割结果，(c)是本发明方法的分割结果，(d)是真实的分割标签。由图6可见，U-DenseResNet在一些细节无法正确分割，而本发明方法由于融合了先验知识，降低了误分类的情况，生成了更接近真值的分割结果。
上述步骤及实例说明了本发明所述的一种结合UNet和体绘制先验知识的脑组织分割方法的全部过程。
上述步骤及实例所涉及的脑部医学图像是三维MR图像，若将三维MR图像替换为三维CT图像或者是其他模态的三维脑部医学图像，本发明方法及所述实施方式同样适用。
目前，本实施方式是以三维脑部医学图像作为处理对象，但是其中包含了对二维脑部医学图像的处理。若将本发明方法及本实施方式所涉及的维度大小的第三个维度设置为1，即可将其应用于二维脑部医学图像的处理。
应该理解的是，本实施方式只是本发明实施的具体实例，不应该是本发明保护范围的限制。在不脱离本发明的精神与范围的情况下，对上述内容进行等效的修改或者变更均应包含在本发明所要求保护的范围之内。
Claims (1)
1.一种结合UNet和体绘制先验知识的脑组织分割方法，其特征在于，包括以下步骤：
步骤1：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求；
预处理可能包含数据格式转换、数据裁剪与合并、数据增强、数据扩充、数据归一化、颅骨去除以及人工标注等操作；在实际应用中，具体的预处理操作依脑部医学图像的实际情况而定；如果脑部医学图像已经部分或全部满足神经网络处理要求，则可省略部分或全部预处理操作；
步骤2：将脑部医学图像数据集划分为训练集S和测试集T；
步骤3：分别针对脑脊液、灰质和白质设置体绘制不透明度传输函数，并依据不透明度传输函数，计算脑部医学图像的不透明度先验知识OTFCSF、OTFGM和OTFWM；
步骤4：令BS为从训练数据集S中采样的脑部医学图像块，BS的大小为H×W×D，依据BS的大小构造UNet型的卷积神经网络模型M，并对M进行随机初始化；其中模型M的网格结构和构造方法如下：
模型M包括一个初始化模块、四个编码器模块、四个解码器模块、四个先验知识模块以及一个分类预测模块；各模块的连接关系如下：
初始化模块InitB的输入是大小为H×W×D的三维脑部医学图像块，输出为32×H×W×D的聚合特征图；
初始化模块InitB的输出经最大池化层处理后作为编码器模块EncB1的输入；EncB1的输出经最大池化层处理后作为编码器模块EncB2的输入；EncB2的输出经最大池化层处理后作为编码器模块EncB3的输入；EncB3的输出经最大池化层处理后作为编码器模块EncB4的输入；其中最大池化层的作用是实现空间分辨率的下采样，因此每个最大池化层的池化核大小都设置为2×2×2，滑动步长也都为2；
同时，初始化模块InitB的输出作为先验知识模块OtfB1的输入；编码器模块EncB1的输出作为先验知识模块OtfB2的输入；编码器模块EncB2的输出作为先验知识模块OtfB3的输入；编码器模块EncB3的输出作为先验知识模块OtfB4的输入；
编码器模块EncB4的输出经一个反卷积层处理后作为解码器模块DecB4的输入；DecB4的输出与OtfB4的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB3的输入；DecB3的输出与OtfB3的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB2的输入；DecB2的输出与OtfB2的输出逐元素相加后，经一个反卷积层处理后作为解码器模块DecB1的输入；DecB1的输出与OtfB1的输出逐元素相加后，作为分类预测模块CnpB的输入；其中反卷积层的作用是实现空间分辨率的上采样，因此每个反卷积层的卷积核大小设置为4×4×4，滑动步长为2，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化，各个反卷积层的输出通道数与其所接收的输入的通道数相同；
初始化模块包含三个连续的卷积层；每个卷积层的通道数为32，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；
所有编码器模块(包括EncB1～EncB4)的内部结构都是一致的；每个编码器模块都是由四个依次连接的子模块和一个过渡块组成；每个子模块都包含两个卷积层和一个Dropout层，其中：卷积层1的通道数为64，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；卷积层2的通道数为16，卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；Dropout层的丢弃率为0.2；卷积层1的输出作为卷积层2的输入；卷积层2的输出经过Dropout层处理后，与卷积层1的输入(也是该子模块的输入)以通道拼接的方式拼接在一起，作为该子模块的输出；过渡块仅包含一个卷积层，该层的通道数为所在编码器最后一个子模块通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；过渡块的输入为所在编码器最后一个子模块的输出，过渡块的输出就是整个编码器模块的输出；
所有先验知识模块(包括OtfB1～OtfB4)的内部结构都是一致的；每个先验知识模块都包含四个输入：一个是来自其它模块的特征数据Fmap，另外三个是在步骤三获得的不透明度先验知识OTFCSF、OTFGM和OTFWM；OTFCSF、OTFGM和OTFWM数据分别通过模块内的最大池化(MaxPool)操作和通道扩展(Expand)操作，实现与Fmap的维度对齐；对齐后的OTFCSF、OTFGM和OTFWM分别与Fmap进行逐元素乘法操作，所得结果再经过一个卷积层处理后，得到该模块的输出；其中卷积层的输出通道数与Fmap的通道数一样，卷积核大小为1×1×1，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；
所有解码器模块(包括DecB1～DecB4)都只包含一个卷积层，该层的输出通道数为解码器模块输入通道数的二分之一，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；
分类预测模块CnpB是整个模型M的最后一个模块，包含一个卷积层和一个SoftMax层；卷积层的输出通道数为4，卷积核大小为1×1×1，滑动步长为1，激活函数为ReLU函数，归一化操作为批量归一化；卷积层的作用是将前面网络聚集得到的多通道特征图转换为四通道特征图；四通道特征图传递给SoftMax层处理后，得到的就是模型M预测的输入图像各像素点属于不同类别的概率；
步骤5：采用交叉熵作为损失函数，用训练集S中的数据，对模型M进行训练，直到模型训练过程中的损失函数值收敛到稳定状态；
步骤6：从测试集T中选取脑部医学图像BT，使用模型M，对其进行分割，得到BT对应的分割掩码LT，具体的过程如下：
步骤6-1：将BT分割成大小为H×W×D的图像块；
步骤6-2：按照步骤3的方法，计算各个图像块的先验知识；
步骤6-3：将各个图像块及其先验知识数据输入模型M，得到模型预测的各个图像块像素点属于不同类别的概率，并通过argmax函数得到各个图像块的分割掩码；
步骤6-4：将各个图像块的分割掩码按照原来图像块的分割方式拼接起来，得到与BT的分割掩码LT。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701401.4A CN115115648B (zh) | 2022-06-20 | 2022-06-20 | 一种结合UNet和体绘制先验知识的脑组织分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701401.4A CN115115648B (zh) | 2022-06-20 | 2022-06-20 | 一种结合UNet和体绘制先验知识的脑组织分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115115648A true CN115115648A (zh) | 2022-09-27 |
| CN115115648B CN115115648B (zh) | 2024-07-19 |
Family
ID=83328019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210701401.4A Active CN115115648B (zh) | 2022-06-20 | 2022-06-20 | 一种结合UNet和体绘制先验知识的脑组织分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115648B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | ***超声分割模型的训练方法、分割方法及装置 |
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116630334A (zh) * | 2023-04-23 | 2023-08-22 | 中国科学院自动化研究所 | 用于多分段血管实时自动分割方法、装置、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
| CN113706542A (zh) * | 2021-07-14 | 2021-11-26 | 温州医科大学附属眼视光医院 | 基于卷积神经网络及混合损失函数的眼球分割方法及装置 |
| CN114202545A (zh) * | 2020-08-27 | 2022-03-18 | 东北大学秦皇岛分校 | 一种基于UNet++的低级别胶质瘤图像分割方法 |
| CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
| CN114529562A (zh) * | 2022-02-22 | 2022-05-24 | 安徽大学 | 一种基于辅助学习任务与重分割约束的医学图像分割方法 |
-
2022
- 2022-06-20 CN CN202210701401.4A patent/CN115115648B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN114202545A (zh) * | 2020-08-27 | 2022-03-18 | 东北大学秦皇岛分校 | 一种基于UNet++的低级别胶质瘤图像分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
| CN113706542A (zh) * | 2021-07-14 | 2021-11-26 | 温州医科大学附属眼视光医院 | 基于卷积神经网络及混合损失函数的眼球分割方法及装置 |
| CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
| CN114529562A (zh) * | 2022-02-22 | 2022-05-24 | 安徽大学 | 一种基于辅助学习任务与重分割约束的医学图像分割方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | ***超声分割模型的训练方法、分割方法及装置 |
| CN116630334A (zh) * | 2023-04-23 | 2023-08-22 | 中国科学院自动化研究所 | 用于多分段血管实时自动分割方法、装置、设备及介质 |
| CN116630334B (zh) * | 2023-04-23 | 2023-12-08 | 中国科学院自动化研究所 | 用于多分段血管实时自动分割方法、装置、设备及介质 |
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116612131B (zh) * | 2023-05-22 | 2024-02-13 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115115648B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115115648A (zh) | 一种结合UNet和体绘制先验知识的脑组织分割方法 | |
| CN111210435B (zh) | 一种基于局部和全局特征增强模块的图像语义分割方法 | |
| CN112036335B (zh) | 一种反卷积引导的半监督植物叶部病害识别与分割方法 | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN110706214B (zh) | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN107194937A (zh) | 一种开放环境下中医舌象图像分割方法 | |
| Jena et al. | A bayesian neural net to segment images with uncertainty estimates and good calibration | |
| CN112734764A (zh) | 一种基于对抗网络的无监督医学图像分割方法 | |
| TW202147247A (zh) | 物體偵測方法及其卷積神經網路 | |
| Kinoshita et al. | Fixed smooth convolutional layer for avoiding checkerboard artifacts in CNNs | |
| CN114266898A (zh) | 一种基于改进EfficientNet的肝癌识别方法 | |
| CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
| CN113763406B (zh) | 基于半监督学习的婴儿脑mri分割方法 | |
| CN115100123B (zh) | 一种结合UNet和主动轮廓模型的脑部医学图像提取方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
| CN116524253A (zh) | 一种基于轻量级Transformer的甲状腺癌病理图像分类方法 | |
| CN113361353A (zh) | 一种基于DeepLabV3Plus的斑马鱼形态学评分方法 | |
| CN117474796B (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
| CN114445665A (zh) | 基于Transformer增强的非局部U形网络的高光谱影像分类方法 | |
| CN113837179A (zh) | 一种处理图像的多判别gan网络构建方法、装置、***和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |