CN111951220A - 一种基于多层面领域自适应技术的无监督脑出血分割方法 - Google Patents
一种基于多层面领域自适应技术的无监督脑出血分割方法 Download PDFInfo
- Publication number
- CN111951220A CN111951220A CN202010659486.5A CN202010659486A CN111951220A CN 111951220 A CN111951220 A CN 111951220A CN 202010659486 A CN202010659486 A CN 202010659486A CN 111951220 A CN111951220 A CN 111951220A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- semantic
- domain
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 105
- 206010008111 Cerebral haemorrhage Diseases 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005516 engineering process Methods 0.000 title claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 29
- 230000014759 maintenance of location Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 22
- 238000004321 preservation Methods 0.000 claims description 17
- 210000004556 brain Anatomy 0.000 claims description 14
- 208000003174 Brain Neoplasms Diseases 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000007710 freezing Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 208000008574 Intracranial Hemorrhages Diseases 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000007667 floating Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006978 adaptation Effects 0.000 abstract description 2
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 25
- 208000032843 Hemorrhage Diseases 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010008909 Chronic Hepatitis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 206010053649 Vascular rupture Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000006454 hepatitis Diseases 0.000 description 1
- 208000020658 intracerebral hemorrhage Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于多层面领域自适应技术的无监督脑出血分割方法涉及计算机处理技术领域。本发明用基于语义保留机制的图像合成网络，通过多重语义保留机制，包括对合成目标域图像的语义保留，对循环生成源域图像的语义保留，以及对输入图像的适配机制，保留针对于具体分割任务的重点区域的语义特征；采用基于领域自适应机制的图像分割网络，来优化CT脑出血分割任务的语义分割效果。
Description
技术领域
本发明涉及计算机处理技术领域，尤其涉及一种基于多层面领域自适应技术的无监督脑出血分割方法。
背景技术
图像语义分割是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签，例如通过对一幅路况街景图像进行图像语义分割后可为图像中的物体添加语义标签(譬如道路、汽车、行人、树木、交通灯等)。
随着人工智能识别技术的发展，基于深度学习的卷积神经网络(CNN)已经引起了广泛的关注，并应用于图像语义分割领域，以FCN为代表的图像语义分割网络在各个领域取得了广泛的成效。
脑出血(intracerebral hemorrhage)是指非外伤性脑实质内血管破裂引起的出血，占全部脑卒中的20％～30％，急性期病死率为30％～40％。快速判断出血范围、早期医疗管理和神经外科处理对于促进患者康复至关重要
检查脑出血范围，医生通常基于头颅CT影像进行判断，考虑到脑出血诊断结果的客观性、可重复性、准确性以及紧迫性的需求，临床上对脑出血区域的自动检测以及定量分析提出来迫切要求。因此，采取有效的方法自动提取出血区域，有助于对出血严重性的的快速、定量的判断，在临床上具有十分重要的应用价值。然而获取具有良好泛化性能的分割模型通常需要在监督学习的情况下完成，这需要规模庞大且专业的数据标注，因此需要提出一种在无监督学习的情况下进行CT影像脑出血区域提取的方法。
已有的基于合成虚拟图像技术的无监督分割方法，首先合成目标域影像，之后利用现有数据的标签，分割模型通过无监督学习或半监督学习的领域自适应方法进行训练，其基本思想是通过拉近数据的边缘分布，来适应不同领域的预测，合成目标域影像的方法大致有基于人工定义的度量和基于生成对抗网络两种。然而，其合成目标域影像的方法存在着以下不足之处：对于基于人工度量的合成方法，合成目标域影像高度依赖于预训练网络提取的特征，以及手工定义的风格度量；保留源域语义信息的方法，基于对隐层表示的度量，属于一种间接方法，没有针对性地对语义分割问题做出改进。对于基于生成对抗网络的合成方法如直接应用cycleGAN，合成目标域影像通常会丢失分割任务中必要的语义信息。
考虑到MRI(核磁共振成像)脑肿瘤图像与CT脑出血图像在语义方面的相似性，本发明采用已有的MRI脑肿瘤分割公开数据作为源域数据。
发明内容
本发明提出一种基于多层面领域自适应技术的脑出血分割方法。采用基于语义保留机制的图像合成网络，通过多重语义保留机制，包括对合成目标域图像的语义保留，对循环生成源域图像的语义保留，以及对输入图像的适配机制，保留针对于具体分割任务的重点区域的语义特征；采用基于领域自适应机制的图像分割网络，来优化CT脑出血分割任务的语义分割效果。
为实现上述目的，本发明采用一种如下的技术方案：
一种基于多层面领域自适应技术的脑出血分割方法，用于构建并训练基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络。
上述方法包括以下步骤：
S1：构建基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络
S11:基于语义保留机制的脑CT合成网络包括两个生成器，两个鉴别器以及一个语义保留模块，进一步，语义保留模块包含两个语义分割子网络以及一个相似图像选取模块。
S12：领域自适应脑出血分割网络包括分割网络以及域鉴别器
S2：训练基于语义保留机制的CT图像合成网络；进一步，需要带标签的MRI脑肿瘤训练数据以及无标签的CT脑出血训练数据。
S3：利用步骤S2中训练好的CT图像合成网络以及带标签的MRI图像数据，生成用于之后训练基于领域自适应机制的脑出血分割网络的训练数据
S4：利用步骤S1中定义的基于领域自适应机制的脑出血分割网络以及步骤S3中生成的训练数据及相应的MRI脑肿瘤标签，训练CT脑出血分割网络
附图说明
结合附图和实施例对本发明进一步说明。
图1是使用cycleGAN合成的图像对比原图的示例
图2是使用基于语义保留机制的脑CT图像合成网络合成的图像对比原图的示例
图3是所述相似图像选取模块匹配到的图像示例(右侧为MRI图像，左侧为匹配的CT图像)
图4是本发明的流程示意图
图5是本发明提供的一种示例性的目标域数据合成模型示意图；
图6是本发明提供的一种示例性的基于领域自适应机制的语义分割模型的示意图；
具体实施方式
现在结合附图对本发明作进一步详细的说明，包括如下几个步骤：
S1：构建基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络
S11:基于语义保留机制的脑CT图像合成网络包括两个结构一致的生成器，两个结构一致的鉴别器以及一个语义保留模块，进一步，语义保留模块包含两个语义分割子网络以及一个图像语义相似图像选取模块。
进一步，所述生成器，包括特征提取阶段，特征融合阶段，上采样阶段。
所述特征提取阶段用于对预处理后输入的图像进行特征抽取与编码，该阶段包括4个隐藏层：对于前2个隐藏层，每个隐藏层包含一步7x7卷积操作，一步层归一化(BatchNormalization)操作，一步线性整流函数(Rectified Linear Unit,ReLU)激活操作；对于后两个隐藏层，每个隐藏层包含一步3x3卷积操作，一步层归一化操作，一步线性整流函数激活操作。
进一步，特征融合阶段将特征提取阶段产生的特征图进行再编码，完成不同感受野下具体语义信息与抽象语义信息的整合，共包括6个稠密连接模块(DenseNet block),模块内隐藏层的输入采用稠密连接，每个稠密连接块包括5个隐藏层，每个隐藏层包含一步3x3卷积操作，一步层归一化操作，一步线性整流函数激活操作。
稠密连接定义为：
xl+1＝H([x0，...，xl]) (1)
H(xi)＝W*σ(B(xi)) (2)
dl＝d0+g·l (3)
其中，H(xi)表示对输入特征图xi进行隐藏层运算，[]指特征图按通道进行级联操作，xi是第i个隐藏层输入的特征图，l是隐藏层的序数，dl表示第l层隐藏层输入的通道数，g表示稠密连接模块中所有卷积层输出的通道数，d0表示输入稠密连接模块第一个隐藏层的特征图的通道数，W表示通过训练学习到的卷积层权重，B()表示层归一化运算，σ()表示线性整流函数激活操作。
上采样阶段完成由特征编码到最终输出的合成图像的转换，包括两个隐藏层，每个隐藏层包含一步3x3转置卷积操作，一步层归一化操作，一步tanh函数激活操作。
进一步，所述鉴别器，包含特征提取模块以及预测模块其中，特征提取模块包括5个隐藏层，每个隐藏层包含一步卷积操作，一步层归一化操作，一步线性整流函数激活操作，预测模块为一步卷积操作，用于将特征抽取模块得到的特征图转换为预测图。
所述语义保留模块的分割子网络包括预训练特征提取模块以及多层上采样跳层连接。所述预训练特征提取模块为在ImageNet数据集上预训练的VGG-16网络的一部分，共有5个卷积阶段，5次最大池化操作，其中第一和第二个卷积阶段包含两个隐藏层，后三个卷积阶段均包含三个隐藏层，每个隐藏层包含一步3x3卷积操作以及一步线性整流函数激活操作。
两个子网络模型架构定义一致，均为预训练特征提取模块结合多层上采样跳层连接操作，多层上采样跳层连接定义如下：
预训练特征提取模块的5步最大池化操作后输出的特征图，输出按先后顺序分别定义为v_out1,v_out2,v_out3,v_out4,v_out5
其中，v_out5经过反卷积操作，线性整流函数激活操作，层归一化操作后与v_out4中特征图按元素值相加得到特征图temp1
Temp1经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out3中的特征图按元素值相加得到特征图temp2
Temp2经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out2中的特征图按元素值相加得到特征图temp3
Temp3经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out1中的特征图按元素值相加得到特征图temp4
Temp4经过反卷积操作，线性整流函数激活操作，层归一化操作后，得到最终的特征图。最终的特征图经过一步1x1卷积操作及一步sigmoid激活操作后，经过阈值化得到预测的分割结果。
所述语义保留模块中相似图像选取模块负责在每张MRI图像输入时，寻找与之最相近的CT图像，为避免反复选取同一相似图像导致模型只学习固定映射，随机从最高相似度的20张CT图像中选取。所述的相似度定义如下：
sim＝100dhanming(phash(x)，phash(y))+|focus(x)-focus(y)| (4)
其中，x，y指用于计算相似度的两张图像，phash()为图像感知哈希算法，通过离散余弦变换(DCT)降低图片频率，得到图像的二进制指纹。dhanming()为汉明距离(Hammingdistance)，用于获取图像二进制指纹之间的相似度。focus()计算图像粗糙病灶区域比例，对于源域图像即MRI影像，直接取其语义分割标签中值大于0的像素所占图像全体像素比例即可；对于目标域图像即CT影像，对图像进行阈值二值化操作：对于值大于120且小于180的像素值取二值化1，其余像素值取二值化0。
S12:所述基于领域自适应机制的图像语义分割网络包括分割网络以及域鉴别器。
其中，分割网络结构与上述图像合成网络的语义保留模块中的分割子网络结构一致。
其中，域鉴别器输入为隐藏层输出的特征图以及隐藏层经过上采样过程得到的预测，包括4个隐藏层和一个分类层，每个隐藏层包括一步4x4卷积操作，一步带泄露线性整流函数(Leaky ReLU)操作，分类层为一个卷积层，用于输出维度为1的预测图。
S2：训练目标域训练数据合成网络
进一步，需要带标签的源域训练数据即MRI图像及其语义分割标签，以及无标签的目标域训练数据即脑CT图像，由于采用非成对匹配(unpaired match)，不要求源域及目标域图像的数量一致。
对训练数据进行预处理与数据增强：
其中，预处理包括将源域图像，源域标签，目标域图像采样到一致大小，对所有图像进行归一化操作，即将数据处理为0均值和单位方差；
数据增强方法：包括对所有图像亮度值随机浮动20％，对源域图像及相应标签以0.5概率进行水平翻转。
训练模型需要进行多次的反向传播与参数更新，每次更新前向模型输入同样批大小的训练数据，每批训练数据包含n张MRI图像，n张MRI图像相应的语义分割标签，n张脑CT图像，其中，n可以根据训练模型时计算机的显卡的显存容量决定，当n＝1时，训练所占显存为4GB，本发明中选取n＝1。
数据在输入网络前，首先进行匹配对齐(将语义内容接近的脑肿瘤MRI图像和脑出血CT图像进行配对)：每取一张待输入网络的源域影像，查找在步骤S12中语义保留模块中相似图像选取模块中存储的最相似目标域影像20张，从中随机选取一张，将两者配对。
每次输入新的数据，进行如下操作：
MRI图像s输入到CT图像生成器Gs,CT图像t输入到MRI生成器Gt。
Gs(s)与目标域图像t输入到目标域鉴别器Dt，Gt(t)与源域图像s输入源域鉴别器Ds，锁定鉴别器更新，根据Wasserstein GAN思想计算生成对抗损失
如下：
其中，
表示从指定分布中提取的数据，t为目标域图像即CT脑出血图像，Dt为目标域图像鉴别器，Gs(s)为源域图像即MRI脑肿瘤图像输入到CT图像生成器Gs()后合成的伪目标域图像即伪CT脑出血图像，p(t)为目标域图像的分布；
指t为从目标域图像中提取的。s为源域图像即MRI脑肿瘤图像，Ds为源域图像鉴别器，Gt(t)为目标域图像即CT脑出血图像输入到MRI图像生成器Gt()后合成的伪源域图像即伪CT图像，p(s)为源域图像的分布，
指s为从源域图像中提取的。
计算循环一致性损失如下：
srecover＝Gt(Gs(s)) (7)
trecover＝Gs(Gt(t)) (8)
其中，
表示从指定分布中提取数据，Gs(s)，s与式(5)中定义一致，Gt(t)，t与式(6)中定义一致，srecover为伪目标域图像即伪CT图像输入到CT生成器Gt()后合成的循环源域图像，即循环合成MRI图像，trecover为伪源域图像即伪MRI图像输入到MRI生成器Gs()后合成的循环目标域图像，即循环合成CT图像，p(s)为源域图像的分布，p(t)为目标域图像的分布。
将Gs(s)与源域图像s的标签ys输入到语义保留模块中的分割子网络Ft，冻结分割子网络的更新，计算分割损失：
其中，Gs(s)与式(5)中定义一致，ys为源域图像即MRI图像的语义分割标签。Ft为语义保留模块中的伪目标域图像分割子网络。
将srecover与源域图像s的标签ys输入到语义保留模块中的分割子网络Fs,冻结分割子网络的更新，计算分割损失：
其中，srecover与式(8)中定义一致，ys与式(11)中定义一致。Fs为语义保留模块中的循环源域图像分割子网络。
得到的语义保留损失为：
其中，
为(10)中分割子网络计算得到的损失，
为(11)中分割子网络计算得到的损失。
得到生成器损失函数如下并反向传播，优化生成器Gs和Gt：
其中，
为整合(5)(6)中的生成对抗损失，(9)中的循环一致性损失，(12)中的语义保留损失得到的生成器损失。
切断Gs(s)的梯度，将S的标签和Gs(s)输入语义保留分割子网络Ft,同上述式(10)计算分割损失，将计算出的损失进行反向传播，优化Ft
切断srecover的梯度，将S的标签和srecover输入语义保留分割子网络Fs,同上述式(11)计算分割损失，将计算出的损失进行反向传播，优化Fs
切断Gs(s)的梯度，计算损失如下并反向传播，优化鉴别器Dt：
其中，Dt()，Gs(s)与式(5)中定义一致，yfake为合成目标域图像即CT图像的域标签，ytrue为源域图像即MRI图像的域标签。
计算损失如下并反向传播，优化鉴别器Ds：
其中，Ds(s)，Gt(t)与式(6)中定义一致，ytrue为源域图像即MRI图像的域标签。
重复以上过程，直到达到模型满足预设的收敛条件(发明中预设的收敛条件为模型运行100轮，一轮指使用训练集的全部数据对模型进行一次完整训练)。
S3：利用步骤S2中训练好的数据合成网络以及带标签的源域图像数据，生成用于训练分割网络的训练数据。
将源域图像数据经过同步骤S2一致的预处理，输入到目标域数据合成网络中的生成器G进行预测。得到合成目标域数据即合成CT图像tsynthetic，存储得到的图像用作训练集。
S4：利用步骤S1中定义的目标域图像语义分割网络，步骤S3中生成的训练数据，以及无标签的目标域图像，训练基于领域自适应的图像语义分割网络。
首先进行数据预处理，将数据处理为0均值和单位方差。
将源域图像以及源域标签送入分割网络，取得分割预测及中间层上采样(采样至最终预测分割结果大小，上采样采用双线性插值)结果，计算损失如下并反向传播，优化分割网络的分割性能：
其中，F为目标域图像语义分割网络，式(20)中的Fh为F的子集，即语义分割网络F中隐藏层h(见图3中h1至h5)及之前的网络结构加上一个上采样过程，h取值为h1至h5。s定义与式(5)中一致，ys定义与式(10)中一致，tsynthetic为步骤S3中得到的合成目标域图像即合成CT图像。
将目标域图像送入分割网络，取得分割预测及中间层上采样结果
暂停域鉴别器更新，将中间层上采样结果送入鉴别器，鉴别器输出预测图，计算对抗损失如下并反向传播，优化分割网络的泛化性能：
其中，Fh,tsynthetic定义与式(22)中一致，D为域鉴别器，t定义与式(6)一致。
切断源域和目标域隐层表示之前的梯度更新，将二者送入域鉴别器，计算鉴别器损失如下并反向传播，优化域鉴别器:
其中，Fh,tsynthetic定义与式(20)中一致，D为域鉴别器，t定义与式(5)一致。
重复以上过程，直到达到模型满足预设的收敛条件(发明中预设的收敛条件为模型运行100轮，一轮指使用训练集的全部数据对模型进行一次完整训练)。
验证效果：
| 方法 | 分割得分(Dice得分) |
| CycleGAN | 0.65149 |
| 本发明提出的目标域数据合成模型 | 0.79217 |
| 基于领域自适应机制的分割模型 | 0.80298 |
| 本发明的提出的示例性方法 | 0.84344 |
Claims (2)
1.一种基于多层面领域自适应技术的脑出血分割方法，其特征在于，包括以下步骤：
S1：构建基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络；基于语义保留机制的脑CT合成网络包括两个生成器，两个鉴别器以及一个语义保留模块，语义保留模块包含两个语义分割子网络以及一个相似图像选取模块；
S12：领域自适应脑出血分割网络包括分割网络以及域鉴别器
S2：训练基于语义保留机制的CT图像合成网络；需要带标签的MRI脑肿瘤训练数据以及无标签的CT脑出血训练数据；
S3：利用步骤S2中训练好的CT图像合成网络以及带标签的MRI图像数据，生成用于之后训练基于领域自适应机制的脑出血分割网络的训练数据；
S4：利用步骤S1中定义的基于领域自适应机制的脑出血分割网络以及步骤S3中生成的训练数据及相应的MRI脑肿瘤标签，训练CT脑出血分割网络。
2.一种基于多层面领域自适应技术的脑出血分割方法，其特征在于，包括以下步骤：
S1：构建基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络；基于语义保留机制的脑CT图像合成网络包括两个结构一致的生成器，两个结构一致的鉴别器以及一个语义保留模块，语义保留模块包含两个语义分割子网络以及一个图像语义相似图像选取模块；
所述生成器，包括特征提取阶段，特征融合阶段，上采样阶段；
所述特征提取阶段用于对预处理后输入的图像进行特征抽取与编码，该阶段包括4个隐藏层：对于前2个隐藏层，每个隐藏层包含一步7x7卷积操作，一步层归一化操作，一步线性整流函数激活操作；对于后两个隐藏层，每个隐藏层包含一步3x3卷积操作，一步层归一化操作，一步线性整流函数激活操作；
特征融合阶段将特征提取阶段产生的特征图进行再编码，完成不同感受野下具体语义信息与抽象语义信息的整合，共包括6个稠密连接模块(DenseNet block),模块内隐藏层的输入采用稠密连接，每个稠密连接块包括5个隐藏层，每个隐藏层包含一步3x3卷积操作，一步层归一化操作，一步线性整流函数激活操作；
稠密连接定义为：
xl+1＝H([x0，...，xl]) (1)
H(xi)＝W*σ(B(xi)) (2)
dl＝d0+g·l (3)
其中，H(xi)表示对输入特征图xi进行隐藏层运算，[]指特征图按通道进行级联操作，xi是第i个隐藏层输入的特征图，l是隐藏层的序数，dl表示第l层隐藏层输入的通道数，g表示稠密连接模块中所有卷积层输出的通道数，d0表示输入稠密连接模块第一个隐藏层的特征图的通道数，W表示通过训练学习到的卷积层权重，B()表示层归一化运算，σ()表示线性整流函数激活操作；
上采样阶段完成由特征编码到最终输出的合成图像的转换，包括两个隐藏层，每个隐藏层包含一步3x3转置卷积操作，一步层归一化操作，一步tanh函数激活操作；
所述鉴别器，包含特征提取模块以及预测模块；
其中，特征提取模块包括5个隐藏层，每个隐藏层包含一步卷积操作，一步层归一化操作，一步线性整流函数激活操作，预测模块为一步卷积操作，用于将特征抽取模块得到的特征图转换为预测图；
所述语义保留模块的分割子网络包括预训练特征提取模块以及多层上采样跳层连接；所述预训练特征提取模块为在ImageNet数据集上预训练的VGG-16网络的一部分，共有5个卷积阶段，5次最大池化操作，其中第一和第二个卷积阶段包含两个隐藏层，后三个卷积阶段均包含三个隐藏层，每个隐藏层包含一步3x3卷积操作以及一步线性整流函数激活操作；
两个子网络模型架构定义一致，均为预训练特征提取模块结合多层上采样跳层连接操作；
多层上采样跳层连接定义如下：
预训练特征提取模块的5步最大池化操作后输出的特征图，输出按先后顺序分别定义为v_out1,v_out2,v_out3,v_out4,v_out5
其中，v_out5经过反卷积操作，线性整流函数激活操作，层归一化操作后与v_out4中特征图按元素值相加得到特征图temp1
Temp1经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out3中的特征图按元素值相加得到特征图temp2
Temp2经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out2中的特征图按元素值相加得到特征图temp3
Temp3经过反卷积操作，线性整流函数激活操作，层归一化操作后，与v_out1中的特征图按元素值相加得到特征图temp4
Temp4经过反卷积操作，线性整流函数激活操作，层归一化操作后，得到最终的特征图；最终的特征图经过一步1x1卷积操作及一步sigmoid激活操作后，经过阈值化得到预测的分割结果；
所述语义保留模块中相似图像选取模块负责在每张MRI图像输入时，寻找与之最相近的CT图像，最相近的CT图像随机从最高相似度的20张CT图像中选取；所述的相似度定义如下：
sim＝100dhanming(phash(x)，phash(y))+|focus(x)-focus(y)| (4)
其中，x，y指用于计算相似度的两张图像，phash()为图像感知哈希算法，通过离散余弦变换(DCT)降低图片频率，得到图像的二进制指纹；dhanming()为汉明距离(Hammingdistance)，用于获取图像二进制指纹之间的相似度；focus()计算图像粗糙病灶区域比例，对于源域图像即MRI影像，直接取其语义分割标签中值大于0的像素所占图像全体像素比例即可；对于目标域图像即CT影像，对图像进行阈值二值化操作：对于值大于120且小于180的像素值取二值化1，其余像素值取二值化0；
S12:所述基于领域自适应机制的图像语义分割网络包括分割网络以及域鉴别器；
其中，分割网络结构与上述图像合成网络的语义保留模块中的分割子网络结构一致；
其中，域鉴别器输入为隐藏层输出的特征图以及隐藏层经过上采样过程得到的预测，包括4个隐藏层和一个分类层，每个隐藏层包括一步4x4卷积操作，一步带泄露线性整流函数(Leaky ReLU)操作，分类层为一个卷积层，用于输出维度为1的预测图；
S2：训练目标域训练数据合成网络
进一步，需要带标签的源域训练数据即MRI图像及其语义分割标签，以及无标签的目标域训练数据即脑CT图像；；
对训练数据进行预处理与数据增强：
其中，预处理包括将源域图像，源域标签，目标域图像采样到一致大小，对所有图像进行归一化操作，即将数据处理为0均值和单位方差；
数据增强方法：包括对所有图像亮度值随机浮动20％，对源域图像及相应标签以0.5概率进行水平翻转；
训练模型需要进行多次的反向传播与参数更新，每次更新前向模型输入同样批大小的训练数据，每批训练数据包含n张MRI图像，n张MRI图像相应的语义分割标签，n张脑CT图像，选取n＝1；
数据在输入网络前，首先进行匹配对齐即将语义内容接近的脑肿瘤MRI图像和脑出血CT图像进行配对：每取一张待输入网络的源域影像，查找在步骤S12中语义保留模块中相似图像选取模块中存储的最相似目标域影像20张，从中随机选取一张，将两者配对；
每次输入新的数据，进行如下操作：
MRI图像s输入到CT图像生成器Gs,CT图像t输入到MRI生成器Gt；
Gs(s)与目标域图像t输入到目标域鉴别器Dt，Gt(t)与源域图像s输入源域鉴别器Ds，锁定鉴别器更新，根据Wasserstein GAN思想计算生成对抗损失
如下：
其中，
表示从指定分布中提取的数据，t为目标域图像即CT脑出血图像，Dt为目标域图像鉴别器，Gs(s)为源域图像即MRI脑肿瘤图像输入到CT图像生成器Gs()后合成的伪目标域图像即伪CT脑出血图像，p(t)为目标域图像的分布；
指t为从目标域图像中提取的；s为源域图像即MRI脑肿瘤图像，Ds为源域图像鉴别器，Gt(t)为目标域图像即CT脑出血图像输入到MRI图像生成器Gt()后合成的伪源域图像即伪CT图像，p(s)为源域图像的分布，
指s为从源域图像中提取的；
计算循环一致性损失如下：
srecover＝Gt(Gs(s)) (7)
trecover＝Gs(Gt(t)) (8)
其中，
表示从指定分布中提取数据，Gs(s)，s与式(5)中定义一致，Gt(t)，t与式(6)中定义一致，srecover为伪目标域图像即伪CT图像输入到CT生成器Gt()后合成的循环源域图像，即循环合成MRI图像，trecover为伪源域图像即伪MRI图像输入到MRI生成器Gs()后合成的循环目标域图像，即循环合成CT图像，p(s)为源域图像的分布，p(t)为目标域图像的分布；
将Gs(s)与源域图像s的标签ys输入到语义保留模块中的分割子网络Ft，冻结分割子网络的更新，计算分割损失：
其中，Gs(s)与式(5)中定义一致，ys为源域图像即MRI图像的语义分割标签；Ft为语义保留模块中的伪目标域图像分割子网络；
将srecover与源域图像s的标签ys输入到语义保留模块中的分割子网络Fs,冻结分割子网络的更新，计算分割损失：
其中，srecover与式(8)中定义一致，ys与式(11)中定义一致；Fs为语义保留模块中的循环源域图像分割子网络；
得到的语义保留损失为：
其中，
为(10)中分割子网络计算得到的损失，
为(11)中分割子网络计算得到的损失；
得到生成器损失函数如下并反向传播，优化生成器Gs和Gt：
其中，
为整合(5)(6)中的生成对抗损失，(9)中的循环一致性损失，(12)中的语义保留损失得到的生成器损失；
切断Gs(s)的梯度，将S的标签和Gs(s)输入语义保留分割子网络Ft,同上述式(10)计算分割损失，将计算出的损失进行反向传播，优化Ft
切断srecover的梯度，将S的标签和srecover输入语义保留分割子网络Fs,同上述式(11)计算分割损失，将计算出的损失进行反向传播，优化Fs
切断Gs(s)的梯度，计算损失如下并反向传播，优化鉴别器Dt：
其中，Dt()，Gs(s)与式(5)中定义一致，yfake为合成目标域图像即CT图像的域标签，ytrue为源域图像即MRI图像的域标签；
计算损失如下并反向传播，优化鉴别器Ds：
其中，Ds(s)，Gt(t)与式(6)中定义一致，ytrue为源域图像即MRI图像的域标签；
重复以上过程，直到达到模型满足预设的收敛条件，收敛条件为运行100轮以上，一轮指使用训练集的全部数据对模型进行一次完整训练；S3：利用步骤S2中训练好的数据合成网络以及带标签的源域图像数据，生成用于训练分割网络的训练数据；
将源域图像数据经过同步骤S2一致的预处理，输入到目标域数据合成网络中的生成器G进行预测；得到合成目标域数据即合成CT图像tsynthetic，存储得到的图像用作训练集；
S4：利用步骤S1中定义的目标域图像语义分割网络，步骤S3中生成的训练数据，以及无标签的目标域图像，训练基于领域自适应的图像语义分割网络；
首先进行数据预处理，将数据处理为0均值和单位方差；
将源域图像以及源域标签送入分割网络，取得分割预测及中间层上采样结果，采样至最终预测分割结果大小，上采样采用双线性插值；计算损失如下并反向传播，优化分割网络的分割性能：
其中，F为目标域图像语义分割网络，式(20)中的Fh为F的子集，即语义分割网络F中隐藏层h及之前的网络结构加上一个上采样过程，h取值为h1至h5；s定义与式(5)中一致，ys定义与式(10)中一致，tsynthetic为步骤S3中得到的合成目标域图像即合成CT图像；
将目标域图像送入分割网络，取得分割预测及中间层上采样结果
暂停域鉴别器更新，将中间层上采样结果送入鉴别器，鉴别器输出预测图，计算对抗损失如下并反向传播，优化分割网络的泛化性能：
其中，Fh,tsynthetic定义与式(22)中一致，D为域鉴别器，t定义与式(6)一致；
切断源域和目标域隐层表示之前的梯度更新，将二者送入域鉴别器，计算鉴别器损失如下并反向传播，优化域鉴别器:
其中，Fh,tsynthetic定义与式(20)中一致，D为域鉴别器，t定义与式(5)一致；
重复以上过程，直到达到模型满足预设的收敛条件；预设的收敛条件为运行100轮以上，一轮指使用训练集的全部数据对模型进行一次完整训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659486.5A CN111951220A (zh) | 2020-07-10 | 2020-07-10 | 一种基于多层面领域自适应技术的无监督脑出血分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659486.5A CN111951220A (zh) | 2020-07-10 | 2020-07-10 | 一种基于多层面领域自适应技术的无监督脑出血分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111951220A true CN111951220A (zh) | 2020-11-17 |
Family
ID=73340109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010659486.5A Pending CN111951220A (zh) | 2020-07-10 | 2020-07-10 | 一种基于多层面领域自适应技术的无监督脑出血分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951220A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633378A (zh) * | 2020-12-24 | 2021-04-09 | 电子科技大学 | 一种多模态影像胎儿胼胝体智能检测方法及*** |
| CN114612484A (zh) * | 2022-03-07 | 2022-06-10 | 中国科学院苏州生物医学工程技术研究所 | 基于无监督学习的视网膜oct图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN109190707A (zh) * | 2018-09-12 | 2019-01-11 | 深圳市唯特视科技有限公司 | 一种基于对抗学习的域自适应图像语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
| CN110533044A (zh) * | 2019-05-29 | 2019-12-03 | 广东工业大学 | 一种基于gan的域适应图像语义分割方法 |
-
2020
- 2020-07-10 CN CN202010659486.5A patent/CN111951220A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109190707A (zh) * | 2018-09-12 | 2019-01-11 | 深圳市唯特视科技有限公司 | 一种基于对抗学习的域自适应图像语义分割方法 |
| CN110533044A (zh) * | 2019-05-29 | 2019-12-03 | 广东工业大学 | 一种基于gan的域适应图像语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633378A (zh) * | 2020-12-24 | 2021-04-09 | 电子科技大学 | 一种多模态影像胎儿胼胝体智能检测方法及*** |
| CN112633378B (zh) * | 2020-12-24 | 2022-06-28 | 电子科技大学 | 一种多模态影像胎儿胼胝体智能检测方法及*** |
| CN114612484A (zh) * | 2022-03-07 | 2022-06-10 | 中国科学院苏州生物医学工程技术研究所 | 基于无监督学习的视网膜oct图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pinaya et al. | Convolutional neural networks | |
| Mansour et al. | An optimal segmentation with deep learning based inception network model for intracranial hemorrhage diagnosis | |
| Ahmad et al. | Medical image retrieval with compact binary codes generated in frequency domain using highly reactive convolutional features | |
| CN111325766B (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| US12008757B2 (en) | Method and system for automatic multiple lesion annotation of medical images | |
| Yang et al. | DCU-net: A deformable convolutional neural network based on cascade U-net for retinal vessel segmentation | |
| CN111951220A (zh) | 一种基于多层面领域自适应技术的无监督脑出血分割方法 | |
| Brahimi et al. | Semantic segmentation using reinforced fully convolutional densenet with multiscale kernel | |
| Wang et al. | Reliable identification of redundant kernels for convolutional neural network compression | |
| CN113012164A (zh) | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割***及方法 | |
| Zhai et al. | An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis | |
| Jena et al. | Review of neural network techniques in the verge of image processing | |
| Dammak et al. | Gender estimation based on deep learned and handcrafted features in an uncontrolled environment | |
| Sachdeva et al. | The power of deep learning for intelligent tumor classification systems: A review | |
| CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN115719357A (zh) | 一种脑部医学图像多结构分割方法 | |
| CN117036368A (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN114463339A (zh) | 一种基于自注意力的医疗影像分割方法 | |
| CN114419249A (zh) | 物体三维形状重建方法、装置、设备及存储介质 | |
| Zahra et al. | Medical image segmentation using a U-Net type of architecture | |
| Bosco et al. | Learning multi-granularity neural network encoding image classification using DCNNs for Easter Africa Community Countries | |
| Jiang et al. | A foreground mask network for cell counting | |
| Bhargav et al. | Imagenation-A DCGAN based method for Image Reconstruction from fMRI | |
| Li et al. | A semi-supervised learning model based on convolutional autoencoder and convolutional neural network for image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |