CN112308833B - 一种基于循环一致相关性的one-shot脑图像分割方法 - Google Patents

一种基于循环一致相关性的one-shot脑图像分割方法 Download PDF

Info

Publication number
CN112308833B
CN112308833B CN202011182378.XA CN202011182378A CN112308833B CN 112308833 B CN112308833 B CN 112308833B CN 202011182378 A CN202011182378 A CN 202011182378A CN 112308833 B CN112308833 B CN 112308833B
Authority
CN
China
Prior art keywords
image
module
generator
decoding
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011182378.XA
Other languages
English (en)
Other versions
CN112308833A (zh
Inventor
王连生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011182378.XA priority Critical patent/CN112308833B/zh
Publication of CN112308833A publication Critical patent/CN112308833A/zh
Application granted granted Critical
Publication of CN112308833B publication Critical patent/CN112308833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于循环一致相关性的one‑shot脑图像分割方法，其包括以下步骤：S1、获取脑解剖结构图像并进行分类，得到未标注影像y及图集x，图集x带有标注xs；S2、构建LT‑NET网络模型，LT‑NET网络模型包括生成器GF、生成器GB及两个判别器D；S3、将图集x与未标注影像y输入生成器GF，得到前向映射ΔpF；S4、将前向映射ΔpF分别应用在图集x及标注xs，配合监督损失，得到重建影像
Figure DDA0002750540510000011
及标注
Figure DDA0002750540510000012
S5、将重建影像
Figure DDA0002750540510000013
及图集x输入生成器GB，得到后向映射ΔpB；S6、将后向映射ΔpB分别应用在重建影像
Figure DDA0002750540510000014
及标注
Figure DDA0002750540510000015
配合监督损失，得到重建影像
Figure DDA0002750540510000016
及标注
Figure DDA0002750540510000017
本发明采用构建LT‑NET网络模型，配合监督损失有效提高图像分割的效率，提高了单向相关性学习性能。

Description

一种基于循环一致相关性的one-shot脑图像分割方法
技术领域
本发明涉及医学图像分割技术领域，尤其涉及一种基于循环一致相关性的one-shot脑图像分割方法。
背景技术
脑解剖结构分割的常用方法有通过传统机器学习分割，但传统机器学习依赖于手工提取的特征，而这些特征具有有限的特征表示能力和泛化能力，于是开发了卷积神经网络(CNN)学习，因为其完全由数据驱动，并且可以利用自学的高级特征自动检索分层特征，消除了传统机器学习方法中手工特征的局限性，借助充分的标注数据，卷积神经网络在全监督的分割任务中具有较好的效果，使用具有前向相关性和后向相关性的分割算法，即改进分割网络使其学习图集x到未标注影像y的前向映射，通过warp操作的到重建图像
Figure GDA0003771635170000011
随后学习重建影像
Figure GDA0003771635170000012
到图集x的后向映射，虽然这样的方式能够对前向相关性学习和最终分割结果起到积极作用，但是这样的学习方式效率难以满足需求，单向相关性学习的性能较低。
发明内容
本发明的目的在于提供一种基于循环一致相关性的one-shot脑图像分割方法，有效提高图像分割的效率，提高了单向相关性学习性能。
为实现上述目的，本发明采用以下技术方案：
一种基于循环一致相关性的one-shot脑图像分割方法，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像及未标注影像y，将已标注影像划分为图集x，图集x带有标注xs；
S2、构建LT-NET网络模型，LT-NET网络模型包括生成器GF、生成器GB及两个判别器D，生成器GF与生成器GB均包括孪生编码器及解码器；
S3、将图集x与未标注影像y输入生成器GF，通过生成器GF的孪生编码器和解码器处理，得到前向映射ΔpF；
S4、将前向映射ΔpF分别应用在图集x及标注xs，通过判别器D与生成器GF配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure GDA0003771635170000021
及标注
Figure GDA0003771635170000022
S5、将重建影像
Figure GDA0003771635170000023
及图集x输入生成器GB，通过生成器GB的孪生编码器和解码器处理，得到后向映射ΔpB；
S6、将后向映射ΔpB分别应用在重建影像
Figure GDA0003771635170000024
及标注
Figure GDA0003771635170000025
通过判别器D与生成器GB配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure GDA0003771635170000026
及标注
Figure GDA0003771635170000027
进一步地，所述监督损失包括影像一致性损失
Figure GDA0003771635170000028
变换一致性Ltran_cyc(ΔpF，ΔpB)、解剖结构一致性的
Figure GDA0003771635170000029
及解剖差异一致性
Figure GDA00037716351700000210
公式分别表示为：
Figure GDA00037716351700000211
Figure GDA00037716351700000212
Figure GDA00037716351700000213
Figure GDA00037716351700000214
其中，
Figure GDA00037716351700000215
表示为用于监督重建影像
Figure GDA00037716351700000216
与图集x是否一致的影像一致性损失，Ltran_cyc(ΔpF，ΔpB)表示为用于监督前向映射ΔpF与后向映射ΔpB的变换一致性，ρ(x)＝(x2+ε2)γ表示广义的Charbonnier惩罚项，t表示体素点，ε＝0.001，γ＝0.45，
Figure GDA00037716351700000217
及
Figure GDA00037716351700000218
分别表示为用于监督标注xs、标注
Figure GDA00037716351700000219
及标注
Figure GDA00037716351700000220
的解剖结构一致性及解剖差异一致性。
进一步地，所述监督损失还包括对抗性损失
Figure GDA00037716351700000221
相似度损失
Figure GDA00037716351700000222
及平滑损失Lsmooth(ΔpF，ΔpB)，公式分别表示为：
Figure GDA00037716351700000223
Figure GDA0003771635170000031
Lsmooth(ΔpF,ΔpB)＝Lsmooth(ΔpF)+Lsmooth(ΔpB)
Figure GDA0003771635170000032
Figure GDA0003771635170000033
其中，fy(t)和
Figure GDA0003771635170000034
分别表示未标注影像y与重建影像
Figure GDA0003771635170000035
局部平均强度：
Figure GDA0003771635170000036
ti表示t周围体积为l3范围内的坐标，l＝3；t∈Ω表示Δp中所有的位置空间，Lsmooth(ΔpF，ΔpB)使用沿x，y，z方向的相邻像素之间的空间梯度表示为
Figure GDA0003771635170000037
进一步地，所述LT-NET网络模型的总监督损失为：
Figure GDA0003771635170000038
Figure GDA0003771635170000039
其中，λ1,、λ2、λ3是衡量损失的权重，λ1＝1，λ2＝3，λ3＝10。
进一步地，所述生成器GF及生成器GB还包括双注意模块，通过孪生编码器分流提取图集x与未标注影像y，通过孪生编码器分流提取重建影像
Figure GDA00037716351700000310
与图集x的相关特征，并将相关特征输入双注意模块，双注意模块学习相关特征的空间信息及通道信息并输送给解码器，解码器解码得到前向映射ΔpF或后向映射ΔpB。
进一步地，所述双注意模块包括空间注意模块及通道模块，通过空间注意模块在空间维度上捕捉空间信息，通道模块在通道维度上捕捉通道信息，将空间信息和通道信息相加，得到新特征图并输送给解码器。
进一步地，所述孪生编码器设有5个编码子模块分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流；孪生编码器具有2个处理流并同时连接1个第五编码子模块；
所述解码器设有5个解码子模块分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块；第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，第五解码子模块输出重建影像
Figure GDA0003771635170000041
到图集x的后向映射ΔpB。
进一步地，所述编码子模块通过基本残差模块堆叠的ResNet-34组成。
进一步地，所述判别器D采用PatchGAN判别器。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明通过构建LT-NET网络模型，通过生成器GF、生成器GB分别与判别器D进行对抗，LT-NET网络模型具有监督损失，监督损失配合生成器GF、生成器GB，使生成器GF、生成器GB分别得到准确度最高的前向映射ΔpF及后向映射ΔpB，将前向映射ΔpF及后向映射ΔpB分别进行warp操作可得到重建影像重建影像
Figure GDA0003771635170000042
标注
Figure GDA0003771635170000043
重建影像
Figure GDA0003771635170000044
及标注
Figure GDA0003771635170000045
LT-NET网络模型有效提高图像分割的效率，提高了单向相关性学习性能，学习得到准确度更高的重建影像及标注。
2、本发明判别器D选择PatchGAN判别器，PatchGAN判别器可以更好地对图像的局部进行判别，通过将影像分成多个补丁，对每个补丁进行真假判断，最后得出图像级别的判断，准确度及性能优于一般判别器。
3、本发明监督损失包括影像一致性损失
Figure GDA0003771635170000046
变换一致性Ltran_cyc(ΔpF，ΔpB)、解剖结构一致性的
Figure GDA0003771635170000047
解剖差异一致性
Figure GDA0003771635170000048
对抗性损失
Figure GDA0003771635170000049
相似度损失
Figure GDA00037716351700000410
及平滑损失Lsmooth(ΔpF，ΔpB)，通过不同的监督损失在不同的空间监督LT-NET网络模型，使得LT-NET网络模型有效提高图像分割的效率，提高了单向相关性学习性能。
附图说明
图1为本发明工作流程示意图；
图2为本发明LT-NET网络模型结构示意图；
图3为本发明孪生编码器与解码器工作示意图；
图4为本发明LT-NET网络模型与MABMIS网络模型分割对比图；
图5为本发明LT-NET网络模型与PICSL_MALF网络模型分割对比图；
图6为本发明LT-NET网络模型、VoxelMorph网络模型及DataAug网络模型分割对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。
实施例
配合图1至图3所示，本发明公开了一种基于循环一致相关性的one-shot脑图像分割方法，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像及未标注影像y，将已标注影像划分为图集x，图集x带有标注xs。
S2、构建LT-NET网络模型，LT-NET网络模型包括生成器GF、生成器GB及两个判别器D，生成器GF与生成器GB均包括孪生编码器及解码器。
S3、将图集x与未标注影像y输入生成器GF，通过生成器GF的孪生编码器和解码器处理，得到前向映射ΔpF。
S4、将前向映射ΔpF分别应用在图集x及标注xs，通过判别器D与生成器GF配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure GDA0003771635170000061
及标注
Figure GDA0003771635170000062
S5、将重建影像
Figure GDA0003771635170000063
及图集x输入生成器GB，通过生成器GB的孪生编码器和解码器处理，得到后向映射ΔpB。
S6、将后向映射ΔpB分别应用在重建影像
Figure GDA0003771635170000064
及标注
Figure GDA0003771635170000065
通过判别器D与生成器GB配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure GDA0003771635170000066
及标注
Figure GDA0003771635170000067
本实施例的LT-NET网络模型是基于GAN网络构建的，网络增加了循环结构及对抗性思想；使得生成的重建影像
Figure GDA0003771635170000068
与未标注影像y相一致，重建影像
Figure GDA0003771635170000069
与图集x相一致，图集x的标注xs与标注
Figure GDA00037716351700000610
相一致。
监督损失包括用于约束图集x及重建影像
Figure GDA00037716351700000611
的影像一致性损失
Figure GDA00037716351700000612
前向相关性和后向相关性为彼此的反函数，使应用前向映射ΔpF的图集x在此应用后向映射可以回到原始状态的变换一致性Ltran_cyc(ΔpF，ΔpB)、在解剖结构空间中，用于约束图集x真实的分割标注xs和重建的标注
Figure GDA00037716351700000613
相一致的解剖结构一致性的
Figure GDA00037716351700000614
及解剖差异一致性
Figure GDA00037716351700000615
公式分别表示为：
Figure GDA00037716351700000616
Figure GDA00037716351700000617
Figure GDA00037716351700000618
Figure GDA00037716351700000619
其中，
Figure GDA00037716351700000620
表示为用于监督重建影像
Figure GDA00037716351700000621
与图集x是否一致的影像一致性损失，Ltran_cyc(ΔpF，ΔpB)表示为用于监督前向映射ΔpF与后向映射ΔpB的变换一致性，ρ(x)＝(x2+ε2)γ表示广义的Charbonnier惩罚项，t表示体素点，t∈Ω表示Δp中所有的位置空间，ε＝0.001，γ＝0.45，
Figure GDA00037716351700000622
及
Figure GDA00037716351700000623
分别表示为用于监督标注xs、标注
Figure GDA00037716351700000624
及标注
Figure GDA00037716351700000625
的解剖结构一致性及解剖差异一致性。
监督损失还包括对抗性损失
Figure GDA00037716351700000626
相似度损失
Figure GDA00037716351700000627
及平滑损失Lsmooth(ΔpF，ΔpB)，公式分别表示为：
Figure GDA0003771635170000071
Figure GDA0003771635170000072
Lsmooth(ΔpF,ΔpB)＝Lsmooth(ΔpF)+Lsmooth(ΔpB)
Figure GDA0003771635170000073
Figure GDA0003771635170000074
其中，fy(t)和
Figure GDA0003771635170000075
分别表示未标注影像y与重建影像
Figure GDA0003771635170000076
局部平均强度：
Figure GDA0003771635170000077
ti表示t周围体积为l3范围内的坐标，l＝3；t∈Ω表示Δp中所有的位置空间，Lsmooth(ΔpF，ΔpB)使用沿x，y，z方向的相邻像素之间的空间梯度表示为
Figure GDA0003771635170000078
LT-NET网络模型的总监督损失为：
Figure GDA0003771635170000079
其中，λ1,、λ2、λ3是衡量损失的权重，λ1＝1，λ2＝3，λ3＝10。
本实施例的目的是学习能够将图集x的标注xs转移到未标注影像y的相关性映射，类比于光流估计任务中的遮挡问题，在前向光流估计和后向光流估计中存在着遮挡-非遮挡对称一致性，本实施例提出了一种解剖学差异一致性损失，以简洁规范合成分割图的质量；此损失的提出是基于：前向和后向路径中的图集x和未标注影像y之间的结构差异在解剖空间中应遵守周期性一致。
生成器GF及生成器GB还包括双注意模块，通过孪生编码器分流提取图集x与未标注影像y，或通过孪生编码器分流提取重建影像
Figure GDA00037716351700000710
与图集x的相关特征，并将相关特征输入双注意模块，双注意模块学习相关特征的空间信息及通道信息并输送给解码器，解码器解码得到前向映射ΔpF或后向映射ΔpB。
双注意模块包括空间注意模块及通道模块，通过空间注意模块在空间维度上捕捉空间信息，通道模块在通道维度上捕捉通道信息，将空间信息和通道信息相加，得到新特征图并输送给解码器。
孪生编码器设有5个编码子模块分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流；孪生编码器具有2个处理流并同时连接1个第五编码子模块。
解码器设有5个解码子模块分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块；第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，第五解码子模块输出重建影像
Figure GDA0003771635170000083
到图集x的后向映射ΔpB
编码子模块通过基本残差模块堆叠的ResNet-34组成。
判别器D采用PatchGAN判别器。
实验评价
配合图4至图6所示，本实验评价的脑解剖结构图像采集自是马萨诸塞大学医学院的儿童和青少年神经发育计划(The Child and Adolescent NeuroDevelopmentInitiative,CANDI)公开了一系列脑结构图像作为实验例的图像及MICCAI2018比赛公布的MRBrainS18数据。
本实验评价的评价指标采用Dice相似度系数来评价模型的分割准确度，该精度用于测量手工标注和预测结果之间的相似性：
Figure GDA0003771635170000081
其中ys表示测试数据的手工标注，
Figure GDA0003771635170000082
表示预测结果，Dice系数越大说明预测结果与手工标注越接近，本实验评价同时通过平均Dice系数及Dice的标准差作为评估标准，它反映了被测数据预测结果的离散程度，定义为：
Figure GDA0003771635170000091
其中，n表示测试数据的数量，dicei表示第i个测试数据的Dice值，
Figure GDA0003771635170000092
表示所有测试数据的平均Dice，标准差越小，说明模型的性能越稳定。
通过消融性实验验证监督损失的有效性，结果如下表1所示：
Figure GDA0003771635170000093
表1监督损失消融结果对比表
LT-NET网络模型的监督损失引入其他空间的监督能够进一步提高网络性能；利用前向相关性映射，可以使图集x的分割图合成未标注影像y的分割图，相反，可以使用后向相关性映射将合成的分割图恢复成图集x的分割图；LT-NET网络模型的监督损失确保了解剖结构的完整性和内部一致性，有效提升了网络性能。
通过将LT-NET网络模型与MABMIS网络模型、PICSL_MALF网络模型进行比较，其中MABMIS网络模型由基于树的逐组配准方法和逐组迭代分割方法组成，PICSL_MALF网络模型提出了多图集联合标签融合技术和矫正学习技术来解决传统基于投票的多图集标签融合策略出现的问题；本实验例分别用2-5个图集来验证MABMIS网络模型和PICSL_MALF网络模型的效果，并将其与one-shot方式训练的LT-NET网络模型进行比较，对比结果如下表2所示：
Figure GDA0003771635170000094
Figure GDA0003771635170000101
表2 LT-NET网络模型与MABMIS、PICSL_MALF网络模型对比表
LT-NET网络模型仅适用1个图集就远远优于使用5个图集的MABMIS网络模型、PICSL_MALF网络模型，MABMIS网络模型、PICSL_MALF网络模型因耗时过长而被舍弃，MABMIS在
Figure GDA0003771635170000102
Corei3-4150CPU的环境下需要使用大约14分钟才能分割一个案例，PICSL_MALF在单张TeslaP40 GPU环境下需要3分钟，而LT-NET网络模型在单张TeslaP40 GPU环境下仅需要4秒。
可视化LT-NET网络模型和MABMIS网络模型分割结果，图中后四列表示图集2-5时MABMIS网络模型的分割结果，从图中可以看出，随着图集的增加，MABMIS网络模型的分割效果会越来越好，但是与LT-NET网络模型相比，MABMIS网络模型的分割效果较差，存在严重的多分和漏分情况。
可视化LT-NET网络模型和PICSL_MALF网络模型分割结果，图中后四列表示图集2-5时PICSL_MALF网络模型的分割结果，PICSL_MALF网络模型的边缘分割优于MABMIS网络模型，但仍然存在过分分割的情况；综上所述，基于one-shot的LT-NET网络模型在脑解剖结构分割任务中学习到更加准确的相关性，从而能得到准确的分割结果。
将LT-NET网络模型与VoxelMorph网络模型和DataAug网络模型进行比较，对比分割结果如下表3所示：
Figure GDA0003771635170000111
表3 LT-NET网络模型与VoxelMorph、DataAug网络模型对比表
仅使用一个带标注的数据，LT-NET网络模型就达到了平均Dice为82.3％的成绩，分别比VoxelMorph网络模型和DataAug网络模型高出6.3％和1.9％。另外，相对于DataAug网络模型，LT-Net网络模型使用端到端的训练方式，仅需要训练一个网络，而DataAug网络模型需要训练多个网络，过程复杂；综上所述，LT-NET网络模型在脑解剖结构分割任务中具有简便性和有效性。
可视化LT-NET网络模型与VoxelMorph网络模型、DataAug网络模型分割结果，从图中可看出LT-NET网络模型可以更好地分割细节和边缘信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像及未标注影像y，将已标注影像划分为图集x，图集x带有标注xs；
S2、构建LT-NET网络模型，LT-NET网络模型包括生成器GF、生成器GB及两个判别器D，生成器GF与生成器GB均包括孪生编码器及解码器；
所述孪生编码器设有5个编码子模块分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流；孪生编码器具有2个处理流并同时连接1个第五编码子模块；
所述解码器设有5个解码子模块分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块；第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，或第五解码子模块输出重建影像
Figure FDA0003771635160000019
到图集x的后向映射ΔpB；
S3、将图集x与未标注影像y输入生成器GF，通过生成器GF的孪生编码器和解码器处理，得到前向映射ΔpF；
S4、将前向映射ΔpF分别应用在图集x及标注xs，通过判别器D与生成器GF配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure FDA0003771635160000011
及标注
Figure FDA0003771635160000012
S5、将重建影像
Figure FDA0003771635160000013
及图集x输入生成器GB，通过生成器GB的孪生编码器和解码器处理，得到后向映射ΔpB；
S6、将后向映射ΔpB分别应用在重建影像
Figure FDA0003771635160000014
及标注
Figure FDA0003771635160000015
通过判别器D与生成器GB配合监督损失进行循环对抗并通过warp操作分别得到重建影像
Figure FDA0003771635160000016
及标注
Figure FDA0003771635160000017
2.如权利要求1所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述监督损失包括影像一致性损失
Figure FDA0003771635160000018
变换一致性Ltran_cyc (ΔpF，ΔpB)、解剖结构一致性的
Figure FDA0003771635160000021
及解剖差异一致性
Figure FDA0003771635160000022
公式分别表示为：
Figure FDA0003771635160000023
Figure FDA0003771635160000024
Figure FDA0003771635160000025
Figure FDA0003771635160000026
其中，
Figure FDA0003771635160000027
表示为用于监督重建影像
Figure FDA0003771635160000028
与图集x是否一致的影像一致性损失，Ltran_cyc(ΔpF，ΔpB)表示为用于监督前向映射ΔpF与后向映射ΔpB的变换一致性，ρ(x)＝(x2+ε2)γ表示广义的Charbonnier惩罚项，t表示体素点，ε＝0.001，γ＝0.45，
Figure FDA0003771635160000029
及
Figure FDA00037716351600000210
分别表示为用于监督标注xs、标注
Figure FDA00037716351600000211
及标注
Figure FDA00037716351600000212
的解剖结构一致性及解剖差异一致性。
3.如权利要求2所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述监督损失还包括对抗性损失
Figure FDA00037716351600000213
相似度损失
Figure FDA00037716351600000214
及平滑损失Lsmooth(ΔpF，ΔpB)，公式分别表示为：
Figure FDA00037716351600000215
Figure FDA00037716351600000216
Lsmooth(ΔpF,ΔpB)＝Lsmooth(ΔpF)+Lsmooth(ΔpB)
Figure FDA00037716351600000217
Figure FDA00037716351600000218
其中，fy(t)和
Figure FDA00037716351600000219
分别表示未标注影像y与重建影像
Figure FDA00037716351600000220
局部平均强度：
Figure FDA00037716351600000221
Figure FDA00037716351600000222
ti表示t周围体积为l3范围内的坐标，l＝3；t∈Ω表示Δp中所有的位置空间，Lsmooth(ΔpF，ΔpB)使用沿x，y，z方向的相邻像素之间的空间梯度表示为
Figure FDA0003771635160000031
4.如权利要求2-3任意一项所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述LT-NET网络模型的总监督损失为：
Figure FDA0003771635160000032
其中，λ1、λ2、λ3是衡量损失的权重，λ1＝1，λ2＝3，λ3＝10。
5.如权利要求1所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述生成器GF及生成器GB还包括双注意模块，通过孪生编码器分流提取图集x与未标注影像y，或通过孪生编码器分流提取重建影像
Figure FDA0003771635160000033
与图集x的相关特征，并将相关特征输入双注意模块，双注意模块学习相关特征的空间信息及通道信息并输送给解码器，解码器解码得到前向映射ΔpF或后向映射ΔpB。
6.如权利要求5所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述双注意模块包括空间注意模块及通道模块，通过空间注意模块在空间维度上捕捉空间信息，通道模块在通道维度上捕捉通道信息，将空间信息和通道信息相加，得到新特征图并输送给解码器。
7.如权利要求6所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述编码子模块通过基本残差模块堆叠的ResNet-34组成。
8.如权利要求1所述的一种基于循环一致相关性的one-shot脑图像分割方法，其特征在于：所述判别器D采用PatchGAN判别器。
CN202011182378.XA 2020-10-29 2020-10-29 一种基于循环一致相关性的one-shot脑图像分割方法 Active CN112308833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182378.XA CN112308833B (zh) 2020-10-29 2020-10-29 一种基于循环一致相关性的one-shot脑图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182378.XA CN112308833B (zh) 2020-10-29 2020-10-29 一种基于循环一致相关性的one-shot脑图像分割方法

Publications (2)

Publication Number Publication Date
CN112308833A CN112308833A (zh) 2021-02-02
CN112308833B true CN112308833B (zh) 2022-09-13

Family

ID=74331740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182378.XA Active CN112308833B (zh) 2020-10-29 2020-10-29 一种基于循环一致相关性的one-shot脑图像分割方法

Country Status (1)

Country Link
CN (1) CN112308833B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Conquering Data Variations in Resolution: A Slice-Aware Multi-Branch Decoder Network;Shuxin Wang et al.;《IEEE transactions on medical imaging》;20200805;第39卷(第12期);第4174-4185页 *
LT-Net: Label Transfer by Learning Reversible Voxel-Wise Correspondence for One-Shot Medical Image Segmentation;Shuxin Wang et al.;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;第9159-9168页 *
VoxelMorph: A Learning Framework for Deformable Medical Image Registration;Guha Balakrishnan et al.;《IEEE Transactions on Medical Imaging》;20190204;第38卷(第8期);第1788-1800页 *
基于改进CycleGAN的图像风格迁移;杜振龙 等;《光学精密工程》;20190815;第27卷(第8期);第1836-1844页 *
面向乳腺超声图像分割的混合监督双通道反馈U-Net;贡荣麟等;《中国图象图形学报》;20201016(第10期);第2206-2217页 *

Also Published As

Publication number Publication date
CN112308833A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Jiang et al. Disentangled human body embedding based on deep hierarchical neural network
Carrara et al. Combining gans and autoencoders for efficient anomaly detection
CN111797692B (zh) 一种基于半监督学习的深度图像手势估计方法
CN112598053A (zh) 基于半监督学习的主动显著性目标检测方法
CN111914618B (zh) 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN112489092A (zh) 细粒度工业运动模态分类方法、存储介质、设备和装置
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN106649886A (zh) 一种利用三元组标签的深度监督散列进行图像检索方法
Zhou et al. Cross-weather image alignment via latent generative model with intensity consistency
Liu et al. D-CenterNet: An anchor-free detector with knowledge distillation for industrial defect detection
CN112308833B (zh) 一种基于循环一致相关性的one-shot脑图像分割方法
Zhu et al. Boosting RGB-D salient object detection with adaptively cooperative dynamic fusion network
Cai et al. A discrepancy aware framework for robust anomaly detection
Zhang et al. Multi-modal attention guided real-time lane detection
CN112348786B (zh) 一种基于双向相关性的one-shot脑图像分割方法
CN113723163A (zh) 利用离散姿态学习物理约束的手部运动自监督重建方法
CN113536926A (zh) 基于距离向量和多角度自适应网络的人体动作识别方法
Wan et al. 3D human action recognition with skeleton orientation vectors and stacked residual Bi-LSTM
Abdulwahab et al. Promising depth map prediction method from a single image based on conditional generative adversarial network
Tang et al. Exploring Spatiotemporal Consistency of Features for Video Translation in Consumer Internet of Things
CN112308834A (zh) 一种基于前向相关性的one-shot脑图像分割方法
Yingcai et al. Multi-scale Deep CNN Network for Unsupervised Monocular Depth Estimation
Wang et al. Neighborhood Multi-compound Transformer for point cloud registration
Paudel et al. Landscape image season transfer using Generative Adversarial Networks
Xu et al. 4D Contrastive Superflows are Dense 3D Representation Learners

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant