CN112348786B - 一种基于双向相关性的one-shot脑图像分割方法 - Google Patents

一种基于双向相关性的one-shot脑图像分割方法 Download PDF

Info

Publication number
CN112348786B
CN112348786B CN202011186634.2A CN202011186634A CN112348786B CN 112348786 B CN112348786 B CN 112348786B CN 202011186634 A CN202011186634 A CN 202011186634A CN 112348786 B CN112348786 B CN 112348786B
Authority
CN
China
Prior art keywords
image
generator
atlas
reconstructed
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011186634.2A
Other languages
English (en)
Other versions
CN112348786A (zh
Inventor
王连生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011186634.2A priority Critical patent/CN112348786B/zh
Publication of CN112348786A publication Critical patent/CN112348786A/zh
Application granted granted Critical
Publication of CN112348786B publication Critical patent/CN112348786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双向相关性的one‑shot脑图像分割方法，其包括以下步骤：构建图像变换模型，图像变换模型包括生成器GF、生成器GB及两个判别器D，将图集x及未标注影像y输入生成器GF分流处理，得到前向映射ΔpF，通过判别器D区分开重建影像
Figure DDA0002751566780000015
与未标注影像y，得到重建影像
Figure DDA0002751566780000011
将重建影像
Figure DDA0002751566780000013
及图集x输入生成器GB，得到后向映射ΔpB，通过判别器D区分开重建影像
Figure DDA0002751566780000014
与图集x，得到重建影像
Figure DDA0002751566780000016
通过生成器GF、判别器D及生成器GB相互约束，得到最终的前向映射ΔpF并通过warp操作得到有标注重建影像
Figure DDA0002751566780000012
本发明通过图像变换模型同时学习图集x到未标注影像y的前向映射以及未标注影像y到图集x的后向映射，通过后向映射约束前向映射，提高了前向映射的准确度。

Description

一种基于双向相关性的one-shot脑图像分割方法
技术领域
本发明涉及医学图像分割技术领域，尤其涉及一种基于双向相关性的one-shot脑图像分割方法。
背景技术
脑解剖结构分割的常用方法有通过传统机器学***滑损失对前向映射进行约束，其映射高度难以控制，导致其映射学习的准确度较低。
发明内容
本发明的目的在于提供一种基于双向相关性的one-shot脑图像分割方法，构建图像变换模型，通过图像变换模型同时学习图集x到未标注影像y的前向映射以及未标注影像y到图集x的后向映射，通过后向映射约束前向映射，提高了前向映射的准确度。
为实现上述目的，本发明采用以下技术方案：
一种基于双向相关性的one-shot脑图像分割方法，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像和未标注影像y，并将已标注影像划分为图集x；
S2、构建图像变换模型，图像变换模型包括生成器GF、生成器GB及两个判别器D，生成器GF、生成器GB均匹配一判别器D，生成器GF与生成器GB结构相同均包括孪生编码器及解码器；
S3、将图集x及未标注影像y输入生成器GF分流处理，通过生成器GF的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到图集x到未标注影像y的前向映射ΔpF；
S4、将图集x通过warp操作得到重建影像
Figure GDA0003743312590000021
通过判别器D区分开重建影像
Figure GDA00037433125900000211
与未标注影像y，判别器D与生成器GF进行对抗，使得生成器GF生成与未标注影像y相似的重建影像
Figure GDA0003743312590000022
S5、将重建影像
Figure GDA00037433125900000212
及图集x输入生成器GB，通过生成器GB得到的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到重建影像
Figure GDA0003743312590000023
到图集x的后向映射ΔpB；
S6、将重建影像
Figure GDA00037433125900000213
通过warp操作得到重建影像
Figure GDA0003743312590000024
通过判别器D区分开重建影像
Figure GDA0003743312590000025
与图集x，判别器D与生成器GB进行对抗，使得生成器GB生成与图集x相似的重建影像
Figure GDA0003743312590000026
S7、根据重建影像
Figure GDA0003743312590000027
与图集x的相似度，使得生成器GF、判别器D及生成器GB相互约束，得到最终的前向映射ΔpF，将前向映射ΔpF通过warp操作应用在图集x的标注上，得到有标注重建影像
Figure GDA0003743312590000028
进一步地，所述生成器GF及生成器GB还包括双注意模块，所述孪生编码器包括若干个用于提取图像浅层特征的编码子模块，通过编码子模块分流处理图集x及未标注影像y，或通过编码子模块分流处理重建影像
Figure GDA0003743312590000029
及图集x，将提取得到相关特征图输入双注意模块，通过双注意模块分别学习相关特征图的空间信息及通道信息并输送给解码器，解码器包括有与编码器子模块数量相匹配的解码子模块。
进一步地，所述编码子模块具有5个分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流，通过2个处理流分别处理图集x及未标注影像y，或通过2个处理流分别处理重建影像
Figure GDA00037433125900000210
及图集x，2个处理流同时连接一个第五编码子模块，第五编码子模块与双注意模块相连接；所述解码器子模块具有5个分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块，第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，或第五解码子模块输出重建影像
Figure GDA0003743312590000032
到图集x的后向映射ΔpB。
进一步地，所述双注意模块包括空间注意模块及通道模块，分别在空间和通道维度上捕捉信息，将空间注意模块与通道注意模块的结果相加，得到新的特征图。
进一步地，所述编码子模块通过基本残差模块堆叠的ResNet-34组成。
进一步地，所述判别器D采用PatchGAN判别器。
进一步地，所述图像变换模型还包括用于监督图像变换模型的损失模块，损失模块包括相似度损失、平滑损失、空间循环一致性损失及对抗性损失，通过相似度损失约束生成器GF，得到相似的重建影像
Figure GDA0003743312590000033
与未标注影像y；通过平滑损失约束生成器GF，得到平滑的前向映射ΔpF及后向映射ΔpB；通过空间循环一致性损失约束生成器GB，得到相似的重建影像
Figure GDA0003743312590000034
与图集x；通过对抗性损失对判别器D进行约束。
进一步地，所述相似度损失采用用于确保局部一致性的局部归一化相关损失，公式如下：
Figure GDA0003743312590000031
其中，t表示影像中的一个体素点，fy(t)和
Figure GDA0003743312590000035
分别代表计算未标注影像y和重建影像
Figure GDA0003743312590000041
局部平均强度函数：
Figure GDA0003743312590000042
ti表示t周围体积为l3范围内的坐标。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明通过获取脑解剖结构图像分类得到带有标注的图集x及未标注影像y，构建一个带有2个生成器和2个判别器D的图像变换模型，2个生成器分别是生成器GF、生成器GB，将图集x及未标注影像y输入生成器GF的孪生编码器和解码器进行前向映射，得到前向映射ΔpF，通过判别器D与生成器GF进行对抗，使得将图集x通过warp操作得到与未标注影像y相似的重建影像
Figure GDA0003743312590000043
将重建影像
Figure GDA0003743312590000044
输入生成器GB的孪生编码器和解码器进行后向映射，得到后向映射ΔpB，通过判别器D与生成器GB进行对抗，得到与图集x相似的重建影像
Figure GDA0003743312590000045
根据重建影像
Figure GDA0003743312590000046
和图集x的相似度，进行循环使得后向映射约束前向映射，得到最终的前向映射ΔpF，将前向映射ΔpF通过warp操作应用在图集x的标注上，得到有标注重建图像
Figure GDA0003743312590000047
通过生成器GF、生成器GB分别与判别器D进行对抗，使得图像变化模型得到准确度最高的前向映射ΔpF，及有标注重建影像
Figure GDA0003743312590000048
2、本发明引入损失模块，损失模块包括相似度损失、平滑损失、空间循环一致性损失及对抗性损失，通过不同的损失对生成器GF、生成器GB及2个判别器D进行约束，提高图像变换模型的准确度。
3、本发明的判别器D选择PatchGAN判别器，PatchGAN判别器可以更好地对图像的局部进行判别，通过将影像分成多个补丁，对每个补丁进行真假判断，最后得出图像级别的判断，准确度及性能优于一般判别器。
附图说明
图1为本发明工作流程示意图；
图2为本发明图像变换模型整体结构示意图；
图3为本发明孪生编码器与解码器配合工作示意图；
图4为本发明解码器工作流程示意图；
图5为本发明双注意模块结构示意图；
图6为本发明判别器D结构示意图；
图7为本发明ICGAN前向映射分割结果示意图；
图8为本发明SiamENet与ICGAN分割结果对比示意图；
图9为本发明ICGAN前向映射和后向映射分割结果示意图；
图10为本发明SiamENet、ICGAN及RCGAN可视化分割结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
配合图1至图7所示，本发明公开了一种基于双向相关性的one-shot脑图像分割方法，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像和未标注影像y，并将已标注影像划分为图集x。
S2、构建图像变换模型，图像变换模型包括生成器GF、生成器GB及两个判别器D，生成器GF、生成器GB均匹配一判别器D，生成器GF与生成器GB结构相同均包括孪生编码器及解码器。
S3、将图集x及未标注影像y输入生成器GF分流处理，通过生成器GF的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到图集x到未标注影像y的前向映射ΔpF。
S4、将图集x通过warp操作得到重建影像
Figure GDA0003743312590000051
通过判别器D区分开重建影像
Figure GDA0003743312590000052
与未标注影像y，判别器D与生成器GF进行对抗，使得生成器GF生成与未标注影像y相似的重建影像
Figure GDA0003743312590000053
S5、将重建影像
Figure GDA0003743312590000054
及图集x输入生成器GB，通过生成器GB得到的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到重建影像
Figure GDA0003743312590000061
到图集x的后向映射ΔpB。
S6、将重建影像
Figure GDA0003743312590000062
通过warp操作得到重建影像
Figure GDA0003743312590000068
通过判别器D区分开重建影像
Figure GDA0003743312590000063
与图集x，判别器D与生成器GB进行对抗，使得生成器GB生成与图集x相似的重建影像
Figure GDA0003743312590000064
S7、根据重建影像
Figure GDA0003743312590000065
与图集x的相似度，使得生成器GF、判别器D及生成器GB相互约束，得到最终的前向映射ΔpF，将前向映射ΔpF通过warp操作应用在图集x的标注上，得到有标注重建影像
Figure GDA0003743312590000066
参考图2所示，ICGAN为传统GAN模型的基础加入对抗性，使GAN模型内的生成器和判别器进行对抗，产生最佳的结果；本实施例的图像变换模型采用CycleGAN作为基本框架，在ICGAN的基础上，加入循环一致性，提出了RCGAN(Reversible Correspondence GAN)，即图像变换模型，同时学习图集x到未标注影像y的映射以及未标注影像y到图集x的后向映射，后向映射可用于约束前向映射，得到最终的前向映射应用到图集的标注上，得到未标注影像的标注。
配合图3至图5所示，生成器GF及生成器GB还包括双注意模块，孪生编码器包括若干个用于提取图像浅层特征的编码子模块，通过编码子模块分流处理图集x及未标注影像y，通过编码子模块分流处理重建影像
Figure GDA0003743312590000069
及图集x，将提取得到相关特征图输入双注意模块，通过双注意模块分别学习相关特征图的空间信息及通道信息并输送给解码器，解码器包括有与编码器子模块数量相匹配的解码子模块。
编码子模块具有5个分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流，通过2个处理流分别处理图集x及未标注影像y，或通过2个处理流分别处理重建影像
Figure GDA0003743312590000067
及图集x，2个处理流同时连接一个第五编码子模块，第五编码子模块与双注意模块相连接；解码器子模块具有5个分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块，第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，或第五解码子模块输出重建影像
Figure GDA0003743312590000071
到图集x的后向映射ΔpB。
双注意模块包括空间注意模块及通道模块，分别在空间和通道维度上捕捉信息，将空间注意模块与通道注意模块的结果相加，得到新的特征图。
编码子模块通过基本残差模块堆叠的ResNet-34组成。
参考图6所示，判别器D采用PatchGAN判别器，一般判别器直接在图像级别上判断输入的影像是真实影像还是重建影像，直接输出一个矢量代表是或者不是，但是影像的高频部分恢复能力较差，为了更好的对影像局部进判断，PatchGAN判别器将影像分成N×N补丁，对每个补丁判断真假；输入160×160×128的三维图像，经过另一个卷积核大小为4×4×4、步长为2的卷积块后，产生大小为10×10×8的特征图，每个像素点代表原图上大小为16×16×16的补丁，经过另外一个卷积核大小为4×4×4、步长为1的卷积层后，使用激活函数Sigmoid对每个补丁的真假进行判断，PatchGAN判别器的归一化层使用BatchNormalization，除了最后一层激活函数使用Sigmoid外，其余层激活函数使用LeakyReLU。
图像变换模型还包括用于监督图像变换模型的损失模块，损失模块包括相似度损失、平滑损失、空间循环一致性损失及对抗性损失，通过相似度损失约束生成器GF，得到相似的重建影像
Figure GDA0003743312590000072
与未标注影像y；通过平滑损失约束生成器GF，得到平滑的前向映射ΔpF及后向映射ΔpB；通过空间循环一致性损失约束生成器GB，得到相似的重建影像
Figure GDA0003743312590000073
与图集x；通过对抗性损失对判别器D进行约束。
相似度损失采用用于确保局部一致性的局部归一化相关损失，公式如下：
Figure GDA0003743312590000081
其中，t表示影像中的一个体素点，fy(t)和
Figure GDA0003743312590000082
分别代表计算未标注影像y和重建影像
Figure GDA0003743312590000083
局部平均强度函数：
Figure GDA0003743312590000084
ti表示t周围体积为l3范围内的坐标，其中l优选为3。
不同生成器分别具有的平滑损失定义为：
Figure GDA0003743312590000085
其中，t∈Ω表示ΔPF或ΔPB中所有的位置空间，Lsmooth使用沿着x，y，z方向的相邻像素之间的空间梯度分别近似
Figure GDA0003743312590000086
及
Figure GDA0003743312590000087
最终，图像变化模型的平滑损失为：
Lsmooth(ΔpF,ΔpB)＝Lsmooth(ΔpF)+Lsmooth(ΔpB)
另外，图像变化模型可以将影像进行重建，而重建的影响与原始图集x或未标注影像y相似，因此，本实施例采用L1损失来加强真实的图集x和重建图集
Figure GDA00037433125900000812
之间的一致性，定义为：
Figure GDA0003743312590000088
对抗性损失定义为：
Figure GDA0003743312590000089
其中，D(y)和
Figure GDA00037433125900000810
分别为判别器D判断未标注图像y和重建影像
Figure GDA00037433125900000811
的判断结果。
CycleGAN通过两组可逆的前后向学习过程进行映射，生成器GB学习x→y的映射并生成重建影像
Figure GDA0003743312590000091
判别器D通过训练使重建影像
Figure GDA0003743312590000092
与未标注影像y的分布相同，但是因为学习过程中的监督是集合级别的，仅学习前向转换会将所述输入图像都映射到同一输出图像，因此通过另一生成器GF学习y→x的映射，生成器GB和生成器GF学到的映射是想法，并且存在循环一致性F(G(x))≈x，图像变换模型学到可逆映射一次为
Figure GDA0003743312590000093
同样的，先通过生成器GF学习y→x的映射，然后通过生成器GB学习x→y的映射，图像变换模型学到的可逆映射一次为
Figure GDA0003743312590000094
其中，
Figure GDA0003743312590000095
与
Figure GDA0003743312590000096
即为两组可逆映射，CycleGAN引入了影像的循环一致性损失公式如下：
Figure GDA0003743312590000098
综上，图像变换模型的损失模块可表示为：
Figure GDA0003743312590000097
其中，λ1＝1，λ2＝3，λ3＝10。
实验评价
配合图8至图11所示，本实验评价的数据采集自是马萨诸塞大学医学院的儿童和青少年神经发育计划(The Child and Adolescent NeuroDevelopment Initiative,CANDI)公开了一系列脑结构图像作为实验例的图像及MICCAI2018比赛公布的MRBrainS18数据。
本实验评价的评价指标采用Dice相似度系数来评价模型的分割准确度，该精度用于测量手工标注和预测结果之间的相似性：
Figure GDA0003743312590000101
其中ys表示测试数据的手工标注，
Figure GDA0003743312590000102
表示预测结果，Dice系数越大说明预测结果与手工标注越接近，本实验评价同时通过平均Dice系数及Dice的标准差作为评估标准，它反映了被测数据预测结果的离散程度，定义为：
Figure GDA0003743312590000103
其中，n表示测试数据的数量，dicei表示第i个测试数据的Dice值，
Figure GDA0003743312590000104
表示所有测试数据的平均Dice，标准差越小，说明模型的性能越稳定。
验证本图像变换模型的对抗思想有效性，通过SiamENet与ICGAN的分割结果进行比对，SiamENet为不具有对抗性及循环一致性的分割模型，主体结构与图像变换模型相同，ICGAN为基于传统GAN模型加上对抗性，使GAN模型生成器和判别器进行对抗，结果如表1所示：
Figure GDA0003743312590000105
表1 SiamENet与IGGAN网络模型的分割结果进行比对表
ICGAN在CANDI测试集上的平均分割Dice为78.1％，相比于SiamENet提高了1.7％，而方差也由5.2提高至3.1。值得注意的是，测试集中分割最差的示例的Dice指标由70.4％提高到了72.4％，最好的示例也有一定的提升。在MRBrainS18数据集上，平均Dice由76.8％提高到了79.％，此结果表明了对抗思想在学习相关性映射中的积极作用，可以看出加入对抗思想之后，网络可以更加准确的学习到分割结果，验证了对抗思想可以约束相关性的学习。
配合图7及图8所示，验证图像变换模型的双向可逆相关性映射的有效性，图像变换模型即为RCGAN，对比RCGAN和ICGAN的结果，可以直接表明学习后向映射是否有效，结果如表2及表3所示：
Figure GDA0003743312590000111
表2 RCGAN和ICGAN的结果对比表
Figure GDA0003743312590000112
表3 ICGAN和RCGAN的平均Dice系数表
配合表2及表3所示，在CANDI数据集上，与ICGAN的分割结果相比，RCGAN在测试集上的平均Dice比ICGAN高了1.1％，方差也由3.1提高至2.8；另外，与SiamENet相比，RCGAN的平均Dice由76.4％提高79.2％，上升了2.8个百分点，方差也提高了2.4；在MRBrainS数据集上，RCGAN的平均Dice高出ICGAN 1.2％，高出SiamENet 3.4％；表3中详细列出了SiamENet、RCGAN和RCGAN分割每一类脑解剖结构的Dice对比，从表中可以看出，RCGAN能更准确的分割绝大多数脑部解剖结构，归功于双向映射的相互约束，使分割结果更加准确。
参考图9所示，展示了RCGAN训练的中间结果，其中第一组图片表示前向映射，四列分别展示了图集x、未标注影像y、前向映射ΔPB和重建影像
Figure GDA0003743312590000121
第二组图片表示后向映射，分别展示了图集x、未标注影像y、后向映射ΔPF和重建影像
Figure GDA0003743312590000122
前向映射过程的训练目标是将图集x映射到未标注影像y，后向训练的目标是将未标注影像y映射到图集x。
参考图10所示，分别可视化了SiamENet、ICGAN、RCGAN的脑解剖结构分割结果，相比于SiamENet和ICGAN，图像变换模型RCGAN的结果会更加平滑，分割结果也更加准确。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于双向相关性的one-shot脑图像分割方法，其特征在于，包括以下步骤：
S1、获取脑解剖结构图像并进行分类，得到已标注影像和未标注影像y，并将已标注影像划分为图集x；
S2、构建图像变换模型，图像变换模型包括生成器GF、生成器GB及两个判别器D，生成器GF、生成器GB均匹配一判别器D，生成器GF与生成器GB结构相同均包括孪生编码器及解码器；
所述生成器GF及生成器GB还包括双注意模块，所述孪生编码器包括若干个用于提取图像浅层特征的编码子模块，通过编码子模块分流处理图集x及未标注影像y，或通过编码子模块分流处理重建影像
Figure FDA0003743312580000011
及图集x，将提取得到相关特征图输入双注意模块，通过双注意模块分别学习相关特征图的空间信息及通道信息并输送给解码器，解码器包括有与编码子模块数量相匹配的解码子模块；
所述编码子模块具有5个分别为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块及第五编码子模块并组成1个处理流，通过2个处理流分别处理图集x及未标注影像y，或通过2个处理流分别处理重建影像
Figure FDA0003743312580000012
及图集x，2个处理流同时连接一个第五编码子模块，第五编码子模块与双注意模块相连接；所述解码子模块具有5个分别为第一解码子模块、第二解码子模块、第三解码子模块、第四解码子模块及第五解码子模块，第一解码子模块与双注意模块相连接，第二解码子模块接收第一解码子模块并分别与2个处理流的第四编码子模块进行长连接，第三解码子模块接收第二解码子模块并分别与2个处理流的第三编码子模块进行长连接，第四解码子模块接收第三解码子模块并分别与2个处理流的第二编码子模块进行长连接，第五解码子模块接收第四解码子模块，第五解码子模块输出图集x到未标注影像y的前向映射ΔpF，或第五解码子模块输出重建影像
Figure FDA0003743312580000013
到图集x的后向映射ΔpB；
S3、将图集x及未标注影像y输入生成器GF分流处理，通过生成器GF的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到图集x到未标注影像y的前向映射ΔpF；
S4、将图集x通过warp操作得到重建影像
Figure FDA0003743312580000021
通过判别器D区分开重建影像
Figure FDA00037433125800000213
与未标注影像y，判别器D与生成器GF进行对抗，使得生成器GF生成与未标注影像y相似的重建影像
Figure FDA0003743312580000022
S5、将重建影像
Figure FDA0003743312580000023
及图集x输入生成器GB，通过生成器GB得到的孪生编码器提取相关特征图并进行融合后输入解码器，解码器与孪生编码器相配合，得到重建影像
Figure FDA0003743312580000024
到图集x的后向映射ΔpB；
S6、将重建影像
Figure FDA0003743312580000025
通过warp操作得到重建影像
Figure FDA0003743312580000026
通过判别器D区分开重建影像
Figure FDA0003743312580000027
与图集x，判别器D与生成器GB进行对抗，使得生成器GB生成与图集x相似的重建影像
Figure FDA0003743312580000028
S7、根据重建影像
Figure FDA0003743312580000029
与图集x的相似度，使得生成器GF、判别器D及生成器GB相互约束，得到最终的前向映射ΔpF ，将前向映射ΔpF 通过warp操作应用在图集x的标注上，得到有标注重建影像
Figure FDA00037433125800000210
2.如权利要求1所述的一种基于双向相关性的one-shot脑图像分割方法，其特征在于：所述双注意模块包括空间注意模块及通道模块，分别在空间和通道维度上捕捉信息，将空间注意模块与通道注意模块的结果相加，得到新的特征图。
3.如权利要求2所述的一种基于双向相关性的one-shot脑图像分割方法，其特征在于：所述编码子模块通过基本残差模块堆叠的ResNet-34组成。
4.如权利要求1所述的一种基于双向相关性的one-shot脑图像分割方法，其特征在于：所述判别器D采用PatchGAN判别器。
5.如权利要求1所述的一种基于双向相关性的one-shot脑图像分割方法，其特征在于：所述图像变换模型还包括用于监督图像变换模型的损失模块，损失模块包括相似度损失、平滑损失、空间循环一致性损失及对抗性损失，通过相似度损失约束生成器GF，得到相似的重建影像
Figure FDA00037433125800000211
与未标注影像y；通过平滑损失约束生成器GF，得到平滑的前向映射ΔpF及后向映射ΔpB；通过空间循环一致性损失约束生成器GB，得到相似的重建影像
Figure FDA00037433125800000212
与图集x；通过对抗性损失对判别器D进行约束。
6.如权利要求5所述的一种基于双向相关性的one-shot脑图像分割方法，其特征在于：所述相似度损失采用用于确保局部一致性的局部归一化相关损失，公式如下：
Figure FDA0003743312580000031
其中，t表示影像中的一个体素点，fy(t)和
Figure FDA0003743312580000032
分别代表计算未标注影像y和重建影像
Figure FDA0003743312580000033
局部平均强度函数：
Figure FDA0003743312580000034
ti表示t周围体积为l3范围内的坐标。
CN202011186634.2A 2020-10-29 2020-10-29 一种基于双向相关性的one-shot脑图像分割方法 Active CN112348786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011186634.2A CN112348786B (zh) 2020-10-29 2020-10-29 一种基于双向相关性的one-shot脑图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186634.2A CN112348786B (zh) 2020-10-29 2020-10-29 一种基于双向相关性的one-shot脑图像分割方法

Publications (2)

Publication Number Publication Date
CN112348786A CN112348786A (zh) 2021-02-09
CN112348786B true CN112348786B (zh) 2022-09-13

Family

ID=74356592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186634.2A Active CN112348786B (zh) 2020-10-29 2020-10-29 一种基于双向相关性的one-shot脑图像分割方法

Country Status (1)

Country Link
CN (1) CN112348786B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与***
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109559332A (zh) * 2018-10-31 2019-04-02 浙江工业大学 一种结合双向LSTM和Itracker的视线跟踪方法
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与***
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Conquering Data Variations in Resolution: A Slice-Aware Multi-Branch Decoder Network;Shuxin Wang et al.;《IEEE Transactions on Medical Imaging》;20200805;第39卷(第12期);第4174-4185页 *
LT-Net: Label Transfer by Learning Reversible Voxel-Wise Correspondence for One-Shot Medical Image Segmentation;Shuxin Wang et al.;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;第9159-9168页 *
VoxelMorph: A Learning Framework for Deformable Medical Image Registration;Guha Balakrishnan et al.;《IEEE Transactions on Medical Imaging》;20190204;第38卷(第8期);第1788-1800页 *
基于改进的CycleGAN模型非配对的图像到图像转换;何剑华等;《玉林师范学院学报》;20180401;第39卷(第02期);第122-126页 *

Also Published As

Publication number Publication date
CN112348786A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
Song et al. Region-based quality estimation network for large-scale person re-identification
Zhang et al. Learning 3d human shape and pose from dense body parts
Shang et al. PRRNet: Pixel-Region relation network for face forgery detection
Liu et al. Context-aware network for semantic segmentation toward large-scale point clouds in urban environments
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
Qin et al. Geotransformer: Fast and robust point cloud registration with geometric transformer
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
Liu et al. Pgfnet: Preference-guided filtering network for two-view correspondence learning
EP4246458A1 (en) System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm)
CN111445548A (zh) 一种基于非配对图像的多视角人脸图像生成方法
Wang et al. Relation-attention networks for remote sensing scene classification
Yoa et al. Self-supervised learning for anomaly detection with dynamic local augmentation
Li et al. ConvTransNet: A CNN–transformer network for change detection with multiscale global–local representations
Wang et al. Distillbev: Boosting multi-camera 3d object detection with cross-modal knowledge distillation
Chen et al. Transformer-based 3d face reconstruction with end-to-end shape-preserved domain transfer
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Zhu et al. Boosting RGB-D salient object detection with adaptively cooperative dynamic fusion network
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112348786B (zh) 一种基于双向相关性的one-shot脑图像分割方法
Xu et al. Unsupervised learning of depth estimation and camera pose with multi-scale GANs
Zhou et al. Human interaction recognition with skeletal attention and shift graph convolution
CN112308833B (zh) 一种基于循环一致相关性的one-shot脑图像分割方法
Xu et al. ReA-Net: A Multiscale Region Attention Network With Neighborhood Consistency Supervision for Building Extraction From Remote Sensing Image
Li et al. Geometry to the rescue: 3d instance reconstruction from a cluttered scene
Wang et al. Neighborhood Multi-compound Transformer for point cloud registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant