CN116977387B - 基于形变场融合的可变形医学图像配准方法 - Google Patents
基于形变场融合的可变形医学图像配准方法 Download PDFInfo
- Publication number
- CN116977387B CN116977387B CN202311227166.2A CN202311227166A CN116977387B CN 116977387 B CN116977387 B CN 116977387B CN 202311227166 A CN202311227166 A CN 202311227166A CN 116977387 B CN116977387 B CN 116977387B
- Authority
- CN
- China
- Prior art keywords
- image
- stage
- deformation field
- deformation
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 49
- 238000011176 pooling Methods 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于形变场融合的可变形医学图像配准方法，将预处理的待配准图像和参考图像输入到双流配准网络，双流配准网络设有两个架构相同但损失函数不同的分支网络，得到两个不同的形变场，通过形变场融合模块将这两个形变场融合，形变场融合模块分别对两个形变场进行最大池化和平均池化，并将得到的特征经过卷积层进行特征提取后，再由卷积层降维得到最终的形变场；最终根据形变场对待配准的图像进行配准，得到配准后的图像。本发明通过形变场融合模块有效地结合不同的形变场，充分利用不同形变场的优势来描述不同类型的形变，其双流配准网络的相似性损失函数能够描述参考图像和待配准图像之间的相互依赖的上下文变化，提高配准精度。
Description
技术领域
本发明涉及计算机视觉和图像处理技术，具体涉及一种基于形变场融合的可变形医学图像配准方法。
背景技术
医学图像配准旨在寻找将待配准的图像(moving image)映射到参考图像(fixedimage)的非线性空间变换（即形变场），来使待配准的图像与参考图像的对应点一一对齐。传统的医学图像配准方法，如Demons、Large Diffeomorphic Distance MetricMapping (LDDMM)、SymmetricNormalization (SyN)。这些传统方法主要存在以下问题：（a）这些方法将医学图像配准问题视为点对点匹配问题，本质上是一个高维优化问题，即采用迭代优化，进行繁琐的参数调优，计算复杂且耗时较长。（b）这些优化问题往往陷入局部最优解，这在很大程度上影响了最终的配准效果，同时也不利于临床的应用。
近年来，随着深度学***滑性，从而保证图像配准的精度。不仅如此，这类基于深度学习的方法还能避免传统迭代方法所带来的耗时问题。因此，目前这类方法受到了广大研究人员的广泛关注。
基于深度学***滑项。现在，VoxelMorph常被用作许多深度学习方法解决医学图像配准问题的基准方法。
在医学图像配准模型训练的过程中，有两种常用的损失函数来衡量配准后的图像与参考图像之间的相似度。第一种是MSE，如式(1)所示，适用于参考图像与配准后的图像强度分布相似的情况。另一种是NCC，如式(2)所示，适用于参考图像与配准后的图像具有相似的局部图像结构。
其中，表示图像中的体素集合，/>表示局部参考图像，/>表示局部配准后的图像，/>表示局部图像体素的标准差，/>表示参考图像与配准后图像的协方差。
上述现有基于深度学习的医学配准模型在配准时，仍存在以下问题：（a）这些模型的配准结果并不理想。这些方法通常只能学习一个形变场，未能考虑到不同形变场之间的差异。实际上，采用不同的模型架构或不同的损失函数可以得到能够捕捉不同类型形变的形变场，并相互补充彼此，这样能够进一步提升医学图像配准的质量和效果。（b）这些模型在训练时所使用的损失函数不能很好的比较图像间的相似度，MSE主要是图像对之间点对点的相似性度量，而NCC只涉及图像对之间局部结构的比较；它们几乎都没有考虑到固定和运动图像之间的上下文变化的相互依赖性。
发明内容
发明目的：为解决当前基于深度学习的医学图像配准方法的不足，本发明并提供一种基于形变场融合的可变形医学图像配准方法，在给定待配准图像和参考图像的情况下，将这些图像对输入到一个双流网络，双流网络从两个不同的配准角度生成两个形变场，然后将这两个形变场进行融合，得到最终的形变场，能够提高最终配准效果和精度。
技术方案：本发明的一种基于形变场融合的可变形医学图像配准方法，包括以下步骤
步骤1、获取采集的待配准图像和参考图像，并对待配准图像和参考图像进行预处理，所述预处理包括裁剪、归一化；
步骤2、将步骤1预处理所得待配准图像和参考图像/>输入到双流配准网络，该双流配准网络设有两个架构相同但损失函数不同的分支网络，这两个配准网络分别根据各自损失函数对待配准图像和参考图像进行配准，待配准图像/>和参考图像/>经配准网络第一分支网络处理得到形变场/>，待配准图像/>和参考图像/>经配准网络第二分支网络处理得到形变场/>；
其中，第一分支网络和第二分支网络均包括一对编码器和解码器，编码器对图像进行四个阶段的下采样，进而生成四种不同尺度和分辨率的特征图；解码器包含四个阶段的上采样，每一阶段将该层对应的特征图与编码器对应尺度的特征图进行拼接，并对拼接后的特征图进行上采样；最后经由两个连续的卷积层输出对应形变场；
其中，第一分支网络的损失函数采用MSE相似性损失函数，第二分支网络的损失函数/>采用C-S相似性损失函数；对比度-结构相似性损失函数两幅图像的局部区域的对比度相似度和结构相似度，当两幅图像相似程度越高时，对比度-结构相似性损失函数越趋近于1；否则越趋近于0；
步骤3、通过形变场融合模块将配准网络输出的形变场和/>进行融合，形变场融合模块分别对两个形变场进行最大池化和平均池化，并将得到的特征经过卷积层进行特征提取后，最后输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场/>；
步骤4、根据形变场对其他待配准的图像进行配准，得到配准后的图像。
进一步地，所述步骤1对待配准图像和参考图像进行预处理的操作包括裁剪、归一化，具体方法为：
使用Freesurfer进行仿射空间归一化，并将图像裁剪为相同尺寸，使用FMRIB'sSoftware Library软件库进行仿射配准；通过这些操作能够保证待配准图像和参考图像具有一致的空间和尺寸特性，为后续的医学图像配准操作提供基础。
进一步地，所述编码器和解码器的具体网络结构如下：
编码器中包括四个下采样阶段（例如按顺序依次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样），每个下采用阶段包括一个卷积核大小为3 ×3 × 3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的最大池化计算过程；所述的四个下采样阶段，依下采样阶段的执行顺序一次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样，每个下采样阶段都会产生不同尺度和分辨率的特征图，如果原始输入图像为，则四个下采样阶段产生四个不同尺度和分辨率的特征图大小分别为：/>、/>、/>、/>；
解码器中包括四个上采样阶段（按顺序依次记为第一阶段上采样、第二阶段上采样、第三阶段上采样、第四阶段上采样），每个上采样阶段包括一个卷积核大小为3 × 3 ×3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的上采样计算过程；第一阶段上采样会将上一阶段输出的特征图和第四阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第二阶段上采样会将上一阶段输出的特征图和第三阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第三阶段上采样会将上一阶段输出的特征图和第二阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第四阶段上采样会将上一阶段输出的特征图和第一阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入；如果原始输入图像为，则四个上采样阶段产生四个不同尺度和分辨率的特征图大小分别为：/>、/>、/>、/>；
四次上采样阶段后，在将特征图输出到两个连续的卷积层进行精细化的对齐及降维后，得到对应形变场和/>。
医学图像配准过程中，度量配准后的图像和参考图像的相似性损失函数影响着配准效果；为描述相互依赖的上下文变化并更有效地比较和/>的相似性，本发明提出对比度-结构（Contrast-Structural）相似性损失函数，即C-S相似性损失函数，表达式为：
上式中，表示图像中的体素集合，/>表示图像中的某个局部区域，/>表示局部参考图像，/>表示局部配准后的图像，/>表示局部图像体素的标准差，/>表示参考图像与配准后图像的协方差。
进一步地，整个配准网络的损失函数的表达式为：
表示两个分支网络生成的形变场，/>表示最终融合后的形变场；/>为相似性损失函数，且/>与/>不同，/>为正则化项，/>为权值，/>，/>；/>采用MSE损失函数，/>采用C-S损失函数，/>采用C-S损失函数。损失函数/>包含/>和。
进一步地，所述形变场融合模块对形变场和形变场/>进行融合的过程为：
首先，分别对形变场进行最大池化计算和平均池化计算，得到两个最大池化特征和两个平均池化特征；然后，对两个最大池化特征进行拼接以及对两个平均池化特征进行拼接，生成两个新拼接特征，将两个新拼接特征各自输入到两个卷积层，得到两个处理后特征；最后，将这两个处理后特征进行拼接，输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场/>。
有益效果：与现有直接获得最终形变场的方法，本发明能够预测更精准的形变场，并更充分地利用不同形变场的特征信息，具体优点如下：
（1）本发明提出一种全新的配准思路，首次将融合的概念引入到形变场中，即采用双流网络架构生成不同的形变场，并将它们融合以获得最终的形变场；
（2）本发明设计一个特定的形变场融合模块，有效地结合不同的形变场，充分利用不同形变场的优势来描述不同类型的形变。
（3）本发明提出一个全新的相似性损失函数(对比度-结构损失函数)，可描述参考图像和待配准图像之间的相互依赖的上下文变化。它使模型在训练的过程中能够关注图像对之间的局部对比度和结构相似性。
附图说明
图1为本发明的整体流程示意图；
图2为本发明的配准网络框架示意图；
图3为本发明的编码器-解码器网络结构图；
图4为本发明的形变场融合模块结构图；
图5为本发明实施例中配准效果图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本专利提供一种基于形变场融合的可变形医学图像配准方法，是将待配准图像和参考图像输入到双流配准网络分别进行配准，双流配准网络具有两个分支网络，这两个分支网络采用不同类型的损失函数，使得模型能够学习到互补的形变场；接着，将两个形变场输入到形变场融合模块，以实现融合互补，得到最终的形变场，从而实现更好的配准效果。
此外，本发明还引入全新的相似性损失函数，通过比较配准后的图像与参考图像的局部对比度和结构相似性来评估配准效果，从而提升模型的配准效果。
如图1和图2所示，本发明的一种基于形变场融合的可变形医学图像配准方法，包括以下步骤
步骤1、获取采集的待配准图像和参考图像，并对待配准图像和参考图像进行预处理；
步骤2、将步骤1预处理所得待配准图像和参考图像/>输入到配准网络，该配准网络设有两个架构相同但损失函数不同的分支网络，待配准图像/>和参考图像/>经配准网络第一分支网络处理得到形变场/>，待配准图像/>和参考图像/>经配准网络第二分支网络处理得到形变场/>；
其中，第一分支网络和第二分支网络均包括一对编码器和解码器，编码器对图像进行四个阶段的下采样，进而生成四种不同尺度和分辨率的特征图；解码器包含四个阶段的上采样，每一阶段将该层对应的特征图与编码器对应尺度的特征图进行拼接，并对拼接后的特征图进行上采样；最后经由两个连续的卷积层输出对应形变场；
其中，第一分支网络的损失函数采用MSE相似性损失函数，第二分支网络的损失函数/>采用C-S相似性损失函数；
步骤3、通过形变场融合模块将配准网络输出的形变场和/>进行融合，得到最终的形变场/>；
步骤4、根据形变场对其他待配准的图像进行配准，得到配准后的图像。
如图2和图3所示，本实施例的编码器和解码器的具体网络结构如下：
编码器中包括四个下采样阶段（例如按顺序依次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样），每个下采用阶段包括一个卷积核大小为3 ×3 × 3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的最大池化计算过程；所述的四个下采样阶段，依下采样阶段的执行顺序一次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样，每个下采样阶段都会产生不同尺度和分辨率的特征图；解码器中包括四个上采样阶段（按顺序依次记为第一阶段上采样、第二阶段上采样、第三阶段上采样、第四阶段上采样），每个上采样阶段包括一个卷积核大小为3 × 3 × 3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的上采样计算过程；第一阶段上采样会将上一阶段输出的特征图和第四阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第二阶段上采样会将上一阶段输出的特征图和第三阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第三阶段上采样会将上一阶段输出的特征图和第二阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第四阶段上采样会将上一阶段输出的特征图和第一阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入；四次上采样阶段后，在将特征图输出到两个连续的卷积层进行精细化的对齐及降维后，得到对应形变场和/>。
本实施例第一分支网络的损失函数采用MSE相似性损失函数，第二分支网络的损失函数/>采用C-S相似性损失函数，即比度-结构（Contrast-Structural）相似性损失函数的表达式为：
上式中，表示图像中的体素集合，/>表示局部参考图像，/>表示局部配准后的图像，/>表示局部图像体素的标准差，/>表示参考图像与配准后图像的协方差。
由此可知整个双流配准网络的损失函数的表达式为：
，/>为相似性损失函数，且/>与/>不同，/>为正则化项，/>为权值，/>，/>；/>采用MSE损失函数，/>采用C-S损失函数，/>采用C-S损失函数。
如图4所示，本实施例的形变场融合模块对形变场和形变场/>进行融合的过程为：
首先，分别对形变场进行最大池化计算和平均池化计算，得到两个最大池化特征和两个平均池化特征；然后，对两个最大池化特征进行拼接以及对两个平均池化特征进行拼接，生成两个新拼接特征，将两个新拼接特征各自输入到两个卷积层，得到两个处理后特征；最后，将这两个处理后特征进行拼接，输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场/>。实施例
本实施例采用的数据集来源于Neurite-OASIS公开数据集，包含414例脑部MR图像，选择其中374例图像作为训练集，20例图像作为验证集，20例图像作为测试集。本发明提出的方法配准后的结果（Dice系数）超过现有的医学图像配准算法，将配准结果提升至0.816，如下表1所示。
表1本发明与现有技术在Neurite-OASIS数据集的对比
| 配准方法 | SyN算法 | VoxelMorph算法 | LapIRN算法 | 本发明技术方案 |
| Dice系数 | 0.779 | 0.792 | 0.782 | 0.816 |
最终配准效果如图5所示，图5中每一行的前两张图像分别为参考图像和待配准图像，图5中每一行的第三张图像为对应的配准后的图像。
Claims (4)
1.一种基于形变场融合的可变形医学图像配准方法，其特征在于，包括以下步骤
步骤1、获取采集的待配准图像和参考图像，并对待配准图像和参考图像进行预处理；
步骤2、将步骤1预处理所得待配准图像和参考图像/>输入到双流配准网络，该双流配准网络设有两个架构相同但损失函数不同的分支网络，待配准图像/>和参考图像/>经配准网络第一分支网络处理得到形变场/>，待配准图像/>和参考图像/>经配准网络第二分支网络处理得到形变场/>；
其中，第一分支网络和第二分支网络均包括一对编码器和解码器，编码器对图像进行四个阶段的下采样，进而生成四种不同尺度和分辨率的特征图；解码器包含四个阶段的上采样，每一阶段将本阶段对应的特征图与编码器对应尺度的特征图进行拼接，并对拼接后的特征图进行上采样；最后经由两个连续的卷积层输出对应形变场；
其中，第一分支网络的损失函数采用MSE相似性损失函数，第二分支网络的损失函数采用对比度-结构相似性损失函数；对比度-结构相似性损失函数两幅图像的局部区域的对比度相似度和结构相似度，当两幅图像相似程度越高时，对比度-结构相似性损失函数越趋近于1；否则越趋近于0；
所述对比度-结构相似性损失函数的表达式为：
上式中，表示图像中的体素集合，/>表示图像中的某个局部区域，/>表示局部参考图像，/>表示局部配准后的图像，/>表示局部图像体素的标准差，/>表示参考图像与配准后图像的协方差；
整个配准网络的损失函数的表达式为：
表示两个分支网络生成的形变场，/>表示最终融合后的形变场；/>为相似性损失函数，且/>与/>不同，/>为正则化项，/>为权值，/>，/>；/>采用MSE损失函数，/>采用对比度-结构相似性损失函数，/>采用对比度-结构相似性损失函数；
步骤3、通过形变场融合模块将配准网络输出的形变场和/>进行融合，形变场融合模块分别对两个形变场进行最大池化和平均池化，并将得到的特征经过卷积层进行特征提取后，最后输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场/>；
步骤4、根据形变场对待配准的图像进行配准，得到配准后的图像。
2.根据权利要求1所述的基于形变场融合的可变形医学图像配准方法，其特征在于，所述步骤1对待配准图像和参考图像进行预处理的操作包括裁剪、归一化，具体方法为：
使用Freesurfer进行仿射空间归一化，并将图像裁剪为相同尺寸，使用FMRIB'sSoftware Library软件库进行仿射配准。
3.根据权利要求1所述的基于形变场融合的可变形医学图像配准方法，其特征在于，所述编码器和解码器的具体网络结构如下：
编码器中包括四个下采样阶段，每个下采用阶段包括一个卷积核大小为3 × 3 × 3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的最大池化计算过程；如果原始输入图像为，则四个下采样阶段产生四个不同尺度和分辨率的特征图大小分别为：/>、/>、/>、/>；
解码器中包括四个上采样阶段，每个上采样阶段包括一个卷积核大小为3 × 3 × 3的卷积计算过程、一个参数为0.2的LeakyReLU激活计算过程和一个步长为2的上采样计算过程；第一阶段上采样将上一阶段输出的特征图和第四阶段下采样输出的特征进行拼接，作为第一阶段中卷积层的输入，第二阶段上采样将上一阶段输出的特征图和第三阶段下采样输出的特征进行拼接，作为第二阶段中卷积层的输入，第三阶段上采样将上一阶段输出的特征图和第二阶段下采样输出的特征进行拼接，作为第三阶段中卷积层的输入，第四阶段上采样将上一阶段输出的特征图和第一阶段下采样输出的特征进行拼接，作为第四阶段中卷积层的输入；如果原始输入图像为，则四个上采样阶段产生四个不同尺度和分辨率的特征图大小分别为：/>、/>、/>、/>；
四次上采样阶段后，在将特征图输出到两个连续的卷积层进行精细化的对齐及降维后，得到对应形变场和/>。
4.根据权利要求1所述的基于形变场融合的可变形医学图像配准方法，其特征在于，所述形变场融合模块对形变场和形变场/>进行融合的过程为：
首先，分别对形变场进行最大池化计算和平均池化计算，得到两个最大池化特征和两个平均池化特征；
然后，对两个最大池化特征进行拼接以及对两个平均池化特征进行拼接，生成两个新拼接特征，将两个新拼接特征各自输入到两个卷积层，得到两个处理后特征；
最后，将这两个处理后特征进行拼接，输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227166.2A CN116977387B (zh) | 2023-09-22 | 2023-09-22 | 基于形变场融合的可变形医学图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227166.2A CN116977387B (zh) | 2023-09-22 | 2023-09-22 | 基于形变场融合的可变形医学图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977387A CN116977387A (zh) | 2023-10-31 |
| CN116977387B true CN116977387B (zh) | 2023-12-15 |
Family
ID=88473351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311227166.2A Active CN116977387B (zh) | 2023-09-22 | 2023-09-22 | 基于形变场融合的可变形医学图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977387B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117808855B (zh) * | 2024-02-29 | 2024-05-31 | 新西旺智能科技(深圳)有限公司 | 一种基于视觉图像的目标对位方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1565883B1 (en) * | 2002-11-29 | 2008-10-29 | Mirada Solutions Limited | Image fusion with registration confidence measure |
| CN103456037A (zh) * | 2012-02-22 | 2013-12-18 | 西门子公司 | 心脏介入的术前和术中图像数据的模型融合的方法和*** |
| CN104077781A (zh) * | 2014-07-07 | 2014-10-01 | 上海电力学院 | 一种基于形变场的医学图像配准算法评价方法 |
| CN107103618A (zh) * | 2017-02-20 | 2017-08-29 | 南方医科大学 | 基于回归预测的肺4d‑ct多相位图像配准方法 |
| CN114187235A (zh) * | 2021-11-08 | 2022-03-15 | 浙江大学 | 一种对伪影不敏感的医学图像的形变场提取方法和配准方法和装置 |
-
2023
- 2023-09-22 CN CN202311227166.2A patent/CN116977387B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1565883B1 (en) * | 2002-11-29 | 2008-10-29 | Mirada Solutions Limited | Image fusion with registration confidence measure |
| CN103456037A (zh) * | 2012-02-22 | 2013-12-18 | 西门子公司 | 心脏介入的术前和术中图像数据的模型融合的方法和*** |
| CN104077781A (zh) * | 2014-07-07 | 2014-10-01 | 上海电力学院 | 一种基于形变场的医学图像配准算法评价方法 |
| CN107103618A (zh) * | 2017-02-20 | 2017-08-29 | 南方医科大学 | 基于回归预测的肺4d‑ct多相位图像配准方法 |
| CN114187235A (zh) * | 2021-11-08 | 2022-03-15 | 浙江大学 | 一种对伪影不敏感的医学图像的形变场提取方法和配准方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| "Mass-preserving image registration using free-form deformation fields";K. Thielemans etc;《2009 IEEE Nuclear Science Symposium Conference Record (NSS/MIC)》;全文 * |
| "基于机器学习的肺部CT图像非刚性配准误差预测方法";刘宇航 等;《计算机应用研究》;第40卷(第6期);全文 * |
| 残差密集相对平均CGAN的脑部图像配准;王丽芳;张程程;秦品乐;蔺素珍;高媛;窦杰亮;;中国图象图形学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977387A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Connecting image denoising and high-level vision tasks via deep learning | |
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN112150425B (zh) | 一种基于神经网络的无监督血管内超声图像配准方法 | |
| CN116977387B (zh) | 基于形变场融合的可变形医学图像配准方法 | |
| CN115457020B (zh) | 一种融合残差图像信息的2d医学图像配准方法 | |
| CN111968138A (zh) | 基于3d动态边缘不敏感性损失函数的医学图像分割方法 | |
| CN113034505A (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| Gu et al. | Pair-wise and group-wise deformation consistency in deep registration network | |
| Zhang et al. | A diffeomorphic unsupervised method for deformable soft tissue image registration | |
| CN114972231A (zh) | 一种基于先验-后验概率编码器的多模态mr图像分割方法 | |
| CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
| CN115526829A (zh) | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 | |
| CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
| Zeng et al. | Self-attention learning network for face super-resolution | |
| Zheng et al. | Multi-strategy mutual learning network for deformable medical image registration | |
| Fu et al. | Multistage supervised contrastive learning for hybrid-degraded image restoration | |
| CN110633706A (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| Yang et al. | MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction | |
| CN117036266A (zh) | 一种基于知识蒸馏的工业图像异常检测方法及*** | |
| Chudasama et al. | Compact and progressive network for enhanced single image super-resolution—ComPrESRNet | |
| CN115100731B (zh) | 一种质量评价模型训练方法、装置、电子设备及存储介质 | |
| CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
| CN109584194B (zh) | 基于卷积变分概率模型的高光谱图像融合方法 | |
| Deeba et al. | Multi-scale single image super-resolution with remote-sensing application using transferred wide residual network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |