CN115457020B - 一种融合残差图像信息的2d医学图像配准方法 - Google Patents
一种融合残差图像信息的2d医学图像配准方法 Download PDFInfo
- Publication number
- CN115457020B CN115457020B CN202211201681.9A CN202211201681A CN115457020B CN 115457020 B CN115457020 B CN 115457020B CN 202211201681 A CN202211201681 A CN 202211201681A CN 115457020 B CN115457020 B CN 115457020B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- coarse
- registered
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 80
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 21
- 101100412394 Drosophila melanogaster Reg-2 gene Proteins 0.000 claims description 9
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 claims description 9
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical group [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000000750 progressive effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 102100031786 Adiponectin Human genes 0.000 description 2
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000004031 devitrification Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合残差图像信息的2D医学图像配准方法，涉及医学图像技术领域，包括：构建医学图像配准模型；模型训练；模型在图像配准的应用。本发明在计算MSE相似度时引入残差图像，有效融合局部像素信息，解决了像素失位和变形折叠的问题；基于卷积神经网络的局部性和Vision Transformer中多头注意力机制的全局性，设计了一个基础地配准网络，并在该基础配准网络中创新性地使用了融合残差图像信息的跳跃连接，解决了MSE仅对像素值计算，无法准确找到像素之间特征匹配的问题，并有效提高了配准模型的泛化性能；提出了多分辨率渐进配准策略，提高了配准的准确性，在变形过程中增强了拓扑保持性。
Description
技术领域
本发明涉及医学图像技术领域，具体而言，涉及一种融合残差图像信息的2D医学图像配准方法。
背景技术
图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI；同时，也可以采集到含有功能信息的图像诸如SPECT。然而，通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。
1.传统的迭代优化算法
传统的配准算法如demons、SyN。
Demons将需要对齐的图像轮廓视为一种扩散模型，针对轮廓上的每一个像素点施加一个恶魔力(demon force)，每个轮廓点受恶魔力的作用下进行位移扩散。每个点的恶魔力根据图像周围像素的数值梯度计算得到，缺点在于对齐的像素之间缺少图像语义特征的匹配。
SyN方法扩展了Avants等人描述的拉格朗日二型配准技术(2006a)。这种新的公式具有配准两个图像I和J所需的对称属性，在差异转换的空间中，无论选择的相似性度量如何，都可以保证对称性。对称的微分同胚映射保证了两种配准中固有的属性：1)从i到j的配准与从j到i的配准在计算时应不受相似性度量或优化参数的影响2)图像配准需要对称性，并使配准结果不受人为意志的影响，即决定两张图像为“固定图像”或“移动图像”的输入顺序。是目前传统方法中的最好的方法，但缺点在于过分强调了配准过程中的对称性，有时无法同时保证配准准确性。
传统方法中都存在的一个共有缺点是：传统的配准方法通过对齐具有相似外观的体素，同时对配准映射实施约束，解决了每个体积对的优化问题，但求解成对优化可能是计算密集型的，因此在实践中很慢。例如，在CPU上运行的最先进的算法可能需要数十分钟到数小时才能注册一对高精度扫描。
2.现有的基于深度学习的方法
为了提高图像配准效率，许多基于深度学习的配准方法被提出。根据网络的训练方式，可以将这些方法归类为有监督的学习和无监督学习。
在有监督的方法中，需要变形场真值或解剖学真值标签，模型根据输入的图像对，以变形场真值标签作为优化目标提取特征。Sokooti等提出了一种卷积神经元网络(CNN)，以直接依赖人工生成的位移矢量场来直接估计变形场。Cao等已经开发了一种可变形的模态间图像配准方法，该方法使用同一模态内相似性监督的深神经网络估算了跨模态图像间配准的变形场。这些方法的缺点在于这些方法的配准性能在很大程度上取决于通常在临床情况下很难获得的变形场真值。
至于无监督的方法，它们不需要变形场的真值，模型根据输入的图像对，以最小化图像的差异性作为优化的目标。Balakrishnan等提出了一个3D医疗图像注册模型VoxelMorph，该模型使用具有空间变换层的CNN重建注册结果。Zhao等已经设计了一种卷积神经网络(VTN)，包括级联的子网，以递归改善配准性能。Kim等已经提出了一种称为Cyclemorph的循环一致的可变形图像而批准方法，该方法可以通过将循环一致性损失引入网络来改善拓扑保持性，增强配准性能。缺点在于，这些方法尽管都在改善拓扑保持性，但这些方法依然难以保证配准过程中图像拓扑结构的保留，这通常会导致结构信息丢失导致配准不正确。
现有问题的总结：
1)用于2D图像配准时效果不佳，配准准确性低，拓扑保持性差。传统方法在配准时效率低，且用于2D图像时效果不稳定。现有的深度学习算法配准算法大多专注于解决3D图像配准问题，用于2D图像配准时效果不佳。
2)配准过程中存在像素失位和变形折叠的问题。现有的方法以最小化图像对本身的相似性损失为主要优化目标，会导致2D图像像素间特征匹配关系的缺少和过度拟合训练集数据，带来像素失位和变形折叠的问题。
3)泛化性能有限。传统方法针对每一对输入图像单独进行迭代，但效率低下且配准效果无法保证。现有的深度学习方法对训练集所在数据集外的图像泛化性能不佳。
发明内容
本发明在于提供一种融合残差图像信息的2D医学图像配准方法，其能够缓解上述问题。
为了缓解上述的问题，本发明采取的技术方案如下：
本发明提供了一种融合残差图像信息的2D医学图像配准方法，包括以下步骤：
S100、构建医学图像配准模型，所述图像配准模型包括第一堆叠模块C1、第二堆叠模块C2、粗配准分支网络和精细配准分支网络，所述粗配准分支网络和精细配准分支网络均包括基于卷积神经网络、流预测网络和视觉转换器中的多头注意力网络构建的配准网络；
S200、选择若干数据对构成训练数据对集，每个数据对均包括一张待配准医学训练图像和一张参考医学训练图像，利用所述训练数据对集对所述医学图像配准模型进行若干次训练，每次训练过程使用一个没有用过的数据对，每一次训练过程具体包括以下步骤：
S210、从所述训练数据对集选择一数据对，根据所述第一堆叠模块C1、粗配准分支网络，以及当前选择的数据对的待配准医学训练图像Imoving1和参考医学训练图像Ifixed1，得到大位移变形场Vcoarse和粗配准图像Icoarse；
S220、根据所述参考医学训练图像Ifixed1、粗配准图像Icoarse、第二堆叠模块C2、大位移变形场Vcoarse、待配准医学训练图像Imoving1和精细配准分支网络，得到完整变形场Vfull和最终配准后图像Imoved1；
S230、使用MSE计算所述粗配准图像Icoarse和参考医学训练图像Ifixed1之间的相似度损失Lmse1，使用多分辨率残差图像相似度金字塔模块，根据所述粗配准图像Icoarse和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres1，使用L-2范数的平方作为大位移变形场Vcoarse的平滑度正则化损失Lreg1，根据超参数、相似度损失Lmse1、相似度损失Lres1和交叉熵损失Lreg1，计算粗配准阶段总损失Ltotal1；
S240、使用MSE计算所述最终配准后图像Imoved1和参考医学训练图像Ifixed1之间的相似度损失Lmse2，使用多分辨率残差图像相似度金字塔模块，根据所述最终配准后图像Imoved1和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres2，使用L-2范数的平方作为完整变形场Vfull的平滑度正则化损失Lreg2，根据超参数、相似度损失Lmse2、相似度损失Lres2和交叉熵损失Lreg2，计算细配准阶段总损失Ltotal2；
S250、利用粗配准阶段总损失Ltotal1，计算所述粗配准分支网络中各神经元的梯度，并进行梯度回传，更新网络参数；
S260、利用细配准阶段总损失Ltotal2，计算所述医学图像配准模型中的各神经元计算梯度，并进行梯度回传，更新网络参数，完成所述医学图像配准模型的当前次训练；
S300、将待配准医学图像Imoving2和参考医学图像Ifixed2输入训练好的所述医学图像配准模型，输出得到配准后的图像Imoved2。
在本发明的一较佳实施方式中，步骤S210具体包括以下步骤：
S211、将待配准医学训练图像Imoving1和参考医学训练图像Ifixed1通过第一堆叠模块C1进行堆叠；
S212、将步骤S211中堆叠后的图像输入所述粗配准分支网络，输出得到大位移变形场Vcoarse和粗配准图像Icoarse。
在本发明的一较佳实施方式中，步骤S212中，通过所述粗配准分支网络获取大位移变形场Vcoarse和粗配准图像Icoarse的方法包括：
对步骤S211中堆叠后的图像进行下采样，得到图像I1；
将图像I1输入配准网络，输出得到大位移变形场V；
对大位移变形场V进行上采样以及和上采样同倍率的数值放大后得到大位移变形场Vcoarse；
使用大位移变形场Vcoarse通过STN模块将待配准医学训练图像Imoving1变形为粗配准图像Icoarse。
在本发明的一较佳实施方式中，步骤S220具体包括以下步骤：
S221、将粗配准图像Icoarse和参考医学训练图像Ifixed1通过第二堆叠模块C2进行堆叠；
S222、将大位移变形场Vcoarse、待配准医学训练图像Imoving1和步骤S221中堆叠后的图像输入所述精细配准分支网络，输出得到完整变形场Vfull和最终配准后图像Imoved1。
在本发明的一较佳实施方式中，步骤S222中，通过所述精细配准分支网络获取完整变形场Vfull和最终配准后图像Imoved1的方法包括：
将步骤S221中堆叠后的图像输入配准网络，输出得到精细变形场Vfine；
将大位移变形场Vcoarse和精细变形场Vfine进行组合后得到完整变形场Vfull；
使用完整变形场Vfull通过STN模块将待配准医学训练图像Imoving1变形为最终配准后图像Imoved1。
在本发明的一较佳实施方式中，所述配准网络通过堆叠后的图像获取变形场的方法包括：
通过卷积补丁嵌入层提取堆叠后的图像Iinput的局部特征信息；
对局部特征信息使用可学习的位置编码进行位置嵌入；
将位置嵌入后的局部特征信息输入多头注意力网络，进行全局特征的匹配，输出得到特征矩阵；
将多头注意力网络输出的特征矩阵进行卷积上采样；
对堆叠后的图像Iinput依次进行下采样和上采样，得到图像
将图像与原图像Iinput计算残差得到残差图像/>
通过卷积块利用残差图像得到概率值掩码；
将卷积上采样后的特征矩阵与概率值掩码相乘，得到新矩阵；
利用流预测网络，根据新矩阵得到变形场。
在本发明的一较佳实施方式中，当获取到待配准医学图像Imoving2中感兴趣区域的待配准真值后，可通过使用配准网络输出得到的变形场，利用STN模块作用于待配准真值，得到待配准医学图像Imoving2中感兴趣区域的配准真值，所述待配准真值为待配准医学图像Imoving2中感兴趣区域的真值标签。
在本发明的一较佳实施方式中，步骤S230中，粗配准阶段总损失Ltotal1和细配准阶段总损失Ltotal2的计算公式分别如下：
Ltotal1＝αLmse1+βLreg1+γLres1
Ltotal2＝αLmse2+βLreg2+γLres2
其中，α,β,γ是超参数，用于调节各项损失的比重。
在本发明的一较佳实施方式中，在训练过程中，采用多分辨率残差图像相似度金字塔模块计算残差图像的相似度损失的公式如下：
其中，Lres为残差图像的相似度损失，i表示金字塔层级号，K为金字塔总层数，Fi为金字塔第i层输入的参考医学图像，Fi r为对Fi依次进行下采样和上采样后得到的图像，Mi为金字塔第i层输入的待配准图像，为对Mi依次进行下采样和上采样后得到的图像；对于金字塔第一层后面的层级，其输入的图像，为金字塔上一层级下采样后得到的图像。
与现有技术相比，本发明的有益效果是：
针对3D配准常用的NCC、NMI相似性度量在2D图像上表现不佳，且在2D图像上表现最好的MSE度量无法准确匹配图像对之间像素特征，导致像素失位和变形折叠的问题，本发明提出了残差图像金字塔模块，在计算MSE相似度时引入残差图像，有效融合局部像素信息，解决了像素失位和变形折叠的问题；
本发明利用卷积神经网络的局部性和Vision Transformer(视觉转换器，以下简记为ViT)中多头注意力机制的全局性，设计了一个基础地配准网络，并在该基础配准网络中创新性地使用了融合残差图像信息的跳跃连接(图4中的虚线框内的操作过程)，解决了MSE仅对像素值计算，无法准确找到像素之间特征匹配的问题，并有效提高了配准模型的泛化性能；
针对现有图像配准方法用于2D图像配准时效果不佳，配准准确性低，拓扑保持性差，本发明提出了多分辨率渐进配准策略，先针对粗分辨率图像进行粗配准预测大位移场，粗配准有利于后续阶段可以集中于解决输入图像对之间的复杂错位，从而降低了后续高阶段问题的复杂性，再在粗配准后的全分辨率图像与参考图像上预测精细的小位移场，最后将大位移场与小位移场叠形成完整的位移场，提高了配准的准确性，在变形过程中增强了拓扑保持性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明所述医学图像配准方法的总流程图；
图2是本发明所述医学图像配准模型每一次训练的流程图；
图3是本发明所述医学图像配准模型的架构示意图；
图4是本发明所述配准网络的架构及延伸示意图；
图5是本发明所述多分辨率残差图像相似度金字塔模块的结构实例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1、2、3，本发明公开了一种融合残差图像信息的2D医学图像配准方法，基本思想是针对图像配准任务，从一张待配准图像向一张参考图像配准，使用深度神经网络去拟合求解使待配准图像向参考图像对齐的变形场的优化函数。
本发明的方法是一种基于学习的无监督2D医学图像非刚性配准模型，基于学习意味着模型需要先经过在一定量数据集(例如斯坦福EchoNet超声心动图数据集、CAMUS心脏超声数据集、ACDC心脏核磁数据集这三个数据集)上训练的过程，无监督意味着本方法在训练过程不需要变形场的真值作监督。
本发明包括以下步骤：
S100、构建医学图像配准模型，图像配准模型包括第一堆叠模块C1、第二堆叠模块C2、粗配准分支网络和精细配准分支网络，粗配准分支网络和精细配准分支网络均包括基于卷积神经网络、流预测网络和视觉转换器中的多头注意力网络构建的配准网络。其中，流预测网络由一个卷积块构成。
本发明利用卷积神经网络的局部性和ViT的全局性设计配准网络，并利用由粗到细的两阶段配准策略设计了整个医学图像配准模型，以提高配准的准确性并在变形过程中增强拓扑保持性。构建的医学图像配准模型架构如图3所示。图4中的虚线框内的结构，以及卷积补丁嵌入到流预测模块构成了配准网络。
S200、选择若干数据对构成训练数据对集，每个数据对均包括一张待配准医学训练图像和一张参考医学训练图像，利用训练数据对集对医学图像配准模型进行若干次训练，每次训练过程使用一个没有用过的数据对，每一次训练过程如图2所示，具体包括以下步骤：
S210、从训练数据对集选择一数据对，根据第一堆叠模块C1、粗配准分支网络，以及当前选择的数据对的待配准医学训练图像Imoving1和参考医学训练图像Ifixed1，得到大位移变形场Vcoarse和粗配准图像Icoarse，具体过程包括：
S211、将待配准医学训练图像Imoving1和参考医学训练图像Ifixed1通过第一堆叠模块C1进行堆叠。
S212、将步骤S211中堆叠后的图像输入粗配准分支网络，输出得到大位移变形场Vcoarse和粗配准图像Icoarse，具体为：
对步骤S211中堆叠后的图像进行下采样，得到图像I1；
将图像I1输入配准网络，输出得到大位移变形场V；
对大位移变形场V进行上采样以及和上采样同倍率数值放大后得到大位移变形场Vcoarse；
使用大位移变形场Vcoarse通过STN模块(空间变形模块，用于将变形场应用到图像上对图像进行扭曲)将待配准医学训练图像Imoving1变形为粗配准图像Icoarse(图3中的Coarse Moved)。
在本发明中，如图3、4所示，配准网络通过堆叠后的图像I1获取大位移变形场V的方法具体为包括：
通过卷积补丁嵌入层提取堆叠后的图像I1的局部特征信息；
对局部特征信息使用可学习的位置编码进行位置嵌入；
将位置嵌入后的局部特征信息输入多头注意力网络，进行全局特征的匹配，输出得到特征矩阵；
将多头注意力网络输出的特征矩阵进行卷积上采样；
对堆叠后的图像I1依次进行下采样和上采样，得到图像
将图像与原图像I1计算残差得到残差图像/>
通过卷积块利用残差图像得到概率值掩码，即图4中的logit mask；
将卷积上采样后的特征矩阵与概率值掩码相乘，得到新矩阵；
利用流预测网络，根据新矩阵得到大位移变形场V。
S220、根据参考医学训练图像Ifixed1、粗配准图像Icoarse、第二堆叠模块C2、大位移变形场Vcoarse、待配准医学训练图像Imoving1和精细配准分支网络，得到完整变形场Vfull和最终配准后图像Imoved1，具体过程包括：
S221、将粗配准图像Icoarse和参考医学训练图像Ifixed1通过第二堆叠模块C2进行堆叠。
S222、将大位移变形场Vcoarse、待配准医学训练图像Imoving1和步骤S221中堆叠后的图像输入精细配准分支网络，输出得到完整变形场Vfull和最终配准后图像Imoved1，具体为：
将步骤S221中堆叠后的图像输入配准网络，输出得到精细变形场Vfine；
将大位移变形场Vcoarse和精细变形场Vfine进行组合后得到完整变形场Vfull，计算公式为
其中，⊙被定义为STN模块进行的翘曲操作；
使用完整变形场Vfull通过STN模块将待配准医学训练图像Imoving1变形为最终配准后图像Imoved1。
在本发明中，如图3、4所示，配准网络通过步骤S221中堆叠后的图像获取精细变形场Vfine的方法具体为包括：
通过卷积补丁嵌入层提取步骤S221中堆叠后的图像的局部特征信息；
对局部特征信息使用可学习的位置编码进行位置嵌入；
将位置嵌入后的局部特征信息输入多头注意力网络，进行全局特征的匹配，输出得到特征矩阵；
将多头注意力网络输出的特征矩阵进行卷积上采样；
对步骤S221中堆叠后的图像依次进行下采样和上采样，得到图像
将图像与原步骤S221中堆叠后的图像计算残差得到残差图像/>
通过卷积块利用残差图像得到概率值掩码，即图4中的logit mask；
将卷积上采样后的特征矩阵(恢复大小后的特征矩阵)与概率值掩码相乘，得到新矩阵；
利用流预测网络，根据新矩阵得到精细变形场Vfine。
S230、使用MSE计算粗配准图像Icoarse和参考医学训练图像Ifixed1之间的相似度损失Lmse1，使用多分辨率残差图像相似度金字塔模块，根据粗配准图像Icoarse和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres1，使用L-2范数的平方作为大位移变形场Vcoarse的平滑度正则化损失Lreg1，根据超参数、相似度损失Lmse1、相似度损失Lres1和交叉熵损失Lreg1，计算粗配准阶段总损失Ltotal1，计算公式如下：
Ltotal1＝αLmse1+βLreg1+γLres1
其中，α,β,γ是根据人工经验手动调参，多次尝试找到最适合的超参数，用于调节各项损失的比重。
S240、使用MSE计算最终配准后图像Imoved1和参考医学训练图像Ifixed1之间的相似度损失Lmse2，使用多分辨率残差图像相似度金字塔模块，根据最终配准后图像Imoved1和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres2，使用L-2范数的平方作为完整变形场Vfull的平滑度正则化损失Lreg2，根据超参数、相似度损失Lmse2、相似度损失Lres2和交叉熵损失Lreg2，在本发明中，计算细配准阶段总损失Ltotal2，计算公式如下：
Ltotal2＝αLmse2+βLreg2+γLres2
其中，α,β,γ是超参数，用于调节各项损失的比重。
在本发明中，下采样和上采样均采用二次线性插值实现，均使用了0.5的下采样比率和2的上采样比率。上采样恢复原分辨率后的每个像素聚合了临近像素的信息，使得目标模型能更关注图像对的残差纹理信息，并消除图像对之间可能存在的亮度差异。
在本发明中，将残差图像引入MSE相似度的计算对求解的目标模型施加了一个隐式正则化，防止模型在训练集上的过拟合，增强模型的泛化性。
在步骤S230和S240中，采用多分辨率残差图像相似度金字塔模块计算残差图像的相似度损失的方法相同，如以下公式所示：
其中，Lres为残差图像的相似度损失，i表示金字塔层级号，K为金字塔总层数，Fi为金字塔第i层输入的参考医学图像，Fi r为对Fi依次进行下采样和上采样后得到的图像，Mi为金字塔第i层输入的待配准图像，为对Mi依次进行下采样和上采样后得到的图像；对于金字塔第一层后面的层级，其输入的图像，为金字塔上一层级下采样后得到的图像。
步骤S230中，粗配准图像Icoarse即为M1，为待配准图像对应的金字塔的第一层的输入图像，参考医学训练图像Ifixed1即为F1，为参考图像对应的金字塔的第一层的输入图像。
步骤S240中，最终配准后图像Imoved1即为M1，为待配准图像对应的金字塔的第一层的输入图像，参考医学训练图像Ifixed1即为F1，为参考图像对应的金字塔的第一层的输入图像。
在图5中示出的多分辨率残差图像相似度金字塔模块为3层，即金字塔总层数K＝3，以此类推，根据实际精度需要，还可有更多层级。
S250、利用粗配准阶段总损失Ltotal1，计算对粗配准分支网络中各神经元的梯度，进行梯度回传，更新网络参数；
S260、利用细配准阶段总损失Ltotal2对整个医学图像配准模型网络中的各神经元计算梯度，进行梯度回传，更新网络参数，完成医学图像配准模型的训练；
S250、利用粗配准阶段总损失Ltotal1，计算粗配准分支网络中各神经元的梯度，并进行梯度回传，更新网络参数，具体过程如下：
在粗配准阶段，将我们的粗配准分支网络抽象为表达式：
Icoarse＝fcoarse(concat(Imoving1,Ifixed1))，
其中，fcoarse函数代表了粗配准分支的作用，包含了其中各模块包含的各个卷积层、全连接层中包含的可训练参数，concat即附图3中的C1堆叠模块。
粗配准分支网络中各参数的梯度如表达式所示：
其中代表了fcoarse中的可训练参数，然后我们使用Adam优化器更新网络的参数：/>
S260、利用细配准阶段总损失Ltotal2，计算医学图像配准模型中的各神经元计算梯度，并进行梯度回传，更新网络参数，完成医学图像配准模型的当前次训练，具体如下：
在细配准阶段，将我们的细配准分支网络抽象为表达式：
Imoved1＝ffine(concat(Icoarse,Ifixed1))，
其中ffine函数代表了细配准分支的作用，包含了其中各模块包含的各个卷积层、全连接层中包含的可训练参数，此处concat即附图3中的C2堆叠模块。
细配准分支网络中各参数的梯度如表达式所示：
其中代表了ffine中的可训练参数。
由于Icoarse由粗配准分支得到，我们可进一步得到粗配准分支中各参数的梯度如表达式所示：
其中代表了fcoarse中的可训练参数，
然后我们使用Adam优化器更新网络的参数：
S300、将待配准医学图像Imoving2和参考医学训练图像Ifixed2输入训练好的所述医学图像配准模型，输出得到配准后的图像Imoved2以及中间结果完整变形场Vfull2。
在本发明中，请参照图4，当获取到待配准医学图像Imoving2中感兴趣区域的待配准真值后，可通过使用配准网络输出得到的变形场，利用STN模块作用于待配准真值，得到待配准医学图像Imoving2中感兴趣区域的配准真值，待配准真值为待配准医学图像Imoving2中感兴趣区域的真值标签。
本发明训练得到的医学图像配准模型，在斯坦福EchoNet超声心动图数据集、CAMUS心脏超声数据集、ACDC心脏核磁数据集这三个数据集上进行的实验表明，本发明方法在2D医学图像配准准确性、鲁棒性和泛化性方面，优于现有的基于学习的配准方法，并保留了基于学习的方法的运行时优势。与现有技术相比，具有的优势是：
1)是首个针对2D图像的2D图像专用深度学习配准算法，使用了由粗配准到精细配准的配准策略，展现了不错的配准效果；
2)结合CNN的局部性和ViT的全局性创新性地设计了一个基础的配准网络，同时创新性的加入了融合残差图像的跳跃连接，有效减少变形折叠问题并提高了配准的泛化性；
3)创新性地提出了残差图像金字塔相似度模块，有效解决了MSE度量在2D图像上像素之间缺少特征匹配关系的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种融合残差图像信息的2D医学图像配准方法，其特征在于，包括以下步骤：
S100、构建医学图像配准模型，所述图像配准模型包括第一堆叠模块C1、第二堆叠模块C2、粗配准分支网络和精细配准分支网络，所述粗配准分支网络和精细配准分支网络均包括基于卷积神经网络、流预测网络和视觉转换器中的多头注意力网络构建的配准网络；
S200、选择若干数据对构成训练数据对集，每个数据对均包括一张待配准医学训练图像和一张参考医学训练图像，利用所述训练数据对集对所述医学图像配准模型进行若干次训练，每次训练过程使用一个没有用过的数据对，每一次训练过程具体包括以下步骤：
S210、从所述训练数据对集选择一数据对，根据所述第一堆叠模块C1、粗配准分支网络，以及当前选择的数据对的待配准医学训练图像Imoving1和参考医学训练图像Ifixed1，得到大位移变形场Vcoarse和粗配准图像Icoarse；
S220、根据所述参考医学训练图像Ifixed1、粗配准图像Icoarse、第二堆叠模块C2、大位移变形场Vcoarse、待配准医学训练图像Imoving1和精细配准分支网络，得到完整变形场Vfull和最终配准后图像Imoved1；
S230、使用MSE计算所述粗配准图像Icoarse和参考医学训练图像Ifixed1之间的相似度损失Lmse1，使用多分辨率残差图像相似度金字塔模块，根据所述粗配准图像Icoarse和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres1，使用L-2范数的平方作为大位移变形场Vcoarse的平滑度正则化损失Lreg1，根据超参数、相似度损失Lmse1、相似度损失Lres1和交叉熵损失Lreg1，计算粗配准阶段总损失Ltotal1；
S240、使用MSE计算所述最终配准后图像Imoved1和参考医学训练图像Ifixed1之间的相似度损失Lmse2，使用多分辨率残差图像相似度金字塔模块，根据所述最终配准后图像Imoved1和参考医学训练图像Ifixed1计算残差图像的相似度损失Lres2，使用L-2范数的平方作为完整变形场Vfull的平滑度正则化损失Lreg2，根据超参数、相似度损失Lmse2、相似度损失Lres2和交叉熵损失Lreg2，计算细配准阶段总损失Ltotal2；
S250、利用粗配准阶段总损失Ltotal1，计算所述粗配准分支网络中各神经元的梯度，并进行梯度回传，更新网络参数；
S260、利用细配准阶段总损失Ltotal2，计算所述医学图像配准模型中的各神经元计算梯度，并进行梯度回传，更新网络参数，完成所述医学图像配准模型的当前次训练；
S300、将待配准医学图像Imoving2和参考医学训练图像Ifixed2输入训练好的所述医学图像配准模型，输出得到配准后的图像Imoved2；
采用多分辨率残差图像相似度金字塔模块计算残差图像的相似度损失的公式如下：
其中，Lres为残差图像的相似度损失，i表示金字塔层级号，K为金字塔总层数，Fi为金字塔第i层输入的参考医学图像，Fi r为对Fi依次进行下采样和上采样后得到的图像，Mi为金字塔第i层输入的待配准图像，为对Mi依次进行下采样和上采样后得到的图像；对于金字塔第一层后面的层级，其输入的图像，为金字塔上一层级下采样后得到的图像。
2.根据权利要求1所述的方法，其特征在于，步骤S210具体包括以下步骤：
S211、将待配准医学训练图像Imoving1和参考医学训练图像Ifixed1通过第一堆叠模块C1进行堆叠；
S212、将步骤S211中堆叠后的图像输入所述粗配准分支网络，输出得到大位移变形场Vcoarse和粗配准图像Icoarse。
3.根据权利要求2所述的方法，其特征在于，步骤S212中，通过所述粗配准分支网络获取大位移变形场Vcoarse和粗配准图像Icoarse的方法包括：
对步骤S211中堆叠后的图像进行下采样，得到图像I1；
将图像I1输入配准网络，输出得到大位移变形场V；
对大位移变形场V进行上采样以及和上采样同倍率的数值放大后得到大位移变形场Vcoarse；
使用大位移变形场Vcoarse通过STN模块将待配准医学训练图像Imoving1变形为粗配准图像Icoarse。
4.根据权利要求3所述的方法，其特征在于，步骤S220具体包括以下步骤：
S221、将粗配准图像Icoarse和参考医学训练图像Ifixed1通过第二堆叠模块C2进行堆叠；
S222、将大位移变形场Vcoarse、待配准医学训练图像Imoving1和步骤S221中堆叠后的图像输入所述精细配准分支网络，输出得到完整变形场Vfull和最终配准后图像Imoved1。
5.根据权利要求4所述的方法，其特征在于，步骤S222中，通过所述精细配准分支网络获取完整变形场Vfull和最终配准后图像Imoved1的方法包括：
将步骤S221中堆叠后的图像输入配准网络，输出得到精细变形场Vfine；
将大位移变形场Vcoarse和精细变形场Vfine进行组合后得到完整变形场Vfull；
使用完整变形场Vfull通过STN模块将待配准医学训练图像Imoving1变形为最终配准后图像Imoved1。
6.根据权利要求5所述的方法，其特征在于，所述配准网络通过堆叠后的图像获取变形场的方法包括：
通过卷积补丁嵌入层提取堆叠后的图像Iinput的局部特征信息；
对局部特征信息使用可学习的位置编码进行位置嵌入；
将位置嵌入后的局部特征信息输入多头注意力网络，进行全局特征的匹配，输出得到特征矩阵；
将多头注意力网络输出的特征矩阵进行卷积上采样；
对堆叠后的图像Iinput依次进行下采样和上采样，得到图像
将图像与原图像Iinput计算残差得到残差图像/>
通过卷积块利用残差图像得到概率值掩码；
将卷积上采样后的特征矩阵与概率值掩码相乘，得到新矩阵；
利用流预测网络，根据新矩阵得到变形场。
7.根据权利要求6所述的方法，其特征在于，当获取到待配准医学图像Imoving2中感兴趣区域的待配准真值后，可通过使用配准网络输出得到的变形场，利用STN模块作用于待配准真值，得到待配准医学图像Imoving2中感兴趣区域的配准真值，待配准真值为待配准医学图像Imoving2中感兴趣区域的真值标签。
8.根据权利要求6所述的方法，其特征在于，步骤S230中，粗配准阶段总损失Ltotal1和细配准阶段总损失Ltotal2的计算公式分别如下：
Ltotal1＝αLmse1+βLreg1+γLres1
Ltotal2＝αLmse2+βLreg2+γLres2
其中，α,β,γ是超参数，用于调节各项损失的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211201681.9A CN115457020B (zh) | 2022-09-29 | 2022-09-29 | 一种融合残差图像信息的2d医学图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211201681.9A CN115457020B (zh) | 2022-09-29 | 2022-09-29 | 一种融合残差图像信息的2d医学图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115457020A CN115457020A (zh) | 2022-12-09 |
| CN115457020B true CN115457020B (zh) | 2023-12-26 |
Family
ID=84308126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211201681.9A Active CN115457020B (zh) | 2022-09-29 | 2022-09-29 | 一种融合残差图像信息的2d医学图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457020B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402865B (zh) * | 2023-06-06 | 2023-09-15 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN117474963B (zh) * | 2023-10-18 | 2024-04-19 | 南京国础科学技术研究院有限公司 | 多源卫星图像配准方法、***、存储介质和电子设备 |
| CN117935060B (zh) * | 2024-03-21 | 2024-05-28 | 成都信息工程大学 | 基于深度学习的洪水区域检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870327A (zh) * | 2021-09-18 | 2021-12-31 | 大连理工大学 | 基于预测多层次变形场的医学图像配准方法 |
| CN114373004A (zh) * | 2022-01-13 | 2022-04-19 | 强联智创（北京）科技有限公司 | 一种基于动态级联网络的无监督三维图像刚性配准方法 |
| CN114820733A (zh) * | 2022-04-21 | 2022-07-29 | 北京航空航天大学 | 一种可解释的热红外可见光图像配准方法及*** |
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
-
2022
- 2022-09-29 CN CN202211201681.9A patent/CN115457020B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
| CN113870327A (zh) * | 2021-09-18 | 2021-12-31 | 大连理工大学 | 基于预测多层次变形场的医学图像配准方法 |
| CN114373004A (zh) * | 2022-01-13 | 2022-04-19 | 强联智创（北京）科技有限公司 | 一种基于动态级联网络的无监督三维图像刚性配准方法 |
| CN114820733A (zh) * | 2022-04-21 | 2022-07-29 | 北京航空航天大学 | 一种可解释的热红外可见光图像配准方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 《A Coarse-to-Fine Deformable Transformation Framework for Unsupervised Multi-Contrast MR Image Registration With Dual Consistency Constraint》;Weijian Huang 等;《IEEE Transactions on Medical Imaging》;第40卷(第10期);2589 - 2599 * |
| 《基于深度学习的仰卧位和俯卧位的乳腺图像配准》;欧阳效芸;《中国优秀硕士学位论文全文数据库》;1-58 * |
| 《基于深度学习的医学图像配准与分割技术研究》;王烈基;《中国优秀硕士学位论文全文数据库》;1-69 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115457020A (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115457020B (zh) | 一种融合残差图像信息的2d医学图像配准方法 | |
| Fan et al. | BIRNet: Brain image registration using dual-supervised fully convolutional networks | |
| Mahapatra et al. | Training data independent image registration using generative adversarial networks and domain adaptation | |
| CN110363802B (zh) | 基于自动分割和骨盆对齐的***图像配准***及方法 | |
| CN112465827A (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
| CN111524170B (zh) | 一种基于无监督深度学习的肺部ct图像配准方法 | |
| WO2024021523A1 (zh) | 基于图网络的大脑皮层表面全自动分割方法及*** | |
| CN113298855B (zh) | 基于自动勾画的图像配准方法 | |
| He et al. | Few-shot learning for deformable medical image registration with perception-correspondence decoupling and reverse teaching | |
| Hering et al. | Memory-efficient 2.5 D convolutional transformer networks for multi-modal deformable registration with weak label supervision applied to whole-heart CT and MRI scans | |
| Sokooti et al. | Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| Ahmad et al. | Surface-constrained volumetric registration for the early developing brain | |
| Shi et al. | Dual dense context-aware network for hippocampal segmentation | |
| CN113269774B (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
| Zheng et al. | Multi-strategy mutual learning network for deformable medical image registration | |
| CN112990359B (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN116977387B (zh) | 基于形变场融合的可变形医学图像配准方法 | |
| Chang et al. | Cascading affine and B-spline registration method for large deformation registration of lung X-rays | |
| Ou et al. | HCS-Net: Multi-level deformation strategy combined with quadruple attention for image registration | |
| CN117911432A (zh) | 图像分割方法、装置及存储介质 | |
| Young et al. | Supervision by Denoising for Medical Image Segmentation | |
| Ellingsen et al. | Robust deformable image registration using prior shape information for atlas to patient registration | |
| Zheng et al. | SurfNN: Joint reconstruction of multiple cortical surfaces from magnetic resonance images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |