CN112232362A - 一种跨模态医学图像配准方法及计算机可读存储介质 - Google Patents

一种跨模态医学图像配准方法及计算机可读存储介质 Download PDF

Info

Publication number
CN112232362A
CN112232362A CN202011215732.4A CN202011215732A CN112232362A CN 112232362 A CN112232362 A CN 112232362A CN 202011215732 A CN202011215732 A CN 202011215732A CN 112232362 A CN112232362 A CN 112232362A
Authority
CN
China
Prior art keywords
full
resolution
stream
image
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011215732.4A
Other languages
English (en)
Inventor
李秀
徐哲
许菁
严江鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011215732.4A priority Critical patent/CN112232362A/zh
Publication of CN112232362A publication Critical patent/CN112232362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种跨模态医学图像配准方法及计算机可读存储介质，方法包括：构建全分辨率残差配准网络的跨模态医学图像配准模型；包括：采用全分辨率流连接浮动图像和参考图像，依次将与全分辨率流并行的多尺度残差流返回的残差相加以丰富全分辨率流的全分辨特征信息；通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；基于全分辨率变形场，通过空间变换网络对浮动图像进行扭曲，以评估扭曲后的浮动图像与参考图像之间的相似性；训练模型；输入待配准的浮动图像及参考图像进行配准得到多模态图像配准。通过增加全分辨流来解决常规单流编码器‑解码器结构潜在的在全分辨率预测上信息损失、局部配准质量不佳的问题。

Description

一种跨模态医学图像配准方法及计算机可读存储介质
技术领域
本发明涉及多模态医学图像配准技术领域，尤其涉及一种跨模态医学图像配准方法及计算机可读存储介质。
背景技术
多模态医学图像配准是将一对不同模态的浮动图像和参考图像对齐的过程，其目标是找到使配准图像对中感兴趣区域对齐的最佳空间变换。在图像引导治疗(IGT)中，如术前规划、干预和诊断，多模态可变形图像配准是整合不同图像模态中包含的互补信息的关键。近年来，由于计算效率比传统的迭代配准方法有了很大的提高，基于深度学习的图像配准方法在时间密集型应用中变得更加突出。大多数基于学习的配准方法使用完全监督的或半监督的学习策略，严重依赖于真实变形场(Ground Truth)和/或器官分割标签。然而，获取真实变形场(Ground Truth)和三维分割标签极具挑战性且成本高昂。因此，基于无监督学习的配准方法相继出现。
现有大多配准方法使用的是常规的“高到低、低到高”的单流网络结构。这种结构可以显著增加网络感受野的大小，有助于提升网络识别物体的能力及抵抗细微数据集噪声的能力，但是在解码阶段需要从低分辨率特征中恢复高分辨率信息。这些结构会使网络优先考虑整体配准精度，而忽略了一些严重变形的局部区域。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种跨模态医学图像配准方法及计算机可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种跨模态医学图像配准方法，包括如下步骤：S1：构建全分辨率残差配准网络的跨模态医学图像配准模型；所述跨模态医学图像配准模型包括：采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息；通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；基于所述全分辨率变形场，通过空间变换网络对所述浮动图像进行扭曲，以评估扭曲后的浮动图像与所述参考图像之间的相似性；S2：训练所述跨模态医学图像配准模型；S3：输入待配准的浮动图像和参考图像进行配准得到多模态图像配准。
优选地，采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息包括如下步骤：S11：将所述浮动图像和所述参考图像合并，通过卷积模块和残差学习模块初步提取全分辨率下的特征；S12：将所述特征同时输入到并行的所述全分辨率流和所述多尺度残差流；S13：所述多尺度残差流包括上采样和下采样操作，在每个采样操作之间，采用多尺度残差模块处理对应图像尺度下的图像特征；所述全分辨率流上使用加法操作与所述多尺度残差模块相连；S14：所述多尺度残差模块根据当前所述多尺度残差流的图像尺度，通过对所述全分辨率流的全分辨率特征进行适应性的下采样至与所述多尺度残差流的图像尺度一致后，合并所述全分辨率流和所述多尺度残差流的特征，得到合并特征；S15：通过卷积模块和残差学习模块从所述合并特征中提取输出特征，所述输出特征输入到所述多尺度残差流的下一阶段，同时通过一个卷积核大小为1x1x1的卷积及适应性的上采样操作将低分辨率特征恢复到全分辨率特征，通过加法操作与原来的所述全分辨率流的全分辨率特征融合后输入到所述全分辨率流。
优选地，所述多尺度残差流包括四个下采样和四个上采样操作。
优选地，所述残差学习模块的输出zn表示为：
Figure BDA0002760273470000021
其中，R表示由核大小为3×3×3的两个3D卷积组成的残差分支，该卷积分支只需要计算残差R，然后将残差特征加到原输入分支上。
优选地，所述多尺度残差模块具有两个输入，ln-1表示来自所述全分辨率流的低级语义特征，hn-1表示来自多分辨残差流的高级语义特征，以及两个对应的输出ln和hn；将整个多尺度残差模块操作表示为M，输出ln计算为：
ln＝ln-1+M(ln-1，hn-1)。
优选地，训练所述跨模态医学图像配准模型时的网络损失函数由图像相似性损失
Figure BDA0002760273470000031
和正则化损失Lreg(φ)共同构成。
优选地，所述图像相似性损失
Figure BDA0002760273470000032
是扭曲后的浮动图像与所述参考图像的模态独立邻域描述子差的差值，定义如下式：
Figure BDA0002760273470000033
其中，I是图像，x是图像中的位置，r是距离矢量，p是图像块大小，V(I，x)是局部方差的估计，Dp(I，x，x+r)表示扭曲后的浮动图像与所述参考图像块p之间的L2距离；
通过如下公式最小化扭曲后的浮动图像
Figure BDA0002760273470000034
和参考图像If之间的MIND特征差异：
Figure BDA0002760273470000035
其中，N表示扭曲后的浮动图像
Figure BDA0002760273470000036
和参考图像If中的体素数量，R是体素x周围的非局部区域。
优选地，所述正则化损失采用L2范数。
优选地，所述全分辨率变形场为3通道；所述3D卷积模块中的卷积为3通道；所述全分辨率流中的卷积为16个通道。
本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种跨模态医学图像配准方法及计算机可读存储介质，通过两条高度交互的全分辨率流和多尺度残差流来更好地将深层多尺度的图像表征和解剖结构的精确全分辨率空间定位结合起来。通过在整个网络中提供精确的全分辨率信息，帮助多尺度网络在解码阶段将低分辨特征图还原至全分辨特征图，同时避免在传统结构中由于增加感受野导致的对难以对齐的边界细节区域不敏感的问题。
进一步地，通过多尺度残差模块使全分辨流和多尺度残差流通过残差学习的方式进行交互，一方面，通过计算连续的多尺度残差，反复融合全分辨流和多尺度残差流之间的特征，丰富了密集变形场预测的全分辨率表示；另一方面，更丰富的全分辨率信息可以反过来增强多尺度残差流内的高级语义信息。
附图说明
图1是本发明实施例中一种跨模态医学图像配准方法的示意图。
图2是本发明实施例中基于全分辨率残差配准网络的整体结构示意图。
图3是本发明实施例中采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息的方法示意图。
图4是本发明实施例中残差卷积网络模块的示意图。
图5是本发明实施例中多分辨率残差块(MRB)结构示意图。
图6(a)-图6(c)是本发明实施例中多尺度残差流内部特征图的示意图，分别为初始特征图、最低分辨率时的特征图、经过与全分辨率流交互后解码出的残差特征的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种跨模态医学图像配准方法，包括如下步骤：
S1：构建全分辨率残差配准网络的跨模态医学图像配准模型；所述跨模态医学图像配准模型包括：
采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息；
通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；
基于所述全分辨率变形场，通过空间变换网络对所述浮动图像进行扭曲，以评估扭曲后的浮动图像与所述参考图像之间的相似性；
S2：训练所述跨模态医学图像配准模型；
S3：输入待配准的浮动图像和参考图象进行配准得到多模态图像配准。
如图2所示，是本发明基于全分辨率残差配准网络(F3RNet)的整体结构示意图。
本发明通过两条高度交互的全分辨率流和多尺度残差流来更好地将深层多尺度的图像表征和解剖结构的精确全分辨率空间定位结合起来。通过在整个网络中提供精确的全分辨率信息，帮助多尺度网络在解码阶段将低分辨特征图还原至全分辨特征图，同时避免在传统结构中由于增加感受野导致的对难以对齐的边界细节区域不敏感的问题。
即本发明通过增加全分辨流来解决常规单流编码器-解码器结构潜在的在全分辨率预测上信息损失、局部配准质量不佳的问题。
可以理解的是，传统网络在低分辨率时，丧失了很多器官位置信息，会造成网络对像素定位困难，趋向于忽略一些需要局部配准的区域。传统方法要从中间的低分辨率图解码出准确的形变场会更困难。但本发明的方法，由于全分辨率流一直在传递全分辨率信息，所以解码也更简单，并且会对一些难对准的区域更敏感。
全分辨率流连接浮动图像Im和参考图像If，依次将另一并行多尺度残差流返回的残差相加以丰富全分辨率流的全分辨特征信息。接着，全分辨率特征通过连续的残差学习模块(RB)逐步减少通道数，并通过一个3D卷积模块估计出三通道的全分辨率变形场φ。最后，引入空间变换网络(STN)对浮动图像Im进行扭曲，以评估扭曲后的图像Iw与参考图像If之间的相似性。全分辨率流不使用任何下采样操作，能够保持更为准确的像素级位置信息，难以对齐的区域将在整个全分辨率流中存在，避免出现常规网络中感受野增加而导致的局部信息损失问题。在本发明的一种实施例中，除了用于生成变形场的卷积为三通道，全分辨率流中的卷积均为16个通道。可以理解的是，采用的预处理图像的分辨率和复杂度以及GPU的内存大小有关，最后三通道卷积是必须的，用于生成三通道的变形场；全分辨率流的16通道，是在有限GPU内存下，我们在此实验中能够达到的一个权衡，16通道也可以提取一定的图像低级语义特征，当然也可以设置为其他参数。
与全分辨率流相反，多尺度残差流整体结构与常规的UNet结构相似，用于捕获提升器官识别性能的高级特征，但在边缘和体素位置保留方面的能力较差，从而导致潜在的信息损失。具体而言，多尺度残差流利用连续的下采样和卷积操作增大感受野并增强对图像中的小噪声的鲁棒性。在两个流上操作的多尺度残差块(MRB)的帮助下，高层特征可以直接与低层特征交互。与VoxelMorph中使用的UNet一致，多尺度残差流也对图像进行四次下采样，最低分辨率是原始图像的1/16，并以残差学习的方式融合两条并行处理流内的信息。
如图3所示，采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息包括如下步骤：
S11：将所述浮动图像和所述参考图像合并，通过卷积模块和残差学习模块初步提取全分辨率下的特征；
S12：将所述特征同时输入到并行的所述全分辨率流和所述多尺度残差流；
S13：所述多尺度残差流包括上采样和下采样操作，在每个采样操作之间，采用多尺度残差模块处理对应图像尺度下的图像特征；所述全分辨率流上使用加法操作与所述多尺度残差模块相连；
S14：所述多尺度残差模块根据当前所述多尺度残差流的图像尺度，通过对所述全分辨率流的全分辨率特征进行适应性的下采样至与所述多尺度残差流的图像尺度一致后，合并所述全分辨率流和所述多尺度残差流的特征，得到合并特征；
S15：通过卷积模块和残差学习模块从所述合并特征中提取输出特征，所述输出特征输入到所述多尺度残差流的下一阶段，同时通过一个卷积核大小为1x1x1的卷积及适应性的上采样操作将低分辨率特征恢复到全分辨率特征，通过加法操作与原来的所述全分辨率流的全分辨率特征融合后输入到所述全分辨率流。
本发明通过残差学习机制结合全分辨率信息流和多尺度残差信息流，全分辨率流利用了有助于精确体素级别配准的全分辨率信息，使网络保持对难配准区域的敏感性；多尺度残差流通过学习深度多尺度残差表示以获得图像的高级语义特征。
多尺度残差模块来自适应地融合来自全分辨率流和多尺度残差流的特征信息，以实现两条信息流的高度交互性。
具体地，将移动图像和参考图像分别表示为Im，If，3D医学图像配准的目的是预测具有可以对齐Im到If的全分辨率3D变形场φ，该变形场包含三个通道，代表x，y，z轴上的位移量。
在给定移动图像和参考图像Im，If后，将两者合并到一起，输入本发明的网络中。首先，合并的两通道图像先经过一个卷积模块和若干个残差卷积网络模块提取特征。
如图4所示，是本发明残差卷积网络模块的示意图。残差学习模块的输出zn表示为：
Figure BDA0002760273470000071
其中，R表示由核大小为3×3×3的两个3D卷积组成的残差分支，该卷积分支只需要计算残差R，然后将残差特征加到原输入分支上。
将上述特征同时输入到并行的全分辨率流和多尺度残差流。相比于传统的“高到低，低到高”的单流网络，在本发明中，一方面，多尺度残差流利用连续的下采样和卷积操作增大感受野，增强对图像中的小噪声的鲁棒性，用于捕获提升器官识别性能的高级特征，但在边缘和体素位置保留方面的能力较差，从而导致潜在的信息损失。与此同时，在另一条并行地全分辨率流上，全分辨率流连接浮动图像Im和参考图像If，依次将上述并行多尺度残差流返回的残差相加以丰富全分辨率流的全分辨特征信息。接着，全分辨率特征通过连续的残差学习模块(RB)逐步减少通道数，并通过一个3D卷积模块估计出三通道的全分辨率变形场φ。
具体而言，全分辨率流和多尺度残差流的相互性由多个以下提出的多尺度残差融合块实现：
如图5所示，是本发明的多分辨率残差块(MRB)结构示意图。所述多尺度残差模块具有两个输入，ln-1表示来自所述全分辨率流的低级语义特征，hn-1表示来自多分辨残差流的高级语义特征，以及两个对应的输出ln和hn；将整个多尺度残差模块操作表示为M，输出ln计算为：
ln＝ln-1+M(ln-1，hn-1)。
具体地说，首先，通过下采样操作将ln-1的分辨率降低到hn-1的分辨率，拼接合并两条信息流的特征后，通过大小为3×3×3的3D卷积以及相同通道数的残差块(RB)。此时，输出的hn在一端连接到多尺度残差流的后续部分进行处理，另一端通过1×1×1卷积和上采样模块，还原残差特征图的分辨率，使其与ln-1一致，并通过加法操作融合进全分辨率流中。
实验中，多尺度残差流对图像进行四次下采样，最低分辨率是原始图像的1/16，以残差学习的方式使两条并行处理流内的信息相互交互，使网络对不匹配的难配准区域更为敏感。全分辨率流不使用任何下采样操作，能够保持更为准确的像素级位置信息，难以对齐的区域将在整个全分辨率流中存在，避免出现常规单流网络中感受野增加而导致的局部信息损失问题。在我们的实验中，除了用于生成变形场的卷积为三通道，全分辨率流中的卷积均为16个通道。在得到变形场后，空间变换网络(STN)对浮动图像Im进行扭曲，即得到配准图像，以评估扭曲后的图像Iw与参考图像If之间的相似性。
训练所述跨模态医学图像配准模型时的网络损失函数由图像相似性损失
Figure BDA0002760273470000091
和正则化损失Lreg(φ)共同构成。
在本发明的一种实施例中，所述图像相似性损失
Figure BDA0002760273470000092
是扭曲后的浮动图像与所述参考图像的模态独立邻域描述子差的差值，定义如下式：
Figure BDA0002760273470000093
其中，I是图像，x是图像中的位置，r是距离矢量，p是图像块大小，V(I，x)是局部方差的估计，Dp(I，x，x+r)表示扭曲后的浮动图像与所述参考图像块p之间的L2距离；
通过如下公式最小化扭曲后的浮动图像
Figure BDA0002760273470000094
和参考图像If之间的MIND特征差异：
Figure BDA0002760273470000095
其中，N表示扭曲后的浮动图像
Figure BDA0002760273470000096
和参考图像If中的体素数量，R是体素x周围的非局部区域。
在本发明的另一种实施例中，所述正则化损失采用L2范数。
如图6(a)-图6(c)所示，是本发明多尺度残差流内部特征图的示意图，分别为初始特征图、最低分辨率时的特征图、经过与全分辨率流交互后解码出的残差形变场。
本发明的网络不仅继承了现有网络中的大多数多尺度融合方案(例如UNet)，通过跳跃连接来融合编码器和解码器中相同尺度的特征，而且还能够使用我们提出的多尺度残差模块(MRB)，反复融合两个并行流，最终获得更为可靠的全分辨率变形场。此外，两个流的融合使用了残差学习机制，即全分辨率流作为本体，多尺度残差流专注于计算残差，使网络对未配准区域更加敏感。
本发明选用Dice系数和对称位置的平均表面距离(ASD,Average SymmetricSurface Distance)评估不同跨模态配准模型的性能。其中，Dice系数值越高越好，ASD指标越小越好。
在一个由50对腹部CT和MRI组成的临床数据集上验证了本发明的有效性(如表1-2所示)。与传统的跨模态配准算法SyN和基于UNet的医学图像配准网络相比，本发明提出的基于全分辨率残差配准网络的多模态图像配准技术同时在CT到MRI、MRI到CT的配准实验中显著优于现有技术。
表1 CT到MRI的实验结果
Figure BDA0002760273470000101
表2 MRI到CT配准的实验结果
Figure BDA0002760273470000102
Figure BDA0002760273470000111
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种跨模态医学图像配准方法，其特征在于，包括如下步骤：
S1：构建全分辨率残差配准网络的跨模态医学图像配准模型；所述跨模态医学图像配准模型包括：
采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息；
通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；
基于所述全分辨率变形场，通过空间变换网络对所述浮动图像进行扭曲，以评估扭曲后的浮动图像与所述参考图像之间的相似性；
S2：训练所述跨模态医学图像配准模型；
S3：输入待配准的浮动图像和参考图像进行配准得到多模态图像配准。
2.如权利要求1所述的跨模态医学图像配准方法，其特征在于，采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息包括如下步骤：
S11：将所述浮动图像和所述参考图像合并，通过卷积模块和残差学习模块初步提取全分辨率下的特征；
S12：将所述特征同时输入到并行的所述全分辨率流和所述多尺度残差流；
S13：所述多尺度残差流包括上采样和下采样操作，在每个采样操作之间，采用多尺度残差模块处理对应图像尺度下的图像特征；所述全分辨率流上使用加法操作与所述多尺度残差模块相连；
S14：所述多尺度残差模块根据当前所述多尺度残差流的图像尺度，通过对所述全分辨率流的全分辨率特征进行适应性的下采样至与所述多尺度残差流的图像尺度一致后，合并所述全分辨率流和所述多尺度残差流的特征，得到合并特征；
S15：通过卷积模块和残差学习模块从所述合并特征中提取输出特征，所述输出特征输入到所述多尺度残差流的下一阶段，同时通过一个卷积核大小为1x1x1的卷积及适应性的上采样操作将低分辨率特征恢复到全分辨率特征，通过加法操作与原来的所述全分辨率流的全分辨率特征融合后输入到所述全分辨率流。
3.如权利要求2所述的跨模态医学图像配准方法，其特征在于，所述多尺度残差流包括四个下采样和四个上采样操作。
4.如权利要求3所述的跨模态医学图像配准方法，其特征在于，所述残差学习模块的输出zn表示为：
Figure FDA0002760273460000021
其中，R表示由核大小为3×3×3的两个3D卷积组成的残差分支，该卷积分支只需要计算残差R，然后将残差特征加到原输入分支上。
5.如权利要求4所述的跨模态医学图像配准方法，其特征在于，所述多尺度残差模块具有两个输入，ln-1表示来自所述全分辨率流的低级语义特征，hn-1表示来自多分辨残差流的高级语义特征，以及两个对应的输出ln和hn；将整个多尺度残差模块操作表示为M，输出ln计算为：
ln＝ln-1+M(ln-1，hn-1)。
6.如权利要求5所述的跨模态医学图像配准方法，其特征在于，训练所述跨模态医学图像配准模型时的网络损失函数由图像相似性损失
Figure FDA0002760273460000022
和正则化损失Lreg(φ)共同构成。
7.如权利要求6所述的跨模态医学图像配准方法，其特征在于，所述图像相似性损失
Figure FDA0002760273460000023
是扭曲后的浮动图像与所述参考图像的模态独立邻域描述子差的差值，定义如下式：
Figure FDA0002760273460000024
其中，I是图像，x是图像中的位置，r是距离矢量，p是图像块大小，V(I，x)是局部方差的估计，Dp(I，x，x+r)表示扭曲后的浮动图像与所述参考图像块p之间的L2距离；
通过如下公式最小化扭曲后的浮动图像
Figure FDA0002760273460000025
和参考图像If之间的MIND特征差异：
Figure FDA0002760273460000031
其中，N表示扭曲后的浮动图像
Figure FDA0002760273460000032
和参考图像If中的体素数量，R是体素x周围的非局部区域。
8.如权利要求7所述的跨模态医学图像配准方法，其特征在于，所述正则化损失采用L2范数。
9.如权利要求8所述的跨模态医学图像配准方法，其特征在于，所述全分辨率变形场为3通道；所述3D卷积模块中的卷积为3通道；
所述全分辨率流中的卷积为16个通道。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。
CN202011215732.4A 2020-11-04 2020-11-04 一种跨模态医学图像配准方法及计算机可读存储介质 Pending CN112232362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215732.4A CN112232362A (zh) 2020-11-04 2020-11-04 一种跨模态医学图像配准方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215732.4A CN112232362A (zh) 2020-11-04 2020-11-04 一种跨模态医学图像配准方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112232362A true CN112232362A (zh) 2021-01-15

Family

ID=74121506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215732.4A Pending CN112232362A (zh) 2020-11-04 2020-11-04 一种跨模态医学图像配准方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112232362A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802072A (zh) * 2021-02-23 2021-05-14 临沂大学 基于对抗学习的医学图像配准方法及***
CN113870327A (zh) * 2021-09-18 2021-12-31 大连理工大学 基于预测多层次变形场的医学图像配准方法
CN114445471A (zh) * 2022-01-26 2022-05-06 山东大学 基于多标准融合的多模态医学图像配准方法及***
CN114862923A (zh) * 2022-07-06 2022-08-05 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质
WO2023279936A1 (en) * 2021-07-05 2023-01-12 Huawei Technologies Co., Ltd. Methods and systems for high definition image manipulation with neural networks
CN116563096A (zh) * 2023-07-11 2023-08-08 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备
US12051204B2 (en) 2021-11-30 2024-07-30 Shanghai United Imaging Intelligence Co., Ltd. Automatic organ geometry determination

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIND: MODALITY INDEPENDENT NEIGHBOURHOOD DESCRIPTOR FOR MULTI-MODAL DEFORMABLE REGISTRATION: "Mind: Modality independent neighbourhood descriptor for multi-modal deformable registration", MEDICAL IMAGE ANALYSIS, vol. 16, pages 1426 *
ZHE XU ET AL.: "F3RNet: Full-Resolution Residual Registration Network for Multimodal Image Registration", ARXIV, pages 1 - 15 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802072A (zh) * 2021-02-23 2021-05-14 临沂大学 基于对抗学习的医学图像配准方法及***
CN112802072B (zh) * 2021-02-23 2022-10-11 临沂大学 基于对抗学习的医学图像配准方法及***
WO2023279936A1 (en) * 2021-07-05 2023-01-12 Huawei Technologies Co., Ltd. Methods and systems for high definition image manipulation with neural networks
US11915383B2 (en) 2021-07-05 2024-02-27 Huawei Technologies Co., Ltd. Methods and systems for high definition image manipulation with neural networks
CN113870327A (zh) * 2021-09-18 2021-12-31 大连理工大学 基于预测多层次变形场的医学图像配准方法
CN113870327B (zh) * 2021-09-18 2024-05-21 大连理工大学 基于预测多层次变形场的医学图像配准方法
US12051204B2 (en) 2021-11-30 2024-07-30 Shanghai United Imaging Intelligence Co., Ltd. Automatic organ geometry determination
CN114445471A (zh) * 2022-01-26 2022-05-06 山东大学 基于多标准融合的多模态医学图像配准方法及***
CN114862923A (zh) * 2022-07-06 2022-08-05 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质
CN114862923B (zh) * 2022-07-06 2022-09-09 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质
CN116563096A (zh) * 2023-07-11 2023-08-08 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备
CN116563096B (zh) * 2023-07-11 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
CN112232362A (zh) 一种跨模态医学图像配准方法及计算机可读存储介质
Zeng et al. Aggregated contextual transformations for high-resolution image inpainting
Qin et al. Unsupervised deformable registration for multi-modal images via disentangled representations
US20230104173A1 (en) Method and system for determining blood vessel information in an image
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
CN118334070A (zh) 用于在图像分析中进行解剖结构分割的***和方法
WO2006049591A2 (en) Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
WO2022205657A1 (zh) 一种csm图像分割方法、装置、终端设备及存储介质
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN114187296B (zh) 胶囊内窥镜图像病灶分割方法、服务器及***
WO2024011835A1 (zh) 一种图像处理方法、装置、设备及可读存储介质
CN113298856B (zh) 一种图像配准方法、装置、设备和介质
CN116433898A (zh) 一种基于语义约束的Transformer多模态影像分割方法
WO2023045284A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
An et al. Self-supervised rigid registration for multimodal retinal images
Hutchcroft et al. CoVisPose: Co-visibility pose transformer for wide-baseline relative pose estimation in 360∘ indoor panoramas
Yang et al. RAU-Net: U-Net network based on residual multi-scale fusion and attention skip layer for overall spine segmentation
Ma et al. Position-based face hallucination method
Koehler et al. Unsupervised domain adaptation from axial to short-axis multi-slice cardiac MR images by incorporating pretrained task networks
Tong et al. Registration of histopathology images using self supervised fine grained feature maps
Jia et al. Boundary-aware dual attention guided liver segment segmentation model
Zheng et al. Residual Aligner-based Network (RAN): Motion-separable structure for coarse-to-fine discontinuous deformable registration
CN117522896A (zh) 基于自注意力的图像分割方法及计算机设备
Wang et al. Multi-scale boundary neural network for gastric tumor segmentation
CN113450394B (zh) 一种基于Siamese网络的异尺寸图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination