CN113763441B - 无监督学习的医学图像配准方法及*** - Google Patents

Abstract

本发明公开了一种无监督学***滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。本发明无需预先准备的分割标签或形变场标签，可对不同模态中的大形变区域得到较好的配准精度，且本发明的配准速度快、可达到实时性效果。

Description

无监督学习的医学图像配准方法及***

技术领域

本发明涉及医学图像配准领域，特别涉及一种无监督学习的医学图像配准方法及***。

背景技术

现有的多模态医学图像配准多基于迭代数值优化方法，需在迭代过程中反复进行数值优化，计算量巨大，导致计算耗时过长，无法做到实时性。深度学习方法的推理速度快，但难以感知多模态图像中的大形变区域，难以实现大形变配准，现有的深度学习方法需要大量组织分割标签或形变场标签，在实际应用中通常获取以上标签。

所以，现在需要一种更可靠的方案。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种无监督学习的医学图像配准方法及***。

为解决上述技术问题，本发明采用的技术方案是：一种无监督学习的医学图像配准方法，包括以下步骤：

1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；

2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场

3)基于形变场采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果/>配准过程中，将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。

优选的是，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场/>

优选的是，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；

图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场

其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；

其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；

其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。

优选的是，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：

首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C′；

然后沿着通道轴对P和C′分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；

对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；

最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。

优选的是，所述步骤2)中，通过多分辨率图像配准网络得到形变场的步骤具体包括：

2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F₂＝4F₁，M＝2M₂＝4M₁；

2-2)将图像对(F₁，M₁)作为第一阶段的输入，通过空间自注意力配准网络计算图像F₁和图像M₁之间的形变场

2-3)对上采样，得到与图像对F₂、M₂大小一样的形变场/>将/>作为形变场并对M₂进行空间形变得到/>

2-4)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F₂和图像/>之间的形变场/>将/>与/>相加得到/>

2-5)对上采样，得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>

2-6)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>

优选的是，损失函数L的表达式为：

其中，为配准结果/>与固定图像F的结构信息相似测度，L_smooth为平滑约束项，L_Jet为雅可比负值折叠罚项，α、β和γ均为权值。

优选的是，α、β和γ分别为10、0.5和200。

优选的是，其中，的计算方法包括以下步骤：

3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为x_i，则x与x_i的高斯核距离表示为：

表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：

其中，i＝1，2...6，D_p(I，x，x_i)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，x_i)的均方欧氏距离为：以x为中心的图像块I_p(x)与以x_i为中心的图像块I_p(x_i)之间的均方欧氏距离；

其中，σ²是所有图像对的均方欧氏距离的期望值，即：

3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：

MIND＝[d_gauss(I，x，x_i)}，i＝1，2...6；

3-3)定义为：

其中，N＝6。

优选的是，其中，L_Jet的表达式为：

其中，M是中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零；/>代表形变场/>的在位置p上的雅可比矩阵；

的表达式为：

本发明还提供一种无监督学习的医学图像配准***，其采用如上所述的方法进行医学图像配准。

本发明的有益效果是：本发明提供的无监督学习的医学图像配准方法，无需预先准备的分割标签或形变场标签，可对不同模态中的大形变区域得到较好的配准精度，且本发明的配准速度快、可达到实时性效果。

附图说明

图1为本发明的无监督学习的医学图像配准方法的原理框架图；

图2为本发明的空间自注意力配准网络的结构图；

图3为本发明的自注意力门控模块的结构图；

图4为本发明的多分辨率图像配准网络的原理流程图；

图5为MIND邻域结构图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

本实施例提供一种无监督学习的医学图像配准方法，包括以下步骤：

1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；

2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场

其中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场/>。

给定一对三维图像：固定图像F和浮动图像M，配准的目的就是寻找一组最优的形变转换参数使得配准后的浮动图像/>与固定图像F在形态和解剖结构上对齐。本发明建了一个深度学习网络模型，直接估计F和M之间的形变场，可表示为：

其中f表示深度学习网络要学习的映射函数，θ是网络参数，是估计得到的形变场。一般通过最大化相似测度函数来训练网络，学习最优的网络参数/>其图像配准过程可表示为：

式中S表示固定图像F和配准后图像之间的相似测度，R是为了保持/>的平滑性而添加的正则项，/>代表非线性形变操作。

3)基于形变场采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果/>配准过程中，将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。

参照图1，为本发明的整体配准框架。

参照图2，本实施例中，空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；

图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场

其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着参数为0.2的LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；

其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；

一般在学***特征的消失，编解码路径上都会使用跨越连接。在优选的实施例中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。

参照图3，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：

首先对解码阶段的当前特征图C(Current Feature Map)进行上采样操作，得到与先前特征图P(Previous Feature Map)通道数目和图像大小一致的特征图C′；

然后沿着通道轴对P和C′分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF(Context Feature)；

对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF(Attention Feature)通过Sigmoid激活来归一化，消除差异性噪声；

最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。由于仅使用池化操作和卷积核为1的卷积操作，增加的必须优化的参数几乎为零，所以可以配合更加深层的网络使用，而几乎不增加额外的时间成本。

图像配准的困难程度受结构差异较大区域对齐程度的影响，一般来说，差异较大区域与大形变关系密切，并且难以对齐。为了进一步提升网络抓取图像间结构差异的能力，本实施例中在跨越连接层前加入了空间自注意力门控模块，利用不同水平的空间和文本信息能突出大形变区域，精细化形变场。

本实施例中，参照图4，在步骤2)中，通过多分辨率图像配准网络得到形变场的步骤具体包括：

2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F₂＝4F₁，M＝2M₂＝4M₁；

2-2)将图像对(F₁，M₁)作为第一阶段的输入，通过空间自注意力配准网络计算图像F₁和图像M₁之间的形变场

2-3)对上采样，得到与图像对F₂、M₂大小一样的形变场/>将/>作为形变场并对M₂进行空间形变得到/>

2-4)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F₂和图像/>之间的形变场/>将/>与/>相加得到/>

2-5)对上采样，得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>

2-6)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>

深度学习网络存在固有的视野域较小的缺陷，不利于较大形变的配准，由于网络的直接优化较为困难，收敛较慢且容易陷入局优，本实施例中，基于残差形变估计思想，提出了了一个多分辨率图像配准网络，将大形变配准问题简化为从粗到细的逐步配准的问题，能克服以上缺陷。

在本实施例中，损失函数L的表达式为：

其中，为配准结果/>与固定图像F的结构信息相似测度，L_smooth为平滑约束项，L_Jet为雅可比负值折叠罚项，α、β和γ均为权值。在一种优选的实施例中，α、β和γ分别为10、0.5和200。

对于多模态图像配准，相似测度需要摆脱模态的限制，能够真正度量多模态图像对的相似性。为了解决这个问题，本发明引入基于结构信息的相似性损失，即模态无关邻域特征(MIND)损失。MIND被定义在基于自相似的非局部(non-local)图像块上，依赖局部图像结构信息而不是图像灰度分布。具体的，本实施例中，的计算方法包括以下步骤：

3-1)参照图5，对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为x_i，则x与x_i的高斯核距离表示为：

表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：

其中，i＝1，2...6，D_p(I，x，x_i)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，x_i)的均方欧氏距离为：以x为中心的图像块I_p(x)与以x_i为中心的图像块I_p(x_i)之间的均方欧氏距离；

其中，σ²是所有图像对的均方欧氏距离的期望值，即：

3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：

MIND＝{d_gauss(I，x，x_i)}，i＝1，2...6；

3-3)定义为：

本实施例中采用六邻域，所以N＝6；当然也可以采用八邻域，十六邻域等。

在图像配准过程中，所有的体素不一定经历相同的形变量，严重变形的体素会导致折叠或者撕裂现象。为了减少上述情况发生，本发明中提出使用基于雅可比负值折叠罚项的动态折叠罚项来进一步约束形变。

具体的，其中，雅可比负值折叠罚项L_Jet的表达式为：

其中，M是中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零，本实施例中，设置σ(·)为ReLU函数；/>代表形变场/>的在位置p上的雅可比矩阵；

的表达式为：

其中，x、y、z在这里是表示方向，即x轴方向，y轴方向和z轴方向。

形变场的雅可比矩阵是三个方向的形变导数的二阶张量，其行列式可以用于分析形变场的局部状态。例如：点为正值，表示点p在其邻域范围内能够保持方向性。相反的，如果点/>为负值，表示点p在其邻域范围内存在折叠，导致正常的拓扑性遭到破坏。我们根据此事实，在雅可比负值体素上嵌入反折叠罚项，这样，雅可比行列式中负值区域将受到惩罚，正值区域几乎不受影响。进一步的，本实施例中还联合使用平滑约束项L_smooth，在反折叠的同时还能尽量保持整体形变的平滑。

实施例2

本实施例提供一种无监督学习的医学图像配准***，其采用实施例1的方法进行医学CT和MR图像的配准。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (6)

1.一种无监督学习的医学图像配准方法，其特征在于，包括以下步骤：

1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；

2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场

3)基于形变场采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果配准过程中，将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化；

所述步骤2)中，通过多分辨率图像配准网络得到形变场的步骤具体包括：

2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F₂＝4F₁，M＝2M₂＝4M₁；

2-2)将图像对(F₁，M₁)作为第一阶段的输入，通过空间自注意力配准网络计算图像F₁和图像M₁之间的形变场

2-3)对上采样，得到与图像对F₂、M₂大小一样的形变场/>将/>作为形变场并对M₂进行空间形变得到/>

2-4)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F₂和图像/>之间的形变场/>将/>与/>相加得到/>

2-5)对上采样，得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>

2-6)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>

损失函数L的表达式为：

其中，为配准结果/>与固定图像F的结构信息相似测度，L_smooth为平滑约束项，L_Jet为雅可比负值折叠罚项，α、β和γ均为权值；

其中，的计算方法包括以下步骤：

3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为x_i，则x与x_i的高斯核距离表示为：

表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：

其中，i＝1,2...6，D_p(I,x,x_i)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x,x_i)的均方欧氏距离为：以x为中心的图像块I_p(x)与以x_i为中心的图像块I_p(x_i)之间的均方欧氏距离；

其中，σ²是所有图像对的均方欧氏距离的期望值，即：

3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：

MIND＝{d_gauss(I,x,x_i)}，i＝1,2...6；

3-3)定义为：

其中，N＝6。

2.根据权利要求1所述的无监督学习的医学图像配准方法，其特征在于，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场/>

3.根据权利要求2所述的无监督学习的医学图像配准方法，其特征在于，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；

图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场

其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；

其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；

其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。

4.根据权利要求3所述的无监督学习的医学图像配准方法，其特征在于，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：

首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C'；

然后沿着通道轴对P和C'分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；

对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；

最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。

5.根据权利要求4所述的无监督学习的医学图像配准方法，其特征在于，α、β和γ分别为10、0.5和200。

6.根据权利要求5所述的无监督学习的医学图像配准方法，其特征在于，其中，L_Jet的表达式为：

其中，M是中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零；/>代表形变场/>的在位置p上的雅可比矩阵；

的表达式为：